栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

无法加载资源:服务器通过Selenium使用ChromeDriver Chrome响应状态为429(请求过多)和404(未找到)

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

无法加载资源:服务器通过Selenium使用ChromeDriver Chrome响应状态为429(请求过多)和404(未找到)

429请求太多

HTTP 429太多请求响应状态代码指示用户在给定的时间内发送了太多请求(“速率限制”)。响应表示应包含说明条件的详细信息,并且可以包含

Retry-After
指示发出新请求之前要等待多长时间的标头。

当服务器受到攻击或仅从单方接收到大量请求时,以

429

状态码响应每个请求都会消耗资源。因此,不需要服务器使用
429
状态码。当限制资源使用时,仅断开连接或采取其他步骤可能更合适。


找不到404

HTTP 404找不到客户端错误响应代码表明服务器找不到请求的资源。在浏览器中,这意味着无法识别URL。在API中,这也可能意味着端点有效,但是资源本身不存在。服务器也可以发送此响应而不是403,以隐藏来自未授权客户端的资源。由于此响应代码在网络上经常发生,因此可能是最著名的响应代码。

一个

404
状态代码并不表示资源是否是暂时或永久丢失。但是,如果资源被永久删除,
410(Gone)
则应使用a代替
404
状态。此外,
404
如果未找到所请求的资源使用状态代码,是否不存在,或者如果有一个
401
403
说,出于安全原因,该服务要掩盖。


分析

当我尝试使用您的代码块时,我遇到了类似的后果。如果您检查网页的DOM树,您会发现相当多的标签都带有关键字 dist* 。举个例子: *

  • <link rel="shortcut icon" type="image/x-icon" href="/wcsstore/ColesResponsiveStorefrontAssetStore/dist/30e70cfc76bf73d384beffa80ba6cbee/img/favicon.ico">
  • <link rel="stylesheet" href="/wcsstore/ColesResponsiveStorefrontAssetStore/dist/30e70cfc76bf73d384beffa80ba6cbee/css/google/fonts-Source-Sans-Pro.css" type="text/css" media="screen">
  • 'appDir': '/wcsstore/ColesResponsiveStorefrontAssetStore/dist/30e70cfc76bf73d384beffa80ba6cbee/app'

术语 dist 的存在明确表明该网站受 Bot Management 服务提供商 Distil
Networks的
保护,并且 ChromeDriver
的导航被检测到并随后 被阻止


distillation

根据文章“ 确实有关于Distil.it…的东西:”

Distil通过观察站点行为并识别刮板特有的模式来保护站点免受自动内容抓取机器人的攻击。当Distil在一个站点上识别出一个恶意bot时,它将创建一个列入黑名单的行为配置文件,并将其部署到所有客户。像僵尸防火墙一样,Distil会检测模式并做出反应。

进一步,

"One pattern with **Selenium** was automating the theft of Webcontent"
Distil首席执行官拉米·埃赛伊(Rami Essai)上周在接受采访时表示。
"Even though they cancreate new bots, we figured out a way to identify Selenium the a toolthey're using, so we're blocking Selenium no matter how many times theyiterate on that bot. We're doing that now with Python and a lot of differenttechnologies. once we see a pattern emerge from one type of bot, then wework to reverse engineer the technology they use and identify it asmalicious".




转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/370051.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号