栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

屏幕抓取:解决“ HTTP错误403:robots.txt不允许的请求”

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

屏幕抓取:解决“ HTTP错误403:robots.txt不允许的请求”

如果您想在Barnes&Noble上遇到法律上的麻烦,可以尝试撒谎您的用户代理(例如,通过使自己相信自己是人而不是机器人)。为什么不与他们的业务开发部门联系并说服他们明确授权您呢?毫无疑问,他们只是试图避免被某些类型的机器人(例如价格比较引擎)所破坏,并且,如果您可以说服他们您不是一个人,签订合同等,他们可能会愿意一个例外。

一种“技术性”的解决方法只是破坏了robots.txt中编码的策略,这是一种我极不推荐的高法律风险方法。顺便说一句,怎么 没有
自己的robots.txt读?



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/645630.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号