网络爬虫引发的问题
网络爬虫的尺寸| 小规模，数据两校，爬取速度不敏感 Requests库 | 中规模，数据规模较大 爬取速度敏感 Scrap库 | 大规模，搜索引擎爬取速度关键 定制开发 |
| 爬取网页，玩转网页 | 爬取网站，爬取系列网站 | 爬取全网 |
web服务器默认接收人类访问
受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。
网络爬虫的法律风险服务器上的数据有产权归属
网络爬虫获取数据后牟利将带来法律风险
网络爬虫的隐私泄露
网络爬虫可能具备突破简单访问控制的能力，活得被保护数据从而泄露个人隐私。
网络爬虫引发的问题骚然问题：引发对服务器性能骚扰问题
法律风险：内容层面的法律风险问题
个人隐私泄露问题
网络爬虫的限制来源审查：判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，只响应浏览器或友好的爬虫访问。
要求：维护网站的技术人员有一定的能力。
发布公告：Robots 协议
告知所有的爬虫网站的爬取策略，要求爬虫遵守
发布公告知识发布，遵守由网络爬虫来制定。
Robots 协议
Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
形式：在网站根目录下的robots.txt文件。(在这个文件中写明了哪些网站可以爬取）
#注释 * 代表所有 / 根目录
User_agent: *
Disallow: /
遵守Robots协议
网络爬虫：自动或人工识别robots.txt,在进行内容爬取
约束性:Robots协议是建但非约束性，网络爬虫可以不遵守，但存在法律风险。
Robots协议的理解
