爬虫行为中被爬者规定的哪些信息允许被爬取哪些信息不能被爬取的协议。通常在网址后面加上robots.txt 即可查看。
2.http协议：服务器与客户端进行数据交换的一种形式 （1）常用的请求头信息：
User-Agent
打开某网页，右键，点击检查，网络，打开一个数据包
请求标头（Request headers）中，找到User-Agzi，表示请求载体的身份标识。
请求载体可以是当前进行请求的浏览器类别，也可以是爬虫某一段代码的身份标识。
Connection
含义：请求完成后，表示是断开连接还是保持连接
（2）常用的响应头信息：服务器响应回客户端的数据类型 3.https协议：更安全的加密传输方式 日常常见的加密方式：对称密钥加密：客户端将密文和密钥一起发送给服务器端。加密方式由客户端制定。
非对称密钥加密：服务器端设定加密方式，并发送给客户端（公钥），客户端按照相应的加密方式将密文发送给服务器端，服务器端使用对应的私钥解密。
证书密钥加密：（目前https协议使用的加密方式）在非对称密钥加密的基础上，在公钥发送给客户端之前会发送给特定的证书认证机构以对公钥签名，从而防止公钥被拦截后篡改。
