以爬取我校官网为例:
import requests
r=requests.get("信阳师范学院 (xynu.edu.cn)")
r.status_code
得到的返回是403,说明爬取失败
因为现在的大多数网站都有防爬虫功能
通过查看头信息发现,脚本已经将我们出卖了,直接显示自己是python脚本,
所以我们要修改头部信息,来欺骗网站
修改头部信息后可以发现访问成功了
查看编码发现encoding编码与实际不符合
结果就是看不懂写的什么
修改后:
就可以看懂写的什么了

以爬取我校官网为例:
import requests
r=requests.get("信阳师范学院 (xynu.edu.cn)")
r.status_code
得到的返回是403,说明爬取失败
因为现在的大多数网站都有防爬虫功能
通过查看头信息发现,脚本已经将我们出卖了,直接显示自己是python脚本,
所以我们要修改头部信息,来欺骗网站
修改头部信息后可以发现访问成功了
查看编码发现encoding编码与实际不符合
结果就是看不懂写的什么
修改后:
就可以看懂写的什么了