栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

爬取网页动态加载的评论

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

爬取网页动态加载的评论

超时的处理

爬虫在向服务器请求时,若是服务器没有顺利返回响应,爬虫就会一直等待

有时这种长时间等待是没有没价值的

在requests.get()里添加参数,设置一个等待时间,若是响应超过这段时间还没有返回,就返回异常报告(ConnectTimeout):

#设置超时时间是0.001秒:
response=requests.get(url,timeout=0.001)
AJAX、检查工具里的network和XHR 1.AJAX(Asynchronous JavaScript And XML):

一种异步更新技术,更新网页的部分内容,但是不重新加载整个网页(url不会变)。

在一些网站里,评论就是用JavaScript加载的,在一个