栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

2021-11-13

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

2021-11-13

用python爬取微博评论数据,爬虫之路,永无止境。。(附源码)今天目标爬取微博任意博文的评论信息工具使用开发环境:win10、python3.6开发工具:pycharm工具包 :requests,re, time, random,tkinter项目思路分析1.网页版登录拿回cookie值2.选取要爬的博文评论信息的网页版网址https://weibo.com/3167104922/Kkl7ar83T#comment为例3.根据网页版的地址抓包拿回博文唯一的id值(weibo_id)4.构造博文手机版评论请求的地址f’https://m.weibo.cn/comments/hotflow?id={weibo_id}&mid={weibo_id}&max_id_type=0’5.发送请求拿回响应的json数据6.max_id和max_id_type的值确定7.构造data参数,下次翻页请求要加上参数""“构造GET请求参数”"" data = { ‘id’: weibo_id, ‘mid’: weibo_id, ‘max_id’: max_id, ‘max_id_type’: max_id_type }12345678.max_id为上一个包的翻页规律9.然后继续解析数据,获取评论信息内容,然后再翻页,一直回调。起始地址先进行登录https://weibo.com/登录之后点开一篇博文,点击评论,点击查看更多评论本文以https://weibo.com/3167104922/Kkl7ar83T#comment为例在这里插入图片描述search搜索weibo_id,构造headers里面的requests url,发送请求拿回weibo_id的值在这里插入图片描述进入手机版模式进行XHR抓包在这里插入图片描述在这里插入图片描述翻页用到data的参数""“构造GET请求参数”"" data = { ‘id’: weibo_id, ‘mid’: weibo_id,

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/499443.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号