栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

知乎回答爬取

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

知乎回答爬取

怎么爬取知乎的内容

我们一步步来分析,首先打开知乎,来到我们要爬取的页面

然后我们再来看看它的参数

经过测试我们要填写对应的x-zse-96我们才能获取到对应的内容才行,并且每一个API对应的zse-96都不同,因此我们就需要去破解这个参数我们才能去获取对应的内容

在这里就涉及到了js逆向思维了我们一步步来看

首先先去查找对应的js的位置再进行分析判断

点击search,然后把x-zse-96复制进去开始查找

知道了思路,我们再来说说解法

首先先说说MD5的解法

得到了(l()(s))值之后,我们就要去逆向去破解a()这个函数

js代码过长,我就不在这里贴出来了,具体代码的话我放在GitHub上面了,需要的可以去自行获取

这里有一点是需要注意的因为我们用的是python来调用js这个代码,会有一些不同,所以我们要采用jsdom的方式来执行

jsdom的安装

 npm i jsdom -g

安装好之后,我们可以来测试我们的结果

把zse-96这个数值解出来之后,剩下的就是爬虫的基本工怎么去获取数据了,这里就不做过多的展示了

项目源码

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/323933.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号