栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

如何使用python爬虫处理有密码的网站?

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何使用python爬虫处理有密码的网站?

信息基本上都是共享的,我们在想获取其他网站的内容的同时,其他的网站也同时想要吸取我们的内容,但是除了主动攻击,也有被动防御,比如,现在不少的网站都是有密码的,一般我们使用简单的代码并不能直接进行爬取,这难道就万无一失,没有办法了吗?然而并不是,我们可以用以下内容代码,解决这些问题。

步骤一:查看要爬取的网站信息

进入登录页面 。你会看到如下图所示的页面。

然后进行查看元素,查看到name、password,最终我们得到以下内容

payload = {
"username": "",
"password": "",
"csrfmiddlewaretoken": ""
}

步骤二、配置网站登录设置

创建一个登录对象。

session_requests = requests.session()

设置一个登录的url

result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)

)

步骤三、爬取信息内容

到了这个步骤,我们已经成功进行登录了,用以下方式进行爬取:

url = '链接'
result = session_requests.get(
url,
headers = dict(referer = url)
)

或者您也可以使用通过检查请求来验证请求结果哦~没有密码的网站,很好进去爬取内容,有网站密码的,也不必担心,按照上述小编给大家安排的登录密码爬取解决内容即可哦~

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/11779.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号