栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

【requests】爬虫初级

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【requests】爬虫初级

1.requests,get
用get请求网址,打印txt获取页面源代码
如京东;

import requests
ure=('https://www.jd.com')
a=requests.get(ure)
print(a.text) 

如果被反扒,则会返回为空
2.请求头的添加f12进入开发者模式,选择network刷新一下选其中一个内容下拉找到User-Agent复制其内容
格式如下

import requests
headers={'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0'}
url=('https://www.jd.com')
a=requests.get(url)
print(a.text)

3.获取cookies,先登录一个网站如知乎

import requests
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36',
}
url='http://www.zhihu.com'
r=requests.get(url,headers=headers)
print(r.cookies)

还有一种方法和请求头的一样找在network找一项名为cookie的复制

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/932243.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号