1.requests,get
用get请求网址,打印txt获取页面源代码
如京东;
import requests
ure=('https://www.jd.com')
a=requests.get(ure)
print(a.text)
如果被反扒,则会返回为空
2.请求头的添加f12进入开发者模式,选择network刷新一下选其中一个内容下拉找到User-Agent复制其内容
格式如下
import requests
headers={'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0'}
url=('https://www.jd.com')
a=requests.get(url)
print(a.text)
3.获取cookies,先登录一个网站如知乎
import requests
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36',
}
url='http://www.zhihu.com'
r=requests.get(url,headers=headers)
print(r.cookies)
还有一种方法和请求头的一样找在network找一项名为cookie的复制



