为什么在浏览器中就可以对个人主页的url发起get请求拿到数据 而使用request模块中就不可以
因此只需携带cookie就可以
1. 手动cookie处理通过抓包工具获取cookie值 将该值封装到headers中。 不建议使用
不建议 有的网站cookie值可能是存在有效时常的 过了该时间段 cookie可能无法使用 有的网站也是动态变换的
2. 自动处理cookie值的来源是哪里
模拟登录post请求后 由服务器端创建
作用
可以进行请求发送如果请求过程中产生了cookie 则该cookie会被自动存储/携带在该session对象中 步骤⭐⭐ 创建一个session对象 session requests.Session()使用session对象进行模拟登录post请求的发送 cookie就会被自动存储在session中 session对象对个人主页对应的get请求进行发送 携带了cookie# 创建一个session对象 session requests.Session() # 对验证码图片进行捕获和识别 # 使用超级鹰云平台进行图片识别 # 使用session进行post请求发送 response session.post(url login_url,headers headers, data data) # 使用携带cookie的session进行get请求的发送 detail_page_text session.get(url detail_url,headers headers).text with open( bobo.html , w ,encoding utf-8 ) as fp: fp.write(detail_page_text)结果展示
二、代理讲解
在requests模块中如何使用代理IP的操作
