目录
一、 环境与开发
二、requests的体验
三、获取请求头,添加请求头。
一、 环境与开发
环境:jupyter
模块安装:
!pip install requests
演示安装:
安装成功 :
二、requests的体验
以百度为例:
import requests
r = requests.get('https://www.baidu.com/')
print(r.text)
就能得到一个Response对象
再以豆瓣网为例:
三、获取请求头,添加请求头。
显然,这个是爬取失败,418就是网站的反爬程序返回的。小白的我知道可以加个请求头来模拟正常浏览器,防止被网站反爬。嘿嘿嘿~~
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get("https://www.douban.com/explore", headers=headers)
print(r.text)
这样就能得到了。
emmm,我目前就只能写成这样......打卡继续~~



