- ⭕爬虫与第三方库requests简介
- 1. 爬虫流程简介
- 2. 第三方库requests简介
- 一、安装方法
- 二、常用方法
- get()方法
- Response响应对象
- response.text()
- response.encoding
- response.content()
- 其他方法
- 三、说明
发起请求： 通过HTTP库向目标站点发起请求，等待目标站点服务器响应。
获取响应： 若服务器正常响应，会返回一个Response，该Response即为获取得页面内容，Response可以是HTML、JSON字符串、二进制数据等数据类型。
解析内容： 利用正则表达式、网页解析库对HTML进行解析；将json数据转为JSON对象进行解析；保存我们需要得二进制数据（图片、视频）。
保存数据： 可将爬取并解析后的内容保存为文本，或存至数据库等。
其中 Requests库可以实现实现发起请求，获取响应。
2. 第三方库requests简介Python中，系统自带的urllib和urllib2都提供了功能强大的HTTP支持，但是API接口难用。Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。
一、安装方法Requests is an elegant and simple HTTP library for Python, built for human beings.
- 常规安装命令
- pip install requests
- 设置超时参数，增加pip等待时间
- pip --default -timeout=100 install requests
- 指定某个镜像网站作为下载源
- pip install requests -i
官方文档：https://requests.readthedocs.io/en/latest/
二、常用方法| 方法 | 解释 |
|---|---|
| requests. get() | 获取HTML的主要方法 |
| requests. head() | 获取HTML头部信息的主要方法 |
| requests post() | 向HTML网页提交post请求的方法 |
| requests put() | 向HTML网页提交put请求的方法 |
| requests.patch() | 向HTM提交局部修改的请求 |
| requests. delete() | 向HTM提交删除请求 |
requests.get(url ,params ,**kwargs)请求获取指定URL位置的资源，服务器将返回一个Response对象作为对请求的响应。
Response响应对象| 属性 | 描述 |
|---|---|
| response.status_code | 获取HTTP请求返回的响应状态码 |
| response.text | 获取响应内容的字符串(str)形式 |
| response.content | 获取响应内容的二进制(bytes)形式 |
| response.encoding | 设置响应内容的编码方式 |
中文编码出现乱码
用来设置返回的response内容的编码方式，针对以上乱码设置新的编码。
获取响应内容的二进制(bytes)形式，对二进制进行解码。中文字符的常用编码方式utf-8、gbk或者gb2312 等等
本笔记来源慕课视频：https://www.icourse163.org/learn/NHDX-1463126169?tid=1467058488
小白学习，如有错误，欢迎指正。
