【总结】爬虫基础（2022.05.09）

• 【总结】爬虫基础（2022.05.09）
• • • 1. 爬虫基础
    • • • • 1.1 爬虫概念
          • 1.2 爬虫学习流程
          • 1.3 相关细节学习
    • 2. requests模块的使用
    • • • • 2.1 简单使用
          • 2.2 爬虫伪装
          • 2.3 API接口数据爬取练习
          • 2.4 图片的读取与下载保存

爬虫：

别名：（网页蜘蛛、蠕虫）

学名：网络数据采集。

概念：根据程序员的自定义规则（想法）在互联网中自动的爬取数据（图片、音频、视频、文字等都叫做数据）。

1.爬虫对谁做操作？
表面：爬虫对网页做操作。
深层次：爬虫对服务器做操作。

2.对网页操作
我们需要有HTML、CSS、JavaScript的知识。需要理解某个页面的结构。
浏览器也没面F12或者邮件检查浏览器设置都可以打开开发人员工具。
网页还分为静态页面和动态页面。

3.使用三方模块：requests向目标网站的服务器发起请求，服务器根据请求返回响应结果response（对象）。
对response响应结果处理完得到的是字符串（HTML页面源代码）。

4.从页面源代码中得到所需内容：
方法一：正则表达式匹配。
方法二：使用一个三方模块Beatifulsoup4对页面源码进行解析，解析完使用CSS选择器拿到所需内容
方法三：使用三方lxml对页面进行源码解析，使用XPath语法拿到所需内容。
方法四：三方模块Selenium访问页面，拿到页面内容，可以同时结合CSS选择器或者XPath语句拿到所需内容。

5.数据持久化
将RAM中的结果存储到磁盘或者数据库中。

6.注意：写爬虫会遇到各种反爬机制，使用指定的反反爬措施破解。
a.将爬虫伪装成浏览器。
b.封禁IP地址的网站一般使用代理IP：站大爷、芝麻代理、极光代理等。
c.文字反爬
d.AJAX异步加载。
等……

7.rpa(机器人流程自动化)：八爪鱼、影刀等。使用拖拉拽（实现了某些功能的模块）的形式实现流程自动化（爬虫等）。

一、静态页面和动态页面的区分。

1.静态页面：
网页一旦生成，里面的内容不会自动发生变化。
页面中包含：HTML（展示也页面内容）、CSS样式（渲染HTML）、JavaScript（渲染HTML）

2.动态页面：
网页生成后，页面内容还会自动发生变化。页面内容和数据库进行联通，数据库数据更新，页面就更新
一般动态页面都会应用AJXA异步加载。

二、HTTP和HTTPS

1.HTTP协议（超文本传输协议），web服务器和客户端之间进行数据传输都是明文形式。

2.网景公司–>谋智–>火狐浏览器。网景公司更具HTTP协议做了改进–>HTTPS.
HTTPS = HTTP + SSL(加密协议)、
SSL(加密协议)–>将web服务器和哭护短的数据进行加密。

三、cookie

1.作用：将用户的账号密码使用某些形式保存在本地。

2.性质：具有时效性。

3.在爬虫中cookie的作用：将本地的请求和远程服务器中保存的账号密码做对比。

四、GET和POST: 两种不同的和服务器对话的方式。

1.GET: requests利用GET请求方式向服务器发送需求（加密机制很简单甚至不加密）

2.POST：向服务器发送内容，例如账号密码（某个网站注册登录账号密码）

# 导入requests模块
# requests:python实现的简单易用的网址请求模块。
import requests

# 1.请求网址
URL = 'http://www.baidu.com/'
## 请求百度服务器+获取百度服务器响应结果
resp = requests.get(url = URL)
print(resp)		# 

# 2.查看状态码：告诉我们现在服务器的状态
# 200:爬虫可用
# 403：爬虫被服务器拒绝了
# 404：资源丢失
# 500：服务器崩溃
print(resp.status_code)		# 200

# 3.查看cookie
print(resp.cookies)		# ]>


# 4.如果页面源码发生了乱码，怎么办？
"""
requests
响应结果使用的编码是方式默认是ISO-8895-1,它不支持中文。
"""
resp.encoding = 'utf-8'

# 5.查看页面的源代码（字符串形式）
print(resp.text)

# 6.查看页面的源代码（二进制形式）需要图片、音频、视频等
# b'xxxxxx' --> 二进制
print(resp.content)

#练习
URL2 = 'https://pvp.qq.com/'
resp2 = requests.get(url = URL2)
print(resp2.status_code)
resp2.encoding = 'gbk'
print(resp2.text)
# print(resp2.content)

import requests

URL = 'https://www.baidu.com/'
# 伪装爬虫
# User-Agent作用：将爬虫伪装成浏览器
Headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}

resp = requests.get(url=URL, headers = Headers)

if resp.status_code == 200:
    resp.encoding = 'utf-8'
    print(resp.text)
    pass
else:
    print(resp.status_code)
    
## 练习
URL1 = 'https://pvp.qq.com/web201605/herolist.shtml'
def requests_url(href):
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 		(KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
    }
    resp = requests.get(url=href, headers=Headers)
    if resp.status_code == 200:
        return resp
    else:
        return resp.status_code

result = requests_url(URL1)
result.encoding = 'gbk'
print(result.text)

import json
import requests
import csv
import os
# api接口中的数据是用json进行传输的
content = input('请输入一个垃圾：')
# API接口请求地址和参数之间使用?链接,参数以key=value的形式传入，参数和参数之间使用&链接

URL = f'http://api.tianapi.com/lajifenlei/index?key=e713453b23dbec5f46b6a27bc112e896&word={content}'

# 大部分API接口是没有反爬机制的。
resp = requests.get(url=URL)
print(type(resp.text))

# 序列化：loads()
python_data = json.loads(resp.text)
print(python_data, type(python_data))

# 获取json数据中有用信息
for i in python_data['newslist']:
    print(i['exlain'])

# 最后进行数据持久化


###### 2.练习：
word = input('请输入关键词：')
URL = f'http://api.tianapi.com/pyqwenan/index?key=e713453b23dbec5f46b6a27bc112e896&word={word}'
# 请求
for i in range(5):
    resp = requests.get(url=URL)
    data = json.loads(resp.text)
    for x in data['newslist']:
        # print(x['content'])
        print(f"正在写入第{i+1}条：{x['content']}")
        # 持久化
        writer = csv.DictWriter(open('./files/test.csv', 'a', encoding='utf-8', newline=''), ['id', 'content'])
        if os.path.getsize('./files/test.csv'):
            writer.writerow({'id': i+1,'content':x['content']})
        else:
            writer.writeheader()
            writer.writerow({'id': i+1,'content':x['content']})

with open('./files/1.jpg', 'rb') as f1:
    result = f1.read()
    # print(result)

# 1.模拟图片下载（图片二进制写入本地文件）
with open('./files/2.jpg', 'wb') as f2:
    f2.write(result)

# 2.如何下载在线图片、音频、视频
import requests
# 百度图片链接
URL = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'
resp = requests.get(url=URL)
# print(resp.content)
with open('./files/baidu.png', 'wb') as f3:
    f3.write(resp.content)
频、视频
import requests
# 百度图片链接
URL = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'
resp = requests.get(url=URL)
# print(resp.content)
with open('./files/baidu.png', 'wb') as f3:
    f3.write(resp.content)