Requests是基于urllib，使用Apache2 Licensed许可证开发的HTTP库。其在python内置模块的基础上进行了高度封装，使得Requests能够轻松完成浏览器相关的任何操作。
Requests能够模拟浏览器的请求，一个模拟请求由以下四个部分组成
-
url
-
method
-
body
-
headers
安装requests更多requests库的使用及方法： https://zhuanlan.zhihu.com/p/393533467
pip install requests模拟请求百度
import requests
def request_baidu():
url = "https://www.baidu.com/"
# body = ""
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/
537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
}
response = requests.get(url=url, headers=headers)
print(response.text)
多线程和多进程 什么是进程和线程
进程：可以简单地认为是一个程序，进程是操作系统分配资源的最小单位。
线程：一个进程可以有多个线程，每个线程可以独立完成一些任务。线程是操作系统进行运算调度的最小单位。
使用多线程from threading import Thread
for i in range(10):
# 只是创建了线程对象
t = Thread(target=request_baidu)
# 启动线程
t.start()
等待任务完成后我们需要回到主进程，通过调用Thread对象的join方法
# 保存当前thread对象
thread_array = []
for i in range(10):
t = Thread(target=request_baidu, args=(i, ))
thread_array.append(t)
t.start()
# 调用thread对象join接口, 等待任务完成后回到主进程
for t in thread_array:
t.join()
print("done!")
如何拿到返回结果
赋值到全局变量当中, 添加到可变对象之中
result = []
def request_baidu(index):
...
result.append(response)
if __name__ == "__main__":
thread_array = []
for i in range(10):
t = Thread(target=request_baidu, args=(i, ))
thread_array.append(t)
t.start()
for t in thread_array:
t.join()
print("done!")
print(result)
使用多进程
from multiprocessing import Process
for i in range(10):
# 只是创建了进程对象
p = Process(target=request_baidu)
# 启动进程
p.start()
等待任务完成后我们需要回到主进程，通过调用Process 对象的join方法，方法与线程一致
如何拿到返回结果多进程无法通过全局变量存储返回结果。
多进程相当于启动了多个程序, 共同执行了同一份代码, 他们之间的内存地址完全不一样。
import requests
import time
from threading import Thread
from multiprocessing import Process
result = []
print(f"主进程result内存地址: {id(result)}")
def request_baidu(index):
time.sleep(2)
url = "https://www.baidu.com/"
# body = ""
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
}
response = requests.get(url=url, headers=headers)
print(f"当前请求序号: {index}, 返回结果状态码: {response.status_code}")
print(f"子进程result内存地址: {id(result)}")
result.append(response)
# 如果没有判断入口代码段if __name__ == "__main__", 多进程程序会报错
# 原因是windows和pycharm的进程阻塞带来的问题
if __name__ == "__main__":
process_array = []
for i in range(10):
p = Process(target=request_baidu, args=(i, ))
process_array.append(p)
p.start()
for p in process_array:
p.join()
print("done!")
print(result)
多进程和多线程的异同点
相同点
-
都是对cpu工作时间段的描述, 只是颗粒度不同.
简单地说就是多进程和多线程都会调用cpu资源的, 但是进程可以启动多个线程去执行.
-
在linux内核态不区分进程和线程
-
进程有自己的独立地址空间, 建立数据表来维护代码段, 堆栈段和数据段, 而线程共享进程中的资源, 使用相同的地址空间, 所以线程间的切换快得多.
-
因为线程共享进程的全局变量, 静态变量等对象, 线程间的通信更为方便, 而进程间的通信更加复杂, 需要以ipc的方式进行.
-
多进程要比多线程要健壮. 进程之间一般不会相互影响, 而多线程有一条线程崩溃, 会导致整个进程跟着发生崩溃或者无法正常退出等.
全局解释器锁(GIL) 什么是GIL锁
GIL锁又称全局解释器锁。作用就是限制多线程同时执行，保证同一时间内只有一个线程在执行。线程非独立的，所以同一进程里线程是数据共享，当各个线程访问数据资源时会出现“竞争”状态，即数据可能会同时被多个线程占用，造成数据混乱，这就是线程的不安全。所以引进了互斥锁，确保某段关键代码、共享数据只能由一个线程从头到尾完整地执行。
GIL并不是Python的特性，Python完全可以不依赖于GIL。
在Python语言中多线程其实是假的多线程，它只会在一个CPU上运行。因为在Python上开启多个线程，由于GIL的存在，每个单独线程都会在竞争到GIL后才运行，这样就干预OS内部的进程（线程）调度，结果在多核CPU上：Python的多线程实际是串行执行的，并不会同一时间多个线程分布在多个CPU上运行。
为什么会有GILPython为了利用多核CPU，开始支持多线程。而解决多线程之间数据完整性和状态同步的最简单方法自然就是加锁，于是有了GIL这把超级大锁。因为有了GIL，所以Python可以实现多进程，但是这是一个假的多进程，虽然它会利用多个CPU共同协作，但实则是利用一个CPU的资源。
但是这种GIL导致python的多进程并不是真正的多进程，所以它的效率很低。但当我们试图去拆分和去除GIL的时候，发现大量库代码开发者已经重度依赖GIL而非常难以去除了。如果推倒重来，多线程的问题依然还是要面对，但是至少会比目前GIL这种方式会更优雅。所以简单的说：GIL的存在更多的是历史原因。
什么是计算密集型更多GIL锁相关知识：https://blog.csdn.net/qq_50840738/article/details/123861602
主要占用cpu资源
什么是IO密集型IO就是input output，需要等待的一些任务
-
网络请求会有网络延迟
-
和数据库交互需要等待数据库查询事件
-
读写硬盘
由于全局解释器锁的存在， 一个进程下，只允许一个线程执行Python程序的字节码（当前代码文件的二进制表示）。
简单地说，创建的10个线程其实在争夺一个cpu资源。但是遇到io操作会让渡cpu资源。
如何绕过GIL?-
将多线程方法改为多进程
-
将计算密集型任务转移给C扩展.
-
分布式计算引擎spark, Apache
-
使用PyPy解释器，工业上几乎没人这么用, 因为PyPy并不成熟.
Everything is going smoothly.
