Python爬虫从入门到精通:（18）多任务

上节课我们用协程写了一段代码，一个任务对象的实现。网址：协程

那么多任务该怎么实现呢？

我们先来看下下面这段代码：

import time
import asyncio


async def get_request(url):
    print('正在请求的url：', url)
    time.sleep(2)  
    print('请求结束:', url)
    return 'bono'

urls = [
    'www.1.com',
    'www.2.com',
    'www.3.com'
]

if __name__ == '__main__':
    start = time.time()
    
    tasks = []  # 多任务列表
    # 1. 创建协程对象
    for url in urls:
        c = get_request(url)
        # 2. 创建任务对象
        task = asyncio.ensure_future(c)
        tasks.append(task)

    # 3.创建事件循环对象
    loop = asyncio.get_event_loop()
    
    # loop.run_until_complete(tasks) 错误的
    # 必须使用wait方法对tasks进行封装才可
    loop.run_until_complete(asyncio.wait(tasks))
    print('总耗时:', time.time() - start)

运行后，我们看到，并没有实现异步！

分析：

​ wait方法是干嘛的？

​ 好的异步效果呢？

await关键字

我们先来看下wait方法的作用：

wait方法将任务列表中的任务对象赋予可被挂起的权限。只有任务对象被赋予了可被挂起的权限后，该任务对象才可以被挂起。

挂起: 将当前的任务对象交出cpu的使用权

那么上述代码为什么没有实现异步效果呢？

注意事项【重要】：在特殊函数内部不可以出现不支持异步模块对应的代码（阻塞），否则会中断整个异步效果

await关键字：

在特殊函数内部，凡是阻塞操作前都必须使用await进行修饰。await就可以保证阻塞操作在异步执行的过程中不会被跳过！

代码如下：

import time
import asyncio


async def get_request(url):
    print('正在请求的url：', url)
    await asyncio.sleep(2) #  await修饰
    print('请求结束:', url)
    return 'bono'

urls = [
    'www.1.com',
    'www.2.com',
    'www.3.com'
]

if __name__ == '__main__':
    start = time.time()
    
    tasks = []  # 多任务列表
    # 1. 创建协程对象
    for url in urls:
        c = get_request(url)
        # 2. 创建任务对象
        task = asyncio.ensure_future(c)
        tasks.append(task)

    # 3.创建事件循环对象
    loop = asyncio.get_event_loop()
    
    # loop.run_until_complete(tasks) 错误的
    # 必须使用wait方法对tasks进行封装才可
    loop.run_until_complete(asyncio.wait(tasks))
    print('总耗时:', time.time() - start)

运行结果：

关注**Python涛哥！**学习更多Python知识！