栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

【Python】爬虫-----异步http请求

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【Python】爬虫-----异步http请求

import asyncio
import  aiohttp

urls = [
    "https://cdn.pixabay.com/photo/2021/11/16/08/13/window-6800397_960_720.jpg",
    "https://cdn.pixabay.com/photo/2021/01/29/11/33/game-5960731_960_720.jpg",
    "https://cdn.pixabay.com/photo/2021/11/13/12/19/cochem-castle-6791148_960_720.jpg"
]


async def aiodownload(url):    #async 异步操作开头都得写
    name = url.rsplit("/",1)[1] #设置文件的名字,resplit()是从后面开始截的
    async with aiohttp.ClientSession() as session: #这里用with的原因是,with会有文件管理层自动帮我们执行close函数
        async with session.get(url) as resp:
            with open(name, mode='wb') as f:
                f.write(await resp.content.read())
    print(name,"t ")

async def main():
    tasks = []
    for url in urls: #把链接写进url
        tasks.append(aiodownload(url)) #把返回的结果写进tasks
    await asyncio.wait(tasks) #把tasks传进异步协程

if __name__ == '__main__':
    asyncio.run(main())

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/587701.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号