栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

最大化并行请求数(aiohttp)

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

最大化并行请求数(aiohttp)

默认情况下

aiohttp
,同时连接数限制为
100
。它实现了默认设置
limit
TCPConnector

对象所使用
ClientSession
。您可以通过创建自定义连接器并将其传递到会话来绕过它:

connector = aiohttp.TCPConnector(limit=None)async with aiohttp.ClientSession(connector=connector) as session:    # ...

但是请注意,您可能不想将此数字设置得太高:您的网络容量,CPU,RAM和目标服务器有其自身的限制,并尝试进行大量连接会导致故障增加。

最佳数量可能只能通过在混凝土机器上进行实验才能找到。


无关:

您不必无缘无故地创建任务。大多数异步api接受常规协程。例如,您的最后几行代码可以通过以下方式更改:

loop = asyncio.get_event_loop()loop.run_until_complete(run(url_list))

甚至是

asyncio.run(run(url_list))
(doc)如果您使用的是Python 3.7



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/662378.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号