我用
multiprocessing.dummy.Pool。我在模块级别创建一个单例线程池，然后用于
pool.apply_async(requests.get,[params])启动任务。
该命令给了我一个未来，我可以将它无限期地与其他未来添加到列表中，直到我想收集全部或部分结果为止。
multiprocessing.dummy.Pool出于所有逻辑和理由，是一个THREAD池而不是一个进程池。
示例（只要安装了请求，就可以在Python 2和3中使用）：
from multiprocessing.dummy import Poolimport requestspool = Pool(10) # Creates a pool with ten threads; more threads = more concurrency. # "pool" is a module attribute; you can be sure there will only # be one of them in your application # as modules are cached after initialization.if __name__ == '__main__': futures = [] for x in range(10): futures.append(pool.apply_async(requests.get, ['http://example.com/'])) # futures is now a list of 10 futures. for future in futures: print(future.get()) # For each future, wait until the request is # finished and then print the response object.
这些请求将同时执行，因此运行所有十个请求所花的时间不应超过最长的一个。该策略将仅使用一个CPU内核，但这不会成为问题，因为几乎所有时间都将花费在等待I /
O上。
