栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

适用于并行进程的Python多处理

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

适用于并行进程的Python多处理

您是正确的,它们在您的示例中按顺序执行。

p.join()
导致当前线程阻塞,直到完成执行。您可能想在for循环之外单独加入您的进程(例如,通过将它们存储在列表中,然后对其进行迭代),或使用类似
numpy.Pool
apply_async
的回调函数。这样一来,您也可以直接将其添加到结果中,而无需保留对象。

例如:

def f(i):      return i*np.identity(4)if __name__ == '__main__':    p=Pool(5)    result = np.zeros((4,4))    def adder(value):        global result        result += value    for i in range(30):        p.apply_async(f, args=(i,), callback=adder)    p.close()    p.join()    print result

最后关闭并再加入池可确保池的进程已完成,并且

result
对象的计算已完成。您也可以调查将其
Pool.imap
用作解决问题的方法。该特定解决方案如下所示:

if __name__ == '__main__':    p=Pool(5)    result = np.zeros((4,4))    im = p.imap_unordered(f, range(30), chunksize=5)    for x in im:        result += x    print result

这对于您的特定情况比较干净,但对于最终尝试执行的操作可能不是这样。

至于存储所有变化的结果,如果我理解您的问题,您可以将其添加到回调方法(如上)中或使用

imap
/
imap_unordered
(同时存储结果,但每次一次)添加到结果中您会在构建时清除它)。这样一来,存储时间就不会超过添加到结果中所需的时间。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/641171.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号