栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python multiprocessing 多进程

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python multiprocessing 多进程

1. Pool()实例化必须在 main函数中

        原因:保护进程和子进程不会陷入pickle死循环

        参考:python - multiprocessing pool example does not work and freeze the kernel - Stack Overflowhttps://stackoverflow.com/questions/52693216/multiprocessing-pool-example-does-not-work-and-freeze-the-kernel/52693952#52693952        示例:

from multiprocessing import Pool, Manager


if __name__ == '__main__':
    po = Pool(10)

2. 丢进pool执行的函数,必须在此前定义好,并且需要在最外层定义。

        原因:1.pool在实例化时就将函数进行pickle(序列化),因此必须在pool实例化之前,完成

                      函数的定义

                   2. pickle的原理是,将函数名序列化,然后传给进程,进程中根据函数名进行

                        import。因此函数必须写在最外层,才能正常import。

        参考:parallel processing - Python multiprocessing.Pool: AttributeError - Stack Overflowhttps://stackoverflow.com/questions/52265120/python-multiprocessing-pool-attributeerror

      正确实例(函数在pool实例化之前定义好):

from multiprocessing import Pool, Manager


class Test:
    def pop_com_list(self, com_list):
        l0 = com_list.pop(0)
        print(l0)


if __name__ == '__main__':

    test = Test()
    common_list = Manager().list([])
    po = Pool(10)

    for i in range(10):
        common_list.append(i)

    for i in range(len(common_list)):
        po.apply_async(test.pop_com_list, (common_list,))

    po.close()
    po.join()

        

        错误实例(函数定义在main中而非最外层):

from multiprocessing import Pool, Manager


if __name__ == '__main__':
    
    class Test:
        def pop_com_list(self, com_list):
            l0 = com_list.pop(0)
            print(l0)


    test = Test()
    common_list = Manager().list([])
    po = Pool(10)
    for i in range(10):
        common_list.append(i)

    for i in range(len(common_list)):
        po.apply_async(test.pop_com_list, (common_list,))

    po.close()
    po.join()

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/580853.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号