您不能将普通
multiprocessing.Lock对象传递给
Pool方法,因为它们不能被腌制。有两种方法可以解决此问题。一种是创建
Manager()并传递一个
Manager.Lock():
def main(): iterable = [1, 2, 3, 4, 5] pool = multiprocessing.Pool() m = multiprocessing.Manager() l = m.Lock() func = partial(target, l) pool.map(func, iterable) pool.close() pool.join()
不过,这有点重量级;使用
Manager需要产生另一个进程来托管
Manager服务器。并且所有对
acquire/
release锁的调用都必须通过IPC发送到该服务器。
另一种选择是
multiprocessing.Lock()使用
initializerkwarg在创建池时传递常规值。这将使您的锁实例在所有子工作者中都是全局的:
def target(iterable_item): for item in items: # Do cool stuff if (... some condition here ...): lock.acquire() # Write to stdout or logfile, etc. lock.release()def init(l): global lock lock = ldef main(): iterable = [1, 2, 3, 4, 5] l = multiprocessing.Lock() pool = multiprocessing.Pool(initializer=init, initargs=(l,)) pool.map(target, iterable) pool.close() pool.join()
第二种解决方案具有不再需要的副作用
partial。



