apply_async
将一项任务分配到池中。您将需要apply_async
多次调用 才能使用更多处理器。- 不允许两个进程尝试写入同一列表
results
。由于池工作程序是独立的进程，因此这两个进程将不会写入同一列表。解决此问题的一种方法是使用输出队列。您可以自行设置，也可以使用apply_async
的回调为您设置Queue。apply_async
函数完成后将调用回调。 - 您可以使用
map_async
而不是apply_async
，但是您将获得一个列表列表，然后必须对其进行展平。
因此，也许尝试改用类似的方法：
import osimport multiprocessing as mpresults = []def testFunc(file): result = [] print "Working in Process #%d" % (os.getpid()) # This is just an illustration of some logic. This is not what I'm # actually doing. with open(file, 'r') as f: for line in f: if 'dog' in line: result.append(line) return resultdef collect_results(result): results.extend(result)if __name__ == "__main__": p = mp.Pool(processes=2) files = ['/path/to/file1.txt', '/path/to/file2.txt'] for f in files: p.apply_async(testFunc, args=(f, ), callback=collect_results) p.close() p.join() print(results)
