python多线程加速for循环_python多进程加快for循环?

1. 工作场景2. 需求分析3. 解决方案4. 结语

    算法工程师工作中一个不可避免的事项是对数据集中的每一张图片执行某一特定操作。此次的需求就是通过python多进程的方式来加速这一工作项。

    为了更加有针对性，设计一个具体的case：有1万张图片和其对应的label文件，label文件中有一个字段’angle’表示该图片是经过旋转angle之后的结果。对该1万张图片，按照label文件中的angle复原回旋转之前的结果；收集无需进行旋转的图片名称列表；结合tqdm显示处理进度。

python多进程基本范式python带有返回值的多进程基本范式tqdm和python多进程的结合

def fun(params):
	(pic_dir, json_dir, image_name) = params
	# 根据json文件中的angle旋转picture
	...
	# return None or pic name
	
param_list = [(pic_dir, json_dir, image_name) for image_name in images_name_list]
with Pool(16) as p:
	r = list(tqdm.tqdm(p.imap(fun, param_list), total=len(param_list), desc='多进程旋转图片：'))
p.close()
p.join()
r = list(set(r))
r.remove(None)  # 删除无效返回值

    本文介绍了如何利用python多进程来加速处理for循环操作的方式，该方案可以处理多进程带有返回值的情景，并结合tqdm模块动态显示进程的处理进度。