最简单的方法可能是使用现有代码一次处理所有30个文件-仍然需要花费一整天的时间,但您需要一次处理所有文件。(即,“ 9个月内有9个婴儿”很容易,“
1个月内有1个婴儿”很难)
如果您确实想更快地完成单个文件,则取决于计数器实际更新的方式。如果几乎所有工作都只是在分析价值,则可以使用多处理模块来减轻负担:
import timeimport multiprocessingdef slowfunc(value): time.sleep(0.01) return value**2 + 0.3*value + 1counter_a = counter_b = counter_c = 0def add_to_counter(res): global counter_a, counter_b, counter_c counter_a += res counter_b -= (res - 10)**2 counter_c += (int(res) % 2)pool = multiprocessing.Pool(50)results = []for value in range(100000): r = pool.apply_async(slowfunc, [value]) results.append(r) # don't let the queue grow too long if len(results) == 1000: results[0].wait() while results and results[0].ready(): r = results.pop(0) add_to_counter(r.get())for r in results: r.wait() add_to_counter(r.get())print counter_a, counter_b, counter_c
这将允许50个slowfuncs并行运行,因此无需花费1000s(= 100k * 0.01s),而是需要20s(100k / 50)*
0.01s才能完成。如果您可以像上面那样将函数重组为“ slowfunc”和“ add_to_counter”,则应该可以使速度提高24倍。



