def test(args, tokenizer, ids):
…
return test_samples
ids = df[“id”].unique()
ids_splits = np.array_split(ids, 4)#不均等分割,分成4份
from joblib import Parallel, delayed
#参数n_jobs来设置开启进程数。
results = Parallel(n_jobs=4, backend=“multiprocessing”)(
#函数delayed是一个创建元组(function, args, kwargs)的简单技巧。
delayed(test)(args, tokenizer, idx) for idx in ids_splits
)
class joblib.parallel(n_jobs=None, backend=None, verbose=0, timeout=None, pre_dispatch=‘2 * n_jobs’,
batch_size=‘auto’,temp_folder=None, max_nbytes=‘1M’, mmap_mode=‘r’, prefer=None, require=None)
Parallel参数众多，但常用的基本只有n_jobs和backend参数。
当backend="multiprocessing"时指python工作进程的数量，或者backend="threading"时指线程池大小。当n_jobs=-1时，使用所有的CPU执行并行计算。当n_jobs=1时，就不会使用并行代码，即等同于顺序执行，可以在debug情况下使用。另外，当n_jobs<-1时，将会使用(n_cpus + 1 + n_jobs)个CPU，例如n_jobs=-2时，将会使用n_cpus-1个CPU核，其中n_cpus为CPU核的数量。当n_jobs=None的情况等同于n_jobs=1
4.3 backend: str, default: ‘loky’ —— 指定并行化后端的实现方法backend=‘loky’: 在与Python进程交换输入和输出数据时，可导致一些通信和内存开销。
backend=‘multiprocessing’: 基于multiprocessing.Pool的后端，鲁棒性不如loky。
backend=‘threading’: threading是一个开销非常低的backend。但是如果被调用的函数大量依赖于Python对象，它就会受到Python全局解释器(GIL)锁的影响。当执行瓶颈是显式释放GIL的已编译扩展时，“threading”非常有用(例如，封装在“with nogil”块中的Cython循环，或者对库(如NumPy)的大量调用)。
