关于您的第一个问题,我无法确切说明为什么此实例运行缓慢。但通常
apply不利用向量化的优势。另外,
apply返回一个新的Series或Dataframe对象,因此对于非常大的Dataframe,您将有相当大的IO开销(由于Pandas具有内部实现优化负载,因此我不能保证100%的情况是这种情况)。
对于第一种方法,我假设您尝试
df使用
p_dict作为查询表来填充“值”列。使用速度大约快1000倍
pd.merge:
import string, sysimport numpy as npimport pandas as pd### Part 1 - filling a column by a lookup table##def f1(col, p_dict): return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]# Testingn_size = 1000np.random.seed(997)p_dict = pd.Dataframe({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})df = pd.Dataframe({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})# Apply the f1 method as posted%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))>>> 1 loops, best of 5: 832 ms per loop# Using mergenp.random.seed(997)df = pd.Dataframe({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)>>> 1000 loops, best of 5: 826 µs per loop关于第二项任务,我们可以在其中快速添加一个新列,以
p_dict计算其中该行的时间窗口从开始到
min_week_num结束在星期几的平均值
p_dict。这就要求
p_dict沿着该
WEEK列按升序排序。然后,您可以
pd.merge再次使用。
min_week_num在下面的示例中,我假设该值为0。但是您可以轻松修改
rolling_growing_mean以采用其他值。该
rolling_growing_mean方法将在O(n)中运行,因为它在每次迭代中执行固定数量的操作。
n_size = 1000np.random.seed(997)p_dict = pd.Dataframe({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})df = pd.Dataframe({'WEEK': np.random.randint(0, 52, n_size)})def rolling_growing_mean(values): out = np.empty(len(values)) out[0] = values[0] # Time window for taking mean grows each step for i, v in enumerate(values[1:]): out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2) return outp_dict['Means'] = rolling_growing_mean(p_dict['value'])df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')


