栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

熊猫-关于应用功能的解释很慢

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

熊猫-关于应用功能的解释很慢

关于您的第一个问题,我无法确切说明为什么此实例运行缓慢。但通常

apply
不利用向量化的优势。另外,
apply
返回一个新的Series或Dataframe对象,因此对于非常大的Dataframe,您将有相当大的IO开销(由于Pandas具有内部实现优化负载,因此我不能保证100%的情况是这种情况)。

对于第一种方法,我假设您尝试

df
使用
p_dict
作为查询表来填充“值”列。使用速度大约快1000倍
pd.merge

import string, sysimport numpy as npimport pandas as pd### Part 1 - filling a column by a lookup table##def f1(col, p_dict):    return [p_dict[p_dict['ID'] == s]['value'].values[0] for s in col]# Testingn_size = 1000np.random.seed(997)p_dict = pd.Dataframe({'ID': [s for s in string.ascii_uppercase], 'value': np.random.randint(0,n_size, 26)})df = pd.Dataframe({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})# Apply the f1 method  as posted%timeit -n1 -r5 temp = df.apply(f1, args=(p_dict,))>>> 1 loops, best of 5: 832 ms per loop# Using mergenp.random.seed(997)df = pd.Dataframe({'p_id': [string.ascii_uppercase[i] for i in np.random.randint(0,26, n_size)]})%timeit -n1 -r5 temp = pd.merge(df, p_dict, how='inner', left_on='p_id', right_on='ID', copy=False)>>> 1000 loops, best of 5: 826 µs per loop

关于第二项任务,我们可以在其中快速添加一个新列,以

p_dict
计算其中该行的时间窗口从开始到
min_week_num
结束在星期几的平均值
p_dict
。这就要求
p_dict
沿着该
WEEK
列按升序排序。然后,您可以
pd.merge
再次使用。

min_week_num
在下面的示例中,我假设该值为0。但是您可以轻松修改
rolling_growing_mean
以采用其他值。该
rolling_growing_mean
方法将在O(n)中运行,因为它在每次迭代中执行固定数量的操作。

n_size = 1000np.random.seed(997)p_dict = pd.Dataframe({'WEEK': range(52), 'value': np.random.randint(0, 1000, 52)})df = pd.Dataframe({'WEEK': np.random.randint(0, 52, n_size)})def rolling_growing_mean(values):    out = np.empty(len(values))    out[0] = values[0]    # Time window for taking mean grows each step    for i, v in enumerate(values[1:]):        out[i+1] = np.true_divide(out[i]*(i+1) + v, i+2)    return outp_dict['Means'] = rolling_growing_mean(p_dict['value'])df_merged = pd.merge(df, p_dict, how='inner', left_on='WEEK', right_on='WEEK')


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/624034.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号