栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

用滚动平均值或其他插值替换NaN或缺失值

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

用滚动平均值或其他插值替换NaN或缺失值

有几种方法可以解决此问题,最好的方法取决于一月份的数据是否与其他月份系统地不同。大多数现实世界的数据可能都是季节性的,因此让我们以北半球一个随机城市的平均高温(华氏度)为例。

df=pd.Dataframe({ 'month' : [10,11,12,1,2,3],       'temp'  : [65,50,45,np.nan,40,43] }).set_index('month')

您可以按照建议使用滚动平均值,但是问题是您将获得全年的平均温度,而忽略了1月是最冷的月份这一事实。要对此进行更正,可以将窗口减小到3,这导致一月温度是12月和2月温度的平均值。(我也

min_periods=1
按照@
user394430的答案中的建议使用。)

df['rollmean12'] = df['temp'].rolling(12,center=True,min_periods=1).mean()df['rollmean3']  = df['temp'].rolling( 3,center=True,min_periods=1).mean()

这些是改进,但是仍然存在用滚动方式覆盖现有值的问题。为了避免这种情况,您可以将其与

update()
方法结合使用(请参见此处的文档)。

df['update'] = df['rollmean3']df['update'].update( df['temp'] )  # note: this is an inplace operation

甚至有更简单的方法可以保留现有值,而用上个月,下个月或上个月和下个月的平均值填充丢失的一月份温度。

df['ffill']   = df['temp'].ffill()         # previous month df['bfill']   = df['temp'].bfill()         # next monthdf['interp']  = df['temp'].interpolate()   # mean of prev/next

在这种情况下,

interpolate()
默认为简单线性解释,但是您还可以使用其他几种插值选项。有关更多信息,请参见有关熊猫插值的文档。或这个statck溢出问题:
在熊猫的Dataframe上插值

这是带有所有结果的样本数据:

       temp  rollmean12  rollmean3  update  ffill  bfill  interpmonth    10     65.0        48.6  57.500000    65.0   65.0   65.0    65.011     50.0        48.6  53.333333    50.0   50.0   50.0    50.012     45.0        48.6  47.500000    45.0   45.0   45.0    45.01       NaN        48.6  42.500000    42.5   45.0   40.0    42.52      40.0        48.6  41.500000    40.0   40.0   40.0    40.03      43.0        48.6  41.500000    43.0   43.0   43.0    43.0

特别要注意的是,“ update”和“ interp”在所有月份中给出的结果相同。尽管在此使用哪种都无关紧要,但在其他情况下,一种或另一种可能会更好。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/639469.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号