栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

报表中pandas缺失值的处理与保留

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

报表中pandas缺失值的处理与保留

在做一些如金融分析报表的时候,一般既不可以像平常机器学习那样直接dropna将缺失值一删了之,也不能插值。
这时候缺失值的处理就可能比较麻烦。

一、先抛砖引玉说几个pandas1.0之前的常见问题(pandas1.0之后保留了这些,但使用新类型可以避免):

1、pandas会将数值型缺失值读取为NAN(not a number),日期型缺失值读取为NAT(not a time)。如对于是NAN的变量a可使用pandas的方法pd.isna(a)和类型if a is pd.NaT识别,

注意:能用pandas的内置就用pandas的内置。这种缺失值不要用numpy的方法判断如np.isnan(a),np.isnat(a),if a is np.nan,可能会出错。

2、==一般用于判断值是否相等,如判断np.inf,而在判断类型时候非常麻烦,甚至np.nan==np.nan都会返回False。在缺失值判断上用is或用内置方法是更明智的选择,用is如np.nan is np.nan会返回True。

3、pandas中的每一列都是相同类型,所以pandas读入NAN后,可能就模糊了对象原来的类型,这一点在pandas1.0之前需要注意,会造成麻烦:
(1)若那列本应是数值型的:会导致那一列全部变成np.float64,所以有时候年份2021都会在dataframe中显示成2007.0。看着不爽想转为int就会报错:

ValueError: cannot convert float NaN to integer 

但实际上输出到文件的时候不会显示2007后面的小数0;
merge匹配合并表时候,即使年份作为主键也不会比较主键的类型,而是只比较值,所以一个int和一个float是可以放心匹配;

(2)若那列本应是字符型的:会导致那一列全部变成大的对象类型object。

4、缺失值使用方式如下:

if a is pd.NaT:		# 注意不是==pd.NaT
	如果是个日期缺失值,怎么怎么样
if pd.isna(a):
	如果是个数值缺失值,怎么怎么样
if pd.notna(a):
	如果不是数值缺失值,怎么怎么样

部分参考:
《python2与python3中关于对NaN类型数据的判断和转换》

二、正当我准备写下去时候,发现了一篇特好的文章

所以我才说前面作为我的一点感受,只是抛砖引玉。重点是看下面这篇文章,尤其是pandas1.0之后的新特性。链接的文章注意排版有个小问题

s_time = pd.Series([pd.Timestamp('20120101')]*5)s_time

实际上是

s_time = pd.Series([pd.Timestamp('20120101')]*5)
s_time

《收藏|Pandas缺失值处理看这一篇就够了!》

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/726165.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号