栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

数据预处理(读取txt文件的数据、去除(含有)NAN所在行/列)

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

数据预处理(读取txt文件的数据、去除(含有)NAN所在行/列)

1、读取txt文件的两种方法 (1) numpy的loadtxt()函数

这个函数要求txt中都是数值,不能有字符,且返回的data的数据类型是numpy.ndarray。
我的txt数据是每行一个数,有n列,所以参数delimiter='n'。

import numpy as np
path = r"C:123456test.txt"

def LoadTxtData(filename):
	data = np.loadtxt(filename, dtype=np.float32, delimiter='n')
    return data

mydata = LoadTxtData(path)
print(type(mydata)) #看一下什么类型,便于后续进行其他处理
print(mydata)
(2) pandas的read_table()函数

这个函数不要求txt中全是数值,返回的data类型是DataFrame。

import pandas as pd
path = r"C:123456test.txt"

def LoadTxtTestData(filename):
    data = pd.read_table(filename,header=None, sep='n')
    return data
    
mydata = LoadTxtTestData(path)
print(type(mydata)) #看一下什么类型,便于后续进行其他处理
print(mydata)
2、删除DataFrame中NAN所在行/列

删除表中全部为NAN的行:

df.dropna(axis=0, how='all')

删除表中含有NAN的行:

df.dropna(axis=0, how='any')

删除表中全部为NAN的列:

df.dropna(axis=1, how='all')

删除表中含有NAN的列:

df.dropna(axis=1, how='any')

参考了:
1、https://wenku.baidu.com/view/a9ce5cf0ae51f01dc281e53a580216fc700a5380.html
2、https://blog.csdn.net/ggj0727/article/details/120605935

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/958740.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号