栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python将MySQL数据表格导入后对列表数据使用DataFrame方法经行数据清洗

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python将MySQL数据表格导入后对列表数据使用DataFrame方法经行数据清洗

   在上一次我们将mysql数据库数据经行了数据的导入以及封装,但是通常情况下数据直接导入使用容易出现各种各样的问题,所以这一次我们来讲一讲数据清洗的一种方法。 

#本程序用于在导入MySQL数据库数据时,有数据出现空值或是无意义字符串时经行清洗
"如下"
lists=[[None,1,2,3,4,5,6,8,5,2,10,9],[None,1,2,3,a,0,4,a,1,2,a,5]]#这是将MySQL数据导入是常会出现的情况,开头会出现None
"清洗对应的无意义数据"
#Dataframe处理方法
del (lists[0][0])#先去除此维度中的None
del(lists[1][0])#--
df = pd.Dataframe({'lists1':lists[0],'lists2':lists[1]})#将两组数据做成dataframe表格形式
df=df.astype(str)#将表中所有数据转化为str类型
y=df[df['lists2'].str.contains('a')]#对所有出现"a"的数据经行清洗
test1=list(y.lists2)
test2=list(df.lists2)
ret=np.array(set(test2))^set(test1)
result=df[df.lists2.isin(ret)]
lists_2=list(result.lists2)#将lists2存为lists_2列表
lists_1=list(result.lists1)#同理--
print("=完成对无意义数据的清洗=")

 

数据处理前

lists1   lists2

1         1

2          2

3          3

4          a

5          0

.           .

.           .

.           .

处理后

lists1   lists2

1         1

2          2

3          3

5          0

.           .

.           .

.           .

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/675375.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号