栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python实现批量合并多个文件为一个

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python实现批量合并多个文件为一个

今天做了一个项目,探究一下上世纪60年代到现在各国经济发展状况,需要将世界各国的gdp数据获取下来,然后做个可视化,为了下载方便,文件都是单独保存的,大概就是有多少个国家,就有多少个文件吧,但是为了方便可视化,需要将他们合并在一个文件里,一个个手动合并,岂不是要累死…来看看python是怎么实现的吧!!!

首先我们来看看文件里面都有些啥数据


这是也门的gdp数据


我的文件夹

思路:

我们的数据结构比较简单(也是我为了方便后期合并有意为之)可以用pandas读入数据,然后使用merge函数实现拼接,批量也很好实现,先用一个函数获取目标文件夹下所有文件路径,(我这个文件夹里只有txt文件,如果有其它格式的文件,加个判断语句也可完成),之后再遍历拼接,就行了

环境配置:
pip install pandas
上代码:
import pandas as pd
import glob
# 批量合并多个文件为一个
def get_one():
    '''
    这是一个批量合并文件为一个的函数,只需修改文件路径、目标路径、联结字段、联结方式即可用
    '''
    # 首先读入一个文件作为初始的df
    df3 = pd.read_csv(f'.\各国gdp1\中国.txt')
    # 获取目标文件夹下所有文件路径,赋值给file_names
    file_names = glob.glob(f'.\各国gdp1\*')
    # 遍历每一个文件
    for file in file_names:
        # 读取文件
        df1 = pd.read_csv(file)
        # 合并文件,根据列名’年份‘进行合并,左联结
        df3 = pd.merge(df3,df1,on=['年份'],how='left')
        # 数据去重
        df3.drop_duplicates(['年份'],inplace=True)
    print(df3)
    # 保存为csv格式,不要索引列
    df3.to_csv('合并数据.csv',index=False)
if __name__ == '__main__':
    get_one()
效果图


感谢阅读,下次见

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/920877.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号