今天做了一个项目,探究一下上世纪60年代到现在各国经济发展状况,需要将世界各国的gdp数据获取下来,然后做个可视化,为了下载方便,文件都是单独保存的,大概就是有多少个国家,就有多少个文件吧,但是为了方便可视化,需要将他们合并在一个文件里,一个个手动合并,岂不是要累死…来看看python是怎么实现的吧!!!
首先我们来看看文件里面都有些啥数据
这是也门的gdp数据
我的文件夹
我们的数据结构比较简单(也是我为了方便后期合并有意为之)可以用pandas读入数据,然后使用merge函数实现拼接,批量也很好实现,先用一个函数获取目标文件夹下所有文件路径,(我这个文件夹里只有txt文件,如果有其它格式的文件,加个判断语句也可完成),之后再遍历拼接,就行了
环境配置:pip install pandas上代码:
import pandas as pd
import glob
# 批量合并多个文件为一个
def get_one():
'''
这是一个批量合并文件为一个的函数,只需修改文件路径、目标路径、联结字段、联结方式即可用
'''
# 首先读入一个文件作为初始的df
df3 = pd.read_csv(f'.\各国gdp1\中国.txt')
# 获取目标文件夹下所有文件路径,赋值给file_names
file_names = glob.glob(f'.\各国gdp1\*')
# 遍历每一个文件
for file in file_names:
# 读取文件
df1 = pd.read_csv(file)
# 合并文件,根据列名’年份‘进行合并,左联结
df3 = pd.merge(df3,df1,on=['年份'],how='left')
# 数据去重
df3.drop_duplicates(['年份'],inplace=True)
print(df3)
# 保存为csv格式,不要索引列
df3.to_csv('合并数据.csv',index=False)
if __name__ == '__main__':
get_one()
效果图
感谢阅读,下次见



