python科研向数据处理篇——批量向Excel写入数据

作者：ruierx

实验数据为电流值，由AD采集模块通过串口发送至上位机保存为txt文本，有多组实验，每组实验保存在一个文本文件中，现需要将所有数据综合至一个Excel表格中做后续分析，单独操作每个文件费时费力，只能再次祭出python大法开挂，哈哈！python牛逼！

数据为16组实验，每组实验重复两次，共32组数据：命名方式如下：

其中文件名含有(processed)的数据为处理过的有效数据，同名其他文件为采集原数据和处理过程数据，数据处理同样使用python，在另一篇文章中我会详述处理过程，此处直接使用有效数据。数据内容如图：

每行一个电流值，每组实验约有数万条数据。
要做的工作就是把这32组实验的电流按列存入同一个excel中，用于后续分析使用。OK，目标明确，开工！

经过简单查找资料，python操作excel的库有很多，但本项目只需要写入功能，有两个库简单易用——xlwt和XlsxWriter，操作方法类似，这里选择XlsxWriter，支持写入 .xlsx 格式文件。

pip install XlsxWriter

import xlsxwriter

workbook = xlsxwriter.Workbook('hello.xlsx') # 建立一个excel文件
worksheet = workbook.add_worksheet() # 向文件中添加一个sheet表格

worksheet.write('A1', 'Hello world') # 向表格中写入内容
workbook.close() # 关闭表格并保存

执行后，自动生成了hello.xlsx文件，打开如图：

相当简单是不是，其余的就是按要求循环写入数据了。

import xlsxwriter
from os import listdir, getcwd

path = getcwd().split('\')[-1]
print("当前文件夹: " + path)

# 建立一个excel文件和工作表
workbook = xlsxwriter.Workbook(f'{path}有效电流数据汇总.xlsx')
current = workbook.add_worksheet('电流数据')
current_statistics = workbook.add_worksheet('统计数据')

# 预设写入格式
num = workbook.add_format({'num_format': '0.000'})
bold = workbook.add_format({'bold': True})

# 读取配置文件，用于统计计算
with open('../进给速度.txt', 'r') as f:
    speed = f.read().strip().split()

col = 0

for i in listdir():

    # 获取有效数据文件列表
    if '(processed).txt' in i:
        print("开始处理: " + i)

        # 读取txt数据并转换成列表储存
        with open(i, 'r') as t:
            data = t.read().strip().split()
        print("数据长度: ", len(data))

        row = 0

        # 简单统计
        current_statistics.write(row, col, i[:-15], bold)
        current_statistics.write(row + 1, col, len(data))
        current_statistics.write(
            row + 2, col, len(data) / 27000 * int(speed[col][-2:]), num)

        current.write(row, col, i[:-15], bold)  # 写表头

        # 向表格中写入全部数据
        for d in data:
            row += 1
            current.write(row, col, d)
        # break

        col += 1

workbook.close()  # 关闭表格并保存

执行结果如下：

完成！后续就可以方便的进行数据处理了，Nice!

XlsxWriter官方文档：使用 Python 和 XlsxWriter 创建 Excel 文件 — XlsxWriter 文档
其他大神的翻译文档：Python中的模块–XlsxWriter - 简书 (jianshu.com)