《python读取超大csv》
现在工作中遇到的数据动辄千万或上亿的数据，其中图像数据是以 oss 链接的形式放入到 csv 中，csv文件所占磁盘空间一般就会20G起，所以直接读入内存是不现实的，这里记录一种使用 pandas 读取超大 csv 文件的方法。
Key Words：pandas、迭代器、超大csv
Beijing, 2021
作者：mxsurui
Agile Pioneer
- import pandas as pd
# 导入部分数据进行测试，这里导入 1000 行 reader = pd.read_csv(csv_path, nrows=1000)使用 pandas 迭代器
# 指定参数iterator = True返回一个可迭代对象 TextFileReader 每次返回 chunksize 条记录 reader = pd.read_csv(csv_path, iterator=True, chunksize=10000)遍历迭代器，每次处理 chunksize 条记录
for chunk in reader:
# 提取第一列 [0] 的所有行 0:-1
chunk_source_list = chunk.iloc[0:-1, [0]].values.tolist()
# 提取第三列 [2] 的所有行 0:-1
chunk_answer_list = chunk.iloc[0:-1, [2]].values.tolist()
for source, answer_html in zip(chunk_source_list, chunk_answer_list):
# 这里迭代的长度就是 chunksize
pass
参考
https://blog.csdn.net/wifi_wuxian/article/details/105313588
