由于数量很大,所以一般的遍历方法耗时严重,
所以我推荐使用迭代器来做:
with open(res.FILE_PATH[tsv_name], encoding="gb18030", errors="ignore") as f:
count = sum(1 for _ in f)
可以看到迭代4503241行数据的耗时

由于数量很大,所以一般的遍历方法耗时严重,
所以我推荐使用迭代器来做:
with open(res.FILE_PATH[tsv_name], encoding="gb18030", errors="ignore") as f:
count = sum(1 for _ in f)
可以看到迭代4503241行数据的耗时