此工作解决方案使用
splitShell中可用的命令。由于作者已经接受了使用非python解决方案的可能性,因此请不要投票。
首先,我创建了一个包含1000M条目(15 GB)的测试文件,
awk 'BEGIN{for (i = 0; i < 1000000000; i++) {print "123.123.123.123"} }' > t.txt然后我用了
split:
split --lines=30000000 --numeric-suffixes --suffix-length=2 t.txt t
花了5分钟才能制作出34个名称为
t00-的小文件
t33。33个文件均为458 MB,最后一个
t33为153 MB。



