栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

按最大行分割非常大的文本文件

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

按最大行分割非常大的文本文件

注意/ 及其子类的直接使用与/ 的/
factory方法之间的区别。在前一种情况下,如果未指定任何显式字符集,则使用系统的默认编码,而后者始终默认为。因此,我强烈建议您始终指定所需的字符集,即使它是或要记录您的意图,也可以避免在创建或的各种方法之间切换时感到意外。

InputStreamReader

OutputStreamWriter
Reader``Writer

Files
UTF-8``Charset.defaultCharset()``StandardCharsets.UTF_8``Reader``Writer


如果要在行边界处分割,则无法解决文件内容的问题。因此,您无法像合并时那样优化它。

如果您愿意牺牲可移植性,则可以尝试一些优化。如果您知道字符集编码将明确映射

'n'
(byte)'n'
大多数单字节编码的情况,并且
UTF-8
您可以扫描字节级别的换行符以获取拆分的文件位置,并避免从应用程序中进行任何数据传输到I
/ O系统。

public void splitTextFiles(Path bigFile, int maxRows) throws IOException {    MappedByteBuffer bb;    try(FileChannel in = FileChannel.open(bigFile, READ)) {        bb=in.map(FileChannel.MapMode.READ_ONLY, 0, in.size());    }    for(int start=0, pos=0, end=bb.remaining(), i=1, lineNum=1; pos<end; lineNum++) {        while(pos<end && bb.get(pos++)!='n');        if(lineNum < maxRows && pos<end) continue;        Path splitFile = Paths.get(i++ + "split.txt");        // if you want to overwrite existing files use CREATE, TRUNCATE_EXISTING        try(FileChannel out = FileChannel.open(splitFile, CREATE_NEW, WRITE)) { bb.position(start).limit(pos); while(bb.hasRemaining()) out.write(bb); bb.clear(); start=pos; lineNum = 0;        }    }}

缺点是它不适用于

UTF-16
or或
EBCDIC
and之类的编码,
BufferedReader.readLine()
与之不同的是,它不支持
'r'
旧MacOS9中使用的行终止符。

此外,它仅支持小于2GB的文件。由于虚拟地址空间有限,该限制在32Bit
JVM上甚至可能更小。对于大于限制的文件,有必要遍历源文件的各个块,

map
然后逐个进行迭代。

这些问题可以解决,但会增加此方法的复杂性。考虑到速度在我的机器上仅提高了约15%(我并没有期望更多,因为I /
O在这里占主导地位),并且在复杂性提高时甚至会更小,我认为这是不值得的。


最重要的是,对于此任务,

Reader
/
Writer
方法已足够,但您应注意
Charset
该操作所使用的方法。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/509291.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号