注意/ 及其子类的直接使用与/ 的/
factory方法之间的区别。在前一种情况下,如果未指定任何显式字符集,则使用系统的默认编码,而后者始终默认为。因此,我强烈建议您始终指定所需的字符集,即使它是或要记录您的意图,也可以避免在创建或的各种方法之间切换时感到意外。
InputStreamReader
OutputStreamWriter
Reader``Writer
Files
UTF-8``Charset.defaultCharset()``StandardCharsets.UTF_8``Reader``Writer
如果要在行边界处分割,则无法解决文件内容的问题。因此,您无法像合并时那样优化它。
如果您愿意牺牲可移植性,则可以尝试一些优化。如果您知道字符集编码将明确映射
'n'到
(byte)'n'大多数单字节编码的情况,并且
UTF-8您可以扫描字节级别的换行符以获取拆分的文件位置,并避免从应用程序中进行任何数据传输到I
/ O系统。
public void splitTextFiles(Path bigFile, int maxRows) throws IOException { MappedByteBuffer bb; try(FileChannel in = FileChannel.open(bigFile, READ)) { bb=in.map(FileChannel.MapMode.READ_ONLY, 0, in.size()); } for(int start=0, pos=0, end=bb.remaining(), i=1, lineNum=1; pos<end; lineNum++) { while(pos<end && bb.get(pos++)!='n'); if(lineNum < maxRows && pos<end) continue; Path splitFile = Paths.get(i++ + "split.txt"); // if you want to overwrite existing files use CREATE, TRUNCATE_EXISTING try(FileChannel out = FileChannel.open(splitFile, CREATE_NEW, WRITE)) { bb.position(start).limit(pos); while(bb.hasRemaining()) out.write(bb); bb.clear(); start=pos; lineNum = 0; } }}缺点是它不适用于
UTF-16or或
EBCDICand之类的编码,
BufferedReader.readLine()与之不同的是,它不支持
'r'旧MacOS9中使用的行终止符。
此外,它仅支持小于2GB的文件。由于虚拟地址空间有限,该限制在32Bit
JVM上甚至可能更小。对于大于限制的文件,有必要遍历源文件的各个块,
map然后逐个进行迭代。
这些问题可以解决,但会增加此方法的复杂性。考虑到速度在我的机器上仅提高了约15%(我并没有期望更多,因为I /
O在这里占主导地位),并且在复杂性提高时甚至会更小,我认为这是不值得的。
最重要的是,对于此任务,
Reader/
Writer方法已足够,但您应注意
Charset该操作所使用的方法。



