栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

使用零拷贝对文件高效的切片和合并

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用零拷贝对文件高效的切片和合并

对文件的切片/合并在应用中是一个很常见的需求,使用 FileChannel的 transferTo / transferFrom 的零拷贝方法(需要操作系统支持),可以高效的完成。

切片

public static void chunkFile(Path file, long chunkSize) throws IOException {
	if (Files.notExists(file) || Files.isDirectory(file)) {
		throw new IllegalArgumentException("文件不存在:" + file);
	}
	if (chunkSize < 1) {
		throw new IllegalArgumentException("分片大小不能小于1个字节:" + chunkSize);
	}
	// 原始文件大小
	final long fileSize = Files.size(file);
	// 分片数量
	final long numberOfChunk = fileSize % chunkSize == 0 ? fileSize / chunkSize : (fileSize / chunkSize) + 1;
	// 原始文件名称
	final String fileName = file.getFileName().toString();
	// 读取原始文件
	try(FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.READ))){
		for (int i = 0; i < numberOfChunk; i++) {
			long start = i * chunkSize;
			long end = start + chunkSize;
			if (end > fileSize) {
				end = fileSize;
			}
			// 分片文件名称
			Path chunkFile = Paths.get(fileName + "-" + (i + 1));
			try (FileChannel chunkFileChannel = FileChannel.open(file.resolveSibling(chunkFile), 
									EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
				// 返回写入的数据长度
				fileChannel.transferTo(start, end - start, chunkFileChannel);
			}
		}
	}
}
组合

public static void mergeFile (Path file, Path ... chunkFiles) throws IOException {
	if (chunkFiles == null || chunkFiles.length == 0) {
		throw new IllegalArgumentException("分片文件不能为空");
	}
	try (FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
		for (Path chunkFile : chunkFiles) {
			try(FileChannel chunkChannel = FileChannel.open(chunkFile, EnumSet.of(StandardOpenOption.READ))){
				chunkChannel.transferTo(0, chunkChannel.size(), fileChannel);
			}
		}
	}
}
最后 零拷贝

https://zh.wikipedia.org/zh-hans/零复制

转载请注明:文章转载自 www.mshxw.com
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号