栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何在Hadoop 3.0中执行CopyMerge?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何在Hadoop 3.0中执行CopyMerge?

FileUtil#copyMerge方法已被删除。查看主要更改的详细信息:

https://issues.apache.org/jira/browse/HADOOP-12967

https://issues.apache.org/jira/browse/HADOOP-11392

您可以使用getmerge

用法:hadoop fs -getmerge [-nl]

将源目录和目标文件作为输入,并将src中的文件串联到目标本地文件中。可以选择将-nl设置为启用,以在每个文件的末尾添加换行符(LF)。-skip-
empty-file可以用于在文件为空的情况下避免不需要的换行符。

例子:

hadoop fs -getmerge -nl /src /opt/output.txthadoop fs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt

退出代码:成功返回0,错误返回非零。

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-
common/FileSystemShell.html#getmerge



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/483631.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号