栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Hadoop上的HDFS位置是什么?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop上的HDFS位置是什么?

这是在

dfs.datanode.data.dir
属性中设置的,该属性默认为
file://${hadoop.tmp.dir}/dfs/data
(在此处查看详细信息)。

但是,对于您而言,问题是您没有 HDFS中使用完整路径。相反,请执行以下操作:

hadoop fs -ls /usr/local/myhadoop-tmp/

请注意,您似乎还将HDFS中的路径与本地文件系统中的路径混淆了。在HDFS中,您的文件位于

/usr/local/myhadoop-tmp/
。在您的本地系统中(并根据您的配置设置),它位于
/usr/local/myhadoop-tmp/dfs/data/
;
下。在那里,有一个由HDFS定义的目录结构和命名约定,与您决定使用的HDFS中的任何路径无关。而且,它不会具有相同的名称,因为它分为多个块,并且每个块都分配有唯一的ID;一个街区的名字就像
blk_1073741826

得出的结论是:datanode使用的本地路径与您在HDFS中使用的路径不同。您可以进入本地目录以查找文件,但是不应该这样做,因为这样可能会使HDFS元数据管理混乱。只需使用hadoop命令行工具,即可使用您希望使用的任何逻辑路径(在HDFS中)复制/移动/读取HDFS中的文件。HDFS中的这些路径不必与您用于本地数据节点存储的路径绑定在一起(没有理由或这样做的好处)。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/464295.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号