栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS的常用操作及其相关问题

HDFS的常用操作及其相关问题

在Hadoop的安装目录下,查看hdfs下的文件的命令:

./bin/hdfs dfs -ls /

创建新的文件目录:

./bin/hdfs dfs -mkdir /a

上传文件到指定的目录:

./bin/hdfs dfs -put a.txt /a

下载HDFS上的文件至本地:

./bin/hdfs dfs -get /input/a.txt ~

查看文件内容:

./bin/hdfs dfs -cat /input/a.txt

在IDEA中执行HDFS的相关操作可能出现的问题:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

解决方法:在代码中添加如下代码

conf.set("dfs.client.use.datanode.hostname", "true");//添加此配置信息即可

添加此信息以后还报如下错误:

java.nio.channels.UnresolvedAddressException

需要在hosts文件中添加对应的配置信息

hosts文件的地址C:WindowsSystem32driversetc

在里边添加ip与主机名的映射关系

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/719602.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号