栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Spark | HDFS 本地调式时出现:Failed to connect to /192.168.0.53:9866 for block, add to deadNodes and continu

Spark | HDFS 本地调式时出现:Failed to connect to /192.168.0.53:9866 for block, add to deadNodes and continu

出现原因
21/11/16 15:13:17 WARN BlockReaderFactory: I/O error constructing remote block reader.
java.net.ConnectException: Connection timed out: no further information
...
...
Failed to connect to /192.168.0.53:9866 for block, add to deadNodes and continue. java.net.ConnectException: Connection timed out: no further information

通过日志可以看出,是本地中无法连接到192.168.0.53:9866,查看自己的网络可以发现192.168.0.53是内部网络,也就是namenode与DataNonde的通信是采用内网进行通信的,我们再本地调试的时候需要指定网络为外网网络

修改方式 方式一:

修改IDEA中的hdfs-site.xml文件,添加或者修改如下内容:

 
     dfs.client.use.datanode.hostname
     true
 

此时再运行程序的时候就可以直接通过了

方式二:

再代码中指定NM和DN之间的通信为外网,此方式仅适用于api操作HDFS

Configuration conf = new Configuration(); //设置通过域名访问datanode 
conf.set("dfs.client.use.datanode.hostname", "true");

通过两种方式,建议使用第一种

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/585119.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号