栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

数据分析平台接入大数据平台报错

数据分析平台接入大数据平台报错

项目场景:

是数据分析平台接入已经部署的大数据环境,能够正常提交任务到spark上


问题描述:

提示:首先根据要求上传yarn-site.xml,hdfs-site.xml,core-site.xml,然后该平台跟大数据平台部署于同一网段下,所以不用额外申请网络权限,但是在提交任务时提交不上去,查看日志是没有连上hdp-mgmt1.bigdata.**.com:8032 

22/01/18 13:18:30 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm413
22/01/18 13:18:30 INFO RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over rm413 after 4 fail over attempts. Trying to fail over after sleeping for 1375ms.
java.net.ConnectException: Call From localhost/127.0.0.1 to hdp-mgmt1.bigdata.**.com:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused在部署平台服务器上测试用命令telnet tkhdp-mgmt1.bigdata.**.com 8032发现访问不通后看yarn-site配置文件,看到他配置rm413和rm414这两个节点都是配置的域名,而yarn的resourcemanager端口是内网域名不能够访问的,只能通过服务器的真实IP来确定,因此我们修改了yarn-site的配置文件,发现Kerberos安全认证不通过,还是需要通过域名访问,此处就是问题冲突点,因此我们发现修改服务器的/etc/hosts这个映射可以在不修改yarn-site配置文件的情况下可以把域名映射至该大数据节点服务器的真实IP,这样即可以不用修改配置文件,也可以直接把映射的IP切换为真实IP,再验证发现无误

解决方案:

 

vim /etc/hosts
i *切换至输入模式
***修改IP***
10.135.58.6     PUPT-SALT.**.COM
10.135.58.9     PUPT-CA.**.COM
10.135.58.100   PUPT-YUM.**.COM
***保存***
:wq!


****检查***
telnet URL 8032
****发现该链接已经切换至真实IP
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/711838.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号