是数据分析平台接入已经部署的大数据环境,能够正常提交任务到spark上
问题描述:
提示:首先根据要求上传yarn-site.xml,hdfs-site.xml,core-site.xml,然后该平台跟大数据平台部署于同一网段下,所以不用额外申请网络权限,但是在提交任务时提交不上去,查看日志是没有连上hdp-mgmt1.bigdata.**.com:8032
22/01/18 13:18:30 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm413 22/01/18 13:18:30 INFO RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over rm413 after 4 fail over attempts. Trying to fail over after sleeping for 1375ms. java.net.ConnectException: Call From localhost/127.0.0.1 to hdp-mgmt1.bigdata.**.com:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused在部署平台服务器上测试用命令telnet tkhdp-mgmt1.bigdata.**.com 8032发现访问不通后看yarn-site配置文件,看到他配置rm413和rm414这两个节点都是配置的域名,而yarn的resourcemanager端口是内网域名不能够访问的,只能通过服务器的真实IP来确定,因此我们修改了yarn-site的配置文件,发现Kerberos安全认证不通过,还是需要通过域名访问,此处就是问题冲突点,因此我们发现修改服务器的/etc/hosts这个映射可以在不修改yarn-site配置文件的情况下可以把域名映射至该大数据节点服务器的真实IP,这样即可以不用修改配置文件,也可以直接把映射的IP切换为真实IP,再验证发现无误
解决方案:
vim /etc/hosts i *切换至输入模式 ***修改IP*** 10.135.58.6 PUPT-SALT.**.COM 10.135.58.9 PUPT-CA.**.COM 10.135.58.100 PUPT-YUM.**.COM ***保存*** :wq! ****检查*** telnet URL 8032 ****发现该链接已经切换至真实IP



