栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

IDEA中Hadoop环境的配置及其相关问题

IDEA中Hadoop环境的配置及其相关问题

1.准备搭建hadoop集群的主机

可以参考     Hadoop的安装详解、访问及其相关问题

2.在idea中安装big Data Tools插件

安装方式File->setting->Plugins

安装完成之后重启IDEA生效

3.配置Hadoop环境

 4.测试失败的相关问题

       4.1HADOOP_HOME没有的问题

         

           本地物理机不能直接连接云主机上的Hadoop,如果想要连接,需要本地环境中也要搭建        Hadoop,配置Hadoop的环境。

       4.2 本地配置Hadoop完成后,出现以下问题

        

        bin目录下缺少hadoop.dll和winutils.exe,需要下载相关文件

        4.3当出现以下问题时:

        Exception during driver request: java.util.concurrent.TimeoutException: Timeout(5000) during refreshing connection on HDFS

        首先查看Hadoop相关的服务是否全部启动,不能全部启动的原因可能是多次进行了namenode的初始化,导致配置不一致

        解决方法:修改配置文件或者重新安装Hadoop

        4.4在连接Hadoop时提示路径不存在的问题

        Path hdfs://  :9000/ is not accessible or does not exist

        出现原因:在Hadoop集群搭建完成之后,没有进行创建作业目录的操作

        解决方法:在/home/software/hadoop-3.1.3/tmp/dfs/data/current目录下进行以下操作

hdfs dfs -mkdir -p /data/hadoop

        

        

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/720999.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号