栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

配置Hadpoop中遇到的问题及解决办法

配置Hadpoop中遇到的问题及解决办法

配置中遇到的问题:

注意:每当修改配置文件后都要删除数据文件(rm -r hadoop/tmp/dfs/*),若不知道路径查看hdfs-site.xml配置文件,下面是我的配置文件的路径
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

删除后再重新格式后再启动
1,若遇到
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这样报错则
vi ~/.bashrc
添加:
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
2,报错:
localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
Starting datanodes则是ssh免密登录设置失败。
3,若jps命令无法执行则是java环境没有配置好,删除java后用上面安装的java的步骤重新安装并配置环境。
4,若启动hadoop后没有namenode,则可能
主机名称问题
编辑以下文件查看主机名称是否是 localhost,如果不是则修改。一般只改第一个就可以解决问题
vim /etc/hostname
HOSTS
vim /etc/hosts
如果有 localhost.localdomain(如下) 把它修改为 localhost
127.0.0.1 localhost localhost.localdomain
还有一种可能,就是把储存临时文件的文件夹删了,只需把临时文件删了,别删文件夹,重新初始化既可。储存临时文件的路径在配置文件core-site.xml中的

5,格式化时最后显示:Shutting down NameNode at *

然后启动hadoop后输入jps若节点都有则不用管。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/282888.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号