栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop开发环境搭建(linux安装hadoop)

hadoop开发环境搭建(linux安装hadoop)

1.环境配置我是参照其他博主的文章写的
https://blog.csdn.net/weixin_44898710/article/details/109832031
https://blog.csdn.net/yujuan110/article/details/78457259
教程挺详细的,但是需要对比看,结合一下是可以搭建好环境的
2.关于hadoop启动显示找不到文件目录问题,报错如下

[root@master hadoop]# sbin/stop-all.sh
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
Stopping namenodes on [master]
上一次登录:四 3月 17 17:42:05 CST 2022pts/4 上
Stopping datanodes
上一次登录:四 3月 17 17:42:12 CST 2022pts/4 上
clone2: bash: /opt/hadoop/bin/hdfs: 没有那个文件或目录
clone1: bash: /opt/hadoop/bin/hdfs: 没有那个文件或目录
Stopping secondary namenodes [master]
上一次登录:四 3月 17 17:42:12 CST 2022pts/4 上
Stopping nodemanagers
上一次登录:四 3月 17 17:42:13 CST 2022pts/4 上
clone2: bash: /opt/hadoop/bin/yarn: 没有那个文件或目录
clone1: bash: /opt/hadoop/bin/yarn: 没有那个文件或目录
Stopping resourcemanager
上一次登录:四 3月 17 17:42:14 CST 2022pts/4 上

我主机是master,另外两台机器是clone1和clone2,关于这个问题的解决方案是去clone1和clone2机器中查看提示没有那个文件和目录的地方看一下是不是路径不正确,我是使用如下的命令进行分发的
scp -r /opt/hadoop clone1:/opt/hadoop
scp -r /opt/hadoop clone2:/opt/hadoop
后面启动就显示上面的没有文件或目录的问题了,我后面去clone1和clone2中去查看了路径,结果显示我的路径是 /opt/hadoop/hadoop/bin/yarn,多了一个hadoop,所以是找不到路径的,非常正常,后面我把clone1和clone2的hadoop删除从master中重新分发过去,命令用的是
scp -r /opt/hadoop clone1:/opt
scp -r /opt/hadoop clone2:/opt
把后面的hadoop删除,然后重新启动,这个问题已经解决了
3.关于用命令echo $JAVA_HOME 和 echo $HADOOP_HOME 显示空白的问题
在/etc/profile文件中添加环境变量,加在文件的最后面,如下是我的环境变量

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/jre
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

记得将里面的JAVA_HOME,HADOOP_HOME的值换成你自己的路径,然后使用命令
source /etc/profile 使文件生效,我是使用完命令之后又重启机器的.
4.关于JAVA_HOME 找不到的问题
使用命令
which java
ls -lrt 第一个命令查出来的路径
ls -lrt 第一个命令查出来的路径
JAVA_HOME一定要保存到bin目录之前的路径!!!

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771673.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号