栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop之环境配置

Hadoop之环境配置

面对学校课程要求学生搭建自己的伪分布式模式,所面临的各种坑,亲自踩坑。 1. 安装环境ubuntu 2.安装jdk 3.安装Hadoop

1.在安装ubuntu时需要注意安装ubuntu创建用户,等待时间比较长,大家需要有点耐心。
2.安装jdk时需要注意jdk的版本号,最好去官网下载18的版本带有linux的标识,配置环境时:注意:export后加上的是你电脑上jdk的实际路径,不要完全按照你的教课书,因为不完全与你的电脑一致,不要照抄啊!!!
这样的话java -version的版本号就会显示成功。
3.安装Hadoop,首先解压Hadoop的软件包,在官网去下载。
同理这里也需要更改Hadoop的路径,export后的Hadoop的实际环境
/home/sdm/hadoop-2.7.3。类似于这样的路径。
可以用whereis hadoop查看。

ls指令需要充分利用查看jdk和Hadoop的实时名称,要不然会找不到文件的。

按照课本的内容,来到core-site.xml***
Hadoop的地址也需要更改/home/sdm/hadoop-2.7.3
*(我的是这样)

五个文件在{HADOOP_HOME}/etc/hadoop目录下。
需要知道实时路径(JAVA_HOME)

最后,1.格式化HDFS
2.start-all.sh
3.jps(至少显示五个进程)。

打开50070端口界面
打开8088端口界面

或许大家第一次可以了,但是第二天会发现自己傻了,再次打开会打不开DataNode和namenode节点。

IP会更改
这里要注意,xshell软件会连接不上,那很大可能就是ubuntu的ip发生改变了
ifconfig可以查看。

**8088端口怎样都打不开,日志报错警告日志警告“Failed to add storage directory”**解决方法:
链接:添加链接描述

最后我们把虚拟机重启就全部OK了。。。。。。。。。。(无语四,太麻烦了,没办法啊,那也得完成作业,是不是啊大家)
格式化hdfs
start-all.sh
两个界面都可打开了。

原创不易,希望大家可以给咱个赞!!!
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/751056.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号