栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop集群搭建教程(详细)(Hadoop集群搭建docker还是虚拟机)

Hadoop集群搭建教程(详细)(Hadoop集群搭建docker还是虚拟机)

​​​​一、安装hadoop

检查系统版本,使用cat /etc/redhat-release命令查看当前系统的版本,确保三台虚拟机的系统版本一致。

 检查jdk版本

Jdk版本会对虚拟机运行操作有很大影响,使用1.8版本最稳定,确保三台虚拟机的版本一致。

 检查时间同步

时间同步才能进行同一步操作,使用date命令查看时间并且进行更新。

 

 关闭Linux系统的邮件自动提示功能

 root下放置hadoop压缩包

解压缩

 查看 /usr/local/hadoop2.7.3 目录 ll

二、配置hadoop的相关配置文件 对hadoop进行配置文件的配置:

 配置hadoop的环境变量

注意是linux中的文件,不是hadoop2.7.3中的文件

Vi /etc/profile

 配置hadoop中的相关文件

hadoop-env.sh

 core-site.xml

 hdfs-site.xml

 mapred-site.xml 对他的后缀进行修改 mv mapred-site.xml.template mapred-site.xml

 yarn-site.xml

 配置从节点

Vi slaves  删除localhost

 必须把hadoop1中的etc/profile下发给从节点

scp /etc/profile hadoop2:/etc/profile

scp /etc/profile hadoop3:/etc/profile

都需要分别进行更新

source /etc/profile

 

 把配置好的hadoop1的内容分发给hadoop2中的usr/local目录中;

scp -r /usr/local/java/java/hadoop-2.7.3/ hadoop2:/usr/local/java/

把配置好的hadoop1的内容分发给hadoo3中的usr/local目录中;

scp -r /usr/local/java/java/hadoop-2.7.3/ hadoop3:/usr/local/java/

 三、启动hadoop集群

hadoop集群的启动

 开始启动我们的集群

使用该命令失败,出现Error: Cannot find configuration directory: /etc/hadoop问题,这是因为使用了 hadoop-env.sh 默认的关于 hadoop 配置文件所在目录的配置,这里需要根据你自己的安装路径重新设置。

修改 hadoop-env.sh:

启动成功   使用jps命令

 

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/771539.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号