栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

搭建Hadoop集群

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

搭建Hadoop集群

前提: 从母机克隆三台

一.克隆机更改 ip

// [root@Hadoop 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules


// [root@Hadoop 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0


二. 检查是否更改成功

// ip addr / ifconfig
// 重启网络  service network restart
// 重启 reboot

三. 更改主机名

// [root@Hadoop 桌面]# vim /etc/sysconfig/network
// 需要重启才可以生效


四.改映射

// [root@Hadoop 桌面]# vim /etc/hosts
// 例如:
192.168.6.77 hadoop11
192.168.6.78 hadoop22
192.168.6.79 hadoop33

五.关闭防火墙

// 关闭
// service iptables stop  
// 关闭开机自动启动
// chkconfig iptables off

六.连接xshell

七.搭建hadoop集群

// tar -zxf ? -C ?
// hadoop1/2/3环境配置
// vim /etc/profile

// 刷新
// source /etc/profile
// 查询配置是否成功 
// hadoop version
// 其他

八.传输给其他两台

// rsync -av ? root@主机名:?
// 两台:配置环境变量 + 刷新 + 测试
// 其他

九.配置集群

1.

// cd /etc/hadoop/
// vim core-site.xml


// vim hadoop-env.sh
// 在末尾加上

2.

// vim hdfs-site.xml


// vim yarn-env.sh
// 在末尾加上

3.

// vim yarn-site.xml



// vim mapred-env.sh
// 在末尾加上

4.

// 改名
// cp mapred.xml.template mapred-site.xml
// vim mapred-site.xml

十.传输

// rsync -av /opt/en/hadoop/ root@hadoop:/opt/en/hadoop/

十一.单启

// 集群启动第一要格式化__转到hadoop目录下
// hdfs namenode -format
// 1
// hadoop-daemon.sh start namenode
// 1/2/3
// hadoop-daemon.sh start datanode
// jps

十二.群起

// cd ~/.ssh/
// ssh.keygen -t rsa
// ll
// 是否有 id_rsa
// 传1/2/3
// ssh-copy-id hadoop1/2/3

// 测试
// ssh hadoop2/3

// 群起配置
// cd /opt/en/hadoop-2.7.2/ect/hadoop/
// vim slaves
// 删除原所有 + 

// 传输给hadoop2/3


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/998569.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号