hadoop的分布式集群环境搭建

1.虚拟机搭建部分

root登录
ip addr 查看当前的IP地址

2.克隆虚拟机（集群）

基础设置
vi /etc/sysconfig/network-scripts/ifcfg-ens33

设置BOOTPROTO 为 “static” 静态ip

四台虚拟机所设置的地址：
IPADDR:192.168.229.130
IPADDR:192.168.229.131
IPADDR:192.168.229.132
IPADDR:192.168.229.133

:wq

service network restart

设置主机名
vi /etc/hostname

关闭防火墙（永久）
systemctl disable firewalld

ssh免密码登录
ssh-keygen -t rsa
一直回车直到返回命令行

目录中有两个文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
重定向到密钥中可以进行登陆访问

先创建一个目录来存放后续所需安装的soft
mkdir -p /data/soft

JDK1.8 安装配置

解压
tar -zxvf jdk-8u202-linux-x64.tar.gz

修改解压后的名称
mv jdk1.8.0_202/ jdk1.8

vi /etc/profile
export JAVA_HOME=/data/soft/jdk1.8
export PATH=.: J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH

:wq
source /etc/profile
最后查看版本号
java -version

注：以上操作在四台机器中均需要进行一次操作

3.实现主从节点关系

在 xkhbigdata01、02、03、04虚拟机中
vi /etc/hosts

测试：（分别从01ping02、03、04）

不同节点间时间同步
先进行服务安装
yum install -y ntpdate

ntpdate -u ntp.sjtu.edu.cn (四台机器)

主节点到从节点的免密码登录
在xkhbigdata01中操作
scp ~/.ssh/authorized_keys xkhbigdata02:~/
scp ~/.ssh/authorized_keys xkhbigdata03:~/
scp ~/.ssh/authorized_keys xkhbigdata04:~/

在02、03、04中操作
cat ~/authorized_keys >> ~/.ssh/authorized_keys

验证：

4.安装hadoop

在xkhbigdata01中安装后分布至各节点

tar -zxvf hadoop-3.2.0.tar.gz

/data/soft/hadoop-3.2.0/etc/hadoop

vi hadoop-env.sh
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

vi core-site.xml



        fs.defaultFS
        hdfs://xkhbigdata01:9000    (主节点信息)
    
    
        hadoop.tmp.dir
        /data/hadoop_repo

vi hdfs-site.xml



        dfs.replication
        3     
    
    
        dfs.namenode.secondary.http-address
        xkhbigdata01:50090

vi mapred-site.xml


    
        mapreduce.framework.name
        yarn

vi yarn-site.xml


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
    
        
                yarn.resourcemanager.hostname
                xkhbigdata01

vi workers

/data/soft/hadoop-3.2.0/sbin
均为添加操作
vi start-dfs.sh
vi stop-dfs.sh

vi start-yarn.sh

vi stop-yarn.sh

/data/soft
将配置好的hadoop发送至三台子节点虚拟机（）
scp -rq hadoop-3.2.0 xkhbigdata02:/data/soft/
scp -rq hadoop-3.2.0 xkhbigdata03:/data/soft/
scp -rq hadoop-3.2.0 xkhbigdata04:/data/soft/

格式化namenode
bin/hdfs namenode -format

启动集群
sbin/start-all.sh

查看进程信息
主节点

从节点

完成

hadoop的分布式集群环境搭建

大数据系统相关栏目本月热门文章