0002 - Hadoop集群搭建

Hadoop集群搭建

• 虚拟机准备
• • 创建虚拟机
  • 配置/etc/hosts
  • 关闭防火墙
  • 服务器间ssh免密登陆
  • JDK安装
• HADOOP 安装
• • 解压&配置环境变量
  • HADOOP配置文件
  • • hadoop-env.sh
    • hdfs-site.xml
    • yarn-site.xml
    • core-site.xml
    • slaves
  • 将node1 上的配置拷贝到其他节点上
  • 格式化文件系统
• HADOOP集群启动&停止
• • 启动
  • 查看页面
  • 停止集群

虚拟机准备 创建虚拟机

安装3台同属于一个局域网的虚拟机，详细教程可以Google.

我这里创建了三台centos虚拟机，IP为192.168.1.101～192.168.1.103

配置/etc/hosts

同时配置/etc/hosts，使三台主机可以通过主机名互相ping通

关闭防火墙

执行下面命令关闭防火墙，避免集群通信被防火墙阻拦

systemctl disable firewalld.service

服务器间ssh免密登陆

• 在每一个服务器上生成公钥和密钥

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  

• 将公钥拷贝至其他服务器的 /root/.ssh/authorized_keys 文件.

JDK安装

获取配套软件资源点我

配置JDK环境变量

插入如下配置

export JAVA_HOME=/home/software/jdk1.8.0_301
export PATH=.:$PATH:$JAVA_HOME/bin

HADOOP 安装 解压&配置环境变量

获取配套软件资源点我

配置HADOOP环境变量

插入如下配置

export HADOOP_HOME=/home/software/hadoop-2.7.4
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

HADOOP配置文件

配置文件目录：/home/software/hadoop-2.7.4/etc/hadoop

hadoop-env.sh

配置JAVA_HOME如下

export JAVA_HOME=/home/software/jdk1.8.0_301

hdfs-site.xml

创建数据存储目录

配置node1上的hdfs-site.xml如下

  
    dfs.datanode.data.dir
    file://home/software/hadoop-2.7.4/data/datanode
  
  
    dfs.namenode.name.dir
    file:///home/software/hadoop-2.7.4/data/namenode
  
  
  
    dfs.namenode.secondary.http-address
    node2:50090
  
  
    dfs.replication
    1
  

yarn-site.xml

  
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.nodemanager.aux-services.mapreduce_shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  
  
    yarn.resourcemanager.resource-tracker.address
    node1:8025
  
  
    yarn.resourcemanager.scheduler.address
    node1:8030
  
  
    yarn.resourcemanager.address
    node1:8050
  

core-site.xml

  
    fs.defaultFS
    hdfs://node1/
  
  
    ha.zookeeper.quorum
    node1:2181,node2:2181,node3:2181
  

slaves

将node1 上的配置拷贝到其他节点上

首先在其他节点上解压&配置环境变量，再在node1上执行如下命令同步配置至其他节点

scp /home/software/hadoop-2.7.4/etc/hadoop/* root@node2:/home/software/hadoop-2.7.4/etc/hadoop/
scp /home/software/hadoop-2.7.4/etc/hadoop/* root@node3:/home/software/hadoop-2.7.4/etc/hadoop/

格式化文件系统

在主节点(node1)上执行下面命令，格式化文件系统

hdfs namenode -format

HADOOP集群启动&停止 启动

在node1上执行下面命令启动HADOOP集群

start-all.sh

查看每个主节点上的HADOOP进程

查看页面

停止集群

stop-all.sh