大数据系列(一)hadopp集群安装

主机具备的基础环境

1. 设置IP及主机名
2. 关闭防火墙及selinux
3. 设置host映射
4. 时间同步
5. 设置ssh免密登录

hadoop-2.8.5版本的包

node1(master) 配置4C4G	192.168.1.101
node2(slave) 配置2C2G	192.168.1.102
node4(slave) 配置2C2G	192.168.1.104

虚拟机host文件：

192.168.1.101   node1
192.168.1.102   node2
192.168.1.104   node4

1.1 设置虚拟机静态IP：

# 我的虚拟机使用桥接模式，设置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-你的网卡名字

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_onLY="no"
onBOOT="yes"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="1e0cb40e-b49f-423e-bb26-a1bc011843c0"
DEVICE="enp0s3"

IPADDR="192.168.1.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
DNS1="192.168.1.1"
DNS2=114.114.114.114

2.使用cmd窗口查看自己电脑IP及网关相关信息

3.重启虚拟机网络

service network restart

4.设置虚拟机ssh免密登录

参考：https://blog.csdn.net/qq_38130094/article/details/119871733

创建hadoop目录，及数据保存目录（在指定用户下执行）

su hadoop
# 1.创建hadoop服务文件目录
mkdir -p /user/local/bigdata
# 2.下载2.8.5版本的包
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
# 3.创建 hadoop用户用于操作hadoop
useradd hadoop

# 4.解压文件目录并赋予用户目录权限
tar xvzf hadoop-2.8.5.tar.gz
chown -R hadoop:hadoop /usr/local/bigdata/hadoop-2.8.5

# 5.在用户目录下创建hadoop的数据文件夹和name文件夹
cd ~
mkdir -p ./hdfs/name ./hdfs/data

hadoop目录文件结构

2. 修改hadoop配置文件 2.1 四个xml文件，两个.sh启动文件，一个slaves文件 2.2 hadoop-env.sh

首先必须指定hadoop的配置文件目录

export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop-2.8.5/etc/hadoop

export JAVA_HOME=/usr/local/jdk1.8.0_171
export HADOOP_PREFIX=/usr/local/bigdata/hadoop-2.8.5

2.3 yarn-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_171

2.4 core-site.xml

    
        fs.defaultFS
        hdfs://node1:9000
    
    
        hadoop.home.dir
        file:/usr/local/bigdata/hadoop-2.8.5
        Abase for other temporary directories.
    
    
        hadoop.tmp.dir
        file:/home/hadoop/hdfs
    

2.4 hdfs-site.xml

    
        dfs.namenode.secondary.http-address
        node1:50090
    
    
        dfs.replication
        3
    
    
        dfs.namenode.name.dir
        file:/home/hadoop/hdfs/name
    
    
        dfs.datanode.data.dir
        file:/home/hadoop/hdfs/data
    

    
        dfs.hosts
        /usr/local/bigdata/hadoop-2.8.5/etc/hadoop/slaves
    

2.5 mapred-site.xml

    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        node1:10020
    
    
        mapreduce.jobhistory.webapp.address
        node1:19888
    
    
        mapred.job.tracker.http.address
        node1:50030
    
    
        mapred.task.tracker.http.address
        node1:50060
    

2.6 yarn-site.xml

    
        yarn.resourcemanager.hostname
        node1
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
        yarn.resourcemanager.address
        node1:8032
    
    
        yarn.resourcemanager.scheduler.address
        node1:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        node1:8031
    
    
        yarn.resourcemanager.admin.address
        node1:8033
    
    
        yarn.resourcemanager.webapp.address
        master:8088
    

2.7 slaves

node1
node2
node3

拷贝文件夹到目标节点

scp -r /usr/local/bigdata/hadoop-2.8.5 node2:/usr/local/bigdata
scp -r /usr/local/bigdata/hadoop-2.8.5 node4:/usr/local/bigdata

2.8 启动

cd sbin
# 第一种启动方式
$bin start-all.sh

# 推荐第二种启动方式
$bin start-dfs.sh
$bin start-yarn.sh

3. 验证阶段

3.1 dashboard页面(主节点web页面)

DFS WebUI地址：

        http://192.168.1.101:50090/

        http://192.168.1.101:50070/

Yarn WebUI地址：http://192.168.1.101:8088/

正常有五个进程：

NameNode
SecondaryNameNode
ResourceManager
NodeManager
DataNode

查看三台机器的日志

        进程正常，日志无报错，大概率证明服务正常