创建hadoop平台需要配置的网络策略和需要修改的配置文件

一、配置IP映射

每台虚机上vi /etc/hosts

 二、修改hadoop配置文件

1.集群搭建

配置Hadoop集群主节点，进入hadoop安装目录下的配置文件夹

cd /export/servers/hadoop-3.1.3/etc/hadoop

2.修改hadoop-env.sh文件（vi hadoop-env.sh）

export JAVA_HOME=/export/software/jdk

export HADOOP_HOME=/export/software/hadoop-3.1.3

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

3.修改core-site.xml文件（vi core-site.xml）

                fs.defaultFS

                hdfs://hadoop01:9000

                hadoop.tmp.dir

                /export/servers/hadoop-3.1.3/tmp

                       hadoop.proxyuser.root.groups

                       root

                       hadoop.proxyuser.root.hosts

                       *

4.修改hdfs-site.xml文件（vi hdfs-site.xml）

                dfs.replication

                3

                dfs.namenode.secondary.http-address

                hadoop02:50090

5.修改mapred-site.xml文件（vi mapred-site.xml）

                mapreduce.framework.name

                yarn

6.修改yarn-site.xml文件（vi yarn-site.xml）

                yarn.resourcemanager.hostname

                hadoop01

                yarn.nodemanager.aux-services

                mapreduce_shuffle

                yarn.nodemanager.env-whitelist

                JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DIST

CACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

                yarn.scheduler.minimum-allocation-mb

                512

                yarn.scheduler.maximum-allocation-mb

                2048

                yarn.nodemanager.resource.memory-mb

                2048

                yarn.nodemanager.pmem-check-enabled

                false

                yarn.nodemanager.vmem-check-enabled

                false

7.修改workers文件（vi workers）

hadoop01

hadoop02

hadoop03

修改start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh文件

start-dfs.sh、stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh、stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

8.将集群主节点的配置文件分发到其它子节点

9。scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile      学习靓点

在hadoop02和hadoop03上执行source /etc/profile

回到hadoop01执行以下命令：

scp -r /export/ hadoop02:/

scp -r /export/ hadoop03:/

三台服务器：

source /export/software/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

Hadoop集群测试

初次启动HDFS集群时，必须对主节点进行格式化处理

格式化文件系统指令如下：

hdfs namenode -format

重新格式化，要把三台机器/export/servers/hadoop-3.1.3/tmp下的删除再格式化。

通过UI界面查看Hadoop运行状态

在C:WindowsSystem32driversetchosts文件中加上：

192.168.60.18 hadoop01

192.168.60.19 hadoop02

192.168.60.10 hadoop03

查看HDFS中是否有数据文件，默认是没有数据文件

http://hadoop01:9870