Hadoop学习（2）-- Hadoop3.1 单机模式搭建

1 服务器基础环境准备

机器: Centos7
hadoop: 3.3.1 版本
jdk: 1.8

1.1 vim /etc/hostname

1.2 vim /etc/hosts

1.3 关闭防火墙

systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #禁止防火墙开启自启

1.4 集群时间同步

yum -y install ntpdate
ntpdate ntp4.aliyun.com

1.5 创建指定目录

mkdir -p /export/server/ #软件安装路径
mkdir -p /export/data/ #数据存储路径
mkdir -p /export/software/ #安装包存放路径

1.6 ssh免密登录

ssh-keygen #4个回车 生成公钥、私钥
ssh-copy-id node1

否则在启动的时候有警告提示如下：

2 上传安装包、解压安装包 2.1 安装jdk

2.2 上传、解压Hadoop安装包

tar zxvf hadoop-3.3.1.tar.gz

3 Hadoop安装包目录结构

配置文件概述

第一类1个：hadoop-env.sh第二类4个：xxxx-site.xml ,site表示的是用户定义的配置，会覆盖default中的默认配置。
core-site.xml 核心模块配置
hdfs-site.xml hdfs文件系统模块配置
mapred-site.xml MapReduce模块配置
yarn-site.xml yarn模块配置第三类1个：workers所有的配置文件目录：/export/server/hadoop-3.3.1/etc/hadoop/ 4 配置hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

5 配置core-site.xml

        fs.defaultFS
        hdfs://node1:8020



        hadoop.tmp.dir
        /export/data/hadoop-3.3.1



        hadoop.http.staticuser.user
        root



        hadoop.proxyuser.root.hosts
        *


        hadoop.proxyuser.root.groups
        *



        fs.trash.interval
        1440

6 配置hdfs-site.xml

        
                dfs.replication
                1
        
	
        
                dfs.namenode.name.dir
                file:/export/data/hadoop-3.3.1/tmp/dfs/name
        
	
        
                dfs.datanode.data.dir
                file:/export/data/hadoop-3.3.1/tmp/dfs/data
        

7 配置mapred-site.xml

        mapreduce.framework.name
        yarn



        mapreduce.jobhistory.address
        node1:10020



        mapreduce.jobhistory.webapp.address
        node1:19888


        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}


        mapreduce.map.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}


        mapreduce.reduce.env
        HADOOP_MAPRED_HOME=${HADOOP_HOME}

注意： HADOOP_HOME待会要在环境变量中配置。

8 配置yarn-site.xml

        yarn.resourcemanager.hostname
        node1


        yarn.nodemanager.aux-services
        mapreduce_shuffle



        yarn.nodemanager.pmem-check-enabled
        false



        yarn.nodemanager.vmem-check-enabled
        false



        yarn.log-aggregation-enable
        true



        yarn.log.server.url
        http://node1:19888/jobhistory/logs



        yarn.log-aggregation.retain-seconds
        604800

9 配置环境变量

vim /etc/profile
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

重新加载环境变量 验证是否生效
source /etc/profile
hadoop #验证环境变量是否生效

10 启动hadoop环境 10.1 格式化

NameNode format（格式化操作）首次启动HDFS时，必须对其进行格式化操作。format本质上是初始化工作，进行HDFS清理和准备工作命令：hdfs namenode -format

format只能进行一次，后续不再需要，如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器hadoop.tmp.dir目录重新format解决。

注意：
如果执行多次在put文件的时候会报错如下：

解决办法：
首先关闭服务，然后删除data下的tmp文件夹，最后重新格式化并启动就可以解决。

10.2 启动

在node1上，使用软件自带的shell脚本一键启动。
HDFS集群
start-dfs.sh 
stop-dfs.sh 

YARN集群
start-yarn.sh
stop-yarn.sh

Hadoop整体集群
start-all.sh
stop-all.sh

启动完毕之后可以使用jps命令查看进程是否启动成功。

Hadoop启动日志路径：/export/server/hadoop-3.3.1/logs/。

11 网址访问

需要在本地host配置映射后访问。

11.1 HDFS集群

地址：http://namenode_host:9870
其中namenode_host是namenode运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts

http://node1:9870/

HDFS文件系统Web页面浏览

11.2 YARN集群

地址：http://resourcemanager_host:8088
其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip
如果使用主机名访问，别忘了在Windows配置hosts

http://node1:8088/cluster

12 HDFS 初体验

HDFS本质就是一个文件系统。有目录树结构 和Linux类似，分文件、文件夹。

12.1 shell命令操作

//创建文件夹
hadoop fs -mkdir /itcast
//上传文件
hadoop fs -put test.out /itcast
// 列出HDFS线上根目录
hadoop fs -ls /

12.2 Web UI页面操作

13 MapReduce+YARN 初体验 13.1 评估圆周率π

执行Hadoop官方自带的MapReduce案例，评估圆周率π的值。

cd /export/server/hadoop-3.3.1/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.3.1.jar pi 2 4

13.2 单词统计