Hadoop 运行环境搭建（从安装及克隆虚拟机开始......）

文章目录

- - 一、CentOS7 软硬件安装及配置
  - - 配置IP及主机名
  - 二、Xshell远程连接Linux
  - 三、模板虚拟机环境准备
  - 四、克隆虚拟机
  - 五、先在一台虚拟机上安装配置 JDK 和 Hadoop
  - - 安装配置 JDK
    - 安装配置 Hadoop
  - 六、拷贝 JDK 和 Hadoop 到其他虚拟机
  - 七、集群配置
  - 八、群起集群
  - 九、配置历史服务器
  - 十、配置日志的聚集
  - 十一、集群启动/停止方式总结

一、CentOS7 软硬件安装及配置

安装可以参考：VMware15 与 CentOS7 的安装及配置（部分配置参考下面）

部分配置参考：
这里配置需要看一下自己电脑的内核情况：任务管理器 -> 性能 -> 打开资源监视器 -> CPU

我的电脑现在是有8个CPU

由于之后学习过程中打算克隆三台虚拟机，再加上本机，就是四台，8个CPU，每台2个，每个处理器数量是2，所以每个处理器的内核数量为1（根据自己电脑的情况配置）

手动分区情况：

配置IP及主机名

配置VM的IP地址：

配置Win10的IP：

配置hadoop的IP：

修改主机名称：

配置Linux克隆机主机名称映射hosts文件：

为了后期学习需要多配置了几个

重启虚拟机

检查配置是否成功：

二、Xshell远程连接Linux

可以参考之前的博客：https://blog.csdn.net/zeroheitao/article/details/113943734

Xshell 下载官网：https://www.netsarang.com/zh/xshell/（一定要用最新版，以前的用不了了）
Xftp下载官网：https://www.netsarang.com/zh/xftp/（用于Win10和Linux之间的文件传输）

成功登录

修改windows的主机映射文件（hosts文件）
进入C:WindowsSystem32driversetc路径，拷贝hosts文件到桌面，打开桌面hosts文件并添加如下内容

将桌面hosts文件覆盖C:WindowsSystem32driversetc路径hosts文件

三、模板虚拟机环境准备

安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
1、net-tool：工具包集合，包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
2、vim：编辑器
[root@hadoop100 ~]# yum install -y vim

关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

卸载虚拟机自带的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件

因为我安装的是自带桌面的，系统会自带jdk，如果你的虚拟机是最小化安装不需要执行这一步。

重启虚拟机

[root@hadoop100 ~]# reboot

四、克隆虚拟机

克隆虚拟机前一定要关机！！！

叫什么名字放哪里看你自己了

修改克隆机IP，以下以hadoop102举例说明
修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改克隆虚拟机的名称

[root@hadoop100 ~]# vim /etc/hostname

重启虚拟机

五、先在一台虚拟机上安装配置 JDK 和 Hadoop

安装配置 JDK

解压JDK到/opt/module目录下:

[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量：
（1）新建/etc/profile.d/my_env.sh文件

[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）source一下/etc/profile文件，让新的环境变量PATH生效

[root@hadoop102 ~]$ source /etc/profile

测试JDK是否安装成功

[root@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。

安装配置 Hadoop

进入到Hadoop安装包路径下

[root@hadoop102 ~]$ cd /opt/software/

解压安装文件到/opt/module下面

[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

[root@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[root@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[root@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）让修改后的文件生效

[root@hadoop102 hadoop-3.1.3]$ source /etc/profile

测试是否安装成功

[root@hadoop102 hadoop-3.1.3]$ hadoop version

六、拷贝 JDK 和 Hadoop 到其他虚拟机

前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录，并且已经把这两个目录的所有者修改为gyl:gyl（gyl是用户名，自己取的）[root@hadoop102 ~]$ chown gyl:gyl -R /opt/module

在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上

[root@hadoop102 ~]# scp -r /opt/module/jdk1.8.0_212  gyl@hadoop103:/opt/module

快慢看电脑配置吧佛了已经… …

成功拷贝

在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上

[root@hadoop103 module]# scp -r gyl@hadoop102:/opt/module/hadoop-3.1.3 ./

可以写一个集群分发脚本，就不用这样一个个发了，有时间再补一篇集群分发脚本的文章，这篇文章已经好长了… …

七、集群配置

集群部署规划

注意：
NameNode和SecondaryNameNode不要安装在同一台服务器，都很耗内存
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

配置集群
先在Hadoop102上配置好

（1）核心配置文件
配置core-site.xml

[gyl@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：





    
    
        fs.defaultFS
        hdfs://hadoop102:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

    
    
        hadoop.http.staticuser.user
        gyl

（2）HDFS配置文件
配置hdfs-site.xml

[gyl@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：





	
	
        dfs.namenode.http-address
        hadoop102:9870
    
	
    
        dfs.namenode.secondary.http-address
        hadoop104:9868

（3）YARN配置文件
配置yarn-site.xml

[gyl@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：





    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop103
    

    
    
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

（4）MapReduce配置文件
配置mapred-site.xml

[gyl@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：





	
    
        mapreduce.framework.name
        yarn

在集群上分发配置好的Hadoop配置文件

这里我是有写一个集群分发脚本的，所以可以直接运行 xsync，用前面那个 scp 命令也可以，就是比较慢，脚本后面再补吧… …
用 scp ：

直接用脚本分发

如果一直报权限问题，可以去检查一下/opt/module/hadoop-3.1.3/etc/hadoop文件夹下的文件所属用户及组是不是自己，例如

分发后可以去 103 104 上面查看一下是否成功

八、群起集群

1）配置workers

[gyl@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[gyl@hadoop102 hadoop]$ xsync workers

2）启动集群
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode

[gyl@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

格式化成功后会出现 datas 和 logs 目录

（2）启动HDFS

[gyl@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

快慢看自己电脑吧，日常佛系… …

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[gyl@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

浏览器中输入：http://hadoop102:9870
查看HDFS上存储的数据信息

（5）Web端查看HDFS的NameNode

浏览器中输入：http://hadoop102:9870
查看HDFS上存储的数据信息

3）集群基本测试
（1）上传文件到集群

上传小文件

[gyl@hadoop102 ~]$ hadoop fs -mkdir /input
[gyl@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

上传大文件

[gyl@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

查看HDFS文件存储路径

[gyl@hadoop102 subdir0]$ pwd

查看HDFS在磁盘存储文件内容

[gyl@hadoop102 subdir0]$ cat blk_1073741825

九、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1）配置mapred-site.xml

[gyl@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置


    mapreduce.jobhistory.address
    hadoop102:10020




    mapreduce.jobhistory.webapp.address
    hadoop102:19888

2）分发配置

[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

[gyl@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[gyl@hadoop102 hadoop]$ jps

5）查看JobHistory
http://hadoop102:19888/jobhistory

十、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：
1）配置yarn-site.xml

[gyl@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置


    yarn.log-aggregation-enable
    true


  
    yarn.log.server.url  
    http://hadoop102:19888/jobhistory/logs



    yarn.log-aggregation.retain-seconds
    604800

2）分发配置

[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

[gyl@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[gyl@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage和HistoryServer

[gyl@hadoop103 ~]$ start-yarn.sh
[gyl@hadoop102 ~]$ mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

[gyl@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行WordCount程序

[gyl@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志
历史服务器地址：http://hadoop102:19888/jobhistory

十一、集群启动/停止方式总结

1）各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

Hadoop 运行环境搭建（从安装及克隆虚拟机开始......）

大数据系统相关栏目本月热门文章