大三党开始学习hadoop之路了，新手学习hadoop，有啥错误请大佬指教。由于自己电脑配置不够，只能买3台腾讯云服务器来学习了。以下笔记都是记录我在某破站 尚硅谷学习的过程，开始笔记，加深记忆。
三台腾讯云的ip，主机名配置
| ip | 主机名 |
|---|---|
| 101.42.xxx.xx | hadoop102 |
| 101.42.xxx.xx | hadoop103 |
| 101.42.xxx.xx | hadoop104 |
最终搭建结果
| hadoop102 | hadoop103 | hadoop104 | |
|---|---|---|---|
| HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
| YARN | NodeManager | ResourceManager NodeManager | NodeManager |
0.修改主机名称
[root@hadoop100 ~]# vim /etc/hostname hadoop102
1.hadoop102虚拟机配置要求如下
安装epel-release
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）
[root@hadoop102 ~]# yum install -y epel-release
注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
net-tool：工具包集合，包含ifconfig等命令
[root@hadoop102 ~]# yum install -y net-tools
vim：编辑器
[root@hadoop102 ~]# yum install -y vim
2.关闭防火墙，关闭防火墙开机自启
[root@hadoop102 ~]# systemctl stop firewalld [root@hadoop102 ~]# systemctl disable firewalld.service
注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
3.创建sdy用户，并修改sdy用户的密码
[root@hadoop102 ~]# useradd sdy [root@hadoop102 ~]# passwd sdy
4.配置sdy用户具有root权限，方便后期加sudo执行root权限的命令
[root@hadoop102 ~]# vim /etc/sudoers
修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
## Allow root to run any commands anywhere root ALL=(ALL) ALL ## Allows people in group wheel to run all commands %wheel ALL=(ALL) ALL sdy ALL=(ALL) NOPASSWD:ALL
注意：sdy这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了sdy具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以sdy要放到%wheel这行下面。
5.在/opt目录下创建文件夹，并修改所属主和所属组
[root@hadoop102 ~]# mkdir /opt/module [root@hadoop102 ~]# mkdir /opt/software [root@hadoop102 ~]# chown sdy:sdy /opt/module [root@hadoop102 ~]# chown sdy:sdy /opt/software
6.卸载虚拟机自带的JDK
[root@hadoop102 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa：查询所安装的所有rpm软件包grep -i：忽略大小写xargs -n1：表示每次只传递一个参数rpm -e –nodeps：强制卸载软件
7.重启虚拟机
[root@hadoop100 ~]# reboot
8.配置服务器主机名称映射hosts文件（hadoop102为例）
打开/etc/hosts
[root@hadoop102 ~]# vim /etc/hosts
添加如下内容，然后重启
10.0.x.xx hadoop102 101.42.xx.xx hadoop103 101.42.xx.xx hadoop104
注意：本机ip映射需填内网ip，本机对应其他ip映射需填公网ip
在hadoop102安装JDK1.用SecureFXPortable传输工具将JDK导入到opt目录下面的software文件夹下面
2.解压JDK到/opt/module目录下
[sdy@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
3.配置JDK环境变量
新建/etc/profile.d/my_env.sh文件
[sdy@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin
source一下/etc/profile文件，让新的环境变量PATH生效
[sdy@hadoop102 ~]$ source /etc/profile
4.测试JDK是否安装成功
[sdy@hadoop102 profile.d]$ java -version java version "1.8.0_212" Java(TM) SE Runtime Environment (build 1.8.0_212-b10) Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)在hadoop102安装Hadoop
1.用SecureFXPortable文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
2.解压安装文件到/opt/module下面
[sdy@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
3.将Hadoop添加到环境变量
hadoop安装路径在/opt/module/hadoop-3.1.3
打开/etc/profile.d/my_env.sh文件
[sdy@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
在my_env.sh文件末尾添加如下内容：
#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
4.让修改后的文件生效
[sdy@hadoop102 hadoop-3.1.3]$ source /etc/profile
5.测试是否安装成功
[root@hadoop102 software]# hadoop versionhadoop目录结构
1.查看Hadoop目录结构
2.重要目录
bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）sbin目录：存放启动或停止Hadoop相关服务的脚本share目录：存放Hadoop的依赖jar包、文档、和官方案例
