先安装好VMware15并且创建一台虚拟机,这里使用的是CentOS-7.5-x86-1804
1.1 IP和主机名配置1)点击vmware的“编辑” =>虚拟网络编辑器(N)...
2) 点击“VMnet8"后点击”更改设置“
3) 而后再次点击VMnet8,修改 子网IP地址为:192.168.10.0(IP可以任意取值只要不为192.168.1.0即可)
4) 修改完成后,点击NAT设置,将网关的地址修改与子网IP在同一网段。这里网关IP设置为192.168.10.2 ;随后点击确定=>确定
5) 配置主机的IP,网络设置内找到“VMnet8",=>点击属性=>双击Internet协议版本4(TCP/IPv4)对默认网关及DNS服务器进行修改。
1.2 centos最小化安装需要的配置:
1)hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7.5-x86-1804为例)
(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
(2)安装epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
[root@hadoop100 ~]# yum install -y epel-release
(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
(2)安装epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
[root@hadoop100 ~]# yum install -y epel-release
安装工具包
net-tool:工具包集合,包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
vim:编辑器
[root@hadoop100 ~]# yum install -y vim
2)关闭防火墙,关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
3)创建atguigu用户,并修改jason用户的密码
[root@hadoop100 ~]# useradd jason
[root@hadoop100 ~]# passwd jason
4)配置atguigu用户具有root权限,方便后期加sudo执行root权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
atguigu ALL=(ALL) NOPASSWD:ALL
注意:atguigu这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了atguigu具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。
5)在/opt目录下创建文件夹,并修改所属主和所属组
(1)在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
(2)修改module、software文件夹的所有者和所属组均为jason用户
[root@hadoop100 ~]# chown jason:jason /opt/module
[root@hadoop100 ~]# chown jason:jason /opt/software
(3)查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 jason jason 4096 5月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9月 7 2017 rh
drwxr-xr-x. 2 jason jason 4096 5月 28 17:18 software
6)卸载虚拟机自带的JDK
注意:如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e –nodeps:强制卸载软件
7)重启虚拟机
[root@hadoop100
vim /etc/sysconfig/network-scripts/ifcfg-ens33
注意黑体字部分:
1.3 修改主机名和hosts文件1)修改主机名称
[ root@hadoop100 ~] # vim /etc/hostname
hadoop100
2)配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts
| [root@hadoop100 ~]# vim /etc/hosts
添加如下内容:
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
3)重启克隆机hadoop100
[ root@hadoop100 ~] # reboot
4)修改windows的主机映射文件(hosts 文件)
(1)如果操作系统是window7, 可以直接修改
(a)进入C:WindowsSystem32)driversetc路径e
(b)打开hosts文件并添加如下内容,然后保存e
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
(2)如果操作系统是window10,先拷贝出来,修改保存以后,再覆盖即可
(a)进入C:WindowsSystem32driversetc路径
(b)拷贝hosts文件到桌面
(c)打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
(d)将桌面hosts文件覆盖C:WindowsSystem32driversetc 路径hosts文件
这样便可以使用主机名称代替IP 地址
选择“创建完整克隆”
多克隆三台虚拟机
克隆完毕后使用以下命令将hostname修改为对应的主机名 ; IPADDR修改为对应网址
[ root@hadoop100 ~]# vim /etc/sysconfig/network- scripts/ifcfg- ens33
[ root@hadoop100 ~]# vim /etc/hostname
三台虚拟机都修改完毕后,我们可以查看ifconfig,已经网络是连同ping
1.4 Hadoop102安装JDK将jdk安装包上传到/opt/software
然后对jdk进行解压到/opt/module文件夹下:tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
配置jdk环境变量,传统是将路径配置放在/etc/profile下面,在这里我们采用自己创建配置文件的方式:
[jason@hadoop102 jdk1.8.0_212]$ cd /etc/profile.d
[jason@hadoop102 profile.d]$ sudo vim my_env.sh 添加下面内容:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
重新加载:[jason@hadoop102 profile.d]$ source /etc/profile
验证是否成功:[jason@hadoop102 profile.d]$ java
1.5 Hadoop102安装Hadoop在hadoop102安装Hadoop
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
1)用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
2)进入到Hadoop安装包路径下
[jason@hadoop102 ~]$ cd /opt/software/
3)解压安装文件到/opt/module下面
[jason@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4)查看是否解压成功
[jason@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3
5)将Hadoop添加到环境变量
(1)获取Hadoop安装路径
[jason@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh文件
[jason@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
在my_env.sh文件末尾添加如下内容:(shift+g)
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出: :wq
(3)让修改后的文件生效
[jason@hadoop102 hadoop-3.1.3]$ source /etc/profile
6)测试是否安装成功
[jason@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
7)重启(如果Hadoop命令不能用再重启虚拟机)
[jason@hadoop102 hadoop-3.1.3]$ sudo reboot
2.5 Hadoop目录结构
1)查看Hadoop目录结构
2)重要目录
(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例



