栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据Hadoop入门

大数据Hadoop入门

一、Hadoop运行环境搭建

先安装好VMware15并且创建一台虚拟机,这里使用的是CentOS-7.5-x86-1804

1.1 IP和主机名配置

1)点击vmware的“编辑” =>虚拟网络编辑器(N)...

2) 点击“VMnet8"后点击”更改设置“

3) 而后再次点击VMnet8,修改 子网IP地址为:192.168.10.0(IP可以任意取值只要不为192.168.1.0即可)

4) 修改完成后,点击NAT设置,将网关的地址修改与子网IP在同一网段。这里网关IP设置为192.168.10.2 ;随后点击确定=>确定

 5)  配置主机的IP,网络设置内找到“VMnet8",=>点击属性=>双击Internet协议版本4(TCP/IPv4)对默认网关及DNS服务器进行修改。


1.2 centos最小化安装需要的配置:

1)hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7.5-x86-1804为例)

(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
PING www.baidu.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms
(2)安装epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)
[root@hadoop100 ~]# yum install -y epel-release

(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

PING www.baidu.com (14.215.177.39) 56(84) bytes of data.

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128 time=8.60 ms

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128 time=7.72 ms

(2)安装epel-release

注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)

[root@hadoop100 ~]# yum install -y epel-release

                安装工具包
                        net-tool:工具包集合,包含ifconfig等命令
                        [root@hadoop100 ~]# yum install -y net-tools 
                vim:编辑器
                        [root@hadoop100 ~]# yum install -y vim

2)关闭防火墙,关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
3)创建atguigu用户,并修改jason用户的密码
[root@hadoop100 ~]# useradd jason
[root@hadoop100 ~]# passwd jason
4)配置atguigu用户具有root权限,方便后期加sudo执行root权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
atguigu   ALL=(ALL)     NOPASSWD:ALL
注意:atguigu这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了atguigu具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。
5)在/opt目录下创建文件夹,并修改所属主和所属组
(1)在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
(2)修改module、software文件夹的所有者和所属组均为jason用户 
[root@hadoop100 ~]# chown jason:jason /opt/module 
[root@hadoop100 ~]# chown jason:jason /opt/software
(3)查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 jason jason 4096 5月  28 17:18 module
drwxr-xr-x. 2 root    root    4096 9月   7 2017 rh
drwxr-xr-x. 2 jason jason 4096 5月  28 17:18 software
6)卸载虚拟机自带的JDK
    注意:如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 
rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e –nodeps:强制卸载软件
7)重启虚拟机
[root@hadoop100 

 vim /etc/sysconfig/network-scripts/ifcfg-ens33 

注意黑体字部分: 

1.3 修改主机名和hosts文件

1)修改主机名称
[ root@hadoop100 ~] # vim /etc/hostname
hadoop100
2)配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts
| [root@hadoop100 ~]# vim /etc/hosts
添加如下内容:
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
3)重启克隆机hadoop100 
[ root@hadoop100 ~] # reboot

4)修改windows的主机映射文件(hosts 文件) 

(1)如果操作系统是window7, 可以直接修改
(a)进入C:WindowsSystem32)driversetc路径e
(b)打开hosts文件并添加如下内容,然后保存e
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
(2)如果操作系统是window10,先拷贝出来,修改保存以后,再覆盖即可
        (a)进入C:WindowsSystem32driversetc路径
        (b)拷贝hosts文件到桌面
        (c)打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

        (d)将桌面hosts文件覆盖C:WindowsSystem32driversetc 路径hosts文件

这样便可以使用主机名称代替IP 地址

 选择“创建完整克隆”

 多克隆三台虚拟机

克隆完毕后使用以下命令将hostname修改为对应的主机名 ; IPADDR修改为对应网址 

[ root@hadoop100 ~]# vim /etc/sysconfig/network- scripts/ifcfg- ens33
[ root@hadoop100 ~]# vim /etc/hostname

三台虚拟机都修改完毕后,我们可以查看ifconfig,已经网络是连同ping

1.4 Hadoop102安装JDK

将jdk安装包上传到/opt/software

然后对jdk进行解压到/opt/module文件夹下:tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置jdk环境变量,传统是将路径配置放在/etc/profile下面,在这里我们采用自己创建配置文件的方式:

[jason@hadoop102 jdk1.8.0_212]$ cd /etc/profile.d

[jason@hadoop102 profile.d]$ sudo vim my_env.sh        添加下面内容:

   #JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

重新加载:[jason@hadoop102 profile.d]$ source /etc/profile

验证是否成功:[jason@hadoop102 profile.d]$ java

1.5 Hadoop102安装Hadoop

在hadoop102安装Hadoop

Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1)用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2)进入到Hadoop安装包路径下

[jason@hadoop102 ~]$ cd /opt/software/

3)解压安装文件到/opt/module下面

[jason@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4)查看是否解压成功

[jason@hadoop102 software]$ ls /opt/module/

hadoop-3.1.3

5)将Hadoop添加到环境变量

(1)获取Hadoop安装路径

[jason@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

(2)打开/etc/profile.d/my_env.sh文件

[jason@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容:(shift+g)

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出: :wq

(3)让修改后的文件生效

[jason@hadoop102 hadoop-3.1.3]$ source /etc/profile

6)测试是否安装成功

[jason@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7)重启(如果Hadoop命令不能用再重启虚拟机)

[jason@hadoop102 hadoop-3.1.3]$ sudo reboot

2.5 Hadoop目录结构

1)查看Hadoop目录结构

2)重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761028.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号