考试1+x

一：配置VM中的网络环境

以管理员形式运行VMware
打开三台虚拟机：master slave1 slave2
打开虚拟网络编辑器，对VMnet8进行NAT模式链接
记住其IP地址
计算机—网络—更改适配器—右键VMnet8属性—Internet协议4配置IP地址
禁用VMnet8，启用VMnet8

二：在VM中配置虚拟机的网络环境:（改名和配置环境顺序可以不一样）
1.
vi /etc/sysconfig/network-scripts/ifcfg-ens33
3.
将BooTPR070=“none”中的none改为static
并在文本最后一行下面添加：
                                         IPADDR=192.168. X.X
                                         GATEWAY=192.168.X.X
                                         NETMASK=255.255.255.0 
                                         DNS1=8.8.8.8
保存退出
4.
改名：master虚拟机下：
hostnamectl set-hostname master    #永久改主机名
systemctl restart network                  #重启网卡
slave1虚拟机下：
hostnamectl set-hostname slave1
systemctl restart network    
slave2虚拟机下：
hostnamectl set-hostname slave2
systemctl restart network
5.
 解决xshell连接虚拟机慢的操作：
vi /etc/ssh/sshd_config       找到#UseDNS  yes==》  删除#，将yes改为no
systemctl restart sshd   #重启远程登入服务
6.
关闭防火墙：systemctl stop firewalld    查看防火墙状态：systemctl status firewalld
7.
关机重启虚拟机

三：hadoop与java的配置：
1.
cd 进入目录
ls 查看目录内容
cd ~ 进入用户主目录
software目录就在主目录下
2.
（opt为根目录的opt）
[root@master ~]cd software   进入software目录
[root@master software]ls     查看software目录下的内容
jdk...   hadoop...   ...
[root@master software]cp jdk... /opt   拷贝software目录下的jdk和hadoop到/opt目录
[root@master software]cd /opt
[root@master opt]tar xzvf jdk...     解压jdk
[root@master opt]tar xzvf hadoop...  解压hadoop
[root@master opt]ls  查看opt目录下的内容
jdk...     hadoop...
[root@master opt]mv jdk... java
[root@master opt]mv hadoop... hadoop  重命名
4.
为hadoop配置环境:
配置环境：
[root@master opt]vi /etc/profile
按shift+G进入文件末尾，输入以下内容：
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
5.
保存退出（按Esc首先退出编辑模式，再按Shift+:进入命令输入模式，输入x或者wq）
[root@master opt]source /etc/profile   让配置重新加载
[root@master opt]java -version
6.
[root@master opt]vi /etc/hosts  配置iP与主机名称的对应关系
192.168.234.101 master
192.168.234.102 slave1
192.168.234.103 slave2
7.
检查配置
[root@master opt]vi /etc/hosts 3台机器都查
8.
免密配置（按照顺序操作）
①、master操作：ssh-keygen -t rsa -P ''
②、slave1操作：ssh-keygen -t rsa -P ''
③、slave2操作：ssh-keygen -t rsa -P ''
④、master操作：cat .ssh/id_rsa.pub > .ssh/authorized_keys
⑤、master操作：scp .ssh/authorized_keys root@slave1:~/.ssh/
⑥、master操作：ssh slave1
⑦、slave1操作：cat .ssh/id_rsa.pub >> .ssh/authorized_keys
⑧、slave1操作：scp .ssh/authorized_keys root@slave2:~/.ssh/
⑨、slave1操作：exit
⑩、master操作：ssh slave2
⑪、slave2操作：cat .ssh/id_rsa.pub >> .ssh/authorized_keys
⑫、slave2操作：scp .ssh/authorized_keys root@slave1:~/.ssh/
⑬、slave2操作：scp .ssh/authorized_keys root@master:~/.ssh/
⑭、slave2操作：exit
⑮、master操作：ssh slavel
⑯、slave1操作：ssh master

四安装配置Hadoop：
1.
进入目录：（依次进入）
cd /opt/hadoop/etc/hadoop/       进入后ls
2.
配置core-site.xml

 
    fs.defaultFS
    hdfs://master:9000
    文件系统访问服务地址
 

3.
配置hdfs-site.xml

 
    dfs.namenode.name.dir
    /opt/hadoop/dfs/name
    名称节点目录地址
 
 
    dfs.datanode.data.dir
    /opt/hadoop/dfs/data
    数据节点目录地址
 
 
    dfs.replication
    3
    数据副本个数
 

4.
配置yarn-site.xml:

 
    yarn.nodemanager.aux-services
    mapreduce_shuffle
 
 
    yarn.nodemanager.auxservices.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
 
 
    yarn.resourcemanager.address
    master:8032
 
 
    yarn.resourcemanager.scheduler.address
    master:8030
 
 
    yarn.resourcemanager.resource-tracker.address
    master:8031
 
 
    yarn.resourcemanager.admin.address
    master:8033
 
 
    yarn.resourcemanager.webapp.address
    master:8088
 
 
    yarn.nodemanager.resource.memory-mb
    2048
 

5.
配置mapred-site.xml（首先先改名，降mapred-site.xml_sample改名为mapred-site.xml）

 
    mapreduce.framework.name
    yarn
 
 
    mapreduce.jobhistory.address
    master:10020
 
 
    mapreduce.jobhistory.webapp.address
    master:19888
 

6.
配置hadoop-env.sh
文件末尾添加   export JAVA_HOME=/opt/java
7.

8.

9.
vi slaves:
删除localhost，添加：
 slave1
 slave2
9.1
创建目录：
[root@master hadoop]# mkdir /opt/hadoop/dfs/name -p
[root@master dfs]# mkdir /opt/hadoop/dfs/data -p

10.
拷贝hadoop安装文件到集群slave节点
scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt
scp -r /opt/java root@slave1:/opt
拷贝 profile  
scp -r /etc/profile root@slave1:/etc
scp -r /etc/profile root@slave2:/etc
关闭防火墙：systemctl stop firewalld

五：Hadoop集群的启动
1.格式化NameNode
进入目录
cd /opt/hadoop/bin
执行格式化
./hdfs namenode -format
2.
启动集群
进入目录:
cd /opt/hadoop
全部启动：start-all.sh
查看实验报告：hdfs dfsadmin -report
执行启动：
hadoop-daemon.sh start namenode
进入目录
cd /opt/hadoop
执行启动:
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
3.
查看集群的进程
[root@master sbin]# jps
正确的为：1765 NameNode
                 1929 SecondaryNameNode
                 2378 JobHistoryServer
                 2412 Jps
                 2077 ResourceManager
4.
添加映射
在Windows下C:WindowsSystem32driversetchosts添加IP映射
192.168.x.x master
192.168.x.x slave1 
192.168.x.x slave2 
5.
浏览器查看:
http://master:9000
http://master:50070
http://master:8088

六：
Hdfs文件系统命令的使用：
1.
创建文件夹：       hdfs dfs -mkdir /user
创建多层文件夹：hdfs dfs -mkdir -p /data/movie
浏览文件夹:         hdfs dfs -ls /
上传文件:            hdfs dfs -put localfile hdfsfile
2.
安装hdfs:
以管理员身份运行cmd命令：pip install hdfs
                                            pip install hdfs -i https:pypi.douban.com/simple
3.
python3.8.6(IDIE中)
import hdfs                  #(导入hdfs库)
dir hdfs
a=hdfs.Client("hdfs://master:50070")
dir(a)

七：
Zookeeper环境的搭建
1.
将压缩文件Zookeeper-3.4.8解压到根目录下的opt目录下
(Zookeeper在software目录中)
2.
进入zookeeper并配置环境
cd zookeeper-3.4.8
cd conf
3.
复制文件并改名
cp /opt/zookeeper-3.4.8/conf/zoo.cfg_sample /opt/zookeeper-3.4.8/conf 
mv zoo.cfg_sample zoo.cfg
4.
vi zoo.cfg
修改文件： dataDir=/opt/zookeeper/data
文件末尾添加:
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
5.
创建data目录(zookeeper-3.4.8目录下):  mkdir data
进入目录：cd data
编辑data：vi myid      在里面添加：1    保存退出
6.
将编辑好的zookeeper-3.4.8远程复制到slave1、slave2中
scp -r /opt/zookeeper-3.4.8 root@slave1:/opt
scp -r /opt/zookeeper-3.4.8 root@slave2:/opt

八：连接python环境
1.
将Python-hdfs-0.4.tar...解压到主目录下
2.
master虚拟机下：
yum install python3
若不能连接，则更改适配器中配置网络环境（201）