xshell
接着安装xshell，xftp等工具，并连接
然后在root权限下安装插件
yum install -y epel-release
如若不成功，找到端口号
kill -9 端口号
然后在执行上述命令
关闭防火墙
system stop firewalld（关闭防火墙）
system dissable firewalld.service （关闭开机防火墙）
给用户添加root权限
vim /etc/sudoers
在这之中，拉到最下面
更改权限
gaofei ALL=(ALL) NOPASSWD:ALL
cd /opt
可查看里面文件
rm -rf rh/
发现权限不够
可用sudo rm - rf rh/
然后创建一个文件夹module，日后文件安装的地方
sudo mkdir modle
接着创建一个文件夹software
sudo mkdir software
此时俩个文件夹都在root权限下，进行权限更改
sudo chown gaofei:gaofei module/ software
改在gaofei权限下
卸载jdk
su root
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps（删除）
rpm -qa | grep -i java（查看）
之后重启虚拟机repoot
克隆虚拟机
克隆虚拟机，在vm中直接克隆即可
克隆完毕之后，先配置iIP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname
输入代码后将对应的IP地址改成对应的虚拟机
然后重启
ifconfig 查看ip地址
ping 百度查看成功
连接xshell
安装jdk
连接主机102，使用xftp将jdk压缩包导入software中
cd /opt/software
使用xftp导入
tar -zxvf jdk-8u212-linux-x64.tar.gz -C 、opt/module/
解压到了module的路径下
先进入jdk进行环境变量的配置
cd /opt
cd module
cd jdk-8u212
进入jdk中之后
sudo cd /etc/profile.d
cd /etc/profile.d
创建自己的文件
sudo vim my_env.sh
在里面这样配置
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
重新加载
source /etc/profile
安装Hadoop
cd /opt/software
解压缩
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module
然后进入hadoop
cd /opt/module
cd hadoop-3.1.3
pwd,记录文件目录
sudo cd /etc/profile.d
sudo vim my_env.sh
在里面配置
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export path=$path:$HADOOP_HOME/sbin
退出编辑,
重新启动
source /etc/profile
创建一个表，查看表中数据出现多少次（本地运营模式）
进入hadoop-3.1.3
创建一个文件wcinput
mkdir wcinput
cd wcinput/
vim word.txt
文件中随意输入数据
导入jar包，
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutpu
进入 cd wcoutpu/
此时数据已经分析完毕在 part-r-00000 中
查看数据出现次数
cat part-r-00000
切记
执行源码时输出路径不能存在
完全分布式搭建
1.scp拷贝工具，，将102上的jdk拷贝到103，104
scp -r $pidir/$fname $name@$host:$pdir/$fname
命令 递归 要拷贝的文件名称路径 目的地用户@主机目的地路径名称
scp -r gaofei@192.168.10.103 :/opt/module
(从102拷贝到103)
scp -r gaofei@192.168.10.102:/opt/module/hadoop-3.1.3 ./
（在102拿文件拷贝到103，在103中操作）
scp -r gaofei@192.168.10.102:/opt/module/* gaofei@192.168.10.104:/opt/module/
（站在103，拿102文件拷贝到104）
2.rsync 远程同步工具
rsync -av $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径 目的地用户@主机：目的地路径、名称
rsync -av hadoop-3.1.3/ gaofei@192.168.10.103:/opt/module/hadoop-3.1.3/
将102数据同步到103
3.xsync（观看）
家目录下
mkdir bin
cd bin
vim xsync
（在其中编写）
#!/bin/bash
#1. 判断参数个数if [ $# -lt 1 ] then
echo Not Enough Arguement! exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104 do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@ do
#4. 判断文件是否存在
if [ -e $file ] then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称fname=$(basename $file) ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir else
echo $file does not exists!
fi done
done
保存退出后
加权限
chmod 777 xsync
ssh免密登录
家目录下
ls -al
cd .ssh
ssh -keygen -t rsa
ssh-copy-id 192.168.10.102
ssh-copy-id 192.168.10.103
ssh-copy-id 192.168.10.104
102,103,104同理
