完全分布式运行模式(开发重点)
1)准备客户机 2)安装jdk 3) 配置环境变量 4)安装hadoop 5)配置环境变量
6)配置集群 7)单点启动 8) 配置ssh 9)群起并测试集群
scp语法scp定义(可以实现服务器之间的数据拷贝/安全拷贝)
基本语法
| scp | -r | $pdir/$frame | $user@atguigu:$pdir/$fname |
| 命令 | 递归 | 要拷贝的文件路径/名称 | 目的地用户@主机:目的地路径@名称 |
案例实操
1、在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上
scp -r /opt/module/jdk1.8.0_212/ atduigu@hadoop103:/opt/module/
2、在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上
scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
3.在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop104上
scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module/
rsync远程同步工具rsync主要用于备份和镜像。具有速度快,避免复制相同内容和支持符号链接的优点
rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新,scp是把所有文件都复制过去。
基本语法| rsync | -av | $pdir/$fname | $user@$host:$pair/$fname |
| 命令 | 选项参数 | 要拷贝的文件路径/名称 | 目的地用户@主机:目的地路径/名称 |
进项参数说明
| 选项 | 功能 |
| -a | 归档拷贝 |
| -v | 显示复制过程 |
案例实操
1.删除hadoop103中/opt/module/hadoop-3.1.3/wcinput
rm -rf wcinput/wcoutput/ 删除两个文件,删除一个或者两个都行
2.同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103
rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/
xsync集群分发脚本
xsync:循环复制文件到所有节点的相同目录下
在/home/atguigu/bin目录下创建xsync文件
[atguigu@hadoop102 opt]$ cd /home/mischen
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync
打开xsync加入脚本
修改脚本 xsync 具有执行权限
[atguigu@hadoop102 bin]$ chmod 777 xsync
测试脚本
[atguigu@hadoop102 ~]$ xsync bin/
同步环境变量配置(root所有者)
[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意:如果用了sudo,那么xsync一定要给它的路径补全。
让环境变量生效
[atguigu@hadoop103 bin]$ source /etc/profile
ssh免密登录ls -al 查看所有文件(包含隐藏文件)
配置密钥对命令:
ssh-keygen - t rsa +三次回车
将公钥拷贝到对应的主机上(访问自己也需要给自己拷贝公钥)
ssh-copy-id+主机名称
root用户下免密对登录也需要
1.配置密钥对2.拷贝公钥



