scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
基本语法scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称实操
在 bigdata801，将文件从 bigdata801 堆到 bigdata802
[root@bigdata801 module]# scp -r hadoop-3.3.1/ bigdata802:/opt/module/
在 bigdata803，将文件从 bigdata801 拉到 bigdata803
[root@bigdata803 module]# scp -r bigdata801:/opt/module/hadoop-3.3.1 bigdata803:/opt/module/hadoop-3.3.1
在 bigdata802，将文件从 bigdata801 拷到 bigdata804
[root@bigdata802 module]# scp -r bigdata801:/opt/module/hadoop-3.3.1 bigdata804:/opt/module/hadoop-3.3.12、rsync远程同步工具 定义
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
基本语法rsync -av $pdir/$fname $user@$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
| 选项 | 功能 |
|---|---|
| -a | 归档拷贝 |
| -v | 显示复制过程 |
bigdata801 中的 hadoop 安装目录下，存在 wcinput wcoutput 两个文件夹，而 bigdata802 中没有
[root@bigdata801 hadoop-3.3.1]# pwd /opt/module/hadoop-3.3.1 [root@bigdata801 hadoop-3.3.1]# ll 总用量 88 drwxr-xr-x 2 1000 1000 203 6月 15 13:52 bin drwxr-xr-x 3 1000 1000 20 6月 15 13:15 etc drwxr-xr-x 2 1000 1000 106 6月 15 13:52 include drwxr-xr-x 3 1000 1000 20 6月 15 13:52 lib drwxr-xr-x 4 1000 1000 288 6月 15 13:52 libexec -rw-rw-r-- 1 1000 1000 23450 6月 15 13:02 LICENSE-binary drwxr-xr-x 2 1000 1000 4096 6月 15 13:52 licenses-binary -rw-rw-r-- 1 1000 1000 15217 6月 15 13:02 LICENSE.txt -rw-rw-r-- 1 1000 1000 29473 6月 15 13:02 NOTICE-binary -rw-rw-r-- 1 1000 1000 1541 5月 22 00:11 NOTICE.txt -rw-rw-r-- 1 1000 1000 175 5月 22 00:11 README.txt drwxr-xr-x 3 1000 1000 4096 6月 15 13:15 sbin drwxr-xr-x 4 1000 1000 31 6月 15 14:18 share drwxr-xr-x 2 root root 22 8月 22 18:00 wcinput drwxr-xr-x 2 root root 88 8月 22 18:43 wcoutput [root@bigdata801 hadoop-3.3.1]#
[root@bigdata802 hadoop-3.3.1]# pwd /opt/module/hadoop-3.3.1 [root@bigdata802 hadoop-3.3.1]# ll 总用量 88 drwxr-xr-x. 2 root root 203 8月 22 19:23 bin drwxr-xr-x. 3 root root 20 8月 22 19:23 etc drwxr-xr-x. 2 root root 106 8月 22 19:23 include drwxr-xr-x. 3 root root 20 8月 22 19:23 lib drwxr-xr-x. 4 root root 288 8月 22 19:23 libexec -rw-r--r--. 1 root root 23450 8月 22 19:23 LICENSE-binary drwxr-xr-x. 2 root root 4096 8月 22 19:21 licenses-binary -rw-r--r--. 1 root root 15217 8月 22 19:23 LICENSE.txt -rw-r--r--. 1 root root 29473 8月 22 19:23 NOTICE-binary -rw-r--r--. 1 root root 1541 8月 22 19:23 NOTICE.txt -rw-r--r--. 1 root root 175 8月 22 19:23 README.txt drwxr-xr-x. 3 root root 4096 8月 22 19:23 sbin drwxr-xr-x. 4 root root 31 8月 22 19:23 share [root@bigdata802 hadoop-3.3.1]#
在 bigdata801 上执行如下命令
[root@bigdata801 hadoop-3.3.1]# yum install -y rsync
[root@bigdata801 hadoop-3.3.1]# rsync -av /opt/module/hadoop-3.3.1/ bigdata802:/opt/module/hadoop-3.3.1/3、xsync集群分发脚本 需求
循环复制文件到所有节点的相同目录下
需求分析（a）rsync命令原始拷贝：
[root@bigdata801 hadoop-3.3.1]# rsync -av /opt/module/hadoop-3.3.1/ bigdata802:/opt/module/hadoop-3.3.1/
（b）期望脚本：
xsync 要同步的文件名称
（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
[root@bigdata801 ~]# echo $PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/module/jdk1.8.0_181/bin:/opt/module/hadoop-3.3.1/bin:/opt/module/hadoop-3.3.1/sbin:/root/bin脚本实现
（a）在/root/bin目录下创建xsync文件
[root@bigdata801 ~]# cd /root/[root@bigdata801 ~]# mkdir bin[root@bigdata801 ~]# cd bin/[root@bigdata801 bin]# vim xsync
在该文件中编写如下代码
#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in bigdata801 bigdata802 bigdata803 bigdata804do echo ==================== $host ==================== #3. 遍历所有目录，挨个发送 for file in $@ do #4. 判断文件是否存在 if [ -e $file ] then #5. 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 获取当前文件的名称 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else echo $file does not exists! fi donedone修改脚本 xsync 具有执行权限
[root@bigdata801 bin]# chmod 777 xsync [root@bigdata801 bin]# ll总用量 4-rwxrwxrwx 1 root root 753 8月 22 20:45 xsync测试脚本
将刚创建的 bin 分发到其他机器
[root@bigdata801 ~]# xsync bin/
执行过程如下
[root@bigdata801 ~]# xsync bin/==================== bigdata801 ====================sending incremental file listsent 75 bytes received 17 bytes 184.00 bytes/sectotal size is 753 speedup is 8.18==================== bigdata802 ====================sending incremental file listbin/bin/xsyncsent 878 bytes received 39 bytes 611.33 bytes/sectotal size is 753 speedup is 0.82==================== bigdata803 ====================sending incremental file listbin/bin/xsyncsent 878 bytes received 39 bytes 1,834.00 bytes/sectotal size is 753 speedup is 0.82==================== bigdata804 ====================sending incremental file listbin/bin/xsyncsent 878 bytes received 39 bytes 611.33 bytes/sectotal size is 753 speedup is 0.82[root@bigdata801 ~]#
在 bigdata802上查看文件是否分发成功
[root@bigdata802 hadoop-3.3.1]# cd /root/[root@bigdata802 ~]# ll总用量 4-rw-------. 1 root root 1460 2月 28 19:08 anaconda-ks.cfgdrwxr-xr-x. 2 root root 19 8月 22 20:47 bin[root@bigdata802 ~]#分发环境变量
[root@bigdata801 ~]# xsync /etc/proprofile profile.d/ protocols [root@bigdata801 ~]# xsync /etc/profile==================== bigdata801 ====================sending incremental file listsent 46 bytes received 12 bytes 116.00 bytes/sectotal size is 2,318 speedup is 39.97==================== bigdata802 ====================sending incremental file listprofilesent 323 bytes received 59 bytes 764.00 bytes/sectotal size is 2,318 speedup is 6.07==================== bigdata803 ====================sending incremental file listprofilesent 323 bytes received 59 bytes 764.00 bytes/sectotal size is 2,318 speedup is 6.07==================== bigdata804 ====================sending incremental file listprofilesent 323 bytes received 59 bytes 764.00 bytes/sectotal size is 2,318 speedup is 6.07[root@bigdata801 ~]#
