一.软件的下载和安装
1.下载rsync
Rsync是一款远程同步的软件,需要在客户端和服务端同时安装配置。但是如果只在本地同步,就只需要下载安装客户端就行先下载rsync,参考链接:https://blog.csdn.net/qqchaozai/article/details/41245955
安装好客户端,cmd命令到安装路径的bin路径下,执行同步指令
2.下载rclone
参考链接:https://www.cnblogs.com/xzy186/p/14430650.html。
链接这篇文章是rclone挂载ceph对象存储的,正好我这次用,但是我挂载的是S3服务器。注意选择正确的云服务以及读写权限,输入正确的access_key和secret_key。配置完成以后可以再powershell或者cmd中输入rclone version可以看出环境变量是否配置成功。输入rclone config show可以看到刚刚配置的rlone配置文件。最后成功挂载,如下图
3.搭建ceph的对象存储,这个网上有很多资料就不仔细说了。
需要注意rclone挂载ceph的对象存储的时候一定要在用户名之后加入bucket,相当于对ceph的对象存储直接操作。比如下面的命令:bucket_name就是我的bucket名字。
rclone mount rclone_name:/bucket_name Q: --cache-dir c:temp --vfs-cache-mode writes
二.测试
1.用wireshark开始抓包,上传E:codetest2目录中的2个PDF文同步到rclone挂载的Q盘,在cmd的rsync的bin目录下执行rsync命令进行本机同步:
rsync -vrtopg -progress --delete /cygdrive/e/code/test2/ /cygdrive/Q,
先在本机查看是否/test2/目录中的文件已经同步到Q盘,然后再到服务器查看是否上传成功,上传成功以后即可停止抓包。然后利用端口和http过滤,可以查看到有2个pdf文件上传成功
2.wireshark开始抓包。在E:codetest2目录中拷贝进去两个ppt文件,继续执行rsync的同步命令。继续现在本机Q盘查看是否把视频文件同步到Q盘,再去服务器查看是否有2个新上传的ppt文件,如果有,即可停止抓包,抓包分析如下:
三,结论
2次测试结果可以发现:第二次抓包显示只上传了后面新增的两个ppt,所以在rclone到对象存储这块是增量传输。rsync到rclone的同步本身就利用的rsync的增量传输算法。
三. 遇到的问题:
问题1:rclone挂载到G盘以后利用rsync同步E:codetest2中的文件,但是一直显示没有权限,
网上没有权限的方法很多,大部分都是linux环境下的selinux导致,windows下需要重新看了。查看rclone挂载的页面一直显示不能改变不能写,Q盘里面一直没有文件,当然服务器肯定也是空的。
rclone的挂载页面一直如下图:
解决方案:之前挂载rclone的命令是:rclone mount rclone_name:/bucket_name Q: --cache-dir C:temp,后来看到写没有权限重新修改挂载命令:
rclone mount rclone_name:/bucket_name Q: --cache-dir C:temp --vfs-cache-mode writes
加了写的权限才可以。
问题2:rclone挂载以后一直出现下面的问题
挂载可以成功,但是挂载成功以后的盘打不开,一直报下面的错
我在网上找了很多rclone挂载出现这个问题的原因,也没有找到合适的,最后换了一个环境才测试成功,所以应该是ceph的环境问题,至于ceph环境哪里存在问题我还暂时不知道,反正是换了一个环境以后成功了。
问题3.由于问题2的出现,我之前还没有换环境,一直不成功,索性就用下面的命令,不挂载到bucket的下面,直接这样挂载。虽然我不知道最后会传到哪里,但是想着先试一下。因为不写bucket至少挂载的盘是可以打开的,但是通过rsync同步过去的文件刚开始好的,后面就变成
rclone mount rclone_name:/ Q: --cache-dir C:temp --vfs-cache-mode writes
下面的图了,都变成了加了小黄锁的文件夹,而且打开文件夹全是空的。删除空文件夹以后重新挂载上还是会有原来删除的空文件夹。
抓包有个规律,如果是上传新的文件在空的挂载盘中(这个挂载的盘从来没有同步过文件),抓包是正常的。一旦有文件变成小黄锁的文件夹以后,再上传,抓包就会出现如下现象,什么查找,什么删除,什么的。如果一直删除小黄锁文件夹,一直上传的话服务器会返回:bad request,错误码400还是403,反正就是一堆的乱七八糟错误,走了很多弯路。所以记录一下,大神请绕路
参考链接:
https://blog.csdn.net/qqchaozai/article/details/41245955
https://www.cnblogs.com/xzy186/p/14430650.html。



