栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

rclone挂载基于rsync的增量同步到ceph的验证

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

rclone挂载基于rsync的增量同步到ceph的验证

一.软件的下载和安装

1.下载rsync

Rsync是一款远程同步的软件,需要在客户端和服务端同时安装配置。但是如果只在本地同步,就只需要下载安装客户端就行先下载rsync,参考链接:https://blog.csdn.net/qqchaozai/article/details/41245955

安装好客户端,cmd命令到安装路径的bin路径下,执行同步指令

2.下载rclone

参考链接:https://www.cnblogs.com/xzy186/p/14430650.html。

链接这篇文章是rclone挂载ceph对象存储的,正好我这次用,但是我挂载的是S3服务器。注意选择正确的云服务以及读写权限,输入正确的access_key和secret_key。配置完成以后可以再powershell或者cmd中输入rclone version可以看出环境变量是否配置成功。输入rclone config show可以看到刚刚配置的rlone配置文件。最后成功挂载,如下图

3.搭建ceph的对象存储,这个网上有很多资料就不仔细说了。

需要注意rclone挂载ceph的对象存储的时候一定要在用户名之后加入bucket,相当于对ceph的对象存储直接操作。比如下面的命令:bucket_name就是我的bucket名字。

rclone mount  rclone_name:/bucket_name  Q: --cache-dir c:temp   --vfs-cache-mode writes

二.测试

1.用wireshark开始抓包,上传E:codetest2目录中的2个PDF文同步到rclone挂载的Q盘,在cmd的rsync的bin目录下执行rsync命令进行本机同步:

rsync -vrtopg -progress --delete /cygdrive/e/code/test2/   /cygdrive/Q,

先在本机查看是否/test2/目录中的文件已经同步到Q盘,然后再到服务器查看是否上传成功,上传成功以后即可停止抓包。然后利用端口和http过滤,可以查看到有2个pdf文件上传成功

 2.wireshark开始抓包。在E:codetest2目录中拷贝进去两个ppt文件,继续执行rsync的同步命令。继续现在本机Q盘查看是否把视频文件同步到Q盘,再去服务器查看是否有2个新上传的ppt文件,如果有,即可停止抓包,抓包分析如下:

三,结论

2次测试结果可以发现:第二次抓包显示只上传了后面新增的两个ppt,所以在rclone到对象存储这块是增量传输。rsync到rclone的同步本身就利用的rsync的增量传输算法。 

三. 遇到的问题:

问题1:rclone挂载到G盘以后利用rsync同步E:codetest2中的文件,但是一直显示没有权限,

网上没有权限的方法很多,大部分都是linux环境下的selinux导致,windows下需要重新看了。查看rclone挂载的页面一直显示不能改变不能写,Q盘里面一直没有文件,当然服务器肯定也是空的。

rclone的挂载页面一直如下图:

 解决方案:之前挂载rclone的命令是:rclone mount rclone_name:/bucket_name Q: --cache-dir C:temp,后来看到写没有权限重新修改挂载命令:

rclone mount rclone_name:/bucket_name Q: --cache-dir C:temp --vfs-cache-mode  writes 

加了写的权限才可以。

问题2:rclone挂载以后一直出现下面的问题

挂载可以成功,但是挂载成功以后的盘打不开,一直报下面的错

 我在网上找了很多rclone挂载出现这个问题的原因,也没有找到合适的,最后换了一个环境才测试成功,所以应该是ceph的环境问题,至于ceph环境哪里存在问题我还暂时不知道,反正是换了一个环境以后成功了。

问题3.由于问题2的出现,我之前还没有换环境,一直不成功,索性就用下面的命令,不挂载到bucket的下面,直接这样挂载。虽然我不知道最后会传到哪里,但是想着先试一下。因为不写bucket至少挂载的盘是可以打开的,但是通过rsync同步过去的文件刚开始好的,后面就变成

rclone mount rclone_name:/ Q: --cache-dir C:temp --vfs-cache-mode  writes

下面的图了,都变成了加了小黄锁的文件夹,而且打开文件夹全是空的。删除空文件夹以后重新挂载上还是会有原来删除的空文件夹。

 抓包有个规律,如果是上传新的文件在空的挂载盘中(这个挂载的盘从来没有同步过文件),抓包是正常的。一旦有文件变成小黄锁的文件夹以后,再上传,抓包就会出现如下现象,什么查找,什么删除,什么的。如果一直删除小黄锁文件夹,一直上传的话服务器会返回:bad request,错误码400还是403,反正就是一堆的乱七八糟错误,走了很多弯路。所以记录一下,大神请绕路

 参考链接:

https://blog.csdn.net/qqchaozai/article/details/41245955

https://www.cnblogs.com/xzy186/p/14430650.html。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/457353.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号