栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Ceph实战(一)-分布式存储介绍与原理架构概述

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Ceph实战(一)-分布式存储介绍与原理架构概述

CEPH FS:CEPH FS通过Linux内核客户端和FUSE来提供一个兼容POSIX的文件系统。

四、 Ceph 核心组件及概念介绍


Monitor:一个 Ceph 集群需要多个 Monitor 组成的小集群,它们通过 Paxos 同步数据,用来保存 OSD 的元数据。

OSD:全称 Object Storage Device,也就是负责响应客户端请求返回具体数据的进程。一个 Ceph 集群一般都有很多个 OSD。

MDS:全称 Ceph metadata Server,是 CephFS 服务依赖的元数据服务。

Object:Ceph 最底层的存储单元是 Object 对象,每个 Object 包含元数据和原始数据。

PG:全称 Placement Grouops,是一个逻辑的概念,一个 PG 包含多个 OSD。引入 PG 这一层其实是为了更好的分配数据和定位数据。

RADOS:全称 Reliable Autonomic Distributed Object Store,是 Ceph 集群的精华,用户实现数据分配、Failover 等集群操作。

Libradio:为 Rados 提供库,因为 RADOS 是协议很难直接访问,因此上层的 RBD、RGW 和 CephFS 都是通过 librados 访问的,目前提供 PHP、Ruby、Java、Python、C和C++支持。

CRUSH:Ceph 使用的数据分布算法,类似一致性哈希,让数据分配到预期的地方。

RBD:全称 RADOS block device,是 Ceph 对外提供的块设备服务。

RGW:全称 RADOS gateway,是 Ceph 对外提供的对象存储服务,接口与 S3 和 Swift 兼容。

CephFS:全称 Ceph File System,是 Ceph 对外提供的文件系统服务。

五、块存储


典型设备:

磁盘阵列,硬盘

主要是将裸磁盘空间映射给主机使用的。

优点:

a. 通过 Raid 与 LVM 等手段,对数据提供了保护。

b. 多块廉价的硬盘组合起来,提高容量。

c. 多块磁盘组合出来的逻辑盘,提升读写效率。

缺点:

a. 采用 SAN 架构组网时,光纤交换机,造价成本高。

b. 主机之间无法共享数据。

使用场景:

a. docker 容器、虚拟机磁盘存储分配。

b. 日志存储。

c. 文件存储。

d. …

六、文件存储


典型设备:

FTP、NFS 服务器

为了克服块存储文件无法共享的问题,所以有了文件存储。

在服务器上架设 FTP 与 NFS 服务,就是文件存储。

优点:

a. 造价低,随便一台机器就可以了。

b. 方便文件共享。

缺点:

a. 读写速率低。

b. 传输速率慢。

使用场景:

a. 日志存储。

b. 有目录结构的文件存储。

c. …

七、对象存储


典型设备:

内置大容量硬盘的分布式服务器(swift, s3)

多台服务器内置大容量硬盘,安装上对象存储管理软件,对外提供读写访问功能。

优点:

a. 具备块存储的读写高速。

b. 具备文件存储的共享等特性。

使用场景:

(适合更新变动较少的数据)

a. 图片存储。

b. 视频存储。

c. …

八、Ceph Pool 和 PG 分布情况


![640?wx_fmt=png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9qRTViT3cyMmlhQnNvNnRDNGJBaWNMd0ZtYmljZFc5VmNXNmlhQlRDWTFJS0lWaklzRThpYUZpYXZ6UnlpYTl6a3piZEQ3VFdtc3VpYk1ETDVuN2pISXRqelZ5Rnl3LzY0MD93eF9mbXQ9cG5n?x-

【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】

浏览器打开:qq.cn.hn/FTf 免费领取

oss-process=image/format,png)

说明:

a. pool 是 ceph 存储数据时的逻辑分区,它起到 namespace 的作用。

b. 每个 pool 包含一定数量(可配置)的 PG。

c. PG 里的对象被映射到不同的 OSD 上。

d. pool 是分布到整个集群的。

e. pool 可以做故障隔离域,根据不同的用户场景不一进行隔离。

九、Ceph 数据扩容 PG 分布


场景数据迁移流程:

a. 现状3个 OSD, 4个 PG

b. 扩容到4个 OSD, 4个 PG

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/356899.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号