CEPH FS:CEPH FS通过Linux内核客户端和FUSE来提供一个兼容POSIX的文件系统。
四、 Ceph 核心组件及概念介绍
Monitor:一个 Ceph 集群需要多个 Monitor 组成的小集群,它们通过 Paxos 同步数据,用来保存 OSD 的元数据。
OSD:全称 Object Storage Device,也就是负责响应客户端请求返回具体数据的进程。一个 Ceph 集群一般都有很多个 OSD。
MDS:全称 Ceph metadata Server,是 CephFS 服务依赖的元数据服务。
Object:Ceph 最底层的存储单元是 Object 对象,每个 Object 包含元数据和原始数据。
PG:全称 Placement Grouops,是一个逻辑的概念,一个 PG 包含多个 OSD。引入 PG 这一层其实是为了更好的分配数据和定位数据。
RADOS:全称 Reliable Autonomic Distributed Object Store,是 Ceph 集群的精华,用户实现数据分配、Failover 等集群操作。
Libradio:为 Rados 提供库,因为 RADOS 是协议很难直接访问,因此上层的 RBD、RGW 和 CephFS 都是通过 librados 访问的,目前提供 PHP、Ruby、Java、Python、C和C++支持。
CRUSH:Ceph 使用的数据分布算法,类似一致性哈希,让数据分配到预期的地方。
RBD:全称 RADOS block device,是 Ceph 对外提供的块设备服务。
RGW:全称 RADOS gateway,是 Ceph 对外提供的对象存储服务,接口与 S3 和 Swift 兼容。
CephFS:全称 Ceph File System,是 Ceph 对外提供的文件系统服务。
五、块存储
典型设备:
磁盘阵列,硬盘
主要是将裸磁盘空间映射给主机使用的。
优点:
a. 通过 Raid 与 LVM 等手段,对数据提供了保护。
b. 多块廉价的硬盘组合起来,提高容量。
c. 多块磁盘组合出来的逻辑盘,提升读写效率。
缺点:
a. 采用 SAN 架构组网时,光纤交换机,造价成本高。
b. 主机之间无法共享数据。
使用场景:
a. docker 容器、虚拟机磁盘存储分配。
b. 日志存储。
c. 文件存储。
d. …
六、文件存储
典型设备:
FTP、NFS 服务器
为了克服块存储文件无法共享的问题,所以有了文件存储。
在服务器上架设 FTP 与 NFS 服务,就是文件存储。
优点:
a. 造价低,随便一台机器就可以了。
b. 方便文件共享。
缺点:
a. 读写速率低。
b. 传输速率慢。
使用场景:
a. 日志存储。
b. 有目录结构的文件存储。
c. …
七、对象存储
典型设备:
内置大容量硬盘的分布式服务器(swift, s3)
多台服务器内置大容量硬盘,安装上对象存储管理软件,对外提供读写访问功能。
优点:
a. 具备块存储的读写高速。
b. 具备文件存储的共享等特性。
使用场景:
(适合更新变动较少的数据)
a. 图片存储。
b. 视频存储。
c. …
八、Ceph Pool 和 PG 分布情况

说明:
a. pool 是 ceph 存储数据时的逻辑分区,它起到 namespace 的作用。
b. 每个 pool 包含一定数量(可配置)的 PG。
c. PG 里的对象被映射到不同的 OSD 上。
d. pool 是分布到整个集群的。
e. pool 可以做故障隔离域,根据不同的用户场景不一进行隔离。
九、Ceph 数据扩容 PG 分布
场景数据迁移流程:
a. 现状3个 OSD, 4个 PG
b. 扩容到4个 OSD, 4个 PG



