因为物理服务器硬盘故障导致osd down，所以需要将down掉的osd踢出集群，等待硬盘更换完成后再次添加进集群
[root@ceph-1 ceph]# umount /var/lib/ceph/osd/ceph-5 #将ceph挂载目录进行卸载 [root@ceph-1 ceph]# ceph osd out osd.1 #将osd.1的状态设置为out [root@ceph-1 ceph]# ceph osd stop 1 #将osd.1 stop [root@ceph-1 ceph]# ceph osd crush rm osd.1 #从CRUSH中删除osd.1 [root@ceph-1 ceph]# ceph auth del osd.1 #删除osd.1的认证信息 [root@ceph-1 ceph]# ceph osd rm osd.1 #从集群中删除osd.1 [root@ceph-1 ceph]# ssh ceph-3 #切换到osd.1所在主机 [root@ceph-3 ~]# ll /var/lib/ceph/osd/ceph-1/block #列出osd.1挂载目录block目录软链接的ceph名称 lrwxrwxrwx 1 ceph ceph 93 11月 17 18:38 /var/lib/ceph/osd/ceph-1/block -> /dev/ceph-d858d7a5-1615-4e08-a326-622660894c51/osd-block-b8137c38-ede1-4c01-9dba-2002b2530315 [root@ceph-3 ~]# umount /var/lib/ceph/osd/ceph-1/ #将osd.1挂载目录卸载 [root@ceph-3 ~]# dmsetup remove --force ceph-d858d7a5-1615-4e08-a326-622660894c51/osd-block-b8137c38-ede1-4c01-9dba-2002b2530315 #因为ceph-osd创建后是作为lvm的，所以需要将lvm卷删除 [root@ceph-3 ~]# lsblk #查看那块硬盘已经没有lvm卷 [root@ceph-3 ~]# mkfs.xfs -f /dev/vdc #格式化硬盘，-f:强制执行 [root@ceph-1 ceph]# ceph-deploy osd create ceph-3 --data /dev/vdc --journal /dev/vdk1 #将vdc盘再次创建为osd并指定日志盘 [root@ceph-1 ceph]# ceph osd df tree #查看osd状态是否已经添加，需要稍等30秒才可看到
