无论是通过Ceph块设备、对象存储还是文件系统，Ceph存储群集都从Ceph客户端接收数据，并将其存储为对象。每个对象对应于文件系统中的一个文件，该文件存储在对象存储设备上。Ceph OSD守护程序处理存储磁盘上的读/写操作。

此博文基于部署ceph集群 （Nautilus版）进行操作！

没有特殊声明，在 ceph-node-11 节点上执行

Ceph存储系统支持“池”的概念，“池”是用于存储对象的逻辑分区。

Ceph客户端从Ceph监控器检索集群映射，并将对象写入池中。池的size副本数或副本数，CRUSH规则和放置组的数量决定了Ceph将如何放置数据。

pg是用来存放object的，pgp相当于是pg存放osd的一种排列组合！

举例说明：比如有3个osd，osd1、osd2、osd3 ，副本数是2，如果pgp的数目是1，那么所有的pg存放的osd组合就只有一种，可能是[osd.1,osd.2]，那么所有的pg主从副本分别存放到osd.1和osd.2，如果pgp设为2，那么其osd组合可以两种，可能是[osd.1,osd.2]和[osd.1,osd.3]，是不是很像我们高中数学学过的排列组合，pgp就是代表这个意思。一般来说应该将pg和pgp的数量设置为相等。

ceph集群搭建起来后，可以在ceph集群上进行块存储、对象存储以及文件系统存储。从架构上来看，在ceph集群的上面是rados协议，该协议为使用ceph集群的用户提供必要的支持（ceph用户通过调用rados协议来使用ceph集群）。对于块存储来说，可以通过内核模块的方式使用ceph集群也可以通过用户态调用librbd库来使用ceph集群。通过内核模块方式可以充分的利用内核的page cache机制，而通过用户态调用librbd也可以使用librbd在用户态提供的cache方式提高性能。

在进行创建rbd之前，需要先按照上面的操作，创建出来一个可用的pool。

至此，就可以将/dev/rbd0当成我们一个本地的磁盘来使用了。

如果将ceph对接云平台，当成云盘来使用，那么不建议对块设备进行分区，这样可以避免块设备扩容带来的麻烦。

一个文件被切割成多个object，每个object大小为4M，object存储到pg上（经过hash运算，再取掩码，得到它要落到哪个pg上，），pg再通过crush算法，最终找到对应的osd上。

rdb块设备，支持扩缩容，但是对于缩容操作，强烈不建议，可能会造成数据丢失。