ceph集群的部署

ceph是一个比较复杂、拥有很多特性的分布式存储系统，ceph arch对ceph的原理做了很好对介绍。这里简要说明一下。

rados是ceph的基石，它是一个自治的对象存储系统，由osd和mon组成，osd是实际的存储单元，mon维护了集群的map。

mds是与osd、mon并列的组件，只有使用ceph filesystem时，才需要mds，用来存储文件系统的元数据(metadata)。

librados是rados的sdk，Ceph的块设备(Ceph Block Device)和支持S3、Swift接口的对象存储网关(Ceph Object Gateway)都是通过librados从rados中存取数据。

从rados中读取或者写入object的时候，object的位置是通过Cluster map和CRUSH算法计算出来的。

在rados中，object是存放在pool中的，每个pool都会配置size(备份数目)和PGs(PlaceGroup的数目)。

一个pool中包括多个PG，每个PG的ID是如果pool被设置成备份N份，那么CRUSH会为这个pool分配N个OSD(取决于具体的策略），这N个OSD是这个PG的Acting Set。

PG包含的第一个OSD是Primary OSD，其它的OSD依次称为Second OSD、Third OSD。

Primary OSD主动与属于同一个PG的OSD进行同步，OSD状态都正常时，这个PG状态被标记为active+clean，这时候这个PG可以被写入数据。

当一个OSD故障后，CRUSH为受到影响的PGs再分配一个OSD，OSD之间自发地进行数据同步。

用来处理Client的请求的OSDs是这个PG的Up Set，通常与Acting Set是相同的。

操作object时:

每个OSD会检查其它多个OSD的状态，并将状态上报到MON，MONs之间通过Paxos协议，维护一份一致的ClusterMap，ClusterMap由五部分组成：

Active状态:

Clean状态:

Degraded状态:

Recovering状态:

Back Filling状态:

Remapped状态:

Stale状态:

ceph config中详细介绍了ceph的配置文件。

ceph系统的三个守护进程ceph-mon、ceph-osd、ceph-mds都会按照下列顺序寻找ceph.conf:

ceph.config由下面五个部分组成:

osd、mon、mds中的配置会覆盖global中的配置。还可以通过ID设置更细的配置：

每一个osd.XX、mon.XX或者mds.XX对应一个进程。

可以在配置文件中直接使用变量:

monitor config:

任何一个client（包括osd和mds)只要从mon中获取到最新的cluster map，就可以通过CRUSH算法计算出每个object的存放位置。

ceph-osd、ceph-mds以及ceph client都是通过ceph.conf中的配置找到至少一个ceph-mon，而ceph-mon之间则是用monmap发现彼此。

也正式因为如此，部署第一个ceph-mon时需要通过手动创建monmap文件，后续的的ceph-mon只需要将其添加到monmap即可。mon-bootstrap

配置项在ceph.conf中的分布：

也可以用dns srv域名标记mon，mon-lookup-dns。

mon数据的默认存放在/var/lib/ceph/mon/$cluster-$id，可以修改：

如果ceph的存储空间完全用尽了，可靠性会降低，需要在ceph.conf中配置最大的使用率：

更多配置项可以在monitor config中查看。

cephx config

When cephx is enabled, Ceph will look for the keyring in the default search path, which includes /etc/ceph/$cluster.$name.keyring. You can override this location by adding a keyring option in the [global] section of your Ceph configuration file, but this is not recommended.

key分为monitor key、daemon key、client key。

monitor key是mon用来签署认证相关内容的key:

daemon key是每个组件使用的key，默认是/var/lib/ceph/XX/keysting

client key是client访问集群时使用的key:

osd config

pool-pg-config，可以设置每个pool的size(object的备份数)和pg numbers，如果不设置则使用ceph.conf中的默认值。

deploy用来部署部署ceph集群（因为后面使用ceph-deploy失败，实际deploy没有用到）

在deploy上安装:

在所有的Ceph Node上安装:

在所有的Ceph Node创建Ceph用户:

为Ceph用户添加sudo权限：

在deploy上执行：

在deploy的的~/.ssh/config中添加：

这时候可以直接使用主机名登陆ssh master。

设置hosts，使得各个ceph node可以通过hostname访问，注意访问自己的hostname的时候，不能解析到127.0.0.1。

设置防火墙:

暂时关闭selinux:

安装epel:

在deploy上，创建目录用于保存安装过程中生成的文件:

指定一个节点，先创建cluster:

运行结束后，可以看到生成下面的文件:

如果只有两个OSD，需要在ceph.conf中修改为使用2备份，添加在[global]中:

在ceph.conf中配置public network:

安装:

ceph-deploy过程中有各种问题，改为手动部署。

手动安装过程中不需要使用deploy节点。

安装epel源:

安装yum-plugin-priorities:

在/etc/yum/pluginconf.d/priorities.conf中添加:

安装key:

编辑/etc/yum.repos.d/ceph.repo，注意将{ceph-release}和{distro}替换为ceph-release中的版本，确保cn.ceph.com中有对应的目录。

cn.ceph.com是ceph的中国区镜像。

如果在ceph.repo中更改了版本，需要执行一下yum clean all。

安装:

注意需要安装epel源，否则出现下面的错误:

生成一个uuid作为cluster id:

编辑/etc/ceph/ceph.conf文件:

初始化monmap：

在/etc/ceph/ceph.conf中添加其它的配置项:

启动:

[email protected]实质就是启动下面的进程，master作为ID传入，ceph-mon会使用目录/var/lib/ceph/mon/ceph-{ID}/:

这时候，可以查看:

可以看到当前只有1个monitor，0个osd。

查看mon.master的版本:

执行命令:

执行完成后，会生成下面的文件:

注意这里使用的master仅仅是hostname，并没有主从的意思。

ceph monitor中对monitor做了说明，奇数个monitor和大1的偶数个monitor的能容忍的故障节点数是相同的。

在slave1上再启动一个monitor:

启动之后，会自动加入:

停掉对应的monitor服务后:

然后去掉ceph.conf中相关的配置。

如果集群是unhealth，譬如monitor之间无法形成有效的选举。

首先停掉所有的monitor，然后到一台确定正常的monitor上操作：

将monitor中的文件:

复制到slave1和slave2的同名目录下。如果缺失，在对OSD进行activate操作时会报错。

在slave1上运行:

这里使用xfs，如果使用其它格式例如ext4，启动时可能报错：

这里直接使用的是/dev/sdb，/dev/sdb会被分区自动格式化，并设置为active。

通过df命令，可以看到/dev/sdb1已经被挂载：

如果没有挂载，手动激活:

ceph-1中的1就是OSD的在ceph中分配到的ID号。

如果要卸载OSD:

启动：

在slave2上进行同样的操作。

因为前面在ceph.conf中配置的是双备份，所以有两个OSD之后，ceph才会进入health状态:

OSD的数据默认存放在/var/lib/ceph/osd/${cluster}-{id}:

将下面的{cluster-name}替换成集群的名字ceph, {id}替换成hostname。

并且在/etc/ceph/ceph.conf中添加:

如果在master上:

在/etc/ceph/ceph.conf中添加：

然后启动：

ceph storage cluster、ceph filesystem、ceph block device、ceph object gateway、ceph manager daemon。

ceph-storage-cluster

启动node上所有ceph相关服务：

查看ceph状态:

启动所有daemon:

启动具体的daemon:

在任意node上直接键入ceph就可以进入交互界面：

在交付ceph cluster之前，确认集群是健康的：

在node上配置ntpd同步系统时间

如果时间同步精度难以达到，可以增加ceph的容忍度，在ceph.conf中:

通过ceph daeon可以直接与本地的daemon通信，对指定的daemon进行操作。

例如:

通过ceph daemon，可以修改daemon的运行时参数，ceph runtime config。

pg stat查看pg的状态:

64个pgs，64个位于active+clean状态。

pg dump会列出所有的PG。

PG ID格式为： {pool ID}.{PG ID in this pool}，例如:

可以以json格式导出：

ceph pg {PG ID} query查询指定的PG:

pg map查看指定PG的状态:

ceph pg dump_stuck可以查看状态异常的PG:

pg states中介绍了pg的状态含义:

用户名格式:

可以为用户分别设置对不同的daemon的权限:

daemon-type类型有: mon、mds、osd，ceph user management中列出了所有的权限选项。

访问ceph集群的时候，需要提交用户的key来完成身份认证，用户的key保存在本地的keystring中，ceph client会自动解读keystring文件。

keystring文件格式如下，可以包含多个用户的key：

ceph client默认用户是client.admin，会按照下面的顺序寻找当前用户的keyring:

也可以直接指定用户和keystring，例如：

可以将一个keyring中的用户导入到另一个keyring:

查看所有用户:

查看一个用户:

直接创建用户，自动生成key:

除了直接创建用户，也可以通过ceph auth import将keystring中的用户导入。

如果用户已经存在，覆盖同名用户的原先配置。

ceph-authtool用来管理keystring。

首先需要通过ceph auth获取已有用户的keystring:

或者直接创建一个keystring（这一步只是创建了keystring，不会创建user）:

可以通过ceph-authool直接修改keystring中的内容:

将keystring中的用户导入系统，如果已经存在，覆盖同名用户的原先配置:

打印用户key:

修改用户权限:

也可以通过修改keystring，然后重新导入的方式修改:

ceph pools operations

可以选择replicated模式、erasure模式。

创建pool的时候需要指定pg-num和pgp-num，这两个数值需要特别注意，它们会影响到增添osd时的数据迁移数量。

Ceph Placement Groups中介绍了pg与osd的关系，简单概括就是pool中的obj映射到pg，pg再映射到osd。

Ceph文档中，推荐pg_num下面的设置:

Ceph pooll pgp中介绍了pgp，简单概括就是pgp_num需要与pg_num相等，只有更新了pgp_num之后，才会开始数据重新分布。

引用一段来自《Learning Ceph》中关于PGP的介绍：

设置quota:

删除:

重命名:

查看状态：

做快照：

删除快照:

配置:

ceph pools中列出pool的所有配置项.

erasure-code

cache tiering是速度较快的存储用来做cache，客户端感知不到cache tiering的存在。

cache tiering中列出了cache tiering的所有配置项。

crush paper中提出了CRUSH算法。

CRUSH maps contain:

OSD的位置在ceph中称为crush location，格式如下:

OSD的crush location是从ceph.conf中读取的：

如果ceph.conf中没有配置，那么地址就是：

读取crush map:

解析成文本格式:

重新压缩为二进制格式：

设置crushmap:

crush map中列出了crush-map的所有配置。

Ceph的块设备Ceph’s RADOS Block Devices简称RBD，Client通过内核模块或者librdb与OSD交互。

Ceph block devices are [thin-provisioned][], resizable and store data striped over multiple OSDs in a Ceph cluster.

将block device映射到本地:

如果提示：

可以关闭相关的特性:

可以通过showmapped看到映射情况：

映射完成后，就可以将/dev/rbd0当作一个块设备进行操作，譬如：

取消映射:

用df命令也可以看到rbd0：

Ceph Block Device images are thin provisioned. They don’t actually use any physical storage until you begin saving data to them. However, they do have a maximum capacity that you set with the –size option.

删除：

ceph-block-device中列出rbd相关的更多操作。

可以在rbd被挂载的情况下进行扩容操作，操作之前先备份数据。

将大小设置为20G，–size指定数值单位是MB。

对于ext4文件系统：

对于xfs文件系统，/mnt是挂载点：

这时候用df查看，可以看到磁盘空间大小已经为20G。

ceph-filesystem

ceph-object-gateway

ceph-manger-daemon