Ceph 管理和使用

上次介绍了Ceph集群架构并且搭建了ceph集群，本节介绍ceph用户认证流程和挂载、cephFS、ceph RBD以及ceph mds高可用

Ceph 使用 cephx 协议对客户端进行身份认证。cephx 用于对 ceph 保存的数据进行认证访问和授权，用于对访问 ceph 的请求进行认证和授 权检测，与 mon 通信的请求都要经过 ceph 认证通过，但是也可以在 mon 节点关闭 cephx 认证，但是关闭认证之后任何访问都将被允许，因此无法保证数据的安全性。

首先客户端向 ceph-mon 服务请求数据，mon 节点会返回用于身份认证的数据结构，其中包含获取 ceph 服务时用到的 session key，session key 通过客户端秘钥进行加密，秘钥是在客户端提前配置好的，/etc/ceph/ceph.client.admin.keyring，客户端使用key解密后得到session key, 然后使用 session key 向 ceph-mon 请求所需要的服务，ceph-mon 收到请求后会向客户端提供一个 tiket，用于向实际处理数据的 OSD 等服务验证客户端身份， ceph-mon 和 ceph-osd 服务共享同一个 secret，因此 ceph-osd 会信任所有 ceph-mon 发放的 tiket。

每个 ceph-mon 节点都可以对客户端进行身份认证并分发秘钥，因此多个 ceph-mon 节点就不存在单点故障和认证性能瓶颈。同时请注意，tiket 存在有效期，认证流程图如下：

无论 ceph 客户端是哪种类型，例如块设备、对象存储、文件系统，ceph 都会在存储池中将所有数据存储为对象:

用户是指个人(ceph 管理者)或系统参与者(MON/OSD/MDS)。通过创建用户，可以控制用户或哪个参与者能够访问 ceph 存储集群、以及可访问的存储池 及存储池中的数据。ceph 支持多种类型的用户，但可管理的用户都属于 client 类型区分用户类型的原因在于，MON/OSD/MDS 等系统组件都使用 cephx 协议，但是它们不算是客户端。

用户管理功能可让 Ceph 集群管理员能够直接在 Ceph 集群中创建、更新和删除用户。 在 Ceph 集群中创建或删除用户时，可能需要将密钥分发到客户端，以便将密钥添加到密钥环文件中/etc/ceph/ceph.client.admin.keyring，此文件中可以包含一个或者多个用户认证信息，凡是拥有此文件的节点，将具备访问 ceph 的权限，而且可以使用其中任何一个账户的权限，此文件类似于 linux 系统的中的/etc/passwd 文件。

注意: TYPE.ID 表示法 针对用户采用TYPE.ID表示法，例如osd.0指定是osd类并且ID为0的用户(节点)，client.admin 是 client 类型的用户，其 ID 为 admin。

另请注意，每个项包含一个 key=xxx 项，以及一个或多个 caps 项。

可以结合使用-o 文件名选项和 ceph auth list 将输出保存到某个文件

$ ceph auth list -o client.admin.key

ceph 基于使能/能力(Capabilities，简称 caps )来描述用户，可针对 MON/OSD 或 MDS 使用的授权范围或级别。 通用的语法格式:daemon-type 'allow caps' [...] 能力一览表:

MON 能力:

包括 r/w/x 和 allow profile cap(ceph 的运行图),示例：

OSD 能力:

MDS 能力:

添加一个用户会创建用户名 (TYPE.ID)、机密密钥，以及包含在命令中用于创建该用户的所 有能力,用户可使用其密钥向 Ceph 存储集群进行身份验证。用户的能力授予该用户在 Ceph monitor (mon)、Ceph OSD (osd) 或 Ceph 元数据服务器 (mds) 上进行读取、写入或执行的 能力,可以使用以下几个命令来添加用户:

此命令是添加用户的规范方法。它会创建用户、生成密钥，并添加所有指定的能力。

ceph auth get-or-create 此命令是创建用户较为常见的方式之一，它会返回包含用户名(在方括号中)和密钥的密钥文，如果该用户已存在，此命令只以密钥文件格式返回用户名和密钥， 还可以使用 -o 指定文件名选项将输出保存到某个文件。

ceph auth get-or-create-key

此命令是创建用户并仅返回用户密钥，对于只需要密钥的客户端(例如 libvirt)，此命令非 常有用。如果该用户已存在，此命令只返回密钥。您可以使用 -o 文件名选项将输出保存到 某个文件。 创建客户端用户时，可以创建不具有能力的用户。不具有能力的用户可以进行身份验证，但 不能执行其他操作，此类客户端无法从监视器检索集群地图，但是，如果希望稍后再添加能 力，可以使用 ceph auth caps 命令创建一个不具有能力的用户。

典型的用户至少对 Ceph monitor 具有读取功能，并对 Ceph OSD 具有读取和写入功能。此外，用户的 OSD 权限通常限制为只能访问特定的存储池。

只获取单个指定用户的 key 信息

使用 ceph auth caps 命令可以指定用户以及更改该用户的能力，设置新能力会完全覆盖当前 的能力，因此要加上之前的用户已经拥有的能和新的能力，如果看当前能力，可以运行 ceph auth get USERTYPE.USERID，如果要添加能力，使用以下格式时还需要指定现有能力:

示例

ceph 的秘钥环是一个保存了 secrets、keys、certificates 并且能够让客户端通认证访问 ceph 的 keyring file(集合文件)，一个 keyring file 可以保存一个或者多个认证信息，每一个 key 都有一个实体名称加权限，类型为:

当客户端访问 ceph 集群时，ceph 会使用以下四个密钥环文件预设置密钥环设置：

使用 ceph auth add 等命令添加的用户还需要额外使用 ceph-authtool 命令为其创建用户秘钥环文件。创建 keyring 文件命令格式:

在创建包含单个用户的密钥环时，通常建议使用 ceph 集群名称、用户类型和用户名及 keyring 来命名，并将其保存在 /etc/ceph 目录中。例如为 client.alice 用户创建 ceph.client.alice.keyring。

可以使用 ceph auth import -i 指定 keyring 文件并导入到 ceph，其实就是起到用户备份和恢复的目的:

一个 keyring 文件中可以包含多个不同用户的认证文件。

将多用户导出至秘钥环:

RBD 架构图

Ceph 可以同时提供对象存储 RADOSGW、块存储 RBD、文件系统存储 Ceph FS,RBD 即 RADOS Block Device 的简称，RBD 块存储是常用的存储类型之一，RBD 块设备类似磁盘可以被挂载， RBD 块设备具有快照、多副本、克隆和一致性等特性，数据以条带化的方式存储在 Ceph 集 群的多个 OSD 中。

条带化技术就是一种自动的将 I/O 的负载均衡到多个物理磁盘上的技术，条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力，从而获得非常好的性能。

创建 img 映像

查看镜像的详细信息

以 json 格式显示镜像信息

镜像的其他特性

layering: 支持镜像分层快照特性，用于快照及写时复制，可以对 image 创建快照并保护，然 后从快照克隆出新的 image 出来，父子 image 之间采用 COW 技术，共享对象数据。默认添加的特性

striping: 支持条带化 v2，类似 raid 0，只不过在 ceph 环境中的数据被分散到不同的对象中， 可改善顺序读写场景较多情况下的性能。

exclusive-lock: 支持独占锁，限制一个镜像只能被一个客户端使用。

object-map: 支持对象映射(依赖 exclusive-lock),加速数据导入导出及已用空间统计等，此特 性开启的时候，会记录 image 所有对象的一个位图，用以标记对象是否真的存在，在一些场 景下可以加速 io。

fast-diff: 快速计算镜像与快照数据差异对比(依赖 object-map)。 deep-flatten: 支持快照扁平化操作，用于快照管理时解决快照依赖关系等。

journaling: 修改数据是否记录日志，该特性可以通过记录日志并通过日志恢复数据(依赖独 占锁),开启此特性会增加系统磁盘 IO 使用。

jewel 默认开启的特性包括: layering/exlcusive lock/object map/fast diff/deep flatten

镜像特性的启用

镜像特性的禁用

在客户端挂载 RBD,并使用普通用户挂载 RBD 并验证使用。

客户端需要安装ceph-common

访问页面成功

目前的状态是 ceph-mon1 和 ceph-mon3 分别是 active 状态，ceph-mon2 和 ceph-mgr1 分别处 于 standby 状态，现在可以将 ceph-mgr1 设置为 ceph-mon1 的 standby，将 ceph-mon3 设置 为 ceph-mon2 的 standby，以实现每个主都有一个固定备份角色的结构，则修改配置文件如 下:

Ceph dashboard 是通过一个 web 界面，对已经运行的 ceph 集群进行状态查看及功能配置等 功能，早期 ceph 使用的是第三方的 dashboard 组件，如:

Calamari 对外提供了十分漂亮的 Web 管理和监控界面，以及一套改进的 REST API 接口(不 同于 Ceph 自身的 REST API)，在一定程度上简化了 Ceph 的管理。最初 Calamari 是作为 Inktank 公司的 Ceph 企业级商业产品来销售，红帽 2015 年收购 Inktank 后为了更好地推动 Ceph 的 发展，对外宣布 Calamari 开源。官网地址：https://github.com/ceph/calamari

优点:

管理功能好

界面友好

可以利用它来部署 Ceph 和监控 Ceph

缺点:

非官方

依赖 OpenStack 某些包

Virtual Storage Manager (VSM)是 Intel 公司研发并且开源的一款 Ceph 集群管理和监控软件， 简化了一些 Ceph 集群部署的一些步骤，可以简单的通过 WEB 页面来操作。官网地址：https://github.com/intel/virtual-storage-manager

优点:

缺点:

Inkscope 是一个 Ceph 的管理和监控系统，依赖于 Ceph 提供的 API，使用 MongoDB 来 存储实时的监控数据和历史信息。官网地址：https://github.com/inkscope/inkscope

优点:

缺点:

Ceph-Dash 是用 Python 开发的一个 Ceph 的监控面板，用来监控 Ceph 的运行状态。同时 提供 REST API 来访问状态数据。官网地址：http://cephdash.crapworks.de/

优点:

缺点:

Ceph mgr 是一个多插件(模块化)的组件，其组件可以单独的启用或关闭，星新版本需要安装 dashboard 安保，而且必须安装在 mgr 节点，否则报错如下:

Ceph dashboard 在 mgr 节点进行开启设置，并且可以配置开启或者关闭 SSL

本节暂时结束