1     前言

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

l  Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。

l  Monitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。

l  MDSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。

2     安装配置

2.1  实验环境

操作系统：Centos 7 x64

2.2  安装配置ceph

192.168.8.10操作

2.2.1     yum环境

yuminstall -y yum-utils && yum-config-manager --add-repohttps://dl.fedoraproject.org/pub/epel/7/x86_64/ &&  yum install --nogpgcheck -y epel-release&&  rpm --import/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm /etc/yum.repos.d/dl.fedoraproject.org*

编辑yum源：

vim/etc/yum.repos.d/ceph.repo

安装ceph-deploy

yuminstall ceph-deploy

安装ntp

yuminstall ntp ntpdate ntp-doc

2.2.2     hosts文件

vi/etc/hosts

添加

2.2.3     无密钥登录

ssh-keygen   一直回车

把公钥拷贝到各 Ceph 节点

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

2.2.4     创建集群

先在管理节点上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对。

mkdirmy-cluster

cdmy-cluster

ceph-deploy 会把文件输出到当前目录，所以请确保在此目录下执行后面的 ceph-deploy 相关命令

2.2.5     安装mon

在管理节点上，进入刚创建的放置配置文件的目录，用 ceph-deploy 执行如下步骤。

ceph-deploynew ceph-mon1 ceph-mon2 ceph-mon3

在当前目录下用 ls 和 cat 检查ceph-deploy 的输出，应该有一个 Ceph 配置文件、一个 monitor 密钥环和一个日志文件。

2.2.6     安装ceph

ceph-deployinstall ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

ceph-deploy将在各节点安装Ceph 。 注：如果你执行过 ceph-deploy purge ，你必须重新执行这一步来安装 Ceph 。

2.2.7     初始化mon

配置初始 monitor(s)、并收集所有密钥：

ceph-deploymon create-initial

2.2.8     添加osd

添加OSD 。这次我们是把目录而非整个硬盘用于 OSD 守护进程（存储数据）。

ssh ceph-node0

mkdir/var/local/osd0

exit

sshceph-node1

mkdir/var/local/osd1

exit

sshceph-node2

mkdir/var/local/osd2

exit

然后，从管理节点执行 ceph-deploy 来准备 OSD 。

ceph-deployosd prepare ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

ceph-deployosd activate ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点

ceph-deployadmin ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

检查集群的健康状况

cephstatus

等 peering 完成后，集群应该达到 active + clean 状态。

2.2.9     添加元数据

至少需要一个元数据服务器才能使用 CephFS文件系统 ，执行下列命令创建元数据服务器：

ceph-deploymds create ceph-mds

当前生产环境下的 Ceph 只能运行一个元数据服务器。你可以配置多个，但多个目前还不稳定。

2.2.10   添加存储池

用此命令创建存储池时：

cephosd pool create {pool-name} pg_num

确定 pg_num 取值是强制性的，因为不能自动计算。下面是几个常用的值：

少于 5 个 OSD 时可把 pg_num 设置为 128

OSD 数量在 5 到 10 个时，可把 pg_num 设置为512

OSD 数量在 10 到 50 个时，可把 pg_num 设置为4096

OSD 数量大于 50 时，你得理解权衡方法、以及如何自己计算 pg_num 取值

自己计算 pg_num 取值时可借助 pgcalc 工具：http://ceph.com/pgcalc/

一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。配置这些存储池时需考虑：

为元数据存储池设置较高的副本水平，因为此存储池丢失任何数据都会导致整个文件系统失效。

为元数据存储池分配低延时存储器（像 SSD ），因为它会直接影响到客户端的操作延时。

cephosd pool create cephfs_metadata 128 128

cephosd pool create cephfs_data 512 512

2.2.11   创建文件系统

创建好存储池后，你就可以用 fs new 命令创建文件系统了：

cephfs new cephfs cephfs_metadata cephfs_data

查看文件系统：

cephfs ls

文件系统创建完毕后， MDS 服务器就能达到 active 状态了，比如在一个单 MDS 系统中：

cephmds stat

2.2.12   挂载文件系统

查看密钥：

cat/etc/ceph/ceph.client.admin.keyring

将红色部分导入一个新文件

echo“AQA1nLhZBEVaDBAAtHOx5OEdOjKSpvHN3JVJeA==”> /etc/ceph/admin.secret

chmod600 /etc/ceph/admin.secret

挂载文件系统

mount-t ceph 192.168.8.11,192.168.8.12,192.168.8.13:6789:/ /mnt/mycephfs -oname=admin,secretfile=/etc/ceph/admin.secret

查看cephfs容量

cephdf

2.2.13   fstab配置

要用内核驱动挂载 Ceph FS ，按下列格式添加到 /etc/fstab ：

{ipaddress}:{port}:/{mount}/{mountpoint} {filesystem-name}    [name=username,secret=secretkey|secretfile=/path/to/secretfile],[{mount.options}]

192.168.8.11,192.168.8.12,192.168.8.13:6789:/  /mnt/mycephfs ceph  name=admin, secretfile=/etc/ceph/admin.secret,noatime  0  0

2.3  扩容ceph

2.3.1     新增osd

如增加ceph-osd3 IP为192.168.8.19

管理节点增加主机名解析：

vi/etc/hosts

192.168.8.19  ceph-osd3

增加无密钥登录

[email protected]

ssh ceph-osd3

sudomkdir /var/local/osd3

exit

然后，从管理节点执行 ceph-deploy 来准备 OSD 。

ceph-deployosd prepare ceph-node3:/var/local/osd3

激活 OSD

ceph-deployosd activate ceph-node3:/var/local/osd3

2.3.2     删除osd

如删除ceph-osd3 IP为192.168.8.19

删除 OSD 前，它通常是 up 且 in 的，要先把它踢出集群，以使 Ceph 启动重新均衡、把数据拷贝到其他 OSD 。

先查看osd对应数字

cpehosd tree

然后进行踢出

cephosd out 3

观察数据迁移

一旦把 OSD 踢出（ out ）集群，Ceph 就会开始重新均衡集群、把归置组迁出将删除的 OSD 。你可以用 ceph 工具观察此过程。

ceph –w

你会看到归置组状态从 active+clean 变为 active, some degradedobjects 、迁移完成后最终回到 active+clean 状态。

注意：有时候，（通常是只有几台主机的“小”集群，比如小型测试集群）拿出（ out ）某个 OSD 可能会使CRUSH 进入临界状态，这时某些 PG 一直卡在active+remapped 状态。如果遇到了这种情况，你应该把此 OSD 标记为 in ，用这个命令：

cephosd in 3

等回到最初的状态后，把它的权重设置为 0 ，而不是标记为 out ，用此命令：

ceph osdcrush reweight osd.3 0

执行后，你可以观察数据迁移过程，应该可以正常结束。把某一 OSD 标记为 out 和权重改为 0的区别在于，前者，包含此 OSD 的桶、其权重没变；而后一种情况下，桶的权重变了（降低了此 OSD 的权重）。某些情况下， reweight 命令更适合“小”集群。

停止 OSD

把 OSD 踢出集群后，它可能仍在运行，就是说其状态为 up 且 out 。删除前要先停止 OSD 进程。

ssh ceph-osd3

systemctlstop [email protected]

exit

停止 OSD 后，状态变为 down 。

cephosd tree

删除 CRUSH 图的对应 OSD 条目，它就不再接收数据了。

cephosd crush remove osd.3

cephosd crush remove ceph-node3

删除 OSD 认证密钥：

cephauth del osd.3

删除 OSD

cephosd rm 3

从 ceph.conf 配置文件里删除对应条目。

ssh ceph-deploy

cd/etc/ceph

vimceph.conf

[osd.3]

host = {hostname}