前文讲述了如何创建一个集群，结构如下，本文讲述如何对该集群进行扩展

扩展主要包括以下几点：

1. 在mdsnode上添加OSD进程以及CephMetadata服务
2. 在osdnode1,osdnode2节点上添加Ceph Monitor服务
3. 添加一个新的OSD节点osdnode3

最终结果如下：

扩展MON节点的OSD功能

• 在dataprovider上切换到leadorceph用户，并进入/home/leadorceph/my-cluster目录
• 添加mdsnode节点的OSD服务

    ssh node1

    sudo mkdir /var/local/osd2

    exit

• 使用ceph-deploy命令创建osd.

ceph-deploy --overwrite-conf osd prepare mdsnode:/var/local/osd2

• 激活刚才创建的osd

ceph-deploy osd activate mdsnode:/var/local/osd2

当执行完上面的命令后，Ceph会重新调整整个集群，并且会将PG迁移到新的OSD上，可以通过ceph -w发现集群的状态发生了变化

增加一个新的OSD节点

在已有的MON节点上添加完OSD功能后，接下来将在一个全新的osdnode3上增加OSD的功能

• 修改dataprovider节点的/etc/hosts信息

添加192.168.40.125 osdnode3到其/etc/hosts文件中

• 在osdnode3上执行下列命令，其描述请参考“Centos6.5下Ceph存储集群的搭建”

    yum install -y ntp ntpdate ntp-doc
    yum install -y openssh-server 

    sudo useradd -d /home/leadorceph -m leadorceph

    sudo passwd leadorceph

    echo "leadorceph  ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/leadorceph

    sudo chmod 0440 /etc/sudoers.d/leadorceph

使用leadorceph用户的身份执行sudo visudo命令，然后修改Defaults requiretty 为Defaults:ceph !requiretty

• 在dataprovider节点上将无密码的SSH key拷贝到osdnode3上

ssh-copy-id [email protected]

• 在dataprovider上安装osdnode3的ceph

 ceph-deploy install osdnode3<br style="background-color: inherit;" />

• 在dataprovider上创建以及激活osdnode3上的进程

ceph-deploy osd prepare osdnode3:/var/local/osd3
ceph-deploy osd activate osdnode3:/var/local/osd3

• 检测集群的状态

从上图可以看出，此时pg的数量太少了，每个OSD平均只有16个，所以此时需要添加一些pg

    ceph osd pool set rbd pg_num 100
    ceph osd pool set rbd pgp_num 100

添加一个Metadata Server

如果想要使用CephFS，则必须要包含一个metadata server,通过下面的方式来创建metadata 服务:

ceph-deploy mds create mdsnode

添加Ceph Mon

Mon的扩展比较复杂，搞不好会导致整个集群出错，所以建议开始的时候对MON做好规划,尽量不要对其进行修改。

ceph monitor的个数是2n+1(n>=0)个(为奇数)，在线上至少3个，只要正常的节点数>=n+1，ceph的paxos算法能保证系统的正常运行。所以，对于3个节点，同时只能挂掉一个。

• 修改dataprovider上的ceph.conf文件，把要添加的MON节点的信息追加进去,修改如下

    [global]

    auth_service_required = cephx

    osd_pool_default_size = 2

    filestore_xattr_use_omap = true

    auth_client_required = cephx

    auth_cluster_required = cephx

    public_network = 192.168.40.0/24

    mon_initial_members = mdsnode,osdnode1,osdnode2

    fsid = 1fffdcba-538f-4f0d-b077-b916203ff698

    [mon]

    mon_addr = 192.168.40.107:6789,192.168.40.108:6789,192.168.40.148:6789

    mon_host = mdsnode,osdnode1,osdnode2

    debug_mon = 20

    [mon.a]

    host = mdsnode

    addr = 192.168.40.107:6789

    [mon.b]

    host = osdnode1

    addr = 192.168.40.108:6789

    [mon.c]

    host = osdnode2

    addr = 192.168.40.148:6789

• 执行ceph-deploy mon create osdnode1 osdnode2

当添加完新的节点后，可以通过下面的方式来查询结果

ceph quorum_status --format json-pretty

存储以及检索对象

Ceph客户端通过最新的cluster map以及CRUSH算法决定怎么把一个对象映射到PG中，然后决定如何把该PG映射到OSD上

添加对象

echo {Test-data} > testfile.txt
rados put test-object-1 testfile.txt --pool=data

• 验证对象是否添加成功

rados -p data ls

• 标出对象的位置

ceph osd map data test-object-1

输出的信息可能如下:

osdmap e537 pool ‘data‘ (0) object ‘test-object-1‘ -> pg 0.d1743484 (0.4) -> up [1,0] acting [1,0]

• 删除对象

rados rm test-object-1 --pool=data

由于集群节点的变化，位置的信息可能会动态的发生变化