Ceph RBD CephFS 存储
环境准备： (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台)
10.6.0.140 = ceph-manager
10.6.0.187 = ceph-mon-1
10.6.0.188 = ceph-osd-1
10.6.0.94 = node-94
注： ceph 对时间要求很严格， 一定要同步所有的服务器时间
一、在 manager 上面修改 /etc/hosts :
10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94
二、并修改各服务器上面的 hostname (说明：ceph-deploy工具都是通过主机名与其他节点通信)
hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94
三、配置manager节点与其他节点ssh key 访问
[[email protected] ~]# ssh-keygen
将key 发送到各节点中
[[email protected] ~]#ssh-copy-id ceph-mon-1
[[email protected] ~]#ssh-copy-id ceph-osd-1
四、在manager节点安装 ceph-deploy
[[email protected] ~]#yum -y install centos-release-ceph
[[email protected] ~]#yum makecache
[[email protected] ~]#yum -y install ceph-deploy ntpdate
在其他各节点安装 ceph 的yum源
[[email protected] ~]# yum -y install centos-release-ceph
[[email protected] ~]# yum makecache
[[email protected] ~]# yum -y install centos-release-ceph
[[email protected] ~]# yum makecache
五、配置ceph集群
创建ceph 目录
[[email protected] ~]#mkdir -p /etc/ceph
[[email protected] ~]#cd /etc/ceph
创建监控节点：
[[email protected] /etc/ceph]#ceph-deploy new ceph-mon-1
执行完毕会生成 ceph.conf ceph.log ceph.mon.keyring 三个文件
编辑 ceph.conf 增加 osd 节点数量
在最后增加：
osd pool default size = 1
使用ceph-deploy在所有机器安装ceph
[[email protected] /etc/ceph]# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1
如果出现错误，也可以到各节点中直接 yum -y install ceph ceph-radosgw 进行安装
初始化监控节点
[[email protected] /etc/ceph]# ceph-deploy mon create-initial
osd 节点创建存储空间
[[email protected] ~]# mkdir -p /opt/osd1
在管理节点上启动 并 激活 osd 进程
[[email protected] ~]# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
[[email protected] ~]# ceph-deploy osd activate ceph-osd-1:/opt/osd1
把管理节点的配置文件与keyring同步至其它节点
[[email protected] ~]# ceph-deploy admin ceph-mon-1 ceph-osd-1
查看集群健康状态 (HEALTH_OK 表示OK)
[[email protected] ~]# ceph health
HEALTH_OK
客户端 挂载: ceph 有多种挂载方式, rbd 块设备映射， cephfs 挂载 等
注:
在生产环境中，客户端应该对应pool的权限，而不是admin 权限
[[email protected] ~]# ssh-copy-id node-94
客户端安装ceph
[[email protected] ~]# ceph-deploy install node-94
或者 登陆 node-94 执行 yum -y install ceph ceph-radosgw
如果ssh 非22端口，会报错 可使用 scp 传
scp -P端口 ceph.conf node-94:/etc/ceph/
scp -P端口 ceph.client.admin.keyring node-94:/etc/ceph/
创建一个pool
[[email protected] ~]# ceph osd pool create press 100
pool ‘press‘ created
设置pool 的pgp_num
[[email protected] ~]# ceph osd pool set press pgp_num 100
查看创建的pool
[[email protected] ~]# ceph osd lspools
0 rbd,1 press,
设置副本数为2 (osd 必须要大于或者等于副本数，否则报错, 千万注意)
[[email protected] ~]# ceph osd pool set press size 2
创建一个100G 名为 image 镜像
[[email protected] ~]# rbd create -p press --size 100000 image
查看一下镜像:
[[email protected] ~]# rbd -p press info image
rbd image ‘image‘:
size 100000 MB in 25000 objects
order 22 (4096 kB objects)
block_name_prefix: rb.0.104b.74b0dc51
format: 1
客户端块存储挂载：
在node-94 上面 map 镜像
[[email protected] ~]# rbd -p press map image
/dev/rbd0
格式化 image
[[email protected] ~]# mkfs.xfs /dev/rbd0
创建挂载目录
[[email protected] ~]# mkdir /opt/rbd
挂载 rbd
[[email protected] ~]# mount /dev/rbd0 /opt/rbd
[[email protected] ~]# time dd if=/dev/zero of=haha bs=1M count=1000
取消 map 镜像
[[email protected] ~]# umount /opt/rbd
[[email protected] ~]# rbd unmap /dev/rbd0
客户端 cephFS 文件系统 (cephFS 必须要有2个osd 才能运行，请注意)：
使用 cephFS 集群中必须有 mds 服务
创建 mds 服务 (由于机器有限就在 mon 的服务器上面 创建 mds 服务)
[[email protected] ~]# ceph-deploy mds create ceph-mon-1
创建2个pool 做为文件系统的data 与 metadata
[[email protected] ~]# ceph osd pool create cephfs_data 99
pool ‘cephfs_data‘ created
[[email protected] ~]# ceph osd pool create cephfs_metadata 99
pool ‘cephfs_metadata‘ created
创建 文件系统：
[[email protected] ~]# ceph fs new jicki cephfs_metadata cephfs_data
new fs with metadata pool 6 and data pool 5
查看所有文件系统：
[[email protected] ~]# ceph fs ls
name: jicki, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
删除一个文件系统
[[email protected] ~]# ceph fs rm jicki --yes-i-really-mean-it
客户端挂载 cephFS
安装 ceph-fuse：
[[email protected] ~]# yum install ceph-fuse -y
创建挂载目录:
[[email protected] ~]# mkdir -p /opt/jicki
[[email protected] ~]# ceph-fuse /opt/jicki
[[email protected] ~]# df -h|grep ceph
ceph-fuse 1.6T 25G 1.6T 2% /opt/jicki