基础概念
**OSD**:Object Storage Device,主要用于存储数据,处理数据,,恢复,回不,平衡数据,并提供数据给monitor。
**Monitor**:Ceph监视器,主要用于集群健康状态维护,提供策略,包含Monitor Map ,OSD Map,PG ma和CRUSH MAP
**MSD**:Cpeh Metadata Server,主要保存ceph文件系统的元数据,快存储,对象存储不需要MSD。
Ceph的架构
核心组件RADOS,如架构图
RADOS:具备自我修复的特性,提供一个可靠,自动,智能的分布式存储
LIBRADOS:库文件,支持应用程序直接访问
RADOSGW:基于当前流行的RESTful协议的网关,并且兼容S3和Swift
RDB:通过Linux内核客户端和qemu-kvm驱动,来提供一个完全分布式的块设备
Ceph FS:兼容POSIX的文件系统
Ceph组件和RADOS的关系
ceph存储逻辑上大致分为4个部分,RADOS基础存储系统,基于RADOS的cephFS,基于RADOS的LIBRADOS应用接口, 基于LIBRADOS的应用接口RBD。
- 基础存储系统RADOS:
本身是一个完整的对象文件系统,用户的数据由这一层来进行存储,物理上,由每一个节点组成。 - 基础库LIBRADOS:
这一层,将RADOS的功能进行抽象和封装,向上提供API。物理上,基于LIBRADOS开发的应用,与LIBRADOS位于同一台物理机上,应用通过调用本地的API,再有API通过SOCKET套接子与RADOS的节点进行通信,完成各种操作。 - 上层应用接口:
上层应用接口包括RADOSGW,RDB和ceph FS,其中除了CEPH FS,其余基于LIBRADOS库的基础上进一步进行抽象。 - 应用层:就是一些应用
- RADOS:主要有OSD和MOnitor组成
(1). Monitor:监控整个集群的运行状况,包括节点的状态,集群的配置信息等,如monitor map,osd map,MDS map和CRUSH map。
(a).Monitor Map:记录着monitor节点端到端的信息,其中包括集群ID,监控主机IP和端口等信息。
查看Monitor的map: # ceph mon dump
(b).OSD Map:记录一下信息,如集群ID,创建OSD Map的版本信息和修改信息,pool的信息(pool的名称,ID,类型,副本数目等),OSD的数量,权重,状态等信息。
查看OSD的MAP:# ceph osd dump
(c).PG Map:记录PG的版本,时间戳,最新的OSD Map版本信息,空间使用比例等,还有PF ID,对象数目,状态,等。
查看PG Map: # ceph pg dump
(d).CRUSH Map:集群存储设备信息,故障域层次结构和存储数据时定义,失败域规则信息。
查看CRUSH Map: # ceph osd crush dump
(e).MDS Map:存储当前MDS Map的版本信息、创建当前Map的信息、修改时间、数据和元数据POOL ID、集群MDS数目和MDS状态.
查看MDS Map: # ceph mds dump
注:monitor节点需要需要足够的磁盘来存储集群的日志文件
Monitor集群中,集群节点的数为奇数,其中一个节点为Leader,用作监视器节点,当Leader不可用时,剩余的节点都可以成为leader,保证集群中至少有N/2个监控节点高可用
(2).OSD:OSD将数据以对象的形式存储在集群中的每个节点的物理磁盘上。
客户端从monitor拿到CLUSTER Map信息之后,直接与OSD进行交互进行数据的读写。
在OSD的上的每个对象都有一个主副本和若干个从副本,每个OSD及是某个对象的主OSD,也可能是某个对象的从OSD,从OSD收到主OSD的控制,当主OSD故障时,从OSD 成为主OSD,从新生成副本。
ceph支持的文件系统:BTRFS,XFS,EXT4
journal的存在能够减缓缓存突发负载,ceph写入数据时首先写入日志,然后在写入后备文件系统。
Ceph的Ceph-Deploy部署
此工具通过ssh在远程上执行一系列脚本来完成部署,ceph为远程主机
配置YUM源:
- 创建yum源:
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
- 更新源并安装:
yum update &&yum install ceph-deploy -y
- 创建目录,存放部署过程中生成的配置文件
mkdir ceph
cd ceph - 创建集群,部署新的monitor:
ceph-deploy new {initial-monitor-node(s)}
如:ceph-deploy new hostname1 hostname2..... - 安装ceph到各个节点:
ceph-deploy install hostname1 hostname2.....
- 获取秘钥key,创建的目录下会生成key
ceph-deploy mon create-initial
- 初始化磁盘:
ceph-deploy disk zap node1:sdb
- 准备OSD:
ceph-deploy osd prepare node1:sdb1:....
- 激活OSD:
ceph-deploy osd activate node1:sdb1:......
- 分发KEY:
ceph-deploy admin node1 node2 node3
- adminkey赋权限
chmod +r etcceph/ceph.client.admin.keyri
- 查看集群状态:
ceph health
原文地址:http://blog.51cto.com/lnsane784/2177875