CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群

基础概念

**OSD**:Object Storage Device,主要用于存储数据,处理数据,,恢复,回不,平衡数据,并提供数据给monitor。
**Monitor**:Ceph监视器,主要用于集群健康状态维护,提供策略,包含Monitor Map ,OSD Map,PG ma和CRUSH MAP
**MSD**:Cpeh Metadata Server,主要保存ceph文件系统的元数据,快存储,对象存储不需要MSD。

Ceph的架构
核心组件RADOS,如架构图

RADOS:具备自我修复的特性,提供一个可靠,自动,智能的分布式存储
LIBRADOS:库文件,支持应用程序直接访问
RADOSGW:基于当前流行的RESTful协议的网关,并且兼容S3和Swift
RDB:通过Linux内核客户端和qemu-kvm驱动,来提供一个完全分布式的块设备
Ceph FS:兼容POSIX的文件系统


Ceph组件和RADOS的关系


ceph存储逻辑上大致分为4个部分,RADOS基础存储系统,基于RADOS的cephFS,基于RADOS的LIBRADOS应用接口, 基于LIBRADOS的应用接口RBD。

  1. 基础存储系统RADOS:
    本身是一个完整的对象文件系统,用户的数据由这一层来进行存储,物理上,由每一个节点组成。
  2. 基础库LIBRADOS:
    这一层,将RADOS的功能进行抽象和封装,向上提供API。物理上,基于LIBRADOS开发的应用,与LIBRADOS位于同一台物理机上,应用通过调用本地的API,再有API通过SOCKET套接子与RADOS的节点进行通信,完成各种操作。
  3. 上层应用接口:
    上层应用接口包括RADOSGW,RDB和ceph FS,其中除了CEPH FS,其余基于LIBRADOS库的基础上进一步进行抽象。
  4. 应用层:就是一些应用
  5. RADOS:主要有OSD和MOnitor组成
    (1). Monitor:监控整个集群的运行状况,包括节点的状态,集群的配置信息等,如monitor map,osd map,MDS map和CRUSH map。
    (a).Monitor Map:记录着monitor节点端到端的信息,其中包括集群ID,监控主机IP和端口等信息。
    查看Monitor的map: # ceph mon dump
    (b).OSD Map:记录一下信息,如集群ID,创建OSD Map的版本信息和修改信息,pool的信息(pool的名称,ID,类型,副本数目等),OSD的数量,权重,状态等信息。
    查看OSD的MAP:# ceph osd dump
    (c).PG Map:记录PG的版本,时间戳,最新的OSD Map版本信息,空间使用比例等,还有PF ID,对象数目,状态,等。
    查看PG Map: # ceph pg dump
    (d).CRUSH Map:集群存储设备信息,故障域层次结构和存储数据时定义,失败域规则信息。
    查看CRUSH Map: # ceph osd crush dump
    (e).MDS Map:存储当前MDS Map的版本信息、创建当前Map的信息、修改时间、数据和元数据POOL ID、集群MDS数目和MDS状态.
    查看MDS Map: # ceph mds dump
    注:monitor节点需要需要足够的磁盘来存储集群的日志文件
    Monitor集群中,集群节点的数为奇数,其中一个节点为Leader,用作监视器节点,当Leader不可用时,剩余的节点都可以成为leader,保证集群中至少有N/2个监控节点高可用
    (2).OSD:OSD将数据以对象的形式存储在集群中的每个节点的物理磁盘上。
    客户端从monitor拿到CLUSTER Map信息之后,直接与OSD进行交互进行数据的读写。
    在OSD的上的每个对象都有一个主副本和若干个从副本,每个OSD及是某个对象的主OSD,也可能是某个对象的从OSD,从OSD收到主OSD的控制,当主OSD故障时,从OSD 成为主OSD,从新生成副本。
    ceph支持的文件系统:BTRFS,XFS,EXT4
    journal的存在能够减缓缓存突发负载,ceph写入数据时首先写入日志,然后在写入后备文件系统。

Ceph的Ceph-Deploy部署

此工具通过ssh在远程上执行一系列脚本来完成部署,ceph为远程主机
配置YUM源:

  1. 创建yum源:
    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
    priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

  1. 更新源并安装:

    yum update &&yum install ceph-deploy -y

  2. 创建目录,存放部署过程中生成的配置文件

    mkdir ceph
    cd ceph

  3. 创建集群,部署新的monitor:

    ceph-deploy new {initial-monitor-node(s)}
    如:ceph-deploy new hostname1 hostname2.....

  4. 安装ceph到各个节点:

    ceph-deploy install hostname1 hostname2.....

  5. 获取秘钥key,创建的目录下会生成key

    ceph-deploy mon create-initial

  6. 初始化磁盘:

    ceph-deploy disk zap node1:sdb

  7. 准备OSD:

    ceph-deploy osd prepare node1:sdb1:....

  8. 激活OSD:

    ceph-deploy osd activate node1:sdb1:......

  9. 分发KEY:

    ceph-deploy admin node1 node2 node3

  10. adminkey赋权限

    chmod +r etcceph/ceph.client.admin.keyri

  11. 查看集群状态:

    ceph health

原文地址:http://blog.51cto.com/lnsane784/2177875

时间: 2024-10-04 09:49:21

CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群的相关文章

centos7快速部署ceph

1.机器: 10.39.3.22-26 2.优化 tcp参数优化 ntp时间同步配置 requiretty准备 执行命令visudo修改suoders文件: 1. 注释Defaults requiretty Defaults requiretty修改为 #Defaults requiretty, 表示不需要控制终端. 否则会出现sudo: sorry, you must have a tty to run sudo 2. 增加行 Defaults visiblepw 否则会出现 sudo: no

使用Docker快速部署Ceph集群

一 应用场景描述 二 操作步骤 三 Ceph常用操作

Ceph集群由Jewel版本升级到Luminous版本

参考文档 https://www.virtualtothecore.com/en/upgrade-ceph-cluster-luminous/http://www.chinastor.com/distristor/11033L502017.html 缘起 首先看之前安装版本链接及测试http://blog.51cto.com/jerrymin/2139045http://blog.51cto.com/jerrymin/2139046mon ceph0.ceph2.cphe3osd ceph0.c

ceph集群常用命令

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储

使用ceph-deploy安装部署线上ceph分布式存储集群(centos6.6)

一:CEPH简介 OSDs: Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息.Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.(Ceph默认制作2个备份,但你可以调整它) Monitors:Ceph的监控保持集群状态映射,包括OSD(守护进程)映射,分组(PG)映射,和CRUSH映射. Ceph 保持一个在Ceph监视器, Ceph O

使用Ceph集群作为Kubernetes的动态分配持久化存储

使用Docker快速部署Ceph集群 , 然后使用这个Ceph集群作为Kubernetes的动态分配持久化存储. Kubernetes集群要使用Ceph集群需要在每个Kubernetes节点上安装ceph-common

ceph集群常用命令梳理

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项 简写 描述 --verbose -v 详细的日志. --valgrind N/A (只适合开发者和质检人员)用 Valgrind 调试. --allhosts -a 在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restar

Ceph 存储集群-低级运维

低级集群运维包括启动.停止.重启集群内的某个具体守护进程:更改某守护进程或子系统配置:增加或拆除守护进程.低级运维还经常遇到扩展.缩减 Ceph 集群,以及更换老旧.或损坏的硬件. 一.增加/删除 OSD 如果您的集群已经在运行,你可以在运行时添加或删除 OSD . 增加 OSD 你迟早要扩容集群, Ceph 允许在运行时增加 OSD .在 Ceph 里,一个 OSD 一般是一个 ceph-osd 守护进程,它运行在硬盘之上,如果你有多个硬盘,可以给每个硬盘启动一个 ceph-osd 守护进程.

一步一步安装配置Ceph分布式存储集群

Ceph可以说是当今最流行的分布式存储系统了,本文记录一下安装和配置Ceph的详细步骤. 提前配置工作 从第一个集群节点开始的,然后逐渐加入其它的节点.对于Ceph,我们加入的第一个节点应该是Monitor,我们设置为Monitor1. 我使用的操作系统是Ubuntu Server 19.10,目前没有对应的包地址,于是就是用了bionic,应该是18.04的.还有地址也换成了中科大的镜像http://mirrors.ustc.edu.cn/ceph/,而不是默认的https://downloa