ceph 安装

ceph 快速安装

架构

ceph-deploy/ceph-admin: 192.168.1.214

ceph node 192.168.1.215/216/217

mon 215

osd 216/217

一、操作1.214

ceph-deploy : 192.168.1.214

安装rpm源

yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

vim /etc/yum.repos.d/ceph.repo ceph-release 是稳定版的版本名, distro 是发行版名字

举例

baseurl=http://download.ceph.com/rpm-jewel/el7/noarch 
[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-{ceph-release}/{distro}/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

安装ceph-deploy

yum install ceph-deploy -y

useradd ceph-admin

ssh-kengen

把生成的公钥拷贝到每个节点

ssh-copy-id [email protected]/216/217

简化 ssh 和 scp 的用法,不用每次执行ceph-deploy的时候指定username

vi /home/ceph-admin/.ssh/config
Host host215
   Hostname 192.168.1.215
   User cephcluster
Host host216
   Hostname 192.168.1.216
   User cephcluster
Host host217
   Hostname 192.168.1.217
   User cephcluster
   
chmod 600 config

ceph-node

因为 ceph-deploy 不支持输入密码,所以在所有节点,创建用户,有sudo权限,

useradd cephcluster
pssh -h testhost -i "echo cephcluster|sudo passwd --stdin cephcluster"
sed  -i ‘/wheel:x/s/$/,cephcluster/‘ /etc/group
mkdir -p /home/cephcluster/.ssh

集群命令

清除配置

ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys

用下列命令可以连 Ceph 安装包一起清除

ceph-deploy purge {ceph-node} [{ceph-node}]

1、创建集群

ceph-deploy new host215

2、配置文件设置

vi ceph.conf

[global]
fsid = 9f08666b-6725-4593-90c0-b361ca17e924
mon_initial_members = host215
mon_host = 192.168.1.215
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
#修改osd 默认数量为2,之前是3
osd pool default size = 2
#公共网
public network = 192.168.1.0/24
#集群网  OSD 将把心跳、对象复制和恢复流量路由到集群网,与单个网络相比这会提升性能
cluster network = 192.168.6.0/22

3、安装集群

ceph-deploy install host214 host215 host216 host217

4、安装mon节点

ceph-deploy mon create-initial

有如下报错是因为 systemd版本太低,不支持enable [email protected]写法,需要升级mon节点的systemd,

顺便把所有node节点也升级下,否则后面的激活osd 也会报错

yum install systemd -y
[host215][INFO  ] Running command: sudo systemctl enable ceph.target
[host215][INFO  ] Running command: sudo systemctl enable [email protected]
[host215][WARNIN] Failed to issue method call: No such file or directory
[host215][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy.mon][ERROR ] Failed to execute command: systemctl enable [email protected]
[ceph_deploy][ERROR ] GenericError: Failed to create 1 monitors

5、磁盘管理(osd)

查看磁盘

ceph-deploy disk list host216 host217

擦净磁盘(这是裸盘配置,一定要确实磁盘名称,这会删除所有数据)

ceph-deploy disk zap host217:sdb 
ceph-deploy disk zap host216:sdb

准备osd:

原始命令:

ceph-deploy osd prepare {node-name}:{data-disk-partition}[:{journal-disk-partition}]

data-disk-partition:是数据存储的地方

journal-disk-partition:是日志存储的地方

优化:可以把日志存储指定另外的驱动器,当然最好是另一块ssd,目前是把日志放到osd数据盘,但是有性能损耗

ceph-deploy osd prepare host216:sdb:/dev/ssd
ceph-deploy osd prepare host217:sdb:/dev/ssd

激活osd:

ceph-deploy osd activate host216:sdb1:/dev/ssd
ceph-deploy osd activate host217:sdb1:/dev/ssd

创建osd:

可以用 create 命令一次完成准备 OSD 、部署到 OSD 节点、并激活它。 create 命令是依次执行 prepare 和 activate 命令的集合

ceph-deploy osd create {node-name}:{disk}[:{path/to/journal}]
ceph-deploy osd create host216:sdb:/dev/ssd
ceph-deploy osd create host217:sdb:/dev/ssd

用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点,这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了。

ceph-deploy admin host214 host215 host216 host217

确保对 ceph.client.admin.keyring 有正确的操作权限

chmod +r /etc/ceph/ceph.client.admin.keyring

检查集群的健康状况

ceph health

扩展集群(将218 加入osd,216/217 添加mon)

218 加入集群,添加osd

安装ceph步骤同上

ceph-deploy install host218
ceph-deploy osd prepare host218:sdb:/dev/ssd
ceph-deploy osd activate host218:sdb1:/dev/ssd

216/217 添加mon

ceph-deploy mon add host216 
ceph-deploy mon add host217

查看mon状态

ceph quorum_status --format json-pretty
时间: 2024-11-29 02:43:04

ceph 安装的相关文章

Ceph安装QEMU报错:User requested feature rados block device configure was not able to find it

CentOS6.3中,要想使用Ceph的block device,需要安装更高版本的QEMU. 安装好ceph后,安装qemu-1.5.2 # tar -xjvf qemu-1.5.2.tar.bz2 # cd qemu-1.5.2 # ./configure --enable-rbd 一定要加上--enable-rbd选项,这样qemu才能支持rbd协议. 这一步可能会报错: ERROR: User requested feature rados block device configure

ceph安装配置文档(centos6.6)

Ceph安装部署文档 目录 一:简介... 1 二:部署环境介绍... 1 三:集群配置准备工作... 2 四:安装ceph软件包... 6 五:安装ceph对象网关... 9 六.搭建ceph集群... 10 6.1.配置mon节点... 10 6.2:添加osd节点... 13 6.2.1.添加第一块osd节点... 13 6.3:添加元数据服务器... 17 6.3.1.添加第一个元数据服务器... 17 七:安装client端RBD.cephFS挂载演示... 18 7.1:客户端内核要

Ceph存储系统(ceph安装,inkscope安装)--未完

Ceph存储系统 概述 ceph是一个Linux PB级别的分布式存储系统,ceph的目标简单地定义为: 可轻松扩展到PB容量 对多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽) 高可靠性 与常见的集中式存储不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用多台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散地存储在这些机器的各个磁盘上 ceph架构 ceph架构大概可以划分为四部分:客户端(数据用户).元数据服务器(缓存和同步分布

ceph 安装记录

ceph 安装 http://docs.ceph.com/docs/master/start/quick-ceph-deploy/ 1. 系统要求 centos 7 systemctl disable firewalld systemctl stop firewalld sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 将如下内容写入到 /etc/yum.repos

ceph安装过程

准备三个节点ceph-1.ceph-2.ceph-3 配置host cat /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.0.53 ceph-3 10.0.0.52 ceph-2 10.0.0.51

centos6.4 ceph安装部署之ceph object storage

preface: ceph-deploy does not provide a rapid installation for Ceph Object Storage install Configuration ceph object storage gateway 1,install ceph object storage gateway multiple regions and zones ins synchronization agent 安装apache fastcgi for cento

ceph安装

网络配置 10.0.0.100      cephdeploy 10.0.0.110cephmon1 10.0.0.120cephmon2 10.0.0.130cephosd1 10.0.0.140cephosd2 10.0.0.150cephosd3 添加release 和ceph包 wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add - echo deb http://download.cep

Ubuntu 14.04下单节点Ceph安装(by quqi99)

作者:张华  发表于:2014-06-23版权声明:能够随意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 (http://blog.csdn.net/quqi99 ) Ceph理论    见我的博客:http://blog.csdn.net/quqi99/article/details/32939509 注意点: a, 一个ceph cluster至少须要1个mon节点和2个osd节点才干达到active + clean状态(故osd pool default size得

ceph 安装ceph问题汇总

1.在不同节点安装ceph时,出现以下异常: 参考这里 ceph deploy RuntimeError: NoSectionError: No section: 'ceph' 解决方法: 在报错的机器上尝试: yum remove ceph-release rm /etc/yum.repos.d/ceph.repo.rpmsave 执行以后再执行 ceph-deploy install admin node1 node2 node3 2.ceph用户没有权限 **执行激活osd盘时出现 **