ceph集群osd故障修复实例演示

集群安装方式：
1: ceph－deploy 方式安装ceph集群，模拟osd磁盘损坏；

分别采用如下两种方式修复：

1:使用ceph－deploy 方式修复故障osd；

2:手动修复故障osd；

＃＃＃＃＃＃＃使用ceph－deploy方式修复过程演示＃＃＃＃＃＃＃＃

1:停止osd
/etc/init.d/ceph stop osd.3

2:查看osd磁盘挂载情况；
[[email protected] ceph]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   50G  0 disk
├─sda1   8:1    0  500M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 47.5G  0 part /
sdb      8:16   0  100G  0 disk
├─sdb1   8:17   0   95G  0 part /var/lib/ceph/tmp/mnt.x4MbgI
└─sdb2   8:18   0    5G  0 part /var/lib/ceph/osd/ceph-3
sr0     11:0    1 1024M  0 rom

3:卸载挂载分区
umount /var/lib/ceph/osd/ceph-3
umount /var/lib/ceph/tmp/mnt.x4MbgI

4:格式化磁盘模拟磁盘损坏
mkfs.xfs  -f /dev/sdb

5:查看集群osd 状态
ceph osd tree
[[email protected] ceph]# ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.44998 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5 0.09000     host node243                                       
 3 0.09000         osd.3           down  1.00000          1.00000       《＝＝发现osd状态down
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000

6:将osd状态设置为out
ceph osd out osd.3

7:将osd从集群中删除
ceph osd rm osd.3

8:从CRUSH中移除     
ceph osd crush rm osd.3

9:删除osd.3 的认证信息
ceph auth del osd.3

10:再次查看集群osd状态
[[email protected] ceph]# ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.35999 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5       0     host node243                                          《＝＝osd依被清理出集群
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000
[[email protected] ceph]#

开始恢复

11:登陆安装配置主机（ceph-deploy）
cd /etc/ceph/

12:初始化磁盘：
ceph-deploy osd prepare node243:/dev/sdb

13:激活磁盘
ceph-deploy osd activate node243:/dev/sdb

14:查看磁盘状态，验证添加是否成功
ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.44998 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5 0.09000     host node243                                       
 3 0.09000         osd.3             up  1.00000          1.00000     #添加成功
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000
[[email protected] ceph]#

＃＃＃＃＃＃＃＃＃手动操作修复osd过程演示：＃＃＃＃＃＃＃＃＃

1:停止osd
/etc/init.d/ceph stop osd.3

2:查看osd磁盘挂载情况；
[[email protected] ceph]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0   50G  0 disk
├─sda1   8:1    0  500M  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0 47.5G  0 part /
sdb      8:16   0  100G  0 disk
├─sdb1   8:17   0   95G  0 part /var/lib/ceph/tmp/mnt.x4MbgI
└─sdb2   8:18   0    5G  0 part /var/lib/ceph/osd/ceph-3
sr0     11:0    1 1024M  0 rom

3:卸载挂载分区
umount /var/lib/ceph/osd/ceph-3
umount /var/lib/ceph/tmp/mnt.x4MbgI

4:格式化磁盘模拟磁盘损坏
mkfs.xfs  -f /dev/sdb

5:查看集群osd 状态
ceph osd tree
[[email protected] ceph]# ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.44998 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5 0.09000     host node243                                       
 3 0.09000         osd.3           down  1.00000          1.00000       《＝＝发现osd状态down
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000

6:将osd状态设置为out
ceph osd out osd.3

7:将osd从集群中删除
ceph osd rm osd.3

8:从CRUSH中移除     
ceph osd crush rm osd.3

9:删除osd.3 的认证信息
ceph auth del osd.3

10:再次查看集群osd状态
[[email protected] ceph]# ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.35999 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5       0     host node243                                          《＝＝osd依被清理出集群
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000

11:进入osd挂载目标文件夹
[[email protected] ceph]#
cd /var/lib/ceph/osd/ceph-3

12:查看挂载目录，发现文件夹为空，
[[email protected] ceph-3]# ls

和正常osd挂载目录对比，正常如下：
[[email protected] osd]# ll ceph-2/
total 56
-rw-r--r--   1 root root  193 Aug 26 02:27 activate.monmap
-rw-r--r--   1 root root    3 Aug 26 02:27 active
-rw-r--r--   1 root root   37 Aug 26 02:27 ceph_fsid
drwxr-xr-x 226 root root 8192 Dec 17 16:53 current
-rw-r--r--   1 root root   37 Aug 26 02:27 fsid
lrwxrwxrwx   1 root root   58 Aug 26 02:27 journal -> /dev/disk/by-partuuid/6781a828-3baf-4e47-8f41-d12fa8cb0078
-rw-r--r--   1 root root   37 Aug 26 02:27 journal_uuid
-rw-------   1 root root   56 Aug 26 02:27 keyring
-rw-r--r--   1 root root   21 Aug 26 02:27 magic
-rw-r--r--   1 root root    6 Aug 26 02:27 ready
-rw-r--r--   1 root root    4 Aug 26 02:27 store_version
-rw-r--r--   1 root root   53 Aug 26 02:27 superblock
-rw-r--r--   1 root root    0 Dec 17 11:37 sysvinit
-rw-r--r--   1 root root    2 Aug 26 02:27 whoami

13:查看新挂载的盘、然后格式化；
[[email protected] ~]# fdisk  -l
Disk /dev/sdb: 107.4 GB, 107374182400 bytes, 209715200 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

14：创建osd挂载目录
mount /dev/sdb /var/lib/ceph/osd/ceph-3
mount -o remount,user_xattr /var/lib/ceph/osd/ceph-3
mount -o remount,noatime /var/lib/ceph/osd/ceph-3
查看挂载的情况
 mount
 。。。。。。
/dev/sdb on /var/lib/ceph/osd/ceph-3 type xfs (rw,noatime,attr2,inode64,noquota)

15:创建一个OSD，生成一个osdnumber
[[email protected] ~]# ceph osd create

3

16：初始化osd数据目录
[[email protected] ~]# ceph-osd -i 3 --mkfs --mkkey

17:创建key文件
cd /var/lib/ceph/osd/ceph-3/
[[email protected] ceph-3]# touch keyring
[[email protected] ceph-3]# ll
total 0
-rw-r--r-- 1 root root 0 Dec 21 20:15 keyring

18:注册osd的认证密钥
ceph auth add osd.3 osd ‘allow *‘ mon ‘allow profile osd‘ -i /var/lib/ceph/osd/ceph-3/keyring

19:验证key文件，如果key文件为空，通过ceph auth list 查看系统值，填入key文件即可；
[[email protected] ceph-3]# more keyring
[osd.0]
        key = AQBk7XdWZQrnFBAAmxYgBuHYxckSX8G3GRWexQ==

20：为此osd节点创建一个crushmap(本次仅修复osd，不用修改host相关信息)
ceph osd crush add-bucket node243 host
防放置 Node243 到根路径
ceph osd crush move node243 root=default

21:放置osd.3到 bucket node243
ceph osd crush add osd.3 1.0 host=node243

add item id 3 name‘osd.3‘ weight 1 at location {host=node243} to crush map

22:创建一个初始化目录
touch /var/lib/ceph/osd/ceph-3/sysvinit

23:启动osd服务
/etc/init.d/ceph start osd.3

24:查看磁盘状态，验证添加是否成功
ceph osd tree
ID WEIGHT  TYPE NAME            UP/DOWN REWEIGHT PRIMARY-AFFINITY
-6       0 host node01                                            
-1 0.44998 root default                                           
-2 0.09000     host ceph-deploy                                   
 0 0.09000         osd.0             up  1.00000          1.00000
-3 0.09000     host node241                                       
 1 0.09000         osd.1             up  1.00000          1.00000
-4 0.09000     host node242                                       
 2 0.09000         osd.2             up  1.00000          1.00000
-5 0.09000     host node243                                       
 3 0.09000         osd.3             up  1.00000          1.00000     #添加成功
-7 0.09000     host node245                                       
 5 0.09000         osd.5             up  1.00000          1.00000
[[email protected] ceph]#

时间： 2024-10-19 05:34:17

ceph集群osd故障修复实例演示的相关文章

ceph集群osd存储盘Input/output erro

描述: ceph集群osd硬盘损坏引起的写入错误. 日志信息: 2017-12-13 03:40:38.596764 7f5e32df2700 -1 filestore(/var/lib/ceph/osd/ceph-44) FileStore::_do_copy_range: write error at 1118208~-5, (5) Input/output error os/filestore/FileStore.cc: In function 'int FileStore::_do_co

【ceph故障排查】ceph集群添加了一个osd之后，该osd的状态始终为down

背景 ceph集群添加了一个osd之后,该osd的状态始终为down. 错误提示 状态查看如下 1.查看osd tree [[email protected] Asia]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.05388 root default -2 0.01469 host node1 0 0.00490 osd.0 up 1.00000 1.00000 1 0.00490 osd.

ceph 集群报 mds cluster is degraded 故障排查

ceph 集群版本: ceph -vceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185) ceph -w 查看服务状态: mds cluster is degraded      monmap e1: 3 mons at {ceph-6-11=172.16.6.11:6789/0,ceph-6-12=172.16.6.12:6789/0,ceph-6-13=172.16.6.13:6789/0}             el

Openstack之Ceph集群操作

Oepnstack之CEPH系列是根据Ceph Cookbook整理的笔记,分为以下几个部分: 1. <Ceph简介> 2. <Ceph集群操作> 3. <Ceph块设备管理与Openstack配置> 4. <深入Ceph> 5. <ceph优化与性能测试> **注意:此文对应ceph版本为10.1.2** ~~~bash #ceph -v ceph version 10.1.2(4a2a6f72640d6b74a3bbd92798bb913ed

ceph集群常用命令

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储

ceph集群常用命令梳理

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项 简写 描述 --verbose -v 详细的日志. --valgrind N/A (只适合开发者和质检人员)用 Valgrind 调试. --allhosts -a 在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restar

部署Ceph集群－－jluocc

一 前言 分布式文件系统(Distributed File System):文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连．分布式文件系统的设计基于C/S模式 1,什么是Ceph?Ceph:是一个 Linux PB 级分布式文件系统特点:具有高扩展,高可用,高性能的特点可以提供对象存储,块存储,文件存储可以提供PB级别的存储空间(PB->TB->GB)帮助文档:http://docs.ceph.org/start/intro中文文档:http://docs.

Ceph 之 使用ceph-deploy部署ceph集群

  上面左边是我的个人微信,如需进一步沟通,请加微信.  右边是我的公众号"Openstack私有云",如有兴趣,请关注. 环境: 系统centos7.4 ceph版本 ceph version 10.2.10 测试服务器为kvm虚拟机(openstack虚拟机) 本篇文章是记录下自己的部署过程,服务器使用kvm虚拟机,只测试功能,服务器分配如下 节点 服务 cluster network ceph-1(admin-node) osd.{1,2,},mon.ceph-1 eth0:19

【Ceph】手动搭建ceph集群

手动部署Ceph集群 3台ceph机器 hostname IP mon_id 磁盘快 journal Ceph1 192.168.1.1 0 /dev/sdb2 /dev/sdb1 Ceph2 192.168.1.2 1 /dev/sdb2 /dev/sdb1 Ceph3 192.168.1.3 2 /dev/sdb2 /dev/sdb1 下载部署所需要的ceph集群的rpm包ceph-mon ceph-common fcgi ceph-base ceph-selinux ceph-mgr ce