Ceph：删除OSD

1、查看OSD的分布信息：

# ceph osd tree
ID WEIGHT  TYPE NAME                     UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.21950 root default                                                    
-2 0.04390     host hz-01-ops-tc-ceph-01                                   
 0 0.04390         osd.0                      up  1.00000          1.00000 
-3 0.04390     host hz-01-ops-tc-ceph-02                                   
 1 0.04390         osd.1                      up  1.00000          1.00000 
-4 0.04390     host hz-01-ops-tc-ceph-03                                   
 2 0.04390         osd.2                      up  1.00000          1.00000 
-5 0.04390     host hz-01-ops-tc-ceph-04                                   
 3 0.04390         osd.3                      up  1.00000          1.00000 
-6 0.04390     host hz01-dev-ops-wanl-01                                   
 4 0.04390         osd.4                      up  1.00000          1.00000

2、将osd.4移除OSD

# ceph osd out 4
marked out osd.4. 
# ceph -s
    cluster e2ca994a-00c4-477f-9390-ea3f931c5062
     health HEALTH_WARN
            56 pgs degraded
            1 pgs recovering
            55 pgs recovery_wait
            56 pgs stuck unclean
            recovery 604/1692 objects degraded (35.697%)
     monmap e1: 3 mons at {hz-01-ops-tc-ceph-02=172.16.2.231:6789/0,hz-01-ops-tc-ceph-03=172.16.2.172:6789/0,hz-01-ops-tc-ceph-04=172.16.2.181:6789/0}
            election epoch 20, quorum 0,1,2 hz-01-ops-tc-ceph-03,hz-01-ops-tc-ceph-04,hz-01-ops-tc-ceph-02
     osdmap e89: 5 osds: 5 up, 4 in
            flags sortbitwise,require_jewel_osds
      pgmap v68654: 1172 pgs, 4 pools, 2159 MB data, 564 objects
            5491 MB used, 174 GB / 179 GB avail
            604/1692 objects degraded (35.697%)
                1116 active+clean
                  55 active+recovery_wait+degraded
                   1 active+recovering+degraded
recovery io 87376 kB/s, 1 keys/s, 23 objects/s

3、在被删除OSD的那台ceph节点上的操作：

# systemctl stop [email protected]
# ceph osd tree
ID WEIGHT  TYPE NAME                     UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.21950 root default                                                    
-2 0.04390     host hz-01-ops-tc-ceph-01                                   
 0 0.04390         osd.0                      up  1.00000          1.00000 
-3 0.04390     host hz-01-ops-tc-ceph-02                                   
 1 0.04390         osd.1                      up  1.00000          1.00000 
-4 0.04390     host hz-01-ops-tc-ceph-03                                   
 2 0.04390         osd.2                      up  1.00000          1.00000 
-5 0.04390     host hz-01-ops-tc-ceph-04                                   
 3 0.04390         osd.3                      up  1.00000          1.00000 
-6 0.04390     host hz01-dev-ops-wanl-01                                   
 4 0.04390         osd.4                    down        0          1.00000 
# ceph osd crush remove osd.4
removed item id 4 name 'osd.4' from crush map
# ceph auth del osd.4
updated
# ceph osd tree
ID WEIGHT  TYPE NAME                     UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.17560 root default                                                    
-2 0.04390     host hz-01-ops-tc-ceph-01                                   
 0 0.04390         osd.0                      up  1.00000          1.00000 
-3 0.04390     host hz-01-ops-tc-ceph-02                                   
 1 0.04390         osd.1                      up  1.00000          1.00000 
-4 0.04390     host hz-01-ops-tc-ceph-03                                   
 2 0.04390         osd.2                      up  1.00000          1.00000 
-5 0.04390     host hz-01-ops-tc-ceph-04                                   
 3 0.04390         osd.3                      up  1.00000          1.00000 
-6       0     host hz01-dev-ops-wanl-01                                   
 4       0 osd.4                            down        0          1.00000 
# df -h
Filesystem           Size  Used Avail Use% Mounted on
/dev/mapper/cl-root   39G  1.8G   37G   5% /
devtmpfs             486M     0  486M   0% /dev
tmpfs                497M   84K  497M   1% /dev/shm
tmpfs                497M   26M  472M   6% /run
tmpfs                497M     0  497M   0% /sys/fs/cgroup
/dev/vda1           1014M  121M  894M  12% /boot
/dev/mapper/cl-home   19G   33M   19G   1% /home
/dev/vdb1             45G  237M   45G   1% /var/lib/ceph/osd/ceph-4
tmpfs                100M     0  100M   0% /run/user/0
# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0          11:0    1 1024M  0 rom  
vda         252:0    0   60G  0 disk 
├─vda1      252:1    0    1G  0 part /boot
└─vda2      252:2    0   59G  0 part 
  ├─cl-root 253:0    0 38.3G  0 lvm  /
  ├─cl-swap 253:1    0    2G  0 lvm  [SWAP]
  └─cl-home 253:2    0 18.7G  0 lvm  /home
vdb         252:16   0   50G  0 disk 
├─vdb1      252:17   0   45G  0 part /var/lib/ceph/osd/ceph-4
└─vdb2      252:18   0    5G  0 part 
# ceph -s
    cluster e2ca994a-00c4-477f-9390-ea3f931c5062
     health HEALTH_OK
     monmap e1: 3 mons at {hz-01-ops-tc-ceph-02=172.16.2.231:6789/0,hz-01-ops-tc-ceph-03=172.16.2.172:6789/0,hz-01-ops-tc-ceph-04=172.16.2.181:6789/0}
            election epoch 20, quorum 0,1,2 hz-01-ops-tc-ceph-03,hz-01-ops-tc-ceph-04,hz-01-ops-tc-ceph-02
     osdmap e79: 4 osds: 4 up, 4 in
            flags sortbitwise,require_jewel_osds
      pgmap v68497: 1164 pgs, 3 pools, 2159 MB data, 564 objects
            6655 MB used, 173 GB / 179 GB avail
                1164 active+clean

原文地址：http://blog.51cto.com/molewan/2063598

时间： 2024-10-08 09:02:12

Ceph：删除OSD的相关文章

ceph 删除osd的一些问题

1.删除osd删除创建的osd.数据和日志在同一个磁盘上的osd将osd.0踢出集群,执行ceph osd out 0停止此osd进程,执行systemctl stop [email protected] 然后执行:ceph osd crush remove osd.0,此时osd.0已经不再osd tree中了执行ceph auth del osd.0 和 ceph osd rm 0, 此时删除成功但是原来的数据和日志目录还在,也就是数据还在此时我们将/dev/sdd磁盘umount,然后

ceph 创建和删除osd

1.概述本次主要是使用ceph-deploy工具和使用ceph的相关命令实现在主机上指定磁盘创建和删除osd,本次以主机172.16.1.96(主机名hadoop96)为例,此主机系统盘为/dev/sda, 其他盘有/dev/sdb./dev/sdc和/dev/sdd,这几个盘都是裸磁盘,目的是使用这几个盘的组合创建osd. 磁盘情况如下图: 2.创建osd 使用ceph-deploy(工具安装在hadoop95上)创建osd,这里创建两个osd,其中一个数据和日志在同一个磁盘上,另外的osd

SUSE Ceph 增加节点、减少节点、删除OSD磁盘等操作 - Storage6

一.测试环境描述之前我们已快速部署好一套Ceph集群(3节点),现要测试在现有集群中在线方式增加节点如下表中可以看到增加节点node004具体配置主机名 Public网络管理网络集群网络说明 admin 192.168.2.39 172.200.50.39 --- 管理节点 node001 192.168.2.40 172.200.50.40 192.168.3.40 MON,OSD node002 192.168.2.41 172.200.50.41 192.168.3.41 MO

删除osd节点

删除osd的正确方式有如下(对比分析) 在ceph的集群当中关于节点的替换的问题,一直按照以前的方式进行的处理,处理的步骤如下: 停止osd进程 /etc/init.d/ceph stop osd.0 这一步是停止osd的进程,让其他的osd知道这个节点不提供服务了将节点状态标记为out ceph osd out osd.0 这个一步是告诉mon,这个节点已经不能服务了,需要在其他的osd上进行数据的恢复了从crush中移除节点 ceph osd crush remove osd.0 从cr

ceph摘掉osd节点

1.关闭ceph osd进程 service ceph stop osd 2.让ceph集群中的数据进行平衡 3.等所有的pg都达到active+clean平衡度时删除osd节点删除前ceph集群状态 [[email protected] ~]# ceph osd tree # id weight type name up/down reweight -1 4 root default -2 1 host os-n

ceph增加osd流程

假如需要新增一个主机名:osd4 ip:192.168.0.110的OSD1.在osd4创建挂载目录及放置配置文件的目录 ssh 192.168.0.110 (这里是从mon主机ssh到osd4主机) mkdir /ceph/osd.4 mkdir /etc/ceph 2.在osd4上格式化ext4的sda3分区,挂载分区. mkfs.ext4 /dev/sda3 mount -o user_xattr /dev/sda3 /ceph/osd.43.将mon主机的id_dsa.pub拷至osd4

CEPH之osd批量创建

一直出差都没时间写了... 今天创建150个osd,发现手动写ceph.conf有点头大,研究了下vim的递增功能. 很简单就是一条命令: :let i=0|g/REG/s//\=i/|let i=i+1 它可以匹配你文本中的REG,然后按照你i+n,每次递增加+n 上面这条命令的作用就是,查找文本中的REG字符,然后从第一个开始替换成0,然后依次+1 这样在ceph.conf中,我们可以首先复制出来150个[osd.gggg],然后在使用上面的命令来递增,同时vim还支持ctrl+A来对数字+

Ceph的osd节点问题

背景ceph的整体读写性能下降经查看 ceph osd perf 有一块osd延迟较大在200多ms以上决定剔除后整体性能恢复说明osd的一个节点问题有时会影响整体ceph的性能 ceph --admin-daemon /var/run/ceph/ceph-osd.135.asok perf dump | more"WBThrottle": {"bytes_dirtied": 13333504,"bytes_wb": 0,"io

ceph 指定OSD创建pool

https://my.oschina.net/wangzilong/blog/1549690 ceph集群中允许使用混合类型的磁盘,比如一部分磁盘是SSD,一部分是STAT.如果针对某些业务小高速磁盘SSD,某些业务需要STAT,在创建资源池的时候可以指定创建在某些OSD上. 基本步骤有8步: 当前只有STAT没有SSD,但是不影响实验结果. 1 获取crush map [[email protected] getcrushmap]# ceph osd getcrushmap -o /op