Ceph的osd节点问题

背景ceph的整体读写性能下降 经查看 ceph osd perf 有一块osd延迟较大在200多ms以上 决定剔除后 整体性能恢复 说明osd的一个节点问题有时会影响整体ceph的性能

ceph --admin-daemon /var/run/ceph/ceph-osd.135.asok perf dump | more
"WBThrottle": {
"bytes_dirtied": 13333504,
"bytes_wb": 0,
"ios_dirtied": 86,
"ios_wb": 0,
"inodes_dirtied": 27,
"inodes_wb": 0
},
整体都应该是0
可以结合MegaCli查看是否有坏道导致的问题 不要急于恢复磁盘

    长时间的数据积累对磁盘的性能和使用周期是有影响的 也可以定时清理磁盘碎片
    查看磁盘碎片
    xfs_db -c frag -r /dev/sdd1
    整理碎片
    xfs_fsr /dev/sdd1

原文地址:http://blog.51cto.com/wujingfeng/2104930

时间: 2024-11-08 08:23:49

Ceph的osd节点问题的相关文章

ceph摘掉osd节点

1.关闭ceph osd进程 service ceph stop osd 2.让ceph集群中的数据进行平衡 3.等所有的pg都达到active+clean平衡度时删除osd节点 删除前ceph集群状态 [[email protected] ~]# ceph osd tree # id    weight  type name       up/down reweight -1      4       root default -2      1               host os-n

Ceph:添加新的OSD节点

Ceph:添加新的OSD节点 一.Ceph新的OSD节点上的操作 1.1 配置ceph的yum源 cat /etc/yum.repos.d/ceph-aliyun.repo [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 priority =1 [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.co

Ceph 单/多节点 安装小结 power by CentOS 6.x

概述 Docs : http://docs.ceph.com/docs Ceph是一个分布式文件系统,在维持POSIX兼容性的同时加入了复制和容错功能.Ceph最大的特点是分布式的元数据服务器,通过CRUSH(Controlled Replication Under Scalable Hashing)这种拟算法来分配文件的location.Ceph的核心是RADOS(ReliableAutonomic Distributed Object Store),一个对象集群存储,本身提供对象的高可用.错

删除osd节点

删除osd的正确方式有如下(对比分析) 在ceph的集群当中关于节点的替换的问题,一直按照以前的方式进行的处理,处理的步骤如下: 停止osd进程 /etc/init.d/ceph stop osd.0 这一步是停止osd的进程,让其他的osd知道这个节点不提供服务了 将节点状态标记为out ceph osd out osd.0 这个一步是告诉mon,这个节点已经不能服务了,需要在其他的osd上进行数据的恢复了 从crush中移除节点 ceph osd crush remove osd.0 从cr

ceph增加osd流程

假如需要新增一个主机名:osd4 ip:192.168.0.110的OSD1.在osd4创建挂载目录及放置配置文件的目录 ssh 192.168.0.110 (这里是从mon主机ssh到osd4主机) mkdir /ceph/osd.4 mkdir /etc/ceph 2.在osd4上格式化ext4的sda3分区,挂载分区. mkfs.ext4 /dev/sda3 mount -o user_xattr /dev/sda3 /ceph/osd.43.将mon主机的id_dsa.pub拷至osd4

CEPH之osd批量创建

一直出差都没时间写了... 今天创建150个osd,发现手动写ceph.conf有点头大,研究了下vim的递增功能. 很简单就是一条命令: :let i=0|g/REG/s//\=i/|let i=i+1 它可以匹配你文本中的REG,然后按照你i+n,每次递增加+n 上面这条命令的作用就是,查找文本中的REG字符,然后从第一个开始替换成0,然后依次+1 这样在ceph.conf中,我们可以首先复制出来150个[osd.gggg],然后在使用上面的命令来递增,同时vim还支持ctrl+A来对数字+

ceph 指定OSD创建pool

https://my.oschina.net/wangzilong/blog/1549690 ceph集群中允许使用混合类型的磁盘,比如一部分磁盘是SSD,一部分是STAT.如果针对某些业务小高速磁盘SSD,某些业务需要STAT,在创建资源池的时候可以指定创建在某些OSD上. 基本步骤有8步: 当前只有STAT没有SSD,但是不影响实验结果. 1    获取crush map [[email protected] getcrushmap]# ceph osd getcrushmap -o /op

ceph 删除osd的一些问题

1.删除osd删除创建的osd.数据和日志在同一个磁盘上的osd将osd.0踢出集群,执行ceph osd out 0停止此osd进程,执行systemctl stop [email protected] 然后执行:ceph osd crush remove osd.0,此时osd.0已经不再osd tree中了 执行ceph auth del osd.0 和 ceph osd rm 0, 此时删除成功但是原来的数据和日志目录还在,也就是数据还在 此时我们将/dev/sdd磁盘umount,然后

Ceph分布式存储系统

Ceph分布式存储系统 Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统,其设计目标是良好的可扩展性(PB级别以上).高性能及高可靠性.Ceph其命名和UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是"Sammy",一个香蕉色的蛞蝓,就是头足类中无壳的软体动物.这些有多触角的头足类动物,是对一个分布式文件系统高度并行的形象比喻. 其设计遵循了三个原则:数据与元数据的分离,动态的分布式的元数据管理,可靠统一的分布