ceph集群报 Monitor clock skew detected 错误问题排查,解决

ceph集群报 Monitor clock skew detected 错误问题排查,解决
           
告警信息如下:
[[email protected] ceph]# ceph -w
    cluster ddc1b10b-6d1a-4ef9-8a01-d561512f3c1d
     health HEALTH_WARN
            clock skew detected on mon.ceph-100-81, mon.ceph-100-82
            Monitor clock skew detected
     monmap e1: 3 mons at {ceph-100-80=172.16.100.80:6789/0,ceph-100-81=172.16.100.81:6789/0,ceph-100-82=172.16.100.82:6789/0}
            election epoch 22, quorum 0,1,2 ceph-100-80,ceph-100-81,ceph-100-82
     mdsmap e21: 1/1/1 up {0=ceph-100-80=up:active}, 2 up:standby
     osdmap e116: 6 osds: 6 up, 6 in
      pgmap v205: 576 pgs, 3 pools, 1962 bytes data, 20 objects
            234 MB used, 269 GB / 269 GB avail
                 576 active+clean
   
1:添加配置参数:              
vim /etc/ceph/ceph.conf
 
[mon.ceph-100-80]
host = ceph-100-80
mon_data = /var/lib/ceph/mon/ceph-ceph-100-80/
mon_addr = 172.16.100.80:6789

# 添加内容如下:
mon clock drift allowed = 2
mon clock drift warn backoff = 30

2:同步配置文件
ceph-deploy --overwrite-conf admin ceph-100-{80..82}

3:重启mon 服务

/etc/init.d/ceph restart mon

4:验证:
[[email protected] ceph]# ceph -w        
    cluster ddc1b10b-6d1a-4ef9-8a01-d561512f3c1d
     health HEALTH_OK
     monmap e1: 3 mons at {ceph-100-80=172.16.100.80:6789/0,ceph-100-81=172.16.100.81:6789/0,ceph-100-82=172.16.100.82:6789/0}
            election epoch 24, quorum 0,1,2 ceph-100-80,ceph-100-81,ceph-100-82
     mdsmap e21: 1/1/1 up {0=ceph-100-80=up:active}, 2 up:standby
     osdmap e116: 6 osds: 6 up, 6 in
      pgmap v205: 576 pgs, 3 pools, 1962 bytes data, 20 objects
            234 MB used, 269 GB / 269 GB avail
                 576 active+clean
                 
                 
再次查看,告警内容消失。

问题总结:

本问题主要是mon节点服务器,时间偏差比较大导致,本次遇到问题为测试环境,通过修改ceph对时间偏差阀值,规避的告警信息,线上业务环境,注意排查服务器时间同步问题。

时间: 2024-10-10 16:14:53

ceph集群报 Monitor clock skew detected 错误问题排查,解决的相关文章

ceph 集群报 mds cluster is degraded 故障排查

ceph 集群版本: ceph -vceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185) ceph -w 查看服务状态: mds cluster is degraded      monmap e1: 3 mons at {ceph-6-11=172.16.6.11:6789/0,ceph-6-12=172.16.6.12:6789/0,ceph-6-13=172.16.6.13:6789/0}             el

Linux GCC编译警告:Clock skew detected. 错误解决办法

今天在虚拟机上用GCC编译一个程序的时候,出现了下面的错误: make: warning: Clock skew detected. Your build may be incomplete 试了make clean后再make,仍然是同样的问题,最后发现这个错误的原因在于系统时间比文件修改时间早,看了下我的系统时间竟然还是2012-01-13,而今天都已经是2012-01-31呢,于是修改时间后重新编译,问题解决. Linux下用date命令可查询和修改系统时间(root权限才可修改) 1 d

ceph集群报错:HEALTH_ERR 1 pgs inconsistent; 1 scrub errors

报错信息如下: [[email protected] ~]# ceph health detail HEALTH_ERR 1 pgs inconsistent; 1 scrub errors; pg 2.37c is active+clean+inconsistent, acting [75,6,35] 1 scrub errors 报错信息总结: 问题PG:2.37c OSD编号:75,6,35 执行常规修复: ceph pg repair 2.37c 查看修复结果: [[email prot

Ceph 时钟偏移问题 clock skew detected 解决方案--- 部署内网NTP服务

告警:HEALTH_WARN clock skew detected on mon.ip-10-25-195-6; 8 requests are blocked > 32 sec; Monitor clock skew detected 原因: MON可能被MON节点之间的重要的时钟偏移激烈的影响.这经常会转变为没有明显原因的诡异的行为.为了避免这种问题,你应该在MON节点上运行一个时间同步的工具. 默认最大容忍的时钟偏移为0.05s,不建议修改这个官方开发推荐值.私自未经测试修改虽然无数据丢失

基于centos7.3安装部署jewel版本ceph集群实战演练

一.环境准备 安装centos7.3虚拟机三台 由于官网源与网盘下载速度都非常的慢,所以给大家提供了国内的搜狐镜像源:http://mirrors.sohu.com/centos/7.3.1611/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso 在三台装好的虚拟机上分别加三块100G的硬盘.如图所示: 3.配置ip ceph-1 ceph-2 ceph-3 192.168.42.200 192.168.42.201 192.168.42.203 修改可参照下面的

【ceph故障排查】ceph集群添加了一个osd之后,该osd的状态始终为down

背景 ceph集群添加了一个osd之后,该osd的状态始终为down. 错误提示 状态查看如下 1.查看osd tree [[email protected] Asia]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.05388 root default -2 0.01469 host node1 0 0.00490 osd.0 up 1.00000 1.00000 1 0.00490 osd.

Ceph与OpenStack整合(将云主机磁盘镜像文件直接建在ceph集群vms存储池中)

思路及实现: 1.承接前两篇文章,镜像服务的存储 池为images,云盘的存储池为volumes,目前要完成openstack新建云主机磁盘镜像文件直接存放到ceph中去(在ceph中新建存储池vms). 云主机在启动时需要有能访问镜像存储池images和云盘存储池volumes的能力,所以你需要在ceph集群的monitor节点新建存储池vms,同时新建账号,该账号具有对vms,images, 以及volumes三个存储池的rwx权限 2.这里请务必注意一个细节:回忆第一篇ceph与opens

CEPH -S集群报错TOO MANY PGS PER OSD

背景 集群状态报错,如下: # ceph -s cluster 1d64ac80-21be-430e-98a8-b4d8aeb18560 health HEALTH_WARN <-- 报错的地方 too many PGs per OSD (912 > max 300) monmap e1: 1 mons at {node1=109.105.115.67:6789/0} election epoch 4, quorum 0 node1 osdmap e49: 2 osds: 2 up, 2 in

ceph集群增加pg报错

描述: 一个正在运行ceph集群增加pg时报错. 报错信息: Error E2BIG: specified pg_num 4096 is too large (creating 2048 new PGs on ~60 OSDs exceeds per-OSD max of 32) 解决: 由于一次增加pg数量太多导致,尝试一次增加少量pg解决此问题.或者需要调整ceph集群参数mon_osd_max_split_count默认值为32,意思为每个osd最大32个pg,调整完成后重启mon或在线调