MySQL MGR集群单主模式的自动搭建和自动化故障修复

/*
the waiting game:
尽管人生如此艰难,不要放弃;不要妥协;不要失去希望
*/

随着MySQL MGR的版本的升级以及技术成熟,在把MHA拉下神坛之后, MGR越来越成为MySQL高可用的首选方案。
MGR的搭建并不算很复杂,但是有一系列手工操作步骤,为了简便MGR的搭建和故障诊断,这里完成了一个自动化的脚本,来实现MGR的自动化搭建,自动化故障诊断以及修复。

MGR自动化搭建
为了简便起见,这里以单机多实例的模式进行测试,
先装好三个MySQL实例,端口号分别是7001,7002,7003,其中7001作为写节点,其余两个节点作为读节,8000节点是笔者的另外一个测试节点,请忽略。
在指明主从节点的情况下,如下为mgr_tool.py一键搭建MGR集群的测试demo

MGR故障模拟1

MGR节点故障自动监测和自愈实现,如下是搭建完成后的MGR集群,目前集群处于完全正常的状态中。

主观造成主从节点间binlog的丢失

在主节点上对于对于从节点丢失的数据操作,GTID无法找到对应的数据,组复制立马熄火

非写入节点出现错误

看下errorlog

如果是手动解决的话,还是GTID跳过错误事物的套路,master上的GTID信息

尝试跳过最新的一个事物ID,然后重新连接到组,可以正常连接到组,另外一个节点仍旧处于error状态

stop group_replication;

SET GTID_NEXT=‘6c81c118-e67c-4416-9cb0-2d573d178c1d:13‘;

BEGIN; COMMIT;

set gtid_next=‘automatic‘;

另外一个节点类似,依次解决。

MGR故障模拟2

从节点脱离Group

这种情况倒是比较简单,重新开始组复制即可,start group_replication

MGR故障自动检测和修复

对于如上的两种情况,
1,如果是从节点丢失主节点的事物,尝试在从节点上跳过GTID,重新开始复制即可
2,如果是从节点非丢失主节点事物,尝试在从节点重新开始组复制即可

实现代码如下

def auto_fix_mgr_error(conn_master_dict,conn_slave_dict):
    group_replication_status = get_group_replication_status(conn_slave_dict)
    if(group_replication_status[0]["MEMBER_STATE"]=="ERROR" or group_replication_status[0]["MEMBER_STATE"] == "OFFLINE"):
        print(conn_slave_dict["host"]+str(conn_slave_dict["port"])+‘------>‘+group_replication_status[0]["MEMBER_STATE"])
        print("auto fixing......")
        while 1 > 0:
            master_gtid_list = get_gtid(conn_master_dict)
            slave_gtid_list = get_gtid(conn_slave_dict)
            master_executed_gtid_value = int((master_gtid_list[-1]["Executed_Gtid_Set"]).split("-")[-1])
            slave_executed_gtid_value = int(slave_gtid_list[-1]["Executed_Gtid_Set"].split("-")[-1])
            slave_executed_gtid_prefix = slave_gtid_list[-1]["Executed_Gtid_Set"].split(":")[0]
            slave_executed_skiped_gtid = slave_executed_gtid_value + 1
            if (master_executed_gtid_value > slave_executed_gtid_value):
                print("skip gtid and restart group replication,skiped gtid is "
                      + slave_gtid_list[-1]["Executed_Gtid_Set"].split(":")[-1].split("-")[0]
                      + ":"+str(slave_executed_skiped_gtid))
                slave_executed_skiped_gtid = slave_executed_gtid_prefix+":"+str(slave_executed_skiped_gtid)
                skip_gtid_on_slave(conn_slave_dict,slave_executed_skiped_gtid)
                time.sleep(10)
                start_group_replication(conn_slave_dict)
                if(get_group_replication_status(conn_slave_dict)[0]["MEMBER_STATE"]=="ONLINE"):
                    print("mgr cluster fixed,back to normal")
                    break
            else:
                start_group_replication(conn_slave_dict)
                if(get_group_replication_status(conn_slave_dict)[0]["MEMBER_STATE"]=="ONLINE"):
                    print("mgr cluster fixed,back to normal")
                break
    elif (group_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        print("mgr cluster is normal,nothing to do")
        check_replication_group_members(conn_slave_dict)

对于故障类型1,GTID事物不一致的自动化修复

对于故障类型2从节点offline的自动化修复

完整的实现代码

该过程要求MySQL实例必须满足MGR的基本条件,如果环境本身无法满足MGR,一切都无从谈起,因此要非常清楚MGR环境的最基本要求

完成的实现代码如下,花了一个下午写的,目前来说存在以下不足
1,创建复制用户的时候,没有指定具体的slave机器,目前直接指定的%:create user [email protected]‘%‘ identified by repl
2,对于slave的修复,目前无法整体修复,只能一台一台修复,其实就是少了一个循环slave机器判断的过程
3,目前搭建之前都会reset master(不管主从,主要是清理可能的残留GTID),因此只适合新环境的搭建
4,目前只支持offline和gtid事物冲突的错误类型修复,无法支持其他MGR错误类型的修复
5,开发环境是单机多实例模式测试,没有在多机单实例模式下充分测试
以上都会逐步改善&加强。

# -*- coding: utf-8 -*-

import pymysql
import logging
import time
import decimal

def execute_query(conn_dict,sql):
    conn = pymysql.connect(host=conn_dict[‘host‘],
                           port=conn_dict[‘port‘],
                           user=conn_dict[‘user‘],
                           passwd=conn_dict[‘password‘],
                           db=conn_dict[‘db‘])
    cursor = conn.cursor(pymysql.cursors.DictCursor)
    cursor.execute(sql)
    list = cursor.fetchall()
    cursor.close()
    conn.close()
    return list

def execute_noquery(conn_dict,sql):
    conn = pymysql.connect(host=conn_dict[‘host‘],
                           port=conn_dict[‘port‘],
                           user=conn_dict[‘user‘],
                           passwd=conn_dict[‘password‘],
                           db=conn_dict[‘db‘])
    cursor = conn.cursor()
    cursor.execute(sql)
    conn.commit()
    cursor.close()
    conn.close()
    return list

def get_gtid(conn_dict):
    sql = "show master status;"
    list = execute_query(conn_dict,sql)
    return list

def skip_gtid_on_slave(conn_dict,gtid):
    sql_1 = ‘stop group_replication;‘
    sql_2 = ‘‘‘set gtid_next=‘{0}‘;‘‘‘.format(gtid)
    sql_3 = ‘begin;‘
    sql_4 = ‘commit;‘
    sql_5 = ‘‘‘set gtid_next=‘automatic‘;‘‘‘

    try:
        execute_noquery(conn_dict, sql_1)
        execute_noquery(conn_dict, sql_2)
        execute_noquery(conn_dict, sql_3)
        execute_noquery(conn_dict, sql_4)
        execute_noquery(conn_dict, sql_5)
    except:
        raise

def get_group_replication_status(conn_dict):
    sql = ‘‘‘select MEMBER_STATE from performance_schema.replication_group_members
            where (MEMBER_HOST = ‘{0}‘ or ifnull(MEMBER_HOST,‘‘) = ‘‘)
            AND (MEMBER_PORT={1} or ifnull(MEMBER_PORT,‘‘) =‘‘) ; ‘‘‘.format(conn_dict["host"], conn_dict["port"])
    result = execute_query(conn_dict,sql)
    if result:
        return result
    else:
        return None

def check_replication_group_members(conn_dict):
    print(‘-------------------------------------------------------‘)
    result = execute_query(conn_dict, " select * from performance_schema.replication_group_members; ")
    if result:
        column = result[0].keys()
        current_row = ‘‘
        for key in column:
            current_row += str(key) + "    "
        print(current_row)

        for row in result:
            current_row = ‘‘
            for key in row.values():
                current_row += str(key) + "    "
            print(current_row)
    print(‘-------------------------------------------------------‘)

def auto_fix_mgr_error(conn_master_dict,conn_slave_dict):
    group_replication_status = get_group_replication_status(conn_slave_dict)
    if(group_replication_status[0]["MEMBER_STATE"]=="ERROR" or group_replication_status[0]["MEMBER_STATE"] == "OFFLINE"):
        print(conn_slave_dict["host"]+str(conn_slave_dict["port"])+‘------>‘+group_replication_status[0]["MEMBER_STATE"])
        print("auto fixing......")
        while 1 > 0:
            master_gtid_list = get_gtid(conn_master_dict)
            slave_gtid_list = get_gtid(conn_slave_dict)
            master_executed_gtid_value = int((master_gtid_list[-1]["Executed_Gtid_Set"]).split("-")[-1])
            slave_executed_gtid_value = int(slave_gtid_list[-1]["Executed_Gtid_Set"].split("-")[-1])
            slave_executed_gtid_prefix = slave_gtid_list[-1]["Executed_Gtid_Set"].split(":")[0]
            slave_executed_skiped_gtid = slave_executed_gtid_value + 1
            if (master_executed_gtid_value > slave_executed_gtid_value):
                print("skip gtid and restart group replication,skiped gtid is "
                      + slave_gtid_list[-1]["Executed_Gtid_Set"].split(":")[-1].split("-")[0]
                      + ":"+str(slave_executed_skiped_gtid))
                slave_executed_skiped_gtid = slave_executed_gtid_prefix+":"+str(slave_executed_skiped_gtid)
                skip_gtid_on_slave(conn_slave_dict,slave_executed_skiped_gtid)
                time.sleep(10)
                start_group_replication(conn_slave_dict)
                if(get_group_replication_status(conn_slave_dict)[0]["MEMBER_STATE"]=="ONLINE"):
                    print("mgr cluster fixed,back to normal")
                    break
            else:
                start_group_replication(conn_slave_dict)
                if(get_group_replication_status(conn_slave_dict)[0]["MEMBER_STATE"]=="ONLINE"):
                    print("mgr cluster fixed,back to normal")
                break
    elif (group_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        print("mgr cluster is normal,nothing to do")
        check_replication_group_members(conn_slave_dict)

‘‘‘
reset master
‘‘‘
def reset_master(conn_dict):
    try:
        execute_noquery(conn_dict, "reset master;")
    except:
        raise

def install_group_replication_plugin(conn_dict):
    get_plugin_sql = "SELECT name,dl FROM mysql.plugin WHERE name = ‘group_replication‘;"
    install_plugin_sql = ‘‘‘install plugin group_replication soname ‘group_replication.so‘; ‘‘‘
    try:
        result = execute_query(conn_dict, get_plugin_sql)
        if not result:
            execute_noquery(conn_dict, install_plugin_sql)
    except:
        raise

def create_mgr_repl_user(conn_master_dict,user,password):
    try:
        reset_master(conn_master_dict)
        sql_exists_user = ‘‘‘select user from mysql.user where user = ‘{0}‘; ‘‘‘.format(user)
        user_list = execute_query(conn_master_dict,sql_exists_user)
        if not user_list:
            create_user_sql = ‘‘‘create user {0}@‘%‘ identified by ‘{1}‘; ‘‘‘.format(user,password)
            grant_privilege_sql = ‘‘‘grant replication slave on *.* to {0}@‘%‘;‘‘‘.format(user)
            execute_noquery(conn_master_dict,create_user_sql)
            execute_noquery(conn_master_dict, grant_privilege_sql)
            execute_noquery(conn_master_dict, "flush privileges;")
    except:
        raise

def set_super_read_only_off(conn_dict):
    super_read_only_off = ‘‘‘set global super_read_only = 0;‘‘‘
    execute_noquery(conn_dict, super_read_only_off)

def open_group_replication_bootstrap_group(conn_dict):
    sql = ‘‘‘select variable_name,variable_value from performance_schema.global_variables where variable_name = ‘group_replication_bootstrap_group‘;‘‘‘
    result = execute_query(conn_dict, sql)
    open_bootstrap_group_sql = ‘‘‘set @@global.group_replication_bootstrap_group=on;‘‘‘
    if result and result[0][‘variable_value‘]=="OFF":
        execute_noquery(conn_dict, open_bootstrap_group_sql)

def close_group_replication_bootstrap_group(conn_dict):
    sql = ‘‘‘select variable_name,variable_value from performance_schema.global_variables where variable_name = ‘group_replication_bootstrap_group‘;‘‘‘
    result = execute_query(conn_dict, sql)
    close_bootstrap_group_sql = ‘‘‘set @@global.group_replication_bootstrap_group=off;‘‘‘
    if result and result[0][‘variable_value‘] == "ON":
        execute_noquery(conn_dict, close_bootstrap_group_sql)

def start_group_replication(conn_dict):
    start_group_replication = ‘‘‘start group_replication;‘‘‘
    group_replication_status = get_group_replication_status(conn_dict)
    if not (group_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        execute_noquery(conn_dict, start_group_replication)

def connect_to_group(conn_dict,repl_user,repl_password):
    connect_to_group_sql = ‘‘‘change master to
                                    master_user=‘{0}‘,
                                    master_password=‘{1}‘
                                    for channel ‘group_replication_recovery‘; ‘‘‘.format(repl_user,repl_password)
    try:
        execute_noquery(conn_dict, connect_to_group_sql)
    except:
        raise

def start_mgr_on_master(conn_master_dict,repl_user,repl_password):
    try:
        set_super_read_only_off(conn_master_dict)
        reset_master(conn_master_dict)
        create_mgr_repl_user(conn_master_dict,repl_user,repl_password)
        connect_to_group(conn_master_dict,repl_user,repl_password)

        open_group_replication_bootstrap_group(conn_master_dict)
        start_group_replication(conn_master_dict)
        close_group_replication_bootstrap_group(conn_master_dict)

        group_replication_status = get_group_replication_status(conn_master_dict)
        if (group_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
            print("master added in mgr and run successfully")
            return True
    except:
        raise
        print("############start master mgr error################")
        exit(1)

def start_mgr_on_slave(conn_slave_dict,repl_user,repl_password):
    try:
        set_super_read_only_off(conn_slave_dict)
        reset_master(conn_slave_dict)
        connect_to_group(conn_slave_dict,repl_user,repl_password)
        start_group_replication(conn_slave_dict)
        # wait for 10
        time.sleep(10)
        # then check mgr status
        group_replication_status = get_group_replication_status(conn_slave_dict)
        if (group_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
            print("slave added in mgr and run successfully")
        if (group_replication_status[0][‘MEMBER_STATE‘] == ‘RECOVERING‘):
            print("slave is recovering")
    except:
        print("############start slave mgr error################")
        exit(1)

def auto_mgr(conn_master,conn_slave_1,conn_slave_2,repl_user,repl_password):
    install_group_replication_plugin(conn_master)
    master_replication_status = get_group_replication_status(conn_master)

    if not (master_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        start_mgr_on_master(conn_master,repl_user,repl_password)

    slave1_replication_status = get_group_replication_status(conn_slave_1)
    if not (slave1_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        install_group_replication_plugin(conn_slave_1)
        start_mgr_on_slave(conn_slave_1, repl_user, repl_user)

    slave2_replication_status = get_group_replication_status(conn_slave_2)
    if not (slave2_replication_status[0][‘MEMBER_STATE‘] == ‘ONLINE‘):
        install_group_replication_plugin(conn_slave_2)
        start_mgr_on_slave(conn_slave_2, repl_user, repl_user)

    check_replication_group_members(conn_master)

if __name__ == ‘__main__‘:
    conn_master  = {‘host‘: ‘127.0.0.1‘, ‘port‘: 7001, ‘user‘: ‘root‘, ‘password‘: ‘root‘, ‘db‘: ‘mysql‘, ‘charset‘: ‘utf8mb4‘}
    conn_slave_1 = {‘host‘: ‘127.0.0.1‘, ‘port‘: 7002, ‘user‘: ‘root‘, ‘password‘: ‘root‘, ‘db‘: ‘mysql‘, ‘charset‘: ‘utf8mb4‘}
    conn_slave_2 = {‘host‘: ‘127.0.0.1‘, ‘port‘: 7003, ‘user‘: ‘root‘, ‘password‘: ‘root‘, ‘db‘: ‘mysql‘, ‘charset‘: ‘utf8mb4‘}
    repl_user = "repl"
    repl_password = "repl"
    #auto_mgr(conn_master,conn_slave_1,conn_slave_2,repl_user,repl_password)

    auto_fix_mgr_error(conn_master,conn_slave_1)
    check_replication_group_members(conn_master)

原文地址:https://www.cnblogs.com/wy123/p/11391292.html

时间: 2024-10-17 01:51:30

MySQL MGR集群单主模式的自动搭建和自动化故障修复的相关文章

MySQL MGR 集群从数据库显示RECOVRING

因为断电 或者 其他瞎折腾 导致: 从节点显示RECOVRING 查看错误日志显示: Slave SQL for channel 'group_replication_recovery': Error 'Can't create database 'test'; database exists' on query. Default database: 'test'. Query: 'create database test', Error_code: 1007 意思很明显,test 数据库已经存

MySQL集群MGR架构for单主在线转为多主模式

本文源链接地址:https:www.93bok.com 之前已经完成了MGR集群的单主模式搭建,在生产环境中,我们有时候想改变一下MGR的模式,但是又不想停止mysql服务的正常运行和正常提供服务,本文就来说说,该怎么在不影响mysql正常提供服务的前提下,从单主模式转换为多主模式,即在线转换 注意: 多点写入会存在冲突检查,这耗损性能挺大的,官方建议采用网络分区功能,在程序端把相同的业务定位到同一节点,尽量减少冲突发生几率. 单主模式之前已经搭建过,可参考之前文章,这里直接接着单主模式继续操作

[MGR——Mysql的组复制之单主模式 ]详细搭建部署过程

1,关于MySQL Group Replication 基于组的复制(Group-basedReplication)是一种被使用在容错系统中的技术.Replication-group(复制组)是由能够相互通信的多个服务器(节点)组成的. 在通信层,Groupreplication实现了一系列的机制:比如原子消息(atomicmessage delivery)和全序化消息(totalorderingof messages). 这些原子化,抽象化的机制,为实现更先进的数据库复制方案提供了强有力的支持

Mysql Group Replication 简介及单主模式组复制配置【转】

一 Mysql Group Replication简介 Mysql Group Replication(MGR)是一个全新的高可用和高扩张的MySQL集群服务. 高一致性,基于原生复制及paxos协议的组复制技术,以插件方式提供一致数据安全保证: 高容错性,大多数服务正常就可继续工作,自动不同节点检测资源征用冲突,按顺序优先处理,内置自动防脑裂机制: 高扩展性,自动添加移除节点,并更新组信息: 高灵活性,单主模式和多主模式.单主模式自动选主,所有更新操作在主进行:多主模式,所有server同时更

【MySQL】MGR集群相关简介

1.MGR简介 MySQL Group Replication(MGR)是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案,以插件形式提供.MGR基于分布式paxos协议,实现组复制,保证数据一致性.内置故障检测和自动选主功能,只要不是集群中的大多数节点都宕机,就可以继续正常工作.提供单主模式与多主模式,多主模式支持多点写入. 2.原理简单介绍 组复制是一种可用于实现容错系统的技术.复制组是一个通过消息传递相互交互的Server集群.复制组由多个Server成员组成,如下

MySQL学习笔记14分组复制的部署之(一)单主模式的部署及故障恢复

1. 单主模式的部署步骤 目标:部署一个有3台主机的单主模式的MySQL分组. Primary:192.168.197.110. Secondary:192.168.197.111. Secondary:192.168.197.112. MySQL端口:3306,MySQL分组复制端口:33061. (1)主机192.168.197.110上的操作. 按照如下步骤完成MySQL配置,并且将自己加入到分组中,最后启动分组. (a)修改MySQL配置. 修改MySQL服务的配置文件. [mysqld

mysql5.7 MGR集群搭建

mysql5.7 MGR集群搭建部署 此文章由队员(谆谆)拟写 此文章来自 乌龟运维 官网 wuguiyunwei.com QQ群 602183872 最近看了一下mysql5.7的MGR集群挺不错的,有单主和多主模式,于是乎搭建测试了一下效果还不错,我指的不错是搭建和维护方面都比较简单.网上绝大多数都是单主模式,当然我这里也是,为了加深印象,特意记录一下搭建过程,等以后再去尝试多主模式,相信大家现在数据库的瓶颈基本都是在写,读写分离虽然是一种可行的解决方案,但是如果数据量很大,写一样会有问题,

MGR集群搭建

MGR全称MySQL Group Replication(Mysql组复制),是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案.MGR提供了高可用.高扩展.高可靠的MySQL集群服务.在MGR出现之前,用户常见的MySQL高可用方式,无论怎么变化架构,本质就是Master-Slave架构.MySQL 5.7版本开始支持无损半同步复制(lossless semi-sync replication),从而进一步提示数据复制的强一致性. MGR是MySQL数据库未来发展的一个

MySQL分布式集群之MyCAT(转)

原文地址:http://blog.itpub.net/29510932/viewspace-1664499/ 隔了好久,才想起来更新博客,最近倒腾的数据库从Oracle换成了MySQL,研究了一段时间,感觉社区版的MySQL在各个方面都逊色于Oracle,Oracle真的好方便!好了,不废话,这次准备记录一些关于MySQL分布式集群搭建的一个东东,MyCAT,我把他理解为一个MySQL代理.-----------------------------------------------------