MySQL高可用配置

openstack高可用配置文档

介绍利用两台物理主机实现高可用的openstack云平台，这里主要说明mysql和rabbitmq的高可用配置。

l  安装openstack云平台（两台主机上都部署openstack I版）

  • 安装centos操作系统，由于以active-passive模式配置mysql等服务的高可用时，需要单独的硬盘分区来装载和同步mysql等服务的数据，所以安装系统时，在系统镜像配置文件里预留出2-3块20G左右单独的硬盘分区作为备用;
  • Yum –y update && reboot系统安装完成后，更新系统;
  • 利用redhat的rdo工具安装openstack I版

yum install -y http://rdo.fedorapeople.org/rdo-release.rpm

yum install -y openstack-packstack

packstack --gen-answer-file=ans-file.txt

根据需要修改answer-file;  然后packstack --answer-file=ans-file.txt

完成后检查openstack I版是否安装成功成功后选择其中一台主机作为主节点，另一台主机作为备用节点配置各个服务的高可用；

配置openstack服务的高可用，首先要配置两个节点的高可用集群：

l  配置各节点互相解析

gb07

gb06

l  配置各节点时间同步

gb07

[[email protected] ~]# ntpdate 10.10.102.7

 

gb06

[[email protected] ~]# ntpdate 10.10.102.7

l  各节点关闭SELinux

修改/etc/selinux/config文件中设置SELINUX=disabled ，然后重启服务器。

l  Corosync 安装与配置(两节点上都要安装配置)

 

  • 安装Corosync

gb07

[[email protected] ~]# yum install -y corosync

gb06

[[email protected] ~]# yum install -y corosync

  • .配置Corosync

[[email protected] ~]# cd /etc/corosync/

[[email protected] corosync]# mv corosync.conf.example corosync.conf

[[email protected] corosync]# vim corosync.conf

compatibility: whitetank

totem {                                                                     #心跳信息传递层

version: 2                                    #版本

secauth: on                                                                  #认证信息  一般on

threads: 0                                                           #线程

interface {                                                           #定义心跳信息传递的接口

ringnumber: 0

bindnetaddr: 10.10.0.0                       #绑定的网络地址，写网络地址

mcastaddr: 226.94.1.1                                          #多播地址

mcastport: 5405                                           #多播的端口

ttl: 1                                                                           #生存周期

}

}

logging {                             #日志

fileline: off

to_stderr: no                 #是否输出在屏幕上

to_logfile: yes               #定义自己的日志

to_syslog: no                 #是否由syslog记录日志

logfile: /var/log/cluster/corosync.log  #日志文件的存放路径

debug: off

timestamp: on                 #时间戳是否关闭

logger_subsys {

subsys: AMF

debug: off

}

}

amf {

mode: disabled

}

service {

ver: 0

name: pacemaker       #pacemaker作为corosync的插件进行工作

}

aisexec {

user: root

group: root

}

[[email protected] corosync]#  scp corosync.conf gb06:/etc/corosync/

  • 认证文件

[[email protected] corosync]# corosync-keygen

Corosync Cluster Engine Authentication key generator.

Gathering 1024 bits for key from /dev/random.

Press keys on your keyboard to generate entropy (bits = 152).

#遇到这个情况，表示电脑的随机数不够，可以不停的随便敲键盘生成随机数

[[email protected] corosync]# scp authkey gb06:/etc/corosync/

#把认证文件也复制到gb06主机上

l  Pacemaker配置与安装(两节点上都要安装配置)

  • 安装pacemaker

gb07

[[email protected] ~]# yum install -y pacemaker

gb06

[[email protected] ~]# yum install -y pacemaker

  • 安装crmsh

gb07

[[email protected] ~]# yum –y install crm

gb06

[[email protected] ~]# yum –y install crm

安装完成后，启动corosync  service corosync start; 启动pacemaker

service pacemaker start

l  DRBD 安装与配置(两个节点上都要安装配置)

  • 安装drbd

gb07

[[email protected] ~]# yum -y install drbd84 kmod-drbd84

gb06

[[email protected] ~]# yum -y install drbd84 kmod-drbd84

如果yum源找不到包，尝试在网上搜一下drbd安装，下载相应的yum源文件再安装

  • 配置drbd

[[email protected] ~]# cat /etc/drbd.d/global_common.conf

global {

usage-count no;

# minor-count dialog-refresh disable-ip-verification

}

common {

protocol C;

handlers {

pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

# split-brain "/usr/lib/drbd/notify-split-brain.sh root";

# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

}

startup {

#wfc-timeout 120;

#degr-wfc-timeout 120;

}

disk {

on-io-error detach;

#fencing resource-only;

}

net {

cram-hmac-alg "sha1";

shared-secret "mydrbdlab";

}

syncer {

rate 1000M;

}

}

[[email protected] drbd.d]# cat mysql.res #资源配置文件

resource mysql {

on gb07 {

device    /dev/drbd0;

disk      /dev/sda3;     #预留的硬盘分区

meta-disk internal;

address ipv4 10.10.102.7:7700;

}

on gb06 {

device    /dev/drbd0;

disk      /dev/sda3;

meta-disk internal;

address ipv4 10.10.102.6:7700;

}

}

[[email protected] drbd.d]# scp global_common.conf mydata.res gb06:/etc/drbd.d/

 

  • 初始化drbd的资源并启动

DRBD元数据的初始化和将元数据的初始设置写入 /dev/data/mysql，必须两个节点上都完成

创建/ dev/drbd0设备节点，将DRBD设备与本地存储设备相连，必须在两个节点上都完成

使初始设备同步，让设备成为主要的角色（可写和可读）。查看DRBD资源的主要角色和次要角色更详细的说明请参考DRBD用户指南。只能完成一个节点，就是你将继续创建文件系统的那个节点

  • 格式化drbd分区(主节点上完成)

mkfs -t xfs /dev/drbd0

mount /dev/drbd0 /mysql

l  将mysql资源加入pacemaker

  • 定义drbd资源

[[email protected] ~]# crm

crm(live)# configure

crm(live)configure# property stonith-enabled=false

crm(live)configure# property no-quorum-policy=ignore

crm(live)configure# primitive mysqldrbd ocf:linbit:drbd params drbd_resource=mysql op monitor role=Master interval=10 timeout=20  op monitor  role=Slave interval=20 timeout=20 op start timeout=240 op stop timeout=100

crm(live)configure#verify   #检查语法

  • 定义drbd的主从资源

crm(live)configure# ms ms_mysqldrbd mysqldrbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true

crm(live)configure# verify

  • 定义文件系统资源和约束关系

crm(live)configure# primitive mystore ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mysql" fstype="xfs" op monitor interval=40 timeout=40 op start timeout=60 op stop timeout=60

crm(live)configure# verify

crm(live)configure# colocation mystore_with_ms_mysqldrbd inf: mystore ms_mysqldrbd:Master

crm(live)configure# order ms_mysqldrbd_before_mystore mandatory: ms_mysqldrbd:promote mystore:start

crm(live)configure# verify

  • 定义vip资源、mysql服务的资源约束关系

crm(live)configure# primitive myvip ocf:heartbeat:IPaddr params ip="10.10.42.96" op monitor interval=20 timeout=20 on-fail=restart

crm(live)configure# primitive myserver lsb:mysqld op monitor interval=20 timeout=20 on-fail=restart

crm(live)configure# verify

crm(live)configure# colocation myserver_with_mystore inf: myserver mystore

crm(live)configure# order mystore_before_myserver mandatory: mystore:start myserver:start

crm(live)configure# verify

crm(live)configure# colocation myvip_with_myserver inf: myvip myserver

crm(live)configure# order myvip_before_myserver mandatory: myvip myserver

crm(live)configure# verify

crm(live)configure# commit

commit之后可以查看节点的运行状态，切换节点，看资源是否转移

  • 关闭drbd的服务和关闭mysql的服务

mysql、drbd都是集群的资源，由集群管理的资源开机是一定不能够自行启动的。

[[email protected] ~]#chkconfig mysqld off

[[email protected] ~]#chkconfig drbd off

[[email protected] ~]#chkconfig mysqld off

[[email protected] ~]#chkconfig drdb off

  • Ø  为高可用Mysql配置Openstack服务

现在，OpenStack的服务必须指向MySQL配置高可用，虚拟群集IP地址 - 而不是像往常一样的MySQL服务器的物理IP地址。

对于Openstack中的glance，如果Mysql服务的ip地址是10.10.102.7，将会用到以下几行在OpenStack镜像注册配置文件中(glance-registry.conf):

    sql_connection = mysql://glancedbadmin:<password>@10.10.42.96/glance

l  Rabbitmq高可用配置

Rabbitmq的高可用采用mirrored queue，不需要额外的软件包，配置比较简单，靠参考以下两篇博客：

http://blog.sina.com.cn/s/blog_959491260101m6ql.html

http://www.cnblogs.com/flat_peach/archive/2013/04/07/3004008.html

l  可能会遇到的问题

  • 脑裂故障

正常状态下，查看集群中drbd资源的连接状态为：

但由于网络或机器的故障可能会出现drbd脑裂故障，集群的drbd资源连接中断：

0:mysql/0  StandAlone Secondary/Unknown UpToDate/-- C r-----

解决办法查看官方链接http://www.drbd.org/users-guide/s-resolve-split-brain.html

  • 集群管理器pacemaker无法启动mysql，启动失败； 控制节点内存要足够，mysql中有个插件innodb，mysqld启动时innodb插件会初始化一个内存缓冲池，约2.3G，如果没有足够的内存，mysqld启动就会失败；
  • 偶尔一个节点挂掉，修复完成后，crm resource list看到该节点的资源状态仍然是stopped，无法start，可能需要重启一下drbd和pacemaker；
时间： 2024-10-13 20:17:53

MySQL高可用配置的相关文章

LVS+Keepalived实现MySQL高可用

LVS+Keepalived+MySQL高可用配置 本文所有配置前提是已实现MySQL双主备份(链接:http://www.cnblogs.com/ahaii/p/6307648.html)

阿里云环境迁移记录 - MYSQL高可用搭建

MYSQL高可用方案主要分为两大类,一类是前置管理,一类是后置管理.前置管理的思想是利用各种前置管理工具,动态切换或者分发请求到不同的实例并切换master,如keepalived.MHA.packmaker+Corosync.MySQLProxy等,一般通过暴露VIP将整个MYQL集群隐藏起来,其中Proxy主要用以读写分离.后置管理则是利用共享存储的思想,如NDB方案.由于我们的用户尚不足百万,所以一开始的计划是选择最简单的前置管理模式-双主+keepalived方案,后来因为阿里云停用了V

heartbeat v2配置高可用web集群和基于nfs搭建MySQL高可用集群

安装环境:Centos 6.4, httpd2.4,mysql5.5,heartbeat v2 提供两台机器node1和node2,在/etc/hosts文件中添加名称解析,并且主机名称要与节点名称要相同,即uname -n的名称要和hosts定义的名称必须一样. #   IP                         HOSTNAME             ALIAS 10.204.80.79     node1.mylinux.com     node1 10.204.80.80  

配置MySQL高可用集群MHA

配置MySQL高可用集群+++++++++++++++++++主机角色 :客户端 client50数据库服务器 mysql51 到 mysql55管理主机 mgm56VIP地址 192.168.4.100拓扑结构: client50 | mysql51主 | | | | | |mysql52 mysql53 mysql54 mysql55 mgm56从 从 从 从 管理集群备用主 备用主+++++++++++++++++++++++++++++++++++++++++++++++++++++++

MySQL+keeplived高可用配置

MySQL高可用基础环境:基于MySQL互为主从(双主.主主),请现配置 主备两台机器 主的操作1.在keepalived主服务器上安装keepalived yum -y install keepalived 2.编辑配置文件 vim /etc/keepalived/keepalived.conf 内容更改如下: vrrp_instance VI_1 { state MASTER \\初始状态:MASTER/BACKUP interface eth0 \\生成VIP的网卡设备 virtual_r

MySQL之MHA高可用配置及故障切换

前言:跑相同服务的服务器组合起来称为群集中心化群集:有master.slave,MHA用来解决群集中master宕机的情况,MMM群集架构:有两台master服务器MHA概述 日本DeNA公司youshimaton(现就职于Facebook公司)开发 一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件MHA的组成 MHA Manager(管理节点) MHA Node(数据节点)MHA特点 自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据的不丢失

Mysql+DRBD+Heartbeat 实现mysql高可用的双击热备（DRBD篇）

DRBD官方tar包下载地址:   http://oss.linbit.com/drbd/ 环境介绍: 系统版本:CentOS 6.4 (64位) 内核版本  2.6.32-358.el6.x86_64 软件版本:drbd-8.4.3.tar.gz 主:10.0.0.1   从:10.0.0.2 两台机器上的hosts都需要修改: [[email protected] ~]# vim /etc/hosts 10.0.0.1    node1 10.0.0.2    node2 两台服务器双网卡,

Mysql+DRBD+Heartbeat 实现mysql高可用的双机热备（mysql+heartbeat篇）

*************************************部署MYSQL******************************************* yum -y install  gcc gcc-c++ gcc-g77 autoconf automake zlib* fiex* libxml* ncurses-devel libmcrypt* libtool-ltdl-devel* make cmake bison* useradd mysql -d /usr/loc

HA集群之DRBD实现MySQL高可用

一.前言 本篇博文只是实现Corosync + Pacemaker + DRBD + MySQL,实现MySQL的高可用.更多的基础知识在前几篇博文中已有涉猎,故更多的理论细节将不再此篇中详述. 若想了解高可用基础知识,请参考:http://hoolee.blog.51cto.com/7934938/1406951 若想了解Corosync + Pacemaker,请参考:http://hoolee.blog.51cto.com/7934938/1409395 若想了解DRBD,请参考:http