HA集群之DRBD实现MySQL高可用

2

3

4

5

6

7

8

9

node1示例：

# vim /etc/hosts

172.16.1.11 node1.hoo.com node1

172.16.1.12 node2.hoo.com node2

# ifconfig eth0 172.16.1.11  up

# hostname node1.hoo.com

# uname -n

# vim /etc/sysconfig/network  //重启才生效，source也不生效

hostname=node1.hoo.com

2

3

4

5

6

7

8

node1:

#ssh-keygen  -t rsa -f ~/.ssh/id_rsa  -P ‘‘

# ssh-copy-id -i .ssh/id_rsa.pub [email protected]

node1:

#ssh-keygen  -t rsa -f ~/.ssh/id_rsa  -P ‘‘

# ssh-copy-id -i .ssh/id_rsa.pub [email protected]

node1：测试

#  ssh node2.hoo.com ‘date’;date

2

3

4

5

# yum install corosync pacemaker -y

# rpm -ql corosync

//配置目录：/etc/corosync

//配置模板：/etc/corosync/corosync.conf.example

//服务器脚本：/etc/rc.d/init.d/corosync

2

3

//crmsh依赖pssh

# yum -y install pssh-2.3.1-2.el6.x86_64.rpm

# yum -y install crmsh-1.2.6-4.el6.x86_64.rpm

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

[[email protected] ~]# cd /etc/corosync/

[[email protected] corosync]# cp corosync.conf.example corosync.conf

[[email protected] corosync]# vi corosync.conf

compatibility: whitetank   #表示是否兼容0.8之前的版本

totem {        #图腾，定义集群中各节点中通信机制以及参数

version: 2    #图腾的协议版本号，不修改

secauth: on   #安全认证功能是否启用，当使用aisexec时，会非常消耗CPU

threads: 0    #实现认证时的并行线程数，0表示默认配置

interface {   # 指定在哪个接口发心跳信息，子模块

ringnumber: 0   #冗余环号，节点有多个网卡是可定义，避免心跳信息成环。

bindnetaddr: 192.168.1.0   #绑定心跳网段

mcastaddr: 226.94.8.8      #心跳组播地址

mcastport: 5405            #心跳组播使用端口

ttl: 1                     #表示只向外播一次

}

}

logging {          # 跟日志相关

fileline: off       #指定要打印的行

to_stderr: no       #是否发送到标准错误输出，即屏幕

to_logfile: yes#记录到日志文件

to_syslog: no       #记录到系统日志syslog

logfile: /var/log/cluster/corosync.log  #日志文件路径

debug: off          #是否启动调试

timestamp: on       #是否打印时间戳

logger_subsys {     #日志的子系统

subsys: AMF

debug: off

}

}

service {

ver:  0

name: pacemaker        #定义corosync启动时同时启动pacemaker

# use_mgmtd: yes

}

aisexec {     #表示启动ais的功能时，以哪个用户的身份运行

#这个块可不定义，corosync默认就是以root身份运行的

user: root

group: root

}

amf {     # 跟编程接口相关的

mode: disabled

}

2

3

4

5

6

//投机的认证方式

# mv /dev/random /dev/lala

# ln /dev/urandom /dev/random   //将随机数生成器链接至伪随机数生成器

# corosync-keygen    //生成密钥文件，用于节点通信，会生成authkey文件

# rm -rf /dev/random        //删除链接

# mv /dev/lala /dev/random     //还原随机数生成器

[[email protected] corosync]# scp authkey corosync.conf node2:/etc/corosync/

2

[[email protected] corosync]# service corosync start

[[email protected] corosync]# ssh node2  "service corosync start"

2

3

4

5

6

7

8

//查看corosync引擎是否正常启动

[[email protected] corosync]# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/messages

//查看初始化节点通知是否正常发出

[[email protected] corosync]# grep  TOTEM  /var/log/messages

//检查启动过程中是否有错误产生

[[email protected] corosync]# grep ERROR: /var/log/messages | grep -v unpack_resources

//查看pacemaker是否正常启动

[[email protected] corosync]# grep pcmk_startup /var/log/messages

2

3

4

//确定内核版本

# uname -r

//安装与版本对应的内核模块和用户空间管理工具

# yum -y install drbd-8.4.3-33.el6.x86_64.rpm drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm

2

3

4

[[email protected] ~]# vim /etc/drbd.conf     //查看主配置文件

# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example

include "drbd.d/global_common.conf";

include "drbd.d/*.res";

//修改全局配置文件
# vim /etc/drbd.d/global_common.conf
global {   //全局配置
        usage-count no;  #让linbit公司收集目前drbd的使用情况，yes为参加，我们这里不参加设置为no
        # minor-count dialog-refresh disable-ip-verification
}
common {
        handlers {    #处理器
                # These are EXAMPLE handlers only.
                # They may have severe implications,
                # like hard resetting the node under certain circumstances.
                # Be careful when chosing your poison.
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                // 定义了如果主节点降级了怎么处理的
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                //这个定义了如果有脑裂了之后找不到主节点怎么处理的
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
                //定义了一旦本地节点发生IO错误时应该怎么处理
                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
        }
        startup {    //定义一个节点启动时另一个节点应该怎么做
                # wfc-timeout    //等待另一个节点上线的超时时长
                # degr-wfc-timeout   //等待超时后做降级处理
                # outdated-wfc-timeout  //过期的等待超时
                # wait-after-sb   //脑裂之后等待多长时长
        }
        options {
                # cpu-mask on-no-data-accessible
        }
        disk {
                on-io-error detach;  #同步错误的做法是分离
                # size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes
                # disk-drain md-flushes resync-rate resync-after al-extents
                # c-plan-ahead c-delay-target c-fill-target c-max-rate
                # c-min-rate disk-timeout
        }
        net {
                protocol C;
                cram-hmac-alg "sha1";  #设置加密算法sha1
                shared-secret "mydrbd";  #设置加密key
                # protocol timeout max-epoch-size max-buffers unplug-watermark
                # connect-int ping-int sndbuf-size rcvbuf-size ko-count
                # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri
                # after-sb-1pri after-sb-2pri always-asbp rr-conflict
                # ping-timeout data-integrity-alg tcp-cork on-congestion
                # congestion-fill congestion-extents csums-alg verify-alg
                # use-rle
        }
        syncer {    # 同步相关的设置
                rate 1000M; #设置重新同步(re-synchronization)速度
        #re-synchronization时候，如果有大量不一致的数据，
        #我们不可能将所有带宽都分配给drbd做re- synchronization，
        #这样会影响对外提提供服务。rate的设置需要考虑IO能力。
        #一般来说，设置网络IO能力和磁盘IO能力中最小者的30%的带宽给re- synchronization是比较合适的（官方说明）
        # drbd还提供了一个临时的rate更改命令，可以临时性的更改syncer的rate 值：
        #drbdsetup /dev/drbd0 syncer -r 100M
        #这样就临时的设置为100M。
        #结束之后，通过
        #drbdadm adjust resource_name 来让drbd按照配置中的rate工作。
        }
}

2

3

# fdisk /dev/sda    //具体不详述

# kpart -af /dev/sda

# partx  -a /dev/sda   //一次识别不出来，可以多重复几次

# scp global_common.conf mystore.res node2:/etc/drbd.d/

# drbdadm create-md mystore

# service drbd start

2

3

4

5

//以下两种方式均可查看

# cat /proc/drbd

或

# drbd-overview

//初始化后，两个节点均处于Secondary状态

[[email protected] ~]# drbdadm primary --force mystore

2

# drbd-overview

//两节点开始同步数据

2

3

[[email protected] ~]# mke2fs  -t ext4 /dev/drbd0

[[email protected] ~]# mkdir /drbd

[[email protected] ~]# mount /dev/drbd0 /drbd

2

3

4

5

6

7

8

9

10

11

12

//复制文件到DRBD设备

[[email protected] ~]# cd /drbd/

[[email protected] drbd]# cp /etc/inittab /drbd/

//角色转换，将node1降级

[[email protected] ~]# drbdadm secondary mystore  

//将node2提升为主

[[email protected] ~]# drbdadm primary mystore

[[email protected] ~]# mkdir /drbd

[[email protected] ~]# mount /dev/drbd0 /drbd

[[email protected] ~]# cd /drbd

[[email protected] ~]# ls

//inittab文件存在

2

3

# service drbd stop

# chkconfig drbd off

# chkconfig drbd --list