环境需求：rhel6以上，iptablss与selinx disabled，
新虚拟机（未进行其他集群操作的）server1与server2为两节点
Instructor为服务机（M端）。
集群管理之Heartbeat
Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能。heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗 余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未收到对方发送的报文，那么就认为对方失效，这时需启动资源接管模块来接管运 行在对方主机上的资源或者服务。
两节点上安装hearbeat-3.0.4-2.e16.x86_64 heartbeat-llibs-3.0.4-2.e16.x86_64 heartbeat-devel-3.0.4-e16.x86_64 ldirectord-3.9.5-3.1.x86_64、mysql-server。
在srever1上，
#vim /etc/ha.d/ha.cf
logfile /var/log/ha-log #日志文件
keepalive 2 #心跳时间
deadtime 30 #无响应时间
warntime 10 #警告时间
initdead 60 #守护进程启动后主机启动资源需要等待的时间
udpport 694 #端口
cast eth0 #使用物理网卡eth0传输心跳消息
auto_failback on #设置当主机修复后服务是否回返到主机
node server2.example.com node server3.example.com #设置节点,主机在上副机在下
ping 172.25.254.55 #判断主副机的网络状况
respawn hacluster /usr/lib64/heartbeat/ipfailapiauth ipfail gid=haclient uid=hacluster #指定用户和用户组
添加2个node，后面接节点的hostname
#vim /etc/ha.d/haresource
在最后添加server1.example.com IPaddr::172.25.0.100/24/eth0 Filesystem::/dev/sda1::/var/lib/mysql::ext4 mysqld
Server1.example.com: 主节点
IPaddr::172.25.254.100/24/eth0: 虚拟IP
Filesystem::/dev/sda1::/var/lib/mysql::ext4 : 文件系统
Mysql: 服务
#vim authkeys ,取消auth 1 、1 crc的注释 //crc为明文（不加密）。
#chmod 600 authkeys.
将server的远端存储分区并格式化为ext4，分区由heartbeat同步到server2中。
将这三个文件复制给server2。两节点都启动heartbeat服务。
#mount /dev/sda1/ /mnt
#cp -rp /var/lib/mysql/* /mnt
#chown mysql.mysql /mnt
#umount /mnt
若server1的mysqld或者heartbeat停止，则server2mysql启动，vip加在server2上，这就是集群的高可用性。
集群管理之DRBD
DRBD(Distributed Replicated Block Device分布式复制块设备),DRBD 号称是 “网络 RAID”,开源软件,由
LINBIT 公司开发。DRBD实际上是一种块设备的实现,主要被用于Linux平台下的高可用(HA)方案之
中。他有内核模块和相关程序而组成,通过网络通信来同步镜像整个设备,有点类似于一个网络
RAID-1的功能。也就是说当你将数据写入本地的DRBD设备上的文件系统时,数据会同时被发送到网络
中的另外一台主机之上,并以完全相同的形式记录在文件系统中。本地节点与远程节点的数据可以保证
实时的同步,并保证IO的一致性。所以当本地节点的主机出现故障时,远程节点的主机上还会保留有一
份完全相同的数据,可以继续使用,以达到高可用的目的
安装
首先关闭两节点的iscsi，并本地添加4g的存储。
在节点1上，解压drbd-8.4.3
#./configure --enable-spec --with-km
#yum install flex rpm-build kernel-devel//解决依赖性
#cp drbd-8.4.3.tar.gz rpmbuild/SOURCES
#rpmbuild -bb drbd.spec drbd-km.spec //创建rpm包
#rpm -ivh /root/rpmbuild/RPMS/x86_64/*
复制这些rpm到server2上安装。
在server1上，/etc/drbd.d/drbd.conf, 可以看到drbd包含drbd.d/下所有以.res结尾的文件。因此可以在/etc/drbd.d下创建example.res文件，对当前集群进行配置
resource sqldata { //源为sqldata
meta-disk internal; //磁盘为内部的
device /dev/drbd1; //设备为/dev/drbd1
syncer {
verify-alg sha1; //同步方式
}
on server1.example.com { //节点1的设置
disk /dev/vdb;
address 172.25.0.1:7789;
}
on server2.example.com { //节点2的设置
disk /dev/vdb;
address 172.25.0.2:7789;
}
}
将该文件复制到节点2.两节点都对drbd进行初始化：
#drbdadm create-md sqldata
两节点都启动drbd服务。
在节点1上
#cat /proc/drbd 可以看到drbd块信息。显示 secondary/secondary表示server1（第一个secondary）为从设备，server2（第二个secondary）为从设备。
#drbdadm primary sqldata --force //强制将server1设为主设备，集群服务只会在主设备上运行
在节点2上，
#cat /proc/drbd 显示secondary/primary表示本机为从设备，server1为主设备。
#mkfs.ext4 /dev/drbd1
#mount /dev/drbd1 /mnt
#cp -rp /var/lib/mysql/* /mnt
#chown mysql.mysql /mnt
#umount /mnt
数据会同步写入到节点2的/dev/drbd1上。
#drbdadm secondary sqldata // 将节点1设为从设备
在节点2上
#mount /dev/drbd1 /mnt
#drbdadm primary sqldata //将本节点设为主设备
#ls /mnt 会看到mysql文件
注意:两台主机上的/dev/drbd1 不能同时挂载,只有状态为 primary 时,才能被挂载使
用,而此时另一方的状态为 secondary。
Heartbeat集成drbd
在节点1的/etc/ha.d/haresource,修改最后一行为
server1.example.com IPaddr::172.25.0.100/24/eth0 drbddisk::sqldata Filesystem::/dev/drbd1::/var/lib/mysql::ext4 mysqld
并将该文件复制到节点2中。
两节点都启动heartbeat
节点1上，由于drbd为primary，可以看到drbd1以被挂载到/var/lib/mysql上，eth0添加了vip。这些都是heartbeat自动完成的
节点2上，则没挂载没加vip。
附注：接着上篇博客利用远端存储通过HA使用mysql服务
M端启用luci、tgtd
两节点启用ricci、iscsi并安装mysql-server，停用mysql服务
在web上禁用apache服务组并不勾选独立运行。
添加回错域（failover domain）name为sqldb，其他与webfail相同。
添加resource->ip address 设置虚拟ip为172.25.0.101；
-> script name=mysqld path为/etc/init.d/mysqld
Server1上
卸载之前的添加的逻辑卷、卷组、物理卷
#service clvmd restart //重启clvmd服务
#cat /proc/partitions //查看块设备信息
重新远端存储重新分为2个区
在server2 上， 运行partprobe然后查看/proc/partitions能看到sda1和sda2两个分区。。
挂载sda1到mnt。 在mnt下创建index.html,内容为www.redhat.org.然后卸载，数据写入sda1中。再挂载sda2，将/var/lib/mysql下的所有复制到mnt。
#chown mysql.mysql /mnt
卸载mnt，mysql写入sda2中。
在web上
修改resource中的webdata的device为/dev/sda1
添加resource，name=dbdata 文件系统名为ext4，挂载点为/var/www/html,设备为/dev/sda2,勾选force unmount，use quick status checks ,reboot host node if unmount fails.
添加服务组。Name为mysql，勾选自动启动，回错域为sqldb，然后点添加resource to service
依次添加新的vip等服务，虚拟ip（172.25.0.101）就和mysql绑定。启用apache服务组。
这时若server2apache服务被破坏，如network disabled，集群会自动从server1上启动apache。
哪个节点上开启了mysql，那么它会ip会增加vip。