linux集群架设——RHCS

RHCS: Red Hat Cluster Suite
红帽子集群套件,
 
三位一体,完备的集群应用解决方案
1.负载均衡
2.高可用
3.共享存储文件系统

组成:
1.集群管理器:CMAN

配置文件管理:CCS  ---/sbin/ccsd
 /etc/cluster/cluster.conf

cman ---/usr/sbin/cman_tool

表决磁盘:集群投票超过半数才能正常工作,gfs文件系统才能使用
   Quorum
:法定节点数:节点数*vote+qdisk
   Quorate
:达到法定节点数
   <
 /sbin/service qdiskd start

后台daemons:
  /sbin/groupd
  /sbin/fenced

  锁管理 DLM/sbin/dlm_controld
  /sbin/gfs_controld

栅设备:在节点异常宕机时屏蔽,关闭该节点,此时gfs2不能读写     
Fence--/sbin/fence_tool
   fence_xvmd---/sbin/fence_xvmd

2.服务资源管理器:rgmannager
---
    /usr/sbin/clurgmgrd
    /usr/sbin/clustat 
    /usr/sbin/clusvcadm
    /usr/sbin/clubufflush
    /usr/sbin/clufindhostname
    /usr/sbin/clulog
    /usr/sbin/clunfslock
    /usr/sbin/clurmtabd
    /usr/sbin/rg_test
    /usr/sbin/rhev-check.sh

3.配置管理工具:

图形化web配置:Conga:Luci和Ricci

工具配置:
clustat
cman_tool
ccs_tool
fence_tool
clusvcadm

4.GFS:RedHat公司集群文件系统,安装使用需要RHCH支持。通过锁机制实现了一个文件系统可以供多台主机挂载,并可同时读写。

5:其他:ClVM集群逻辑卷管理,iSCSI

------------集群安装部署----------

共享磁盘端:
1.安装iscsi target
service tgtd start

2.安装luci:
luci-0.12.2-51.el5.centos.x86_64.rpm

luci_admin init

service luci start

3.修改/etc/hosts
192.168.12.132 web1
192.168.12.133
web2
192.168.12.231 Mysql1
192.168.12.232 Mysql2

节点:
1.安装RHCS套件:
rpm -ivh
perl-XML-NamespaceSupport-1.09-1.2.1.noarch.rpm
rpm -ivh
perl-XML-SAX-0.14-11.noarch.rpm
rpm -ivh
perl-XML-LibXML-Common-0.13-8.2.2.x86_64.rpm
rpm -ivh
perl-XML-LibXML-1.58-6.x86_64.rpm
rpm -ivh perl-Net-Telnet-3.03-5.noarch.rpm

rpm -ivh pexpect-2.3-3.el5.noarch.rpm
rpm -ivh
openais-0.80.6-36.el5.x86_64.rpm
rpm -ivh
python-pycurl-5.5.1-8.el5.x86_64.rpm
rpm -ivh
python-suds-0.4.1-2.el5.noarch.rpm
rpm -ivh cman-2.0.115-96.el5.x86_64.rpm

rpm -ivh modcluster-0.12.1-7.el5.centos.x86_64.rpm
rpm -ivh
ricci-0.12.2-51.el5.centos.x86_64.rpm
rpm -ivh
gfs2-utils-0.1.62-34.el5.x86_64.rpm
rpm -ivh
rgmanager-2.0.52-28.el5.centos.x86_64.rpm

2.安装iSCSI initiator
iscsiadm -m discovery -t sendtargets -p
192.168.12.246
service iscsi start

3.配置/etc/cluster/cluster.conf
可通过luci配置:
1.创建一个集群,添加节点
2.创建Failover
Domain
3.创建Resources
  IP address
  httpScript ---
/etc/init.d/httpd
  ext-fs --- /webdata  
/dev/sdb6
4.创建Service,添加资源,选择失败转移域

5.配置存储集群GFS
fdisk /dev/sdb

mkfs.gfs2 -p lock_dlm -t mucluster:my-gfs2 -j 4 /dev/sdb5
mount.gfs2
/dev/sdb5 /gfs2 -v

6.配置表决磁盘:
mkqdisk -c /dev/sdb7 -l myqdisk 创建共享磁盘(不需要进行格式化)
mkqdisk -L
显示共享磁盘信息
在web界面添加Quarum Partition
service qdiskd start 启动qdiskd服务

7.配置Fence栅设备

配置完成后:/etc/cluster/cluster.conf
<?xml version="1.0"?>
<cluster
alias="mycluster" config_version="8"
name="mycluster">
       
<fence_daemon clean_start="0" post_fail_delay="0"
post_join_delay="3"/>
       
<clusternodes>
               
<clusternode name="web2" nodeid="1"
votes="1">
                       
<fence/>
               
</clusternode>
               
<clusternode name="web1" nodeid="2"
votes="1">
                       
<fence/>
               
</clusternode>
       
</clusternodes>
        <cman
expected_votes="1"
two_node="1"/>
       
<fencedevices/>
       
<rm>
               
<failoverdomains>
                       
<failoverdomain name="webserver-Failover" nofailback="0" ordered="1"
restricted="1">
                               
<failoverdomainnode name="web2"
priority="10"/>
                               
<failoverdomainnode name="web1"
priority="1"/>
                       
</failoverdomain>
               
</failoverdomains>
               
<resources>
                       
<ip address="192.168.12.233"
monitor_link="1"/>
                       
<script file="/etc/init.d/httpd"
name="httpScript"/>
                       
<fs device="/dev/sdb6" force_fsck="1" force_unmount="1" fsid="7108"
fstype="ext3" mountpoint="/webdata" name="ext3-fs"
self_fence="1"/>
               
</resources>
               
<service autostart="1" domain="webserver-Failover" exclusive="0"
name="webserver"
recovery="relocate">
                       
<ip
ref="192.168.12.233"/>
                       
<script
ref="httpScript"/>
               
</service>
       
</rm>
        <quorumd
device="/dev/sdb7" interval="2" min_score="1" tko="10"
votes="2">
               
<heuristic interval="3" program="ping -c 3 -t 2 192.168.12.1"
score="2"/>
       
</quorumd>
</cluster>

----------集群管理------------
启动集群:
service cman
start
service rgmanager start

关闭集群:
service rgmanager stop
service cman stop

管理服务:
clusvcadm -e webserver -m web1启动节点的服务
clusvcadm -s webserver -m
web1关闭节点的服务
clusvcadm -R webserver -m web1重启节点的服务

clusvcadm -r webserver -m web2切换节点服务

监控集群状态

cman_tool nodes -a
cman_tool status

clustat -i 3 每个3秒刷新集群状态

css_tool update
/etc/cluster/cluster.conf修改完配置后更新配置
    (根据config_version判定是否更新)

配置集群
css_tool create Mycluster
css_tool addfence apc fence_apc
ipaddr=apc.domain.net user=apc password =apc
ccc_tool addnode node1 -n 1-f
apc prot=1
csstool addnode node2 -n 2 -f apc port=2
ccs_tool addnode node3
-n 3 -f apc port=3
ccs_tool addnode node4 -n 4 -f apc port=4

管理gfs2文件系统
gfs2_fsck -y /dev/sdb5检测修复gfs文件系统错误
gfs_tool df /gfs2
查看gfs2文件系统挂载详细信息
gfs_tool freeze /gfs2 锁定gfs2文件系统
gfs_tool unfreeze
/gfs2解锁gfs2文件系统

gfs2_tool journals /gfs2查询gfs2可挂载节点数

gfs2_tool version查询gfs2版本信息

gfs2_jadd -J 64M journals大小改为64M
gfs2_jadd -j 5 /gfs2 可挂载节点改为5个

------------工作过程---------------
节点正常关机:
1.qdiskd检测到节点shut
down
2.openais处理
3.dlm关闭连接该节点
4.clurgmgrd资源转移

正常开机:
重新加入集群
获得服务资源

节点异常宕机:
echo c>/proc/sysrq-trigger 是内核崩溃
1.qdiskd检测到节点evicted

openais处理
dlm 关闭连接该节点
fence进程隔离节点,gfs2无法使用。
fence
进程隔离成功后,gfs2恢复。
clrgmgrd接管服务

时间: 2024-10-25 06:53:12

linux集群架设——RHCS的相关文章

Linux集群系列——RHCS架构详解

RHCS :Red Hat Cluster Suite 红帽集群组件cmanrgmanagerrainternalscript : lsb/etc/rc.d/init.d/*RH6.0corosync(cman)pacemaker (rgmanager) corosync1.4.52.3.0 (needle)votequorum gfs : Global File Systemgfs2dlm:Distributed Lock Managerocfs2 : Oracle Cluster File

linux下高可用集群之RHCS详解

1.RHCS: RedHat Cluster Suite,红帽集群套件 RHCS必备基础包:cman rgmanager system-cluster-config 2.RHCS集群部署基本前提: 2.1.时间同步:建议使用ntp服务 2.2.跳板机与各节点名称解析且每个主机的主机名与其'uname -n'保持一致: 2.3.跳板机与各节点之间ssh实现密钥认证 2.4.配置好每个节点的Yum; 3.本实验使用3个节点主机实现RHCS集群,GW主机作为跳板主机,IP分布如下: 1.1.1.18

linux集群系列(1) --- Linux集群系统基础

一.简介     1.1. Linux集群系统包括集群节点和集群管理器两部分. 集群节点有时简称为节点.服务器或服务器节点,是提供处理资源的系统,它进行集群的实际工作.一般来讲,它必须进行配置才能成为集群的一部分,也必须运行集群的应用软件.应用软件可以是专用于集群的软件,也可以是设计用于分布式系统的标准软件. Linux集群管理器则是将节点捆绑在一起,以构成单一系统外观的逻辑结构,它用于将任务分解到所有的节点.集群因多种不同的原因而有着不同的类型,建立Linux集群的最直接原因是共享CPU资源,

红帽集群套件RHCS四部曲(概念篇)

红帽集群套件RHCS四部曲(概念篇)一. 什么是RHCSRHCS是Red Hat Cluster Suite的缩写,也就是红帽子集群套件,RHCS是一个能够提供高可用性.高可靠性.负载均衡.存储共享且经济廉价的集群工具集合,它将集群系统中三大集群架构融合一体,可以给web应用.数据库应用等提供安全.稳定的运行环境.更确切的说,RHCS是一个功能完备的集群应用解决方案,它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现,通过RHCS提供的这种解决方案,不但能保证前端应用持久.稳定

linxu集群架设——LVS

LVS框架: 三层结构:     网络      (LVS--linux)      (WWW , FTP ,STML)     (GFS,OCFS2)用户 -- >   Director Server  ---> Real Server1       Real Server2    --> 集群文件系统      Real Server3软件: 浏览器        ipvsadm              httpd                 ↑   heartbeat(ldi

linux集群及系统扩展基础

1.什么是服务器集群 简单来说就是把多台服务器组合到一起按照某一个目的实现特定功能的服务器的集合,也就是服务器集群,而这些服务器都采用linux系统,那么,我们就可以把这个集群称作linux集群. 2.为什么要用到集群 比如说现在有一台服务器,现将此服务器部署为LAMP或者LNMP,并再此上架设了某站点,刚开始有2000个连接并发访问,服务器可以在3秒之内提供正常用户服务,当连接增长到3000时,服务器可以在5秒之内提供服务,相对来说,服务器响应时间越长,用户体验就会下降,当打开网站的时间超过3

新书《Linux集群和自动化运维》目录

推荐序一 在全球"互联网+"的大背景下,互联网创业企业的数量如雨后春笋般大量产生并得到了快速发展!对"互联网+"最有力的支撑就是Linux运维架构师.云计算和大数据工程师,以及自动化开发工程师等! 但是,随着计算机技术的发展,企业对Linux运维人员的能力要求越来越高,这就使得很多想入门运维的新手不知所措,望而却步,甚至努力了很久却仍然徘徊在运维岗位的边缘:而有些已经工作了的运维人员也往往是疲于奔命,没有时间和精力去学习企业所需的新知识和新技能,从而使得个人的职业发

为Linux集群创建新账户,并配置hadoop集群

转自:http://blog.csdn.net/bluesky8640/article/details/6945776 之前装python.jdk.hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使用torque是不被建议的,所以只能用hod账户再重新装一遍. 创建用户.设置密码.修改用户.删除用户: useradd testuser   创建用户testuserpasswd testuser

Linux集群系列之一——集群基础概念

PHP高级工程师之LInux集群(多态主机组合起来,完成一个任务) 在这里和大家分享一下多数网络黑客常用的攻击方式及预防措施. 如有不善,多提意见(QQ:1595068971-邮箱:[email protected]) 负载均衡集群LB(提高服务的病发处理能力为根本)增加处理能力 衡量标准: 病发处理能力(一次性能够处理多少个请求) 高可用集群HA(提升服务的始终在线能力为根本,不会因为宕机而导致服务不可用)增加服务可用性 衡量标准:在线时间 / (在线时间+故障处理时间) 99%,99.9%,