gfs2+cman+rgmanager+iscsi实现文件集群

gfs2+cman+rgmanager+iscsi实现文件集群

主机名   ip              角色

SMB2   172.31.200.66     samba服务器1

SMB2   172.31.200.67     samba 服务器2

SAN     172.31.88.61     SAN存储分区

由于SAN是测试环境中划分出来的SAN,所以在此次测试中不需要安装配置

以下是对SMB1、SMB2两台samba文件服务器进行配置

SMB1上配置

在客户机安装initiator

yum install iscsi-initiator-utils

建立集群中的主机互信

SMB1上

ssh-keygen –t rsa –P “”

ssh-copy-id  -i .ssh/id_rsa.pub [email protected]

安装cman

yum install cman

建立集群：

ccs_tool create SMBcluster

ccs_tool addfence meatware fence_manual

ccs_tool addnode  -n 1 -f meatware SMB1

ccs_tool addnode  -n 2 -f meatware SMB2

将/etc/cluster/cluster.conf 复制到SMB2  /etc/cluster/cluster.conf

修改/etc/init.d/cman 第89行

将CMAN_QUORUM_TIMEOUT=45

改为 CMAN_QUORUM_TIMEOUT=0  否则无法正常启动

如果安装了NetworkManager 需要将NetworkManager 停止和开机禁用

service NetworkManager stop

chkconfig NetworkManager off

安装rgmanager

yum install rgmanager

sercice rgmanager start

yum install openais

安装gfs2，使系统支持gfs2文件系统

yum install gfs2

yum install lvm2-cluster

配置lvm支持集群

lvmconf –enable-cluster

查看启用的集群lvm

cat /etc/lvm/lvm.conf   第462行 locking_type = 3

启动service clvmd start

按顺序启动以下服务并设置为开机启动

service cman start

chkconfig cman on

service clvmd start

chkconfig clvmd start

service gfs2 start

chkconfig gfs2 start

service rgmanager start

chgkconfig rgmanager start

格式化gfs2

mkfs.gfs2 –p lock_dlm –t clustername:fsname –j number blockdevice

【停止集群的顺序】

首先在集群节点服务器上卸载挂载的gfs2共享存储

umount /mnt/SMBdata

第一步：

SMB1：service rgmanager stop

SMB2:  service rgmanager stop

第二步：

SMB1:service clvmd stop

SMB2:service clvmd stop

第三步:

SMB1:service cman stop

SMB2:service cman stop

必须按以上步骤停止集群，否则会造成无法正常关机和重启

以上步骤除了ccs_too 建立集群部分不需要再SMB2上进行操作，其他所有操作需要在SMB2做相同操作

挂载SAN存储

客户端安装yum install iscsi-initiator-utils

查找：可用存储

iscsiadm -m discovery -t sendtargets -p 172.31.88.61

修改iscsi配置文件，采用CHAP认证

vim /etc/iscsi/iscsid.conf

找到

#CHAP Settings

去掉以下三行的注释

node.session.auth.authmethod = CHAP

node.session.auth.username = username

node.session.auth.password = password

重启iscsi服务

登陆连接共享存储

iscsiadm -m node -T iqn.2000-01.com.synology:rackstation.target-1.d1cd51f58a -p 172.31.88.61 --login

lvm集群卷管理

lvcreate –L 40G –n lv_smbhome vg_SMB

lvcremove /dev/vg_SMB/lv_home

共享目录权限问题

在此实验中由于两台服务负载提供相同服务，就涉及到共享文件权限问题

所以需要两台计算机上passwd、group、shadow三个文件完全一样，否则在使用chown、setfacl权限时，会发生混乱，由于这两个命令是通过改变uid和gid来变更文件权限，所以即使两台服务器上的用户和组都存在，但是uid和gid可能不一样，就会造成在一台服务器上修改共享存储文件权限，可在另一台上看到的不一样

在一个节点上可以通过以下方式启动某个节点的应用服务

clusvcadm –e <service> -m <Node>

关闭某个应用服务

clusvcadm –s <service> -m <Node>

重启某个服务

clusvcadm –R <service> -m <Node>

切换某个服务到另一个节点

clusvcadm –r <service> -m <Node>

例如：clusvcadm –r <service> -m <Node>

[[email protected] ~]# clusvcadm –r smb -m SMB2  //将smb服务切换到smb2上

【监控RHCS集群状态】

cman_tool nodes –a

clustat –I -3 查看集群状态  没3秒刷新一次

gfs2_tool gettune /mnt/SMBdata   查看挂载目录的属性

new_files_jdata = 0  //设置是否立即同步到磁盘，一般设置为1

gfs2_tool settune /mnt/SMBdata new_files_jdata 1

【集群扩展】

如果要添加新的节点至集群

先查看日志文件

gfs2_tool journals /mnt/SMBdata

journal1 - 128MB

journal0 - 128MB

可以看到，默认的只有两个

下面需要新增一个节点SMB3

gfs2_jadd –j 1 /dev/vg_SMB/lv_SMB

利用3进行挂载，当然这里的3也必须在gfs2文件集群中

扩展集群逻辑卷（保证物理卷上有足够内存）

lvextend –L 60G /dev/vg_SMB/lv_SMB

用Lvs查看可以看到已经扩展到60G了

umount  强制卸载

fuser –cu /mnt/SMBdata

时间： 2024-11-03 05:42:01

gfs2+cman+rgmanager+iscsi实现文件集群的相关文章

CentOS5.8 cman+rgmanager+iscsi+gfs2+cLVM 实现集群共享存储

大纲 一.系统环境 二.准备工作 三.配置过程 一.系统环境 系统环境 CentOS5.8 x86_64 node1.network.com    node1    172.16.1.101 node2.network.com    node2    172.16.1.105 node3.network.com    node3    172.16.1.110 软件版本 cman-2.0.115-124.el5.x86_64.rpm rgmanager-2.0.52-54.el5.centos.

RHCS集群使用cman+rgmanager配置

一.简介及前提准备 承接上文 ---> RHCS集群简介及配置web高可用 使用cman+rgmanager配置RHCS,不需安装luci/ricci,直接安装cman和rgmanager 二.cman+rgmanage配置 1.安装cman+rgmanager(node1,node2,node3) [[email protected] ~]# yum install cman rgmanager -y 2.创建集群,自动生成配置文件 [[email protected] ~]# ccs_too

rsync 文件集群

注意项 首先确定所有机器的rsync的版本都要相同,不然踩坑踩踩死你. 无论是推送或者拉取命令都要在客户端执行. 服务端(192.168.7.17 -): 配置文件:/etc/rsyncd.conf (同网段加机器,将这个文件拷到对应的机器) uid=root gid=root use chroot = no max connections = 0 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid lock file =

RHCS+GFS2+ISCSI+CLVM实现共享存储

RHCS+GFS2+ISCSI+CLVM实现共享存储                            2015-03-25 16:35:29 标签:iscsi scsi rhcs clvm gfs2 本文转载修改自http://www.it165.net/admin/html/201404/2654.html 一,GFS2简介 GFS2 是一个基于GFS的先进的集群文件系统,能够同步每台主机的集群文件系统的metadata,能够进行文件锁的管理,并且必须要redhat cluster su

gfs2共享集群存储

本文系统Centos 6.5 x64 共四台主机, 192.168.100.128 Aries.lansgg.com               存储共享服务器192.168.100.129 node1.lansgg.com             测试客户端192.168.100.130 node2.lansgg.com             测试客户端 192.168.100.131 node3.lansgg.com             测试客户端 目的:存储server通过iscsi

Linux iSCSI协议实现共享存储

大纲 一.存储设备类型 二.什么是SCSI和iSCSI 三.iSCSI安装与配置 一.存储设备类型 DAS:Direct Attached Storage 直连主机的总线上的设备 NAS:network Attached Storage 文件共享服务器,共享级别file SAN:Storage Area Network 把SCSI协议借助于其他网络协议实现传送 tcp/ip iscsi FC(光纤): FCoE NAS与SAN的对比图 二.什么是SCSI和iSCSI 小型计算机系统接口(英语:S

[转]Linux 系统运维学习方法汇总

Linux 系统运维学习方法汇总 (2014.07.18) from:http://freeloda.blog.51cto.com/2033581/1315694 大纲 一.前言 二.Linux 运维大环境说明 三.Linux 运维学习思路 四.Linux 运维大方向说明 五.Linux 运维学习必看书籍推荐 六.Linux 运维实践内容简介 注,本博文主要用于交流与学习.如有雷同,纯属意外. 一.前言 最近,有不少博友问我.刚进入运维行业怎么学习呢?思路是什么?一点思路也没有,然后与大家在群里

高可用，多路冗余GFS2集群文件系统搭建详解

2014.06 标签:GFS2 multipath 集群文件系统 cmirror 实验拓扑图: 实验原理: 实验目的:通过RHCS集群套件搭建GFS2集群文件系统,保证不同节点能够同时对GFS2集群文件系统进行读取和写入,其次通过multipath实现node和FC,FC和Share Storage之间的多路冗余,最后实现存储的mirror复制达到高可用. GFS2:全局文件系统第二版,GFS2是应用最广泛的集群文件系统.它是由红帽公司开发出来的,允许所有集群节点并行访问.元数据通常会保存在共享

Linux运维 第五阶段（九）iSCSI & cLVM & gfs2

Linux运维 第五阶段(九)iSCSI&cLVM&gfs2 gfs2(global file system version2,全局文件系统,CFS集群文件系统,利用HA的信息层,向各node通告自己所持有锁的信息) cLVM(cluster logical volume management,集群逻辑卷管理,将共享存储做成逻辑卷,借用HA的心跳传输机制(通信机制,对于脑裂处理的机制),各node要启动clvmd服务(此服务启动前要启动cman和rgmanager),使得各node彼此间通