100 台规模集群存储系统搭建及数据实时备份

服务器说明 外网 IP(NAT) 内网 IP(NAT) 主机名
apache web 服务器 10.0.0.7/24 172.16.1.7/24 web02
nginx web 服务器 10.0.0.8/24 172.16.1.8/24 web01
NFS 存储服务器 10.0.0.31/24 172.16.1.31/24 nfs01
rsync 备份服务器 10.0.0.41/24 172.16.1.41/24 backup

要求:

搭建网站集群后端 NFS 共享存储搭建及优化解决方案
1、配置 NFS 服务:
要求:
1)在 NFS 服务端 nfs01 上共享/data 目录,允许从 NFS 客户端 web01、web02 上分别挂载共
享目录。
2)当在 NFS 客户端 web01 上的挂载点/data 写入数据时,在 NFS 客户端 web02 上也可以删
除或修改。

(三)搭建网站集群全网备份服务器 backup
要求:在 backup 服务器上配置 Rsync 数据同步服务,从 nfs01 服务器上可以推送数
据到 backup 服务器的/backup 目录。 本
具体要求:backup 服务器的备份目录必须为/backup。
(四)解决网站集群后端 NFS 共享存储单点实现实时数据同步
1、实时数据同步要求:
当用户通过任意台 web 服务器将数据写入到 NFS 服务器 nfs01 时,同时复制到备份服务器
backup。

NFS服务器

第一个历程碑:检查NFS RPC服务软件有没有安装

rpm -qa|grep nfs

rpm -qa|grep rpc

说明:默认centos系统没有安装nfs与rpc服务软件

第二个历程碑:进行yum安装nfs与rpc服务软件

yum install -y nfs-utils rpcbind

# yum install -y nfs-utils rpcbind

第三个里程碑:进行NFS配置文件编写

NFS服务配置文件

cat >>/etc/exports<<EOF

/data  172.16.1.0/24(rw,sync)

EOF

第四个历程碑:创建共享目录

mkdir -p /data

chown -R nfsnobody.nfsnobody /data

第五个历程碑:启动服务

/etc/init.d/rpcbind start

查看NFS服务注册信息

# /usr/sbin/rpcinfo

# rpcinfo -p localhost

设置开机自启动

chkconfig rpcbind on

chkconfig nfs on

查看rpcbind开机自启序号

head -10 /etc/init.d/rpcbind

chkconfig: 2345 13 87

查看nfs开机自启序号

# head -10 /etc/init.d/nfs

chkconfig: - 30 60

第六个历程碑:检查NFS服务配置,以及本地测试挂载

# showmount -e

# df -h

# cd /mnt

# echo "momoda" >oldoy.txt

# ll

total 4

-rw-r--r-- 1 nfsnobody nfsnobody 7 Aug 31 10:57 oldoy.txt

# cd /data

# cat oldboy.txt

momoda

web服务器所做的

第一个历程碑:检查NFS RPC服务软件有没有安装

rpm -qa|grep nfs

rpm -qa|grep rpc

说明:默认centos系统没有安装nfs与rpc服务软件

第二个历程碑:进行yum安装nfs与rpc服务软件

yum install -y nfs-utils rpcbind

第三个历程碑:检测是否存在共享目录,进行共享目录挂载

#showmount -e 172.16.1.31

mount -t nfs 172.16.1.31:/data /mnt

df -h

rsync服务器

第一个里程碑:查看有没有这个软件

# rpm -qa rsync

第二个里程碑:安装rsync软件

#yum install -y rsync

第三个历程碑:编写配置文件(编写好配置文件,后续操作步骤可以按照配置文件进行)

#cat >>/etc/rsyncd.conf<<EOF

#created by HQ at 2017

##rsyncd.conf start##

uid = rsync

gid = rsync

use chroot = no

max connections = 200

timeout = 300

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 172.16.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

[backup]

comment = "backup dir by oldboy"

path = /backup

EOF

第四个历程碑:创建备份目录的管理用户

useradd -s /sbin/nologin -M rsync

第五个历程碑:创建安全认证文件

echo "rsync_backup:oldboy123" >/etc/rsync.password

chmod 600 /etc/rsync.password

第六个历程碑:创建备份目录

mkdir -p /backup

chown -R rsync.rsync /backup

第七个历程碑:启动rsync服务

rsync --daemon

NFS服务器

2.5.3 客户端部署

第一个里程碑:查看有没有这个软件

rpm -qa rsync

第二个里程碑:安装rsync软件

yum install -y rsync

第三个里程碑:创建安全认证文件

echo "oldboy123" >/etc/rsync.password

chmod 600 /etc/rsync.password

第四 测试

rsync -avz /etc [email protected]::backup

inotify服务器:

部署安装inotify-tools软件

yum install -y inotify-tools

rpm -ql inotify-tools

第三个里程碑:编写inotify+rsync结合脚本

[[email protected] server]# cd /server/scripts

[[email protected] scripts]# vim tongbu.sh

#!/bin/bash

###########

inotifywait -mrq /data  --format ‘%w%f‘  -e create,delete,close_write,moved_to|\

while read line

do

rsync -az --delete /data/ [email protected]::backup --password-file=/etc/rsync.password

done

sh tongbu.sh

时间: 2024-10-12 15:13:22

100 台规模集群存储系统搭建及数据实时备份的相关文章

老男孩教育运维班100台规模集群存储系统搭建及数据实时备份上机实战

老男孩教育运维班0基础起步上机实战系列项目 老男孩教育运维班100台规模集群存储系统搭建及数据实时备份上机实战 项目要求: 1.全体学员上机实践考试,完成后由排长或班长.或助教打分. 2.时间:90分钟,抄袭0分. (一)上机服务器业务及IP主机名规划 已知4台服务器主机名主机对应信息见下表: 服务器说明 外网IP 内网IP 主机名 apache web服务器 10.0.0.7/24 172.16.1.7/24 web02 nginx web服务器 10.0.0.8/24 172.16.1.8/

原创:100 台规模集群存储系统搭建及数据实时备份

服务器说明 外网 IP(NAT) 内网 IP(NAT) 主机名apache web 服务器 10.0.0.7/24 172.16.1.7/24 web02nginx web 服务器 10.0.0.8/24 172.16.1.8/24 web01NFS 存储服务器 10.0.0.31/24 172.16.1.31/24 nfs01rsync 备份服务器 10.0.0.41/24 172.16.1.41/24 backup 要求: 搭建网站集群后端 NFS 共享存储搭建及优化解决方案1.配置 NFS

老男孩教育运维班100台规模集群阶段性综合上机实战考试

老男孩教育运维班100台规模集群第十关阶段性综合上机实战考试 光学理论有啥用,不拉出来实战遛遛,只能是自欺欺人! 项目要求: 1.全体学员上机实践考试,完成后由排长或班长.或助教打分. 2.时间:3个小时,抄袭0分. (一)上机服务器业务及IP主机名规划 已知5台服务器主机名主机对应信息见下表: 服务器说明 外网IP(NAT) 内网IP(NAT) 主机名 apache web服务器 10.0.0.7/24 172.16.1.7/24 web02 nginx web服务器 10.0.0.8/24

老男孩教育运维班50-100台规模集群全网数据备份项目实战

老男孩教育运维班50-100台规模集群全网数据备份解决方案 项目要求: 1.全体学员上机实践考试,完成后由排长或班长或助教打分. 2.时间:60分钟,抄袭别人0分. 3.本项目提供免费实战讲解视频: http://edu.51cto.com/course/course_id-3497.html 1.基本备份要求 已知3台服务器主机名分别为web01.backup.nfs01,主机信息见下表: 服务器说明 外网IP 内网IP 主机名称 nginx web服务器 10.0.0.8/24 172.16

Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。

Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.>配置好虚拟机,正在使用中,让它强制断电后,启动起来发现ip无法访问,而且重启网络失败: 执行:systemctl restart network.service 出现异常:Failed to start LSB: Br

Nginx1.7.4+Tomcat7+memcached集群环境搭建

这几天研究了一下Nginx和tomcat的集群环境搭建,同时支持HTTP请求和HTTPS请求,研究了一下,整理一下,分享给大家.还是有很多不足的地方,大家发现问题,希望多多指正.话不多说,上代码~ 因为研究的条件有限,我是在本机上搭建两个Tomcat进行模拟的. 一.环境准备 1.Tomcat7:http://tomcat.apache.org/download-70.cgi 2.Nginx1.7.4:http://nginx.org/en/download.html 3.Memcached:h

高可用,多路冗余GFS2集群文件系统搭建详解

2014.06 标签:GFS2 multipath 集群文件系统 cmirror 实验拓扑图: 实验原理: 实验目的:通过RHCS集群套件搭建GFS2集群文件系统,保证不同节点能够同时对GFS2集群文件系统进行读取和写入,其次通过multipath实现node和FC,FC和Share Storage之间的多路冗余,最后实现存储的mirror复制达到高可用. GFS2:全局文件系统第二版,GFS2是应用最广泛的集群文件系统.它是由红帽公司开发出来的,允许所有集群节点并行访问.元数据通常会保存在共享

Redis中sentinel集群的搭建和Jedis测试 图文教程[三]

在前两篇Redis中sentinel集群的搭建和Jedis测试 图文教程[一] 和Redis中sentinel集群的搭建和Jedis测试 图文教程[二] 中分别简述了Redis中sentinel集群的搭建和Java代码的Jedis测试. 这篇主要来简单分析一下Redis-sentinel集群的原理,根据追踪sentinel信息来完成Redis-sentinel集群测试中的详细的原理分析.包括master-slave各个中的sentinel信息的分析,failover过程,master宕机后的le

完全分布式ZooKeeper集群和Kafka集群的搭建和使用

自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz.首先要安装JDK(jdk-7u9-linux-i586.tar.gz)和SSH,IP地址的分配为Kafka1(192.168.56.136),Kafka2(192.168.56.137),Kafka3(192.168.56.138).下面主要介绍SSH的安装,ZooKeeper和Kafka集群的搭建和使用. 一. SSH的安装 (1)apt-get install ssh (2)/etc/