第十课——cluster故障转移操作,codis部署

作业描述】

1.cluster的故障转移操作,截图展示

2.部署codis,并写代码访问codis

==================================================

 

一、系统环境

二、cluster集群的故障转移

##集群的故障转移前提是集群复制,复制原理和单节点的主从复制一样。

##从节点也要运行在集群模式下,通过cluster meet命令将从节点添加到集群环境;

##在即将成为从节点的节点命令行执行cluster replicate <node-id>命令,即将此节点设置为<node-id>对应的从节点

1、需求描述:当前redis集群有redis6379、redis7379、redis8379三个主节点,现要对redis6379添加一个从节点redis9379

操作如下:

(1)redis9379节点以集群模式启动;

(2)将redis9379添加到集群:

(3)将redis9379节点设置为redis6379的从节点:

##进入redis9379节点命令行,执行cluster replicate <node-id>,<node-id>为redis6379节点的节点ID

先通过redis-trib.rb check命令查看集群状态:

将redis9379节点设置为redis6379的从节点:

或者通过redis-trib.rb chek命令查看:

(3)模拟故障,观察故障转移是否成功:

将redis6379进程杀掉,观看集群状态信息:

redi-trib.rb check命令,连接集群里任意个节点,集群状态信息如下:

第一次查看:

第二次查看:

###至此,集群故障转移模拟完成!

===========================================================================

 

 

三、codis安装部署(单机版本)

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

【Codis 由四部分组成】
Codis Proxy (codis-proxy)
Codis Manager (codis-config)
Codis Redis (codis-server)
ZooKeeper
(1)codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的。
(2)codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard,用户可以直接在浏览器上观察 Codis 集群的运行状态。
(3)codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.13 开发(因此redis3.0以后的新特性,codis没有), 加入了 slot 的支持和原子的数据迁移指令。Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行。
(4)Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy。
##Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突。

------------------------------------------------------------------------------------------------------------------------------------------

以下是codis的安装部署过程(单机版本go+)

【说明】

codis下载地址:https://github.com/CodisLabs/codis

go下载地址: https://storage.googleapis.com/golang/go1.4.linux-amd64.tar.gz

-----------------------------------------------------------------------------------------------------

【安装go环境】

1、下载地址:https://storage.googleapis.com/golang/go1.4.linux-amd64.tar.gz

wget  https://storage.googleapis.com/golang/go1.4.linux-amd64.tar.gz

tar xvf go1.4.1.linux-amd64.tar.gz

2、配置环境变量

export GOROOT=/httx/run/go

export GOPATH=/httx/run/codis

export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

GOROOT参数定义的值是go解压的目录,go解压配置环境变量就行,不应安装;

GOPATH参数定义的值是go环境的扩展包目录,所有go环境公用,这里指的是codis;

注意!命令行export,是会话级别的,为了永久有效,可以在/etc/profile文件添加以上环境变量!

【安装依赖环境】

yum groupinstall "Development Tools"

【安装zookeeper

  1. 下载地址:http://www.apache.org/dyn/closer.cgi/zookeeper/

tar xvf zookeeper-3.3.6.tar.gz

  1. 配置zookeeper的环境变量

##Zookeeper是java语言开发的,所以系统里也必须有java环境,JDK的安装这里忽略

  1. 启动zookeeper服务

cd /httx/run/zookeeper-3.3.6/bin

./zkServer.sh start

【安装codis

1、执行go get –u –d github.com/CodisLabs/codis命令下载codis代码:

有如下报错:

解决:在线安装git命令,yum install git

2、切换到/httx/run/codis/src/github.com/CodisLabs/codis目录下,执行make命令编译代码:

3、执行make gotest来跑测试:

4、编译完成后,在bin目录下生成codis-config、codis-proxy、codis-server三个可执行文件:

##到此编译结束!

5、codis的配置
(1)默认配置文件是config.ini文件,在/httx/run/codis/src/github.com/CodisLabs/codis安装目录下,可以通过参数-c指定配置文件;

zk=10.7.12.98:2181

product=codis

dashboard_addr=10.7.12.98:18087

##也可以将config.ini配置文件放到/etc/下,便于统一管理

(2)启动管理控制台:启动dashboard,在后面追加&表示后台启动

cd /httx/run/codis/src/github.com/CodisLabs/codis/bin/

./codis-config -c ../config.ini dashboard &

以上表示启动codis的管理端口启动成功!

可以通过IP:端口方式访问管理端口!

###期间有报错:Failed to connect to 10.7.12.98:2181: dial tcp 10.7.12.98:2181: connection refused,是因为zookeeper服务器没启动成功,重启zookeeper服务即可!

###期间有报错[error]: dashboard already exists: {"addr": "10.7.12.98:18087", "pid": 5828},需要到zookeeper里面清理这个节点:

无论是proxy还是dashboard,都会在zk上注册自己的节点,同时在程序正常退出的时候会删掉对应的节点,但如果异常退出或试用kill -9 {pid}就会导致zk的节点无法删除,在下一次启动的时候会报“zk: node already exists”的错误。

因此关闭服务的时候直接用kill {pid}不要-9,同时如果无法启动并且确认没有其他运行中的进程占用zk上的节点,可以在zk上手动删除未啊删除干净的codis节点:/zk/codis/db_codis/dashoard,这个目录可以在codis的管理控制台dashboard启动成功时输出信息看到!

创建zk节点的目的: zk节点的目的是防止起两个dashboard

【解决如下:】

进入zk客户端,手动删除

cd /httx/run/zookeeper-3.3.6/bin/

./zkCli.sh     ##进入zk客户端

delete /zk/codis/db_codis/dashboard

可以从浏览器打开http://192.168.16.239:18087/admin/

(3)初始化slots

./codis-config  -c ../config.ini  slot init

(4)启动codis-server服务

##redis-2.8.21是codis依赖的第三方软件版,在前面go环境的搭建部署时已经指定/usr/local/codis/目录,redis-2.8.21包就下载到此目录下,可以其配置文件配置到/etc目录下统一管理,如下:

mkdir /etc/codis

cd /usr/local/codis/codis-master/extern/redis-2.8.21

cp redis.conf /etc/codis/6379.conf

cp redis.conf /etc/codis/7379.conf

cp redis.conf /etc/codis/8379.conf

cp redis.conf /etc/codis/9379.conf

并修改各个配置文件的端口分别为6379、7379、8379、9379端口

接下来启动codis-server

cd /httx/run/codis/src/github.com/CodisLabs/codis/bin

./codis-server /etc/codis/6379.conf

./codis-server /etc/codis/7379.conf

./codis-server /etc/codis/8379.conf

./codis-server /etc/codis/9379.conf

##codis-server的启动方式和单机redis启动方式一样

(5)添加server group(命令行添加或者通过dashboard界面2种方式添加组)

可以通过命令codis-config server添加或者通过dashboard添加;

每个server group作为一个redis服务器存在,只允许有一个master,可以有多个slave,group id仅支持大于等于1个整数;

需求:新增2组构成codis集群环境,其中group_1的成员redis实例是redis6379、redis7379;group_2的成员redis实例是redis8379、redis9379;小组内的2个成员一主一从;

——4.1 进入http://192.168.16.239:18087/admin/,通过管理界面配置group_1和group_2,如下:

——4.2 添加codis组内成员

配置好如下:

##需要注意,选择其他成员为新master,老的master就会offline

(6)slots槽位分配(命令行添加或者通过dashboard界面2种方式添加组)

需求:对codis集群做槽位分片,也就是将1024个槽位分配给group_1组和group_2组,1024个槽必须全部分配完。做槽位分配,如下:

##注意,redis集群的槽位默认是16384个虚拟节点;codis的槽位是默认1024个,只对组为单位做槽位分配

解决如下:

或者./codis-config -c ../config.ini slot init -f,带上-f参数表示强制重新初始化!

###Migrate Status部分是逻辑迁移,也就是缓存迁移,做槽位重分配

###逻辑方式重新配置槽位,有报错:[WARN] rollback premigrate failedSome proxies may not stop cleanly: 10.7.12.98:11000,这个是因为在槽位迁移过程中,codis-proxy没有关闭,将dashboard上Proxy Status改为offline即可,停止proxy也即是停止外部读redis的访问,才能正确做槽位重新分配;

6、启动codis-proxy代理

./codis-proxy -c ../config.ini -L /httx/logs/codis-proxy.log  --cpu=4 --addr=10.7.12.98:11000 &

有如下报错:

解决:

是因为前一步骤没有将1024个槽位指定完,将剩余的尚未指定的槽位再次指定给group_1组

 

7、登录客户端测试,连接codis-proxy的IP和端口,如下:


8、测试codis-server的高可用

——8.1 当前group_2组的主节点是redis8379:

——8.2 将redis8379进程杀死,观察变化:

9、实现codi-server的高可用——

 

来自为知笔记(Wiz)

时间: 2024-12-24 13:21:23

第十课——cluster故障转移操作,codis部署的相关文章

hyper-v故障转移群集之部署之前

最近windows server 2012 R2的出现,对hyper-v的功能有很大的增强,也有更多的人开始关注hyper-v虚拟化技术,最近公司规划要搭建一个hyper-v高可用群集,以下是我此次搭建hyper-v群集的步骤及笔记: 概述: 服务器:此次hyper-v群集设计到6个节点,这六个节点都是使用的dell R710机架式服务器,配有 128G内存,2个8核心的cpu,每个服务器上就只有两块600G*15000K的硬盘做的Raid1,因为没打算将虚拟机存放到本地所有没有配置太多的空间

MongoDB副本集(一主两从)读写分离、故障转移功能环境部署记录

Mongodb是一种非关系数据库(NoSQL),非关系型数据库的产生就是为了解决大数据量.高扩展性.高性能.灵活数据模型.高可用性.MongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模式.主从模式其实就是一个单副本的应用,没有很好的扩展性和容错性,而Mongodb副本集具有多个副本保证了容错性,就算一个副本挂掉了还有很多副本存在,主节点挂掉后,整个集群内会实现自动切换. Mongodb副本集的工作原理客户端连接到整个Mongodb副本集,不关心具体哪一台节点机是否挂掉.主节点机负

部署AlwaysOn第三步:集群资源组的健康检测和故障转移

资源组是由一个或多个资源组成的组,WSFC的故障转移是以资源组为单位的,资源组中的资源是相互依赖的.一个资源所依赖的其他资源必须和该资源处于同一个资源组,跨资源组的依赖关系是不存在的.在任何时刻,每个资源组都仅属于集群中的一个结点,该结点就是资源组的活跃结点(Active Node),由活跃结点为应用程序提供服务.AlwaysOn建立在WSFC的健康检测和故障转移的特性之上,和故障转移集群有了不可分割的关系,因此,从底层的集群资源来理解可用性组,知其然知,其所以然,有助于更好地维护AlwaysO

redis-sentinel搭建redis主从故障转移

Redis-sentinel是Redis实例的监控管理.通知和实例失效备援服务,是Redis集群的管理工具.在一般的分布式中心节点数据库 中,Redis-sentinel的作用是中心节点的工作,监控各个其他节点的工作情况并且进行故障恢复,来提高集群的高可用性. Redis-sentinel是Redis的作者antirez在今年6月份完成的,因为Redis实例在各个大公司的应用,每个公司都需要一个 Redis集群的管理工具,被迫都自己写管理工具来管理Redis集群,antirez考虑到社区的急迫需

Win2012R2 Hyper-V初级教程17 -- 非计划故障转移和故障转移(上)

对于Hyper-V 复制的故障转移操作有三个主要选项: 计划内故障转移,顾名思义也就是按照预先确定的计划来进行故障转移.该方式需要满足两个前提条件:在初始故障转移前,虚拟机必须关闭:被复制主机必须也启用复制功能,并允许接收来自复制主机的复制. 测试故障转移,在复制服务器上进行操作,允许在不中断当前持续的复制配置下,生成并启动一个新的用于测试用途的虚拟机. 计划外故障转移,很容易理解了,被复制主机意外宕机时,我们便可以在复制主机上执行"故障转移",将该虚机启动上线. 在前一节,我们谈到了

IIS Web服务设置故障转移

IIS 设置故障转移 1.概述 IIS故障转移是IIS下网站的冗余备份,实现网站服务的高可用性,这里的故障转移使用微软的故障转移群集,该群集是一种高可用性的基础结构层,由多台计算机组成,每台计算机相当于一个冗余节点,整个群集系统允许某部分节点掉线.故障或损坏而不影响整个系统的运作.一台服务器接管发生故障的服务器的过程通常为"故障转移". 如果一台服务器变为不可用,则另外一台服务器自动接管发生故障的服务器并继续处理任务.群集中的每台服务器,在群集中至少有一台为其做备用服务器,因此群集的每

server 2008 r2 故障转移群集部署

打开三台2008虚拟机,开启快照中的系统安装还原到初始状态.将服务器1,2部署成为群集服务器,服务器3部署成为ISCSI网络数据存储服务器. 配置两台群集服务器的网络链接,每个服务器添加三块网卡,分别用于群集通讯,心跳通讯,ISCSI数据存储通讯. 配置服务器3成为ISCSI数据存储服务器,安装ISCSI SOFTWARE TARGET工具,并创建ISCSI目标名iscsiserver,并在目标节点下创建两个vhd格式的磁盘. 配置群集服务器节点到iscsi网络数据存储的连接,对网络磁盘初始化,

第五部分 架构篇 第十四章 MongoDB Replica Sets 架构(自动故障转移/读写分离实践)

说明:该篇内容部分来自红丸编写的MongoDB实战文章. 1.简介 MongoDB支持在多个机器中通过异步复制达到故障转移和实现冗余,多机器中同一时刻只有一台是用于写操作,正是由于这个情况,为了MongoDB提供了数据一致性的保障,担当primary角色的服务能把读操作分发给Slave(详情请看前两篇关于Replica Set成员组成和理解). MongoDB高可用分为两种: Master-Slave主从复制:只需要在某一个服务启动时加上-master参数,而另外一个服务加上-slave与-so

第7章 性能和可靠性模式 Failover Cluster(故障转移群集)

上下文 您已经决定在设计或修改基础结构层时使用群集以提供高度可用的服务. 问题 您应该如何设计一个高度可用的基础结构层,来防止因单台服务器或它所运行的软件出现故障而导致的服务丢失? 影响因素 在设计高度可用的基础结构层时,请考虑下列影响因素: 硬件组件.应用程序或服务出现故障可以使应用程序无法使用或不可用. 例如,设想一台正在提供应用程序的服务器出现了电源故障. 如果这是唯一的服务器或服务器中的唯一电源,则存在故障单点,并且应用程序将不可用. 计划内的服务器停机时间可以影响应用程序的可用性. 例