redis的分布式解决方案--codis

codis是豌豆荚开源的分布式服务器,目前处于稳定阶段。

原文地址:https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

基本框架如下:

Codis 由四部分组成:

Codis Proxy (codis-proxy)

Codis Manager (codis-config)

Codis Redis (codis-server)

ZooKeeper

codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.

codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.

codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.13 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.

ZooKeeper(以下简称ZK)是一个分布式协调服务框架,可以做到各节点之间的数据强一致性。简单的理解就是在一个节点修改某个变量的值后,在其他节点可以最新的变化,这种变化是事务性的。通过在ZK节点上注册监听器,就可以获得数据的变化。

Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.

注:1.codis新版本支持redis到2.8.21

2.codis-group实现redis的水平扩展

下面我们来部署环境:

10.80.80.124       zookeeper_1 codis-configcodis-server-master,slave
codis_proxy_1

10.80.80.126       zookeeper_2 codis-server-master,slavecodis _proxy_2

10.80.80.123       zookeeper_3 codis-serve-master,slavecodis _proxy_3

说明:

1.为了确保zookeeper的稳定性与可靠性,我们在124、126、123上搭建zookeeper集群来对外提供服务;

2.codis-cofig作为分布式redis的管理工具,在整个分布式服务器中只需要一个就可以完成管理任务;

3.codis-server和codis-proxy在3台服务器提供redis和代理服务。

一.部署zookeeper集群

1.配置hosts(在3台服务器上)

10.80.80.124 codis1

10.80.80.126 codis2

10.80.80.123 codis3

2.配置java环境(在3台服务器上)

vim /etc/profile
##JAVA###
export JAVA_HOME=/usr/local/jdk1.7.0_71
export JRE_HOME=/usr/local/jdk1.7.0_71/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

3.安装zookeeper(在3台服务器上)

cd /usr/local/src
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local

4.配置环境变量(在3台服务器上)

vim /etc/profile
#zookeeper
ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

5.修改zookeeper配置文件(在3台服务器上)

#创建zookeeper的数据目录和日志目录
mkdir -p /data/zookeeper/zk1/{data,log}
cd /usr/local/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg
vim /etc/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zk1/data
dataLogDir=/data/zookeeper/zk1/log
clientPort=2181
server.1=codis1:2888:3888
server.2=codis2:2888:3888
server.3=codis3:2888:3888

6.在dataDir下创建myid文件,对应节点id(在3台服务器上)

#在124上
cd /data/zookeeper/zk1/data
echo 1 > myid
#在126上
cd /data/zookeeper/zk1/data
echo 2 > myid
#在123上
cd /data/zookeeper/zk1/data
echo 3 > myid

7.启动zookeeper服务(在3台服务器上)

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

注:在你所在的当前目录下会生成一个zookeeper.out的日志文件,里面记录了启动过程中的详细信息;由于集群没有全部信息,会报“myid 2或myid 3 未启动”的信息,当集群全部启动后就会正常,我们可以忽略。

8.查看zookeeper所有节点的状态(在3台服务器上)

#124
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
#126
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
#123
/usr/local/zookeeper-3.4.6/bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

二.部署codis集群

1.安装go语言(在3台服务器上)

tar -zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local/

2.添加go环境变量(在3台服务器上)

vim /etc/profile
#go
export PATH=$PATH:/usr/local/go/bin
export GOPATH=/usr/local/codis

source /etc/profile

3.安装codis(在3台服务器上)

go get github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
#执行编译测试脚本,编译go和reids。
./bootstrap.sh
make gotest
#将编译好后,把bin目录和一些脚本复制过去/usr/local/codis目录下
mkdir -p /usr/local/codis/{conf,redis_conf,scripts}
cp -rf bin /usr/local/codis/
cp sample/config.ini /usr/local/codis/conf/
cp -rf sample/redis_conf /usr/local/codis
cp -rf sample/* /usr/local/codis/scripts

4.配置codis-proxy(在3台服务器上,在此以124为例)

#124
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此处配置图形化界面的dashboard,注意codis集群只要一个即可,因此全部指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_1
#126
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此处配置图形化界面的dashboard,注意codis集群只要一个即可,因此全部指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_2
#123
cd /usr/local/codis/conf
vim config.ini
zk=codis1:2181,codis2:2181,codis3:2181
product=codis
#此处配置图形化界面的dashboard,注意codis集群只要一个即可,因此全部指向10.80.80.124:18087
dashboard_addr=192.168.3.124:18087
coordinator=zookeeper
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=128
proxy_id=codis_proxy_3

5.修改codis-server的配置文件(在3台服务器上)

#创建codis-server的数据目录和日志目录
mkdir -p /data/codis/codis-server/{data,logs}
cd /usr/local/codis/redis_conf
#主库
vim 6380.conf
daemonize yes
pidfile /var/run/redis_6380.pid
port 6379
logfile "/data/codis_server/logs/codis_6380.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6380.rdb
dir /data/codis_server/data
#从库
cp 6380.conf 6381.conf
sed -i 's/6380/6381/g' 6381.conf

6.添加内核参数

echo "vm.overcommit_memory = 1" >>  /etc/sysctl.conf
sysctl -p

7.按照启动流程启动

cat /usr/loca/codis/scripts/usage.md
0. start zookeeper
1. change config items in config.ini
2. ./start_dashboard.sh
3. ./start_redis.sh
4. ./add_group.sh
5. ./initslot.sh
6. ./start_proxy.sh
7. ./set_proxy_online.sh
8. open browser to http://localhost:18087/admin

虽然scripts目录下面有相应启动脚本,也可以用startall.sh全部启动,但刚开始建议手动启动,以熟悉codis启动过程。

由于之前zookeeper已经启动,下面我们来启动其他项目。

注:1.在启动过程中需要指定相关日志目录或配置文件目录,为便于统一管理,我们都放在/data/codis下;

2.dashboard在codis集群中只需要在一台服务器上启动即可,此处在124上启动;凡是用codis_config的命令都是在124上操作,其他启动项需要在3台服务器上操作。

相关命令如下:

/usr/local/codis/bin/codis-config -h
usage: codis-config  [-c <config_file>] [-L <log_file>] [--log-level=<loglevel>]
		<command> [<args>...]
options:
   -c	set config file
   -L	set output log file, default is stdout
   --log-level=<loglevel>	set log level: info, warn, error, debug [default: info]

commands:
	server
	slot
	dashboard
	action
	proxy

(1)启动dashboard(在124上启动)

#dashboard的日志目录和访问目录
mkdir -p /data/codis/codis_dashboard/logs
codis_home=/usr/local/codis
log_path=/data/codis/codis_dashboard/logs
nohup $codis_home/bin/codis-config -c $codis_home/conf/config.ini -L $log_path/dashboard.log dashboard --addr=:18087 --http-log=$log_path/requests.log &>/dev/null &

通过10.80.80.124:18087即可访问图形管理界面

(2)启动codis-server(在3台服务器上)

/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
/usr/local/codis/bin/codis-server /data/codis_server/conf/6381.conf

(3)添加 Redis Server Group(124上)

注意:每一个 Server Group 作为一个 Redis 服务器组存在, 只允许有一个 master, 可以有多个 slave, group id 仅支持大于等于1的整数

目前我们在3台服务器上分了3组,因此我们需要添加3组,每组由一主一从构成

#相关命令
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server
usage:
	codis-config server list
	codis-config server add <group_id> <redis_addr> <role>
	codis-config server remove <group_id> <redis_addr>
	codis-config server promote <group_id> <redis_addr>
	codis-config server add-group <group_id>
	codis-config server remove-group <group_id>
#group 1
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 1 10.80.80.124:6381 slave
#group 2
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 2 10.80.80.126:6381 slave
#group 3
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6380 master
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 3 10.80.80.123:6381 slave

注意:1.点击“Promote to Master”就会将slave的redis提升为master,而原来的master会自动下线。

    2./usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini server add 可以添加机器到相应组中,也可以更新redis的主/从角色。

    3.若为新机器,此处的keys应该为空

(4) 设置 server group 服务的 slot 范围(124上)

#相关命令
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini slot
usage:
	codis-config slot init [-f]
	codis-config slot info <slot_id>
	codis-config slot set <slot_id> <group_id> <status>
	codis-config slot range-set <slot_from> <slot_to> <group_id> <status>
	codis-config slot migrate <slot_from> <slot_to> <group_id> [--delay=<delay_time_in_ms>]
	codis-config slot rebalance [--delay=<delay_time_in_ms>]

#Codis 采用 Pre-sharding 的技术来实现数据的分片, 默认分成 1024 个 slots (0-1023), 对于每个key来说, 通过以下公式确定所属的 Slot Id : SlotId = crc32(key) % 1024 每一个 slot 都会有一个特定的 server group id 来表示这个 slot 的数据由哪个 server group 来提供。

我们在此将1024个slot分为三段,分配如下:
/usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 0 340 1 online
/usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 341 681 2 online
/usr/local/codis/bin/codis-config -c conf/config.ini slot range-set 682 1023 3 online

(5)启动codis-proxy(在3台服务器上)

#codis_proxy的日志目录
mkdir -p /data/codis/codis_proxy/logs
codis_home=/usr/local/codis
log_path=/data/codis/codis_proxy/logs
nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

黑线处:codis读取服务器的主机名。

注意:若客户端相关访问proxy,需要在客户端添加hosts

(6)上线codis-proxy

codis_home=/usr/local/codis
log_path=/data/codis/codis_proxy/logs
nohup $codis_home/bin/codis-proxy --log-level warn -c $codis_home/conf/config.ini -L $log_path/codis_proxy_1.log  --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 > $log_path/nohup.out 2>&1 &

注:启动codis_proxy后,proxy此时处于offline状态,无法对外提供服务,必须将其上线后才能对外提供服务。

ok,至此codis已经可以对外提供服务了。

三.HA

codis的ha分为前端proxy的ha以及后端codis-server的ha,在此简单说下proxy的ha。

对于上层proxy来说,尤其是java客户端来,codis提供jodis(修改过的jedis)来实现proxy的ha。它会通过监控zk上的注册信息来实时获得当前可用的proxy列表,既可以保证高可用性,也可以通过轮流请求所有的proxy实现负载均衡;支持proxy的自动上线和下线。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-11-05 22:34:16

redis的分布式解决方案--codis的相关文章

Redis 集群解决方案 Codis

(来源:开源中国社区 http://www.oschina.net/p/codis) Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

Redis集群解决方案-Codis

Codis由豌豆荚于2014年11月开源,基于go和c开发,是近期涌现的.国人开发的优秀开源软件之一,稳定性极高,性能更是改善了很多. Codis由四部分组成: codis-proxy:codis-proxy是客户端连接的Redis代理服务,codis-proxy本身实现了Redis协议,表现得和一个原生Redis没什么区别,对于一个业务来说,可以部署多个codis-proxy,codis-proxy本身是无状态的 codis-config:codis-config是Codis的管理工具,支持添

Codis 替换 Redis 集群 解决方案

Codis: Redis 集群解决方案 Codis 由四部分组成: Codis Proxy (codis-proxy) Codis Manager (codis-config) Codis Redis (codis-server) ZooKeeper 1. 首先安装 go 语言  需安装1.0 以及之前的版本 https://code.google.com/p/go/ wget https://storage.googleapis.com/golang/go1.4.2.linux-amd64.t

Codis——分布式Redis服务的解决方案

Codis——分布式Redis服务的解决方案 之前介绍过的 Twemproxy 是一种Redis代理,但它不支持集群的动态伸缩,而codis则支持动态的增减Redis节点:另外,官方的redis 3.0开始支持cluster. codis和twemproxy最大的区别有两个: codis支持动态水平扩展,对client完全透明不影响服务的情况下可以完成增减redis实例的操作: codis是用go语言写的并支持多线程,twemproxy用C并只用单线程. 后者又意味着:codis在多核机器上的性

豆瓣Redis解决方案Codis源码剖析:Proxy代理

豆瓣Redis解决方案Codis源码剖析:Proxy代理 1.预备知识 1.1 Codis Codis就不详细说了,摘抄一下GitHub上的一些项目描述: Codis is a proxy based high performance Redis cluster solution written in Go/C, an alternative to Twemproxy. It supports multiple stateless proxy with multiple redis instan

豆瓣Redis解决方案Codis源码剖析:Dashboard

豆瓣Redis解决方案Codis源码剖析:Dashboard 1.不只是Dashboard 虽然名字叫Dashboard,但它在Codis中的作用却不可小觑.它不仅仅是Dashboard管理页面,更重要的是,它负责监控和指挥各个Proxy的负载均衡(数据分布和迁移).并且,所有API都以RESTFul接口的形式对外提供,供Proxy和codis-config(Codis的命令行工具)调用.下面就来看一下数据分布和迁移的代码执行流程. Dashboard涉及到的知识点比较多,包括Martini框架

Redis分布式解决方案-Coids

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 CodisProxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务. Codis 由四部分组成: Codis Proxy   (codis-proxy)  实

关于codis对于原redis过期事件解决方案

1.     Redis处理过期事件方式 1.1.  Redis处理过期key方式 Redis key过期的方式有二:被动方式和主动方式当clients试图访问设置了过期时间且已过期的key时,为主动过期方式.但仅是这样是不够的,以为可能存在一些key永远不会被再次访问到,这些设置了过期时间的key也是需要在过期后被删除的.因此,Redis会周期性的随机测试一批设置了过期时间的key并进行处理.测试到的已过期的key将被删除.典型的方式为,Redis每秒做10次如下的步骤:1.随机测试100个设

豆瓣Redis解决方案Codis安装使用

豆瓣Redis解决方案Codis安装使用 1.安装 1.1 Golang环境 Golang的安装非常简单,因为官网被墙,可以从国内镜像如studygolang.com下载. [root@vm root]$ tar -C /usr/local -zxf go1.4.2.linux-amd64.tar.gz [root@vm root]$ vim /etc/profile export GOROOT=/usr/local/go export PATH=$GOROOT/bin:$PATH export