codis实现redis分片和在线扩展

Codis是一个开源的分布式redis解决方案,由以下四个组件组成:

codis-proxy:后端redis的代理,本事实现了redis协议。

codis-config:是codis的管理配置工具,用于增删redis server、操作数据迁移。

zookeeper:用来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都会通过 zookeeper同步到各个存活的codis-proxy。

codis-server:codis项目维护的一个 redis 分支, 基于 2.8.13 开发, 加入了 slot 的支持和原子的数据迁移指令,如果要使用codis的在线扩展迁移功能的话必须使用codis自带的codis-server,codis不支持对原生redis做在线的扩展和数据迁移。

节点规划:

codis-proxy 192.168.0.100:19000
codis-config 192.168.0.100
codis-server1 192.168.0.100:6381
codis-server2 192.168.0.100:6382
codis-server3 192.168.0.100:6380
codis-server4 192.168.0.100:6383

1、安装配置

a、首先安装golang

## 解压下载好的go软件包
$ tar xf/opt/go1.4.2.linux-amd64.tar.gz  -C/usr/local/
## 配置环境变量
在.bash_profile中加入go的相关环境变量,并使新的环境变量生效
PATH=$PATH:$HOME/bin
exportGOROOT=/usr/local/go
exportGOOS=linux
exportGOARCH=amd64
exportGOBIN=$GOROOT/bin
exportGOPATH=/opt/mygo
PATH=$PATH:$GOBIN
export PATH
##编写一个 测试程序验证go是否安装成功
$ cat hello.go
package main
import"fmt"
func main() {
    fmt.Printf("hello, world\n")
}
## 运行测试程序,输出hello,word说明go已经安装成功
$ go  run hello.go
hello, world

b、安装codis

## 安装工具软件
$ yum install gccmake git  -y 
## 下载codis,会下载到环境变量GOPATH指定的目录
$ go get github.com/wandoulabs/codis#ssdb-server config
packagegithub.com/wandoulabs/codis
        imports github.com/wandoulabs/codis
        imports github.com/wandoulabs/codis: nobuildable Go source files in /opt/mygo/src/github.com/wandoulabs/codis
## 下载完成后进入/opt/mygo/src/github.com/wandoulabs/codis
$ cd /opt/mygo/src/github.com/wandoulabs/codis
## 执行安装命令
$ ./bootstrap.sh

## 这一步时间稍久,会下载一些文件目录到本地,耐心等待即可

c、安装zookeeper

## 解压zookeeper
$ tar xfzookeeper-3.4.6.tar.gz  -C /opt/
## 进入zk的安装目录,修改配置文件
$ cd /opt/zookeeper-3.4.6
$ cp conf/zoo_sample.cfgconf/zoo.cfg
$ vim conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
dataLogDir=/opt/zookeeper-3.4.6/logs
clientPort=2181
## 创建所需要的目录
mkdir  /data/zookeeper   -p
mkdir  /opt/zookeeper-3.4.6/logs

## 启动zk
$ /opt/zookeeper-3.4.6/bin/zkServer.sh  start   
JMX enabled bydefault
Using config:/opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper... STARTED
 
## 验证是否启动成功,若2181端口被监听,则表示成功
$ netstat-alnut|grep 2181
tcp       0      0 :::2181                     :::*                        LISTEN

d、配置codis

## codis中配置zk的信息
$ cd /opt/mygo/src/github.com/wandoulabs/codis/sample/
## 修改config.ini
$  vim config.ini
zk=localhost:2181
product=codis_proxy
proxy_id=proxy_1
net_timeout=5
dashboard_addr=localhost:18087
coordinator=zookeeper

2、启动codis

a、 启动dashboard

## 进入相关目录
$ cd /opt/mygo/src/github.com/wandoulabs/codis/sample/
## 启动dashboard
./start_dashboard.sh
## 验证是否成功
$  netstat -alnut|grep 18087
tcp        0     0 :::18087                    :::*                        LISTE

浏览器中访问http://192.168.0.100:18087/admin/,出现如下页面:

b、初始化slots

##进入相关目录
$ cd  /opt/mygo/src/github.com/wandoulabs/codis/sample/
## 执行初始化
$  ../bin/codis-config  slot init
{
 "msg": "OK",
 "ret": 0
}

c、启动codis-server

## codis自带有一个启动脚本,会启动两个codis-server,监听端口为6381和6382
[[email protected] sample]#./start_redis.sh 
sleep 3s
[6294] 09 Apr 14:28:02.796* Increased maximum number of open files to 10032 (it was originally set to1024).
                _._                                                 
           _.-``__ ‘‘-._                                            
      _.-``   `.  `_.  ‘‘-._           Redis 2.8.13 (1e823fd3/1) 64 bit
  .-`` .-```. ```\/    _.,_ ‘‘-._                                  
 (   ‘      ,       .-` | `,    )     Running in stand alone mode
 |`-._`-...-` __...-.``-._|‘` _.-‘|     Port: 6381
 |   `-._   `._    /    _.-‘    |     PID: 6294
  `-._   `-._  `-./  _.-‘   _.-‘                                  
 |`-._`-._   `-.__.-‘    _.-‘_.-‘|                                 
 |   `-._`-._        _.-‘_.-‘    |          http://redis.io       
  `-._   `-._`-.__.-‘_.-‘    _.-‘                                  
 |`-._`-._   `-.__.-‘    _.-‘_.-‘|                                 
 |   `-._`-._        _.-‘_.-‘    |                                 
  `-._   `-._`-.__.-‘_.-‘    _.-‘                                   
      `-._   `-.__.-‘    _.-‘                                      
          `-._        _.-‘                                          
              `-.__.-‘                                              
 
[6294] 09 Apr14:28:02.814 # Server started, Redis version 2.8.13
[6294] 09 Apr14:28:02.814 # WARNING overcommit_memory is set to 0! Background save may failunder low memory condition. To fix this issue add ‘vm.overcommit_memory = 1‘ to/etc/sysctl.conf and then reboot or run the command ‘sysctlvm.overcommit_memory=1‘ for this to take effect.
[6294] 09 Apr14:28:02.814 * The server is now ready to accept connections on port 6381
[6295] 09 Apr14:28:02.795 * Increased maximum number of open files to 10032 (it wasoriginally set to 1024).
                _._                                                 
           _.-``__ ‘‘-._                                            
      _.-``   `.  `_.  ‘‘-._           Redis 2.8.13 (1e823fd3/1) 64 bit
  .-`` .-```. ```\/    _.,_ ‘‘-._                                   
 (   ‘      ,       .-` | `,    )     Running in stand alone mode
 |`-._`-...-` __...-.``-._|‘` _.-‘|     Port: 6382
 |   `-._   `._    /    _.-‘    |     PID: 6295
  `-._   `-._  `-./  _.-‘   _.-‘                                   
 |`-._`-._   `-.__.-‘    _.-‘_.-‘|                                 
 |   `-._`-._        _.-‘_.-‘    |          http://redis.io       
  `-._   `-._`-.__.-‘_.-‘    _.-‘                                  
 |`-._`-._   `-.__.-‘    _.-‘_.-‘|                                 
 |   `-._`-._        _.-‘_.-‘    |                                 
  `-._   `-._`-.__.-‘_.-‘    _.-‘                                  
      `-._   `-.__.-‘    _.-‘                                      
          `-._       _.-‘                                          
              `-.__.-‘                                              
 
[6295] 09 Apr14:28:02.811 # Server started, Redis version 2.8.13
[6295] 09 Apr14:28:02.811 # WARNING overcommit_memory is set to 0! Background save may failunder low memory condition. To fix this issue add ‘vm.overcommit_memory = 1‘ to/etc/sysctl.conf and then reboot or run the command ‘sysctlvm.overcommit_memory=1‘ for this to take effect.
[6295] 09 Apr 14:28:02.812 * The server is nowready to accept connections on port 6382

d、 添加分片

## 添加分片,每个分片只有一个master节点
$  ../bin/codis-config server add 1192.168.0.99:6381 master
 
  "msg": "OK",
  "ret": 0
}
$  ../bin/codis-config server add 2192.168.0.99:6382 master
{
  "msg": "OK",
  "ret": 0
}

web页面中可以看到新添加的分片组:

e、开启分片

## 开启分片,分片的规则为SlotId= crc32(key) % 1024
$ ../bin/codis-config slot range-set 0 511 1 online
{
  "msg": "OK",
  "ret": 0
}
$ ../bin/codis-config slot range-set 512 1023 2 online   
{
  "msg": "OK",
  "ret": 0
}

f、启动codis-proxy

## 启动codis-proxy
$ ../bin/codis-proxy -c config.ini -L ./log/proxy.log  --addr=0.0.0.0:19000--http-addr=0.0.0.0:11000 &

web界面显示:

这时codis-proxy是offline的状态,要将其设为online

## 这里的proxy_1为codis-proxy代理的id
$  ../bin/codis-config -c config.ini proxyonline proxy_1
{
  "msg": "OK",
  "ret": 0
}

web页面查看状态,发现已经为online了

3、测试分片

在插入数据之前,各分片是没有key的,web页面上可以看到

连接代理,并插入数据

## 连接代理
$  ./redis-cli -p 19000
127.0.0.1:19000>

## 代理中插入数据
127.0.0.1:19000>set kora  1
OK
127.0.0.1:19000>set foway 2
OK
127.0.0.1:19000>set kade 3
OK
127.0.0.1:19000>set hongyi 4
OK

web页面中再次查看各分片间数据,各分片上已有数据,说明分片成功

4、在线增加分片

a、添加两个新的分片

## 再启动两个redis实例
$  nohup ../bin/codis-server ./redis_conf/6380.conf &> ./log/redis_6380.log& 
[2] 6362
$  nohup ../bin/codis-server ./redis_conf/6383.conf &> ./log/redis_6383.log & 
[3] 6365
##  将两个新的实例添加到代理中
$ ../bin/codis-config server add 3 192.168.0.99:6380 master
{
  "msg": "OK",
  "ret": 0
}
$ ../bin/codis-config server add 4 192.168.0.99:6383 master
{
  "msg": "OK",
  "ret": 0
}

web页面查看新添加的节点

b、将group1 上slot_id在256-511间的keys迁移到group3 上去

$ ../bin/codis-config slot migrate 256 511 3
{
  "msg": "OK",
  "ret": 0
}

命令执行完成后,数据会在后台进行迁移,web页面中可以看到迁移的状态

查看桶中的key分布

迁移过程中如下,当红色覆盖到511时表明迁移完成,蓝色表示group1,红色为group3

迁移完成后状态

c、将group2 上slot_id在768~2013间的keys迁移到group4 上去

$ ../bin/codis-config slot migrate 768 1023 4
{
  "msg": "OK",
  "ret": 0
}

web页面上查看迁移状态

迁移完成后状态

web页面查看分片情况,发现新添加的分片上有了数据

代理中插入数据,看各分片接受数据是否正常

$ ./redis-cli -p19000
127.0.0.1:19000>set avro 19
OK
127.0.0.1:19000>set boss 19
OK
127.0.0.1:19000>set sex 29
OK
127.0.0.1:19000>set zook 29
OK
127.0.0.1:19000>set hadoop 29
OK
127.0.0.1:19000>set kafka 30
OK
127.0.0.1:19000>set word 32
OK
127.0.0.1:19000>set xcode 32
OK

查看web页面各分片接受的keys情况

5、移除分片

a、设置proxy为offline

$ ../bin/codis-config-c config.ini proxy offline proxy_1
{
  "msg": "OK",
  "ret": 0
}

b、重新初始化slot

$ ../bin/codis-config slot init -f
{
  "msg": "OK",
  "ret": 0
}

c、移除分片

$  ../bin/codis-config server remove-group 1
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 2
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 3
{
 "msg": "OK",
 "ret": 0
}
$  ../bin/codis-config server remove-group 4
{
 "msg": "OK",
 "ret": 0
}

d、web页面查看

注意事项:

1、slot在线迁移不支持原生的redis,只能使用codis内嵌的codis-server(codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.13 开发, 加入了 slot 的支持和原子的数据迁移指令).

2、slot迁移是原子性的,且对上层应用是安全透明的,迁移的过程中不会阻塞上层业务的服务。

3、迁移的过程中每次只能有一个slot处于迁移状态,所以在迁移操作时,应单片单片的进行迁移,在没有确认当前的迁移是否完成前,不要开启下一个迁移。

4、codis-proxy对原生的redis是有效的,已经测试过(版本redis 2.8.19),但是slot是不支持原生redis的。

5、codis-proxy、slot对SSDB都是无效的,使用codis-proxy代理SSDB是无法实现分片的,数据会落在配置中的第一个分片上。

时间: 2024-10-09 23:31:53

codis实现redis分片和在线扩展的相关文章

Codis——分布式Redis服务的解决方案

Codis——分布式Redis服务的解决方案 之前介绍过的 Twemproxy 是一种Redis代理,但它不支持集群的动态伸缩,而codis则支持动态的增减Redis节点:另外,官方的redis 3.0开始支持cluster. codis和twemproxy最大的区别有两个: codis支持动态水平扩展,对client完全透明不影响服务的情况下可以完成增减redis实例的操作: codis是用go语言写的并支持多线程,twemproxy用C并只用单线程. 后者又意味着:codis在多核机器上的性

第十一课——codis-server的高可用,对比codis和redis cluster的优缺点

[作业描述] 1.配置codis-ha 2.总结对比codis的集群方式和redis的cluster集群的优缺点 ================================================================================= 一.codis-ha的部署配置 ##codis-ha要独立于codis集群,单独配置,也是基于go环境的 1.go方式下载codis-ha: go get github.com/ngaut/codis-ha 2.进入cod

KVM虚拟化笔记(十一)------kvm   Linux虚拟机在线扩展磁盘

kvm虚拟机也支持在线扩展磁盘功能,在线扩展有特定的使用环境,主要用于不能随便停用的生产环境中,本文以hadoop为例具体步骤如下: 1,查看现有磁盘 [[email protected] test]# virsh list --all  Id    Name                           State ----------------------------------------------------  1     win7                       

CentOS7安装redis数据库及php-redis扩展

redis 首先把redis安装到服务器中 1.wget http://download.redis.io/redis-stable.tar.gz 下载redis源码 2. tar xvzf redis-stable.tar.gz 解压 3.cd redis-stable 4.make   make的时候可能出现问题,我的就出现了异常 异常一: make[2]: cc: Command not found 异常原因:没有安装gcc 解决方案:yum install gcc-c++ 异常二: zm

在windows环境下安装redis和phpredis的扩展

在windows环境下安装redis和phpredis的扩展 1.首先配置php: 需要在windows的集成环境中找到php的扩展文件夹,ext,然后在网上寻找自己的php对应的.dll文件 比如说的我的phpinfo里面显示是Arti..:x86,所以需要选择X86,这个跟系统无关,我的系统还是64位的呢! 然后我的集成环境是ts而不是nts这个都可以在phpinfo文件中找到! 下载文件php_igbinary.dll,php_redis.dll 然后修改配置文件php.ini(php文件

redis安装以及php扩展

redis安装以及php扩展 启动安装:  http://elain.blog.51cto.com/3339379/705846 redis下载:  https://github.com/nicolasff/phpredis/downloads 多台服务安装:   http://www.vquickphp.com/?a=blogview&id=30 开机加自启动: echo "redis-server /etc/redis.conf" >>/etc/rc.local

Redis 分片实现 Redis Shard [www]

Redis 分片实现                                             Redis Shard https://www.oschina.net/p/redis-shard 分布式SQL引擎                                             Lealone https://www.oschina.net/p/lealone ChartSQL 详细介绍 https://www.oschina.net/p/chartsql F

Redis分片(分区)

分区的概念 分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集. 如果只使用一个redis实例时,其中保存了服务器中全部的缓存数据,这样会有很大风险,如果单台redis服务宕机了将会影响到整个服务.解决的方法就是我们可以采用分片/分区的技术,将原来一台服务器维护的整个缓存,现在换为由多台服务器共同维护内存空间. 分片的实现 说明与分析: 关于redis的安装参照上一篇,默认安装好了redis. 思路:采用在一台主机上实现分片的方式,所以只需要在该主机上配置启动三台r

linux中的磁盘配额以及在线扩展

运行环境:centos7 一.磁盘配额 (1)介绍 磁盘配额是管理员为普通用户设置的使用磁盘的限制,每个用户只能使用有限的磁盘空间,管理员通过磁盘配额的设置.可以很清楚的了解到每个普通用户的磁盘使用情况,避免某些用户浪费磁盘空间导致其它用户无法正常工作:在liunx系统中我们使用超级管理员root用户来进行磁盘配额的配置,可以对用户或组进行文件大小限制或者文件数量限制. 限制又可分为两种: 软限制:当用户或组所分配的空间占满以后,在一定的宽限期内可以超出当前容量,系统会发出警告,但超出时间后系统