一，Codis简介
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一
样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。
不支持命令列表
https://github.com/CodisLabs/codis/blob/release3.2/doc/unsupported_cmds.md
redis的修改
https://github.com/CodisLabs/codis/blob/release3.2/doc/redis_change_zh.md
go安装
https://golang.org/doc/install
二，Codis 3.x
最新 release 版本为 codis-3.2，codis-server 基于 redis-3.2.8
支持 slot 同步迁移、异步迁移和并发迁移，对 key 大小无任何限制，迁移性能大幅度提升
相比 2.0：重构了整个集群组件通信方式，codis-proxy 与 zookeeper 实现了解耦，废弃了codis-config 等
元数据存储支持 etcd/zookeeper/filesystem 等，可自行扩展支持新的存储，集群正常运行期间，即便元存储故障也不再影响 codis 集群，大大提升 codis-proxy 稳定性
对 codis-proxy 进行了大量性能优化,通过控制GC频率、减少对象创建、内存预分配、引入 cgo、jemalloc 等，使其吞吐还是延迟，都已达到 codis 项目中最佳
proxy 实现 select 命令，支持多 DB
proxy 支持读写分离、优先读同 IP/同 DC 下副本功能
基于 redis-sentinel 实现主备自动切换
实现动态 pipeline 缓存区（减少内存分配以及所引起的 GC 问题）
proxy 支持通过 HTTP 请求实时获取 runtime metrics，便于监控、运维
支持通过 influxdb 和 statsd 采集 proxy metrics
slot auto rebalance 算法从 2.0 的基于 max memory policy 变更成基于 group 下 slot 数量
提供了更加友好的 dashboard 和 fe 界面，新增了很多按钮、跳转链接、错误状态等，有利于快速发现、处理集群故障
新增 SLOTSSCAN 指令，便于获取集群各个 slot 下的所有 key
codis-proxy 与 codis-dashbaord 支持 docker 部署
三，Codis 3.x 由以下组件组成：
Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。
Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。
对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；
不同 codis-proxy 之间由 codis-dashboard 保证状态同步。
Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的
一致性。
对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；
所有对集群的修改都必须通过 codis-dashboard 完成。
Codis Admin：集群管理的命令行工具。
可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。
Codis FE：集群管理界面。
多个集群实例共享可以共享同一个前端展示页面；
通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。
Storage：为集群状态提供外部存储。
提供 Namespace 概念，不同集群的会按照不同 product name 进行组织；
目前仅提供了 Zookeeper、Etcd、Fs 三种实现，但是提供了抽象的 interface 可自行扩展。
四，安装部署
二进制部署（官网的支持CentOS7,Glibc2.14以上版本）
tar zxvf /root/codis3.2.0-go1.7.5-linux.tar.gz -C /usr/local/
ln -s /usr/local/codis3.2.0-go1.7.5-linux/ /usr/local/codis
/usr/local/codis/redis-cli -v
/usr/local/codis/redis-cli: /lib64/libc.so.6: version `GLIBC_2.14‘ not found (required by /usr/local/codis/redis-cli)
排错
strings /lib64/libc.so.6 |grep GLIBC_
GLIBC_2.2.5
GLIBC_2.2.6
GLIBC_2.3
GLIBC_2.3.2
GLIBC_2.3.3
GLIBC_2.3.4
GLIBC_2.4
GLIBC_2.5
GLIBC_2.6
GLIBC_2.7
GLIBC_2.8
GLIBC_2.9
GLIBC_2.10
GLIBC_2.11
GLIBC_2.12
GLIBC_PRIVATE
需要安装GLIBC_2.14版本
直接使用CentOS7即可解决此问题。
源码部署（CentOS6/7都可）
1，java环境
yum -y install java-1.8.0
java -version
2，go环境
tar zxvf /root/go1.8.3.linux-amd64.tar.gz -C /usr/local/
/usr/local/go/bin/go version
mkdir -p /data/go
echo ‘export PATH=$PATH:/usr/local/go/bin:/usr/local/codis/bin‘ >>/etc/profile
echo ‘export GOPATH=/data/go‘ >>/etc/profile
source /etc/profile
go env GOPATH
3，codis安装
mkdir -p /data/go/src/github.com/CodisLabs/
tar -zxvf /root/codis-3.2.0.tar.gz -C /data/go/src/github.com/CodisLabs/
cd /data/go/src/github.com/CodisLabs/
mv codis-3.2.0/ codis
cd codis/
make
./bin/redis-cli -v
ln -s /data/go/src/github.com/CodisLabs/codis/ /usr/local/codis
cat bin/version
version = unknown version
compile = 2017-09-11 16:58:26 +0800 by go version go1.8.3 linux/amd64
4，zookeepr安装
tar -zxvf /root/zookeeper-3.4.10.tar.gz -C /usr/local
ln -s /usr/local/zookeeper-3.4.10 /usr/local/zookeeper
echo ‘/usr/local/zookeeper/bin/zkServer.sh start‘ >>/etc/rc.local
cat << EOF >> /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zookeeper/data
clientPort=2181
server.1=192.168.188.120:2888:3888
server.2=192.168.188.121:2888:3888
server.3=192.168.188.122:2888:3888
EOF
###myid
#注意：2888是主从的通信端口，3888是选举端口，server后面的1,2,3是在data目录下myid文件里的数值
mkdir -p /data/zookeeper/data
echo ‘1‘ > /data/zookeeper/data/myid
/usr/local/zookeeper/bin/zkServer.sh start
/usr/local/zookeeper/bin/zkServer.sh status
5，其他节点直接打包/data/go/src/github.com/CodisLabs/codis.tar.gz复制过去即可
集群配置前需要了解架构，集群分片主要分三种：
客户端分片：这个需要自己开发，对客户端要求严格，集群很难扩容
代理端分片：如codis，对客户端几乎无要求，集群容易扩容
服务端分片：如redis集群，需要智能客户端支持集群协议的，集群容易扩容
codis3.2集群架构
服务端：codis-fe------codis-dashboard------codis-proxy------codis-group------codis-server
客户端：client------nginx-tcp------codis-proxy
cdis-fe可以管理多个codis-dashboard
每个codis-dashboard代表一个产品线，每个codis-dashboard可以管理多个codis-proxy
每个codis-proxy可以管理多个codis-server group
每个codis-server group至少由两个codis-server组成，最少1主1备
由上可知一个大的codis集群可以分多个产品线，客户端连接各个产品线的codis-proxy，业务线之间可以做到物理隔离，比如group1，group2，group3分给codis-product1业务线，group4，
group5，group6分给codis-product2业务线，codis-dashboard配置保存在zookeeper里。
特别注意
同一个codis-server加入多个codis-dashboard的codis-group里，但是在不同的codis-dashboard里面主备的角色要一致，这代表逻辑隔离。
同一个codis-server只加入唯一的codis-dashboard的codis-group里，这代表物理隔离。
五，集群配置
1，角色划分
192.168.188.120 codis120 codis-server zookeeper
192.168.188.121 codis121 codis-server zookeeper
192.168.188.122 codis122 codis-server zookeeper
192.168.188.123 codis123 codis-server codis-proxy nginx-tcp lvs
192.168.188.124 codis124 codis-server codis-proxy nginx-tcp lvs
192.168.188.125 codis125 codis-server codis-dashboard codis-fe
以下操作的基本目录
[[email protected] codis]# pwd -L
/usr/local/codis
[[email protected] codis]# pwd -P
/data/go/src/github.com/CodisLabs/codis
2，启动codis-dashobard（codis125上操作）
1)，修改dashboard.toml配置文件
[[email protected] codis]# cat config/dashboard.toml
主要修改这几行
# Set Coordinator, only accept "zookeeper" & "etcd" & "filesystem".
coordinator_name = "zookeeper"
coordinator_addr = "192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"
# Set Codis Product Name/Auth.
product_name = "codis-product1"
product_auth = ""
# Set bind address for admin(rpc), tcp only.
admin_addr = "0.0.0.0:18080"
2），启动脚本
启动前需要修改脚本zookeeper地址池与product名称
[[email protected] codis]#cat ./admin/codis-dashboard-admin.sh
$CODIS_ADMIN_TOOL_BIN -v --remove-lock --product=codis-product1 --zookeeper=192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181
[[email protected] codis]# ./admin/codis-dashboard-admin.sh start
3），检查日志与端口
[[email protected] codis]# cat log/codis-dashboard.log.2017-09-11
2017/09/11 17:42:08 main.go:78: [WARN] set ncpu = 8
2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - zkclient setup new connection to 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181
2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Connected to 192.168.188.121:2181
2017/09/11 17:42:08 topom.go:119: [WARN] create new topom:
{
"token": "a10e7a35209d1db8f21c8e89a78a6c9a",
"start_time": "2017-09-11 17:42:08.1058555 +0800 CST",
"admin_addr": "codis125:18080",
"product_name": "codis-product2",
"pid": 18029,
"pwd": "/usr/local/codis",
"sys": "Linux codis125 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux"
}
2017/09/11 17:42:08 main.go:103: [WARN] create topom with config
coordinator_name = "zookeeper"
coordinator_addr = "192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"
admin_addr = "0.0.0.0:18080"
product_name = "codis-product1"
product_auth = ""
migration_method = "semi-async"
migration_parallel_slots = 100
migration_async_maxbulks = 200
migration_async_maxbytes = "32mb"
migration_async_numkeys = 500
migration_timeout = "30s"
sentinel_quorum = 2
sentinel_parallel_syncs = 1
sentinel_down_after = "30s"
sentinel_failover_timeout = "5m"
sentinel_notification_script = ""
sentinel_client_reconfig_script = ""
2017/09/11 17:42:08 topom.go:424: [WARN] admin start service on [::]:18080
2017/09/11 17:42:08 main.go:116: [WARN] option --pidfile = /usr/local/codis/bin/codis-dashboard.pid
2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Authenticated: id=170697207944249344, timeout=40000
2017/09/11 17:42:08 zkclient.go:23: [INFO] zookeeper - Re-submitting `0` credentials after reconnect
2017/09/11 17:42:08 main.go:140: [WARN] [0xc42033e120] dashboard is working ...
[[email protected] codis]# netstat -tulpn |grep codis-dashboa
tcp6 0 0 :::18080 :::* LISTEN 32006/codis-dashboa
4)，检查服务
http://192.168.188.125:18080/topom
3，启动codis-proxy（codis123与codis124上操作）
1)，修改codis-proxy启动脚本
[[email protected] codis]# cat admin/codis-proxy-admin.sh|grep DASH
CODIS_DASHBOARD_ADDR="192.168.188.125:18080"
2)，修改proxy.toml配置
[[email protected] codis]# cat config/proxy.toml|grep -Ev "^#|^$"
product_name = "codis-product1"
product_auth = ""
session_auth = ""
admin_addr = "0.0.0.0:11080"
proto_type = "tcp4"
proxy_addr = "0.0.0.0:19000"
3)，启动codis-proxy脚本
[[email protected] codis]# ./admin/codis-proxy-admin.sh start
4），检查日志与端口
[[email protected] codis]# cat log/codis-proxy.log.2017-09-11
[[email protected] codis]# netstat -tulpn|grep codis-proxy
tcp 0 0 0.0.0.0:19000 0.0.0.0:* LISTEN 31971/codis-proxy
tcp6 0 0 :::11080 :::* LISTEN 31971/codis-proxy
4，启动codis-server（需要在所有上操作）
1），修改启动脚本
vim /usr/local/codis/admin/codis-server-admin-6379.sh start
vim /usr/local/codis/admin/codis-server-admin-6380.sh start
主要注意以下几点
[[email protected] codis]# cat /usr/local/codis/admin/codis-server-admin-6379.sh |grep -Ev "^#|^$"|grep 6379
CODIS_SERVER_PID_FILE=/data/codis/6379/redis_6379.pid
CODIS_SERVER_LOG_FILE=/data/codis/6379/redis_6379.log
CODIS_SERVER_CONF_FILE=$CODIS_CONF_DIR/redis-6379.conf
2），修改服务配置
[[email protected] codis]# mkdir -p /data/redis/6379
[[email protected] codis]# mkdir -p /data/redis/6380
[[email protected] codis]# vim /usr/local/codis/config/redis-6379.conf
[[email protected] codis]# vim /usr/local/codis/config/redis-6380.conf
主要是注意以下几点
[[email protected] codis]# cat /usr/local/codis/config/redis-6379.conf |grep -Ev "^#|^$"|grep 6379
port 6379
pidfile /data/redis/6379/redis_6379.pid
logfile "/data/redis/6379/redis_6379.log"
dir /data/redis/6379
3），启动codis-server服务
[[email protected] codis]# ./admin/codis-server-admin-6379.sh start
/usr/local/codis/admin/../config/redis-6379.conf
starting codis-server ...
[[email protected] codis]# ./admin/codis-server-admin-6380.sh start
/usr/local/codis/admin/../config/redis-6380.conf
starting codis-server ...
4），检测日志与端口
[[email protected] codis]# netstat -tulpn |grep codis-server
tcp 0 0 192.168.188.120:6379 0.0.0.0:* LISTEN 22231/codis-server
tcp 0 0 192.168.188.120:6380 0.0.0.0:* LISTEN 22308/codis-server
5，启动codis-fe（codis125上操作）
1），修改codis-fe启动脚本
[[email protected] codis]# cat admin/codis-fe-admin.sh
主要修改这几行
#!/usr/bin/env bash
#COORDINATOR_NAME="filesystem"
#COORDINATOR_ADDR="/tmp/codis"
COORDINATOR_NAME="zookeeper"
COORDINATOR_ADDR="192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181"
2），启动codis-fe脚本
[[email protected] codis]# ./admin/codis-fe-admin.sh start
3），检查日志与端口
[[email protected] codis]# cat log/codis-fe.log.2017-09-11
2017/09/11 19:24:32 main.go:101: [WARN] set ncpu = 8
2017/09/11 19:24:32 main.go:104: [WARN] set listen = 0.0.0.0:9090
2017/09/11 19:24:32 main.go:120: [WARN] set assets = /usr/local/codis/bin/assets
2017/09/11 19:24:32 main.go:155: [WARN] set --zookeeper = 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181
2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - zkclient setup new connection to 192.168.188.120:2181,192.168.188.121:2181,192.168.188.122:2181
2017/09/11 19:24:32 main.go:209: [WARN] option --pidfile = /usr/local/codis/bin/codis-fe.pid
2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Connected to 192.168.188.120:2181
2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Authenticated: id=98639613905403907, timeout=40000
2017/09/11 19:24:32 zkclient.go:23: [INFO] zookeeper - Re-submitting `0` credentials after reconnect
[[email protected] codis]# netstat -tupnl |grep codis-fe
tcp6 0 0 :::9090 :::* LISTEN 32141/codis-fe
4），访问面板
http://192.168.188.125:9090/#codis-product1
六，codis-fe面板操作
1，通过codis-fe添加group
通过web浏览器访问集群管理页面(fe地址:http://192.168.188.125:9090/#codis-product1) 选择我们刚搭建的集群 codis-product1，在 Proxy 栏可看到我们已经启动的 Proxy， 但是
Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的
codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可。
如上依次添加6个group，12个codis-server，默认每组里面第一个添加的为主，第二个添加的设置为从，同一个节点2个实例不能设置为同一group。
2，通过codis-fe初始化solt
新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图
所示，点击此按钮，我们即快速完成了一个集群的搭建。
自动分配1024个solt到6个group，reblance all solts会自动分配完所以solt到6个group。
七，代理HA
1，在codis123与codis124上安装lvs与nginx-tcp
2，配置好VIP+19000端口为第一个codis-dashboard业务线使用，其他类推
192.168.188.131:19000