codis线上集群部署

codis集群部署

配套工具在 https://github.com/wlibo666/codis 中

1.现已有安装包和批量部署工具,参见目录 10.135.29.168:/home/wangchunyan/work/go/package

该目录下内容如下:

-rwxrwxr-x 1 wangchunyan wangchunyan 4787 Mar  2 14:01 autoinstall.py

drwxrwxr-x 4 wangchunyan wangchunyan 4096 Mar  2 11:28 codis

-rwxrwxr-x 1 wangchunyan wangchunyan   72 Jan 25 16:44 genpkg.sh

2.安装说明

1) 运行genpkg.sh生成安装包

2)修改autoinstall.py中 Ips 变量中的IP地址,修改成自己需要安装的机器的IP地址

3) python ./autoinstall.py install dashboard|proxy|server(三者任选一个)

4)启动dashboard流程参见 http://www.cnblogs.com/wlibo666/p/5235620.html  中 【3. codis启动】

5)redis多实例安装, 进入redis-server机器的 /letv/codis/conf 目录,拷贝 codis-server.conf 为  codis-server-1.conf codis-server-2.conf, codis-server-xx.conf(根据自己需要,内存利用率最大为 n-1/n)

原则上实例个数不能超过 总内存/单实例内存 - 1 个,然后执行 sudo /letv/codis/bin/letvredis /letv/codis/conf/codis-server-xx.conf &

3.codis-ha 部署(参考 10.112.29.24:/letv/codis/bin   codis-ha codis-ha.json)

codis-ha需要与dashboard通信,因此最好和dashboard部署在同一台机器上,当然其他机器也可以,只要保持同dashboard机器的联通即可。

运行前先配置好配置文件,配置文件说明参见 https://github.com/wlibo666/codis-ha

sudo /letv/codis/bin/codis-ha /letv/codis/bin/codis-ha.json &

4.主从同步检测脚本部署(参考 10.112.29.24:/letv/codis/bin slave-sync-check.sh config.txt )

定时检测每一组中master/slave是否同步正常,若同步不正常则重新全同步

直接 sudo /letv/codis/bin/slave-sync-check.sh /letv/codis/bin/config.txt & 即可

5.redis数据备份脚本部署(参见 10.154.34.116:/letv/codis/redis-backup)

该脚本部署在备份服务器上,要求硬盘足够大

config.ini 和dashboard上config.ini是相同的,因为它需要从dashboard获取分组信息

rdb-backup.sh 脚本中

DSTRDBPATH 变量 为 存储备份数据的目录

USERNAME 变量为 redis server机器的用户名(最好是root)

USERPWD 变量为 redis server机器的密码

直接运行 sudo ./runrdbback.sh & 即可

6.redis实例监控脚本部署(参考 10.112.29.24:/home/wangchunyan/moniRedisMem moni_redis_memory.sh getServerGroup.sh)

需要从dashboard获取分组信息,因此最好和dashboard部署在同一台机器,单实例最大内存限制 参见 moni_redis_memory.sh 中check_redis 函数 maxnum 变量

直接 sudo ./moni_redis_memory.sh & 即可

时间: 2024-10-10 04:14:24

codis线上集群部署的相关文章

kubeadm 线上集群部署(二) k8s node 节点初始化安装

curl -s https://gitee.com/hewei8520/File/raw/master/1.13.5/lvm.sh |bash mkdir -p /data/kubelet ln -s /data/kubelet /var/lib/kubelet systemctl stop docker mv /var/lib/docker /data/ ln -s /data/docker /var/lib/docker systemctl restart docker # 除了将maste

线上测试高可用集群部署文档【我的技术我做主】

线上测试高可用集群部署文档 目录: 目录:1 项目需求:2 实现方式:2 拓扑图:3 系统及软件版本:3 安装步骤:4 IP分配:4 LVS和keepalived的安装和配置:4 LVS主配置:4 LVS2备 配置:7 web服务器配置9 Mysql-MHA高可用:13 Mysql主配置:13 manager管理端操作:15 VIP切换:16 测试:26 下面是centos5.6的系统环境,如果是centos6版本,只需改动少许地方即可,步骤一致 . ---- by 金戈铁马行飞燕 项目需求:

redis集群部署之codis 维护脚本

搞了几天redis cluster codis 的部署安装,测试,架构优化,配合研发应用整合,这里记一些心得! 背景需求: 之前多个业务都在应用到redis库,各业务独立占用主从两台服务器,硬件资源利用不合理,主从架构冗余度不高,主redis故障的话,从redis恢复需要时间,降低业务的可用性, 所以调研测试部署了基于codis的redis集群. 官方地址 部署文档 参考这里redis cluster安装部署 维护管理 了解过codis的同志都知道codis集群组件服务启动有一定顺序的,而且基本

zabbix实例集群部署-偏向于管理使用

zabbix实例集群部署 前言:已经折腾两个礼拜了,本文侧重点不在于安装,在于使用管理.部署请看文档或者百度,,很简        单 提示:zabbix关于模板.应用集.主机组.触发器.等等命令一定要谨慎,不要随意,防止自己糊涂了 主机组: 比如说,我的主机组用的是yunce56,因为我这个项目名称叫做yunce 模板:zabbix自带的templates不够合理,我自己重新写,DIY.比如说我专门监                          控cpu,我可以写yunce-cpu-li

Kafka集群部署

一. 关于kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案.Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费. 关于Kafka的

codis-3.2.8集群部署详解

codis-3.2.8集群部署详解 一.概要 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表https://github.com/CodisLabs/codis/blob/release3.1/doc/unsupported_cmds.md), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的

rocketmq集群部署(多master多slave异步)

一.最近公司在做队列的技术选型,经过调研,决定使用rocketmq作为整个架构的队列层,我们之前的公司是用RabbitMQ,集群部署参考我之前的文章:RabbitMQ集群部署:rocketmq集群由NameServer和Broker两种角色组成,NameServer是无状态的可以横向部署多台达到消除单点的目的:Broker分多master.多master多slave同步.多master多slave异步这三种部署方案,一般生产环境都使用的是多master多slave异步这种方案,关于这三种方案的优

Storm 系列(三)Storm 集群部署和配置

Storm 系列(三)Storm 集群部署和配置 本章中主要介绍了 Storm 的部署过程以及相关的配置信息.通过本章内容,帮助读者从零开始搭建一个 Storm 集群.相关的过程和主要的配置选项是 Storm 的运维人员需要重点关注的,对部署和配置选项不感兴趣的读者,可以跳过本章. 在开始 Storm 之旅前,我们先看一下 Storm 部署和配置的相关信息,并提交一个 Topology,了解 Storm 的基本原理.Storm 的部署模式包括单机和集群环境,同时在向 Storm 环境中提交 To

大数据技术之_10_Kafka学习_Kafka概述+Kafka集群部署+Kafka工作流程分析+Kafka API实战+Kafka Producer拦截器+Kafka Streams

第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka 生产过程分析3.1.1 写入方式3.1.2 分区(Partition)3.1.3 副本(Replication)3.1.4 写入流程3.2 Broker 保存消息3.2.1 存储方式3.2.2 存储策