codis/redis数据数据迁移至阿里云redis服务器

本次迁移采用了唯品会的开源工具RMT

1.阿里云redis服务器的购买

注:要和生产上数据的内存大小一致 不然有些key会迁移失败

很明显的OOM报错

2.迁移机器的cpu要足够  迁移会有一段时间的负载上升 对迁移机器的IOPS有要求

rmt_redis.c:1474 Error: I/O error reading bulk count from MASTER

这种报错你就需要查看一下 迁移codis服务器的性能了

3.RMT(redis-migrate-tool)工具的安装

git clone https://github.com/vipshop/redis-migrate-tool.git

cd redis-migrate-tool

autoreconf -fvi  (没有的话yum一下)

./configure

make

4.RMT的配置

[source]
type: single
servers:
- codis:端口

[target]
type: single
servers:
 - ali.redis.rds.aliyuncs.com:端口
 redis_auth:密码
[common]
listen: 0.0.0.0:8888
mbuf_size: 1024

5.RMT启动

redis-migrate-tool -c rmt.conf -o rmt.log -d

6.RMT日志

出现如下说明 开始备份了

540350520268102-16856.rdb write complete

7.检查

通知状态页和 dbsize 确定 Key 数量是否一致 (初始同步完成) 执行 redis-cli -p 8888 info 确认

# 为 1
all_rdb_received:1
all_rdb_parsed:1
# Codis group 数量
rdb_received_count:2
rdb_parsed_count:2

配置服务连接 Redis 实例,检查 Codis 连接,知道所有连接断开,执行 redis-cli -p 8888 info 确认

# 为1
all_rdb_received:1
all_rdb_parsed:1
# Codis group 数量
rdb_received_count:2
rdb_parsed_count:2
# 一致
total_msgs_recv:27005
total_msgs_sent:27005
# 为0
total_mbufs_inqueue:0
total_msgs_outqueue:0

具体配置文件可以参考:https://blog.csdn.net/ahzxj2012/article/details/74347984

原文地址:https://www.cnblogs.com/gzcheng/p/9842442.html

时间: 2024-11-08 23:54:00

codis/redis数据数据迁移至阿里云redis服务器的相关文章

Android客户端与Java服务器交互数据(二)阿里云ACE服务器搭建

前段时间写了一个新浪SAE部署代码的小总结,刚好今天阿里云云引擎ACE公测的审核资格通过了,就来对比一下ACE与新浪SAE的使用. 首先是账号,ACE作为阿里产品自然可以通过淘宝账号直接登录,而SAE则可以通过微博账号登录. http://www.aliyun.com/ 阿里云的主营业务比较多,主页很花哨,点击右上角的"管理控制台",然后进入"云引擎ACE",创建应用环境: 这里先写一个简单的JSP工程作为演示,打开Eclipse for JavaEE,然后File

大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录

一.背景介绍 最近几天,接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务.而申请的这个ODPS平台是属于政务内网的,因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的,所以不能使用数据采集工作流模板. 然而,考虑到原大数据平台数据量并不是很大,可以通过将原大数据平台数据导出到CSV文件,然后再将CSV文件导入到ODPS平台.在这个过程中踩的坑有点多,所以想写篇文档作为记录. 二.大数据平台Hive数据导出到本地 编写export_data.sh脚本如下: #!/

解密阿里云Redis助力双十一背后的技术

摘要: Redis是一个使用范围很广的NOSQL数据库,阿里云Redis同时在公有云和阿里集团内部进行服务,本文介绍了阿里云Redis双11的一些业务场景:微淘社区之亿级关系链存储.天猫直播之评论商品游标分页和菜鸟单据履行中心之订单排序. 双11如火如荼的结束了,阿里云Redis(ApsaraDB for Redis原KVStore)也圆满完成了双11Redis的保障工作.目前阿里云Redis提供了单机版本和集群版本的Redis. 单机版本Redis具有很高的兼容性,并且支持Lua脚本及地理位置

阿里云Redis使用规范

一.键值设计 1.key名设计 (1)[建议]: 可读性和可管理性 以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id ugc:video:1 (2)[建议]: 简洁性 保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如: user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}. (3)[强制]: 不要包含特殊字符 反例:包含空格.换行.单双引号以及其他转义字符 2.value设计 (

兑吧:从自建HBase迁移到阿里云HBase实战经验

摘要: 业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务.推啊网络是一家互动式广告平台,经过多年的探索与实践,首创了全新的移动广告模式,实现了广告主.媒体.用户多方共赢. 业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务.推啊网络是一家互动式广告平台,经过多年的探索与实践,首创了全新的移动广告模式,实现了广告主.媒体.用户多方

阿里云Redis开发规范(转)

一.键值设计 1. key名设计 (1)[建议]: 可读性和可管理性 以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id ugc:video:1 (2)[建议]:简洁性 保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如: user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}. (3)[强制]:不要包含特殊字符 反例:包含空格.换行.单双引号以及其他转义字符 2. value设计 (

阿里云 Redis 服务遇到的问题

ERR unknown command eval 说明: 执行当前 Web 请求期间,出现未经处理的异常.请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息. 异常详细信息: StackExchange.Redis.RedisServerException: ERR unknown command eval 源错误: 执行当前 Web 请求期间生成了未经处理的异常.可以使用下面的异常堆栈跟踪信息确定有关异常原因和发生位置的信息. 堆栈跟踪: [RedisServerExcep

Linux通过端口转发来访问内网服务(端口转发访问阿里云Redis数据库等服务)

# 安装rinetd wget http://www.boutell.com/rinetd/http/rinetd.tar.gz&&tar -xvf rinetd.tar.gz&&cd rinetd sed -i 's/65536/65535/g' rinetd.c (修改端口范围) mkdir /usr/man&&make&&make install 说明:IP的端口是双字节,也就是256*256-1, 256*256对计算机来说就是0,因

用StackExchange.Redis客户端连接阿里云Redis服务遇到的问题

阿里云推荐的Redis服务.NET客户端是ServiceStack.Redis,但ServiceStack.Redis不支持异步,不支持.NET Core,于是尝试使用StackExchange.Redis.Microsoft.Extensions.Caching.Redis用的也是StackExchange.Redis,于是直接使用Microsoft.Extensions.Caching.Redis. 测试代码如下: var options = new RedisCacheOptions {