Memcached 集群的高可用(HA)架构

Memcache自身并没有实现集群功能,如果想用Memcahce实现集群需要借助第三方软件或者自己设计编程实现,这里将采用memagent代理实现,memagent又名magent,大家注意下,不要将这二者当成两种工具。至于memcache、magent的安装请参考文章  在Linux上安装Memcached服务和 magent编译安装及常见错误

整体架构

直接上图:

从图中可以看到有两个magent节点,两个memcached节点,每个magent节点又分别代理两个memcached节点,应用系统端使用magent pool来调用memcache进行存储。硬件结构为两台linux服务器,每台服务器上分别安装magent和memcached服务,并设为开机启动。这样做的好处是任何一台服务器宕机后都不影响magent pool获取memcache信息,即实现了memcached的高可用(HA),如果两台机器都宕机了,只能说明你RP太差了。当然,也可以用三台、四台或者更多服务器来提高HA。

测试HA

测试背景,本地局域网内两台服务器172.18.117.71(memcache端口11211,magent端口11210),172.18.117.113(memcache端口11211,magent端口11210),和两台服务器在同一局域网内的测试机器,下边是测试代码:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;

public class MainTest {

	public static void main(String[] arg){
		SockIOPool pool = SockIOPool.getInstance();
		//magent连接池
		pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
		pool.setSocketTO(3000);
		pool.setNagle(false);
		pool.setSocketConnectTO(0);
		pool.initialize();
		MemCachedClient memCachedClient = new MemCachedClient();
		memCachedClient.set("becd0000", "测试例子");
		//System.out.println(memCachedClient.get("becd0000"));
		//System.out.println(memCachedClient.flushAll());
	}

}

步骤1:将key为“becd0000”,value为“测试例子”通过magent的pool放到memcache中

步骤2:修改magent连接池为单个memcache连接,代码如下

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;

public class MainTest {

	public static void main(String[] arg){
		SockIOPool pool = SockIOPool.getInstance();
		//magent连接池
		pool.setServers(new String[] { "172.18.117.71:11211"});
		pool.setSocketTO(3000);
		pool.setNagle(false);
		pool.setSocketConnectTO(0);
		pool.initialize();
		MemCachedClient memCachedClient = new MemCachedClient();
		//memCachedClient.set("becd0000", "测试例子");
		System.out.println(memCachedClient.get("becd0000"));
		//System.out.println(memCachedClient.flushAll());
	}

}

可以看到单独访问memcache是可以取到刚才所存储的值的。

步骤3:修改

pool.setServers(new String[] { "172.18.117.71:11211"});

pool.setServers(new String[] { "172.18.117.113:11211"});

再次执行可以看到和步骤2一样的结果,都可以取到值,说明通过magent代理存的值会分别放到两个memcache中

步骤4:停止172.18.117.113上的memcached服务

停止memcached服务命令:kill "cat /tmp/memcached.pid"

步骤5:再次通过magent代理取值,代码如下:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;

public class MainTest {

	public static void main(String[] arg){
		SockIOPool pool = SockIOPool.getInstance();
		//magent连接池
		pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
		pool.setSocketTO(3000);
		pool.setNagle(false);
		pool.setSocketConnectTO(0);
		pool.initialize();
		MemCachedClient memCachedClient = new MemCachedClient();
		//memCachedClient.set("becd0000", "测试例子");
		System.out.println(memCachedClient.get("becd0000"));
		//System.out.println(memCachedClient.flushAll());
	}

}

可以看到依然能够取到值。

步骤6:启动刚才停掉的memcached服务,重启后memcache中所有信息将清空

步骤7:再次通过magent代理池去取key为“becd0000”的值,代码如下:

import com.danga.MemCached.MemCachedClient;
import com.danga.MemCached.SockIOPool;

public class MainTest {

	public static void main(String[] arg){
		SockIOPool pool = SockIOPool.getInstance();
		//magent连接池
		pool.setServers(new String[] { "172.18.117.71:11210","172.18.117.113:11210" });
		pool.setSocketTO(3000);
		pool.setNagle(false);
		pool.setSocketConnectTO(0);
		pool.initialize();
		MemCachedClient memCachedClient = new MemCachedClient();
		//memCachedClient.set("becd0000", "测试例子");
		System.out.println(memCachedClient.get("becd0000"));
		//System.out.println(memCachedClient.flushAll());
	}

}

可以看到这里取到的值为null。

结果分析

通过以上测试可以得出结论

1、通过magent的连接池放的值会分别存在magent代理的所有memcached上去

2、如果有一个memcached宕机通过magent代理方式还能取到值

3、如果memcached修复重启后通过magent代理方式取到的值就会为Null,这是由于memcache重启后里边的值随着memcache服务的停止就消失了(因为在内存中),但是magent是通过key进行哈希计算分配到某台机器上的,memcache重启后会还从这台机器上取值,所有取到的值就没空。

解决办法

1、在每次memcache宕机修复后可以写一个程序把集群中的其他memcache的所有信息全给拷贝到当前宕机修复后的memcache中。

2、自己写代理,当从一个memcached服务上取到的值为null时再去其他memcached上取值

注意事项

magent的调用方式同memcached一样,客户端可以不用改代码即可实现切换到magent模式下

版权所有,转载请注明作者、出处。

Memcached 集群的高可用(HA)架构

时间: 2024-11-03 02:15:58

Memcached 集群的高可用(HA)架构的相关文章

浅谈web应用的负载均衡、集群、高可用(HA)解决方案(转)

1.熟悉几个组件 1.1.apache     —— 它是Apache软件基金会的一个开放源代码的跨平台的网页服务器,属于老牌的web服务器了,支持基于Ip或者域名的虚拟主机,支持代理服务器,支持安 全Socket层(SSL)等等,目前互联网主要使用它做静态资源服务器,也可以做代理服务器转发请求(如:图片链等),结合tomcat等 servlet容器处理jsp.1.2.ngnix     —— 俄罗斯人开发的一个高性能的 HTTP和反向代理服务器.由于Nginx 超越 Apache 的高性能和稳

Memcached集群/分布式/高可用 及 Magent缓存代理搭建过程 详解

当网站访问量达到一定时,如何做Memcached集群,又如何高可用,是接下来要讨论的问题. 有这么一段文字来描述“Memcached集群” Memcached如何处理容错的? 不处理!:) 在memcached节点失效的情况下,集群没有必要做任何容错处理.如果发生了节点失效,应对的措施完全取决于用户.节点失效时,下面列出几种方案供您选择: * 忽略它! 在失效节点被恢复或替换之前,还有很多其他节点可以应对节点失效带来的影响. * 把失效的节点从节点列表中移除.做这个操作千万要小心!在默认情况下(

Windows & RabbitMQ:集群(clustering) & 高可用(HA)

描述:我们需要配置三台服务器:ServerA, ServerB, ServerC 注意事项: 所有的服务器的Erlang版本,RabbitMQ版本必须一样 服务器名大小写敏感 Step 1:安装RabbitMQ 1. ServerA:Windows & RabbitMQ:安装,Step 1, 2, 3, 4, 5 2.ServerB, ServerC:Windows & RabbitMQ:安装,Step 1, 2 Step 2:修改ServerA, ServerB, ServerC的Hos

java架构师大型分布式综合项目实战,高并发,集群,高可用,程序设计,性能优化,架构设计,负载均衡,大数据量

* { font-family: "Microsoft YaHei" !important } h1 { color: #FF0 } 15套java架构师.集群.高可用.高可扩 展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布 式项目实战视频教程 视频课程包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.Nginx.Mycat

15套java架构师、集群、高可用、高可扩 展、高性能、高并发、性能优化大型分布 式项目实战视频教程

2017-08-09 * { font-family: "Microsoft YaHei" !important } h1 { color: #FF0 } 15套java架构师.集群.高可用.高可扩 展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布 式项目实战视频教程 视频课程包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.

java架构师、集群、高可用、高可扩展、高性能、高并发、性能优化

15套java架构师.集群.高可用.高可扩展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布式项目实战视频教程 视频课程内容包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.Nginx.Mycat.Spring.MongoDB.ZeroMQ.Git.Nosql.Jvm.Mecached.Netty.Nio.Mina.性能调优.高并发.to

keepalived实现LVS集群的高可用(1)

HA集群:高可用集群: 实现方式:vrrp协议和ais完备HA集群 vrrp可以由keepalived实现 ais可以由heartbeat和corosync vrrp协议:虚拟冗余路由协议 VRRP为虚拟路由冗余协议,目的就是为了解决静态路由单点故障问题.在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MAS

RabbitMQ 集群与高可用配置

RabbitMQ 集群与高可用配置 集群概述 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收. 这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制.本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务. 环境 · CentOS 6

Redis 哨兵集群实现高可用

哨兵的介绍 sentinel,中文名是哨兵.哨兵是 redis 集群机构中非常重要的一个组件,主要有以下功能: 集群监控:负责监控 redis master 和 slave 进程是否正常工作. 消息通知:如果某个 redis 实例有故障,那么哨兵负责发送消息作为报警通知给管理员. 故障转移:如果 master node 挂掉了,会自动转移到 slave node 上. 配置中心:如果故障转移发生了,通知 client 客户端新的 master 地址. 哨兵用于实现 redis 集群的高可用,本身