转:讲讲Mysql的三高集群架构,所谓三高,就是“高可用”、“高负载”、“高性能”的架构方案。

from:https://www.toutiao.com/i6717521873397088780/?timestamp=1569389190&app=news_article&group_id=6717521873397088780&req_id=2019092513263001002607901724F149F2

目录

  1. 前言
  2. 主从架构
  3. MHA架构
  4. PXC方案
  5. MHA与PXC
  6. 最终推荐方案
  7. 总结

前言

小伙伴们在项目开发中,无法避免的要跟数据库打交道,一般在互联网公司所采用的数据库都为Mysql,而且创业公司都采用的单机方式。

这种方式自己玩玩可以,运用到实际项目中,那肯定要挨批的。

一方面数据不安全,万一数据库的电脑磁盘坏了,就坑了。

另一方面数据库的并发能力是有限的,一般并发数200~500就差不多了,当然你要继续往上增,也是可以的,那就影响整体Mysql的响应时间。

今天老顾来讲讲Mysql的三高集群架构,所谓三高,就是“高可用”、“高负载”、“高性能”的架构方案。

老顾这里说明一下,只是从整体上面介绍集群方案,不会那么深入;但会讲一些网上缺失的、而且很重要的思想。了解全面架构是非常重要的,具体细节自行查阅。

主从架构

Mysql的主从架构是最容易想到的,先来个图:

主从方案是我们很多中间件采用的方式,Mysql的主从方式,数据由主Mysql同步到从Mysql中,数据同步是单向的。

同步的方案有几种方案(异步、同步、半同步),网上介绍很多,老顾就不详细讲了。

主从方案的特点:

1、解决了数据安全问题

2、结合一些中间件(如:mycat)或工具(如:sharding-jdbc)实现读写分离;提高Mysql的整体性能/负载

注:读写分离含义:数据的更新(即写请求)操作的是主Mysql,数据再同步到从Mysql中;读取数据(读请求)是访问的从Mysql。

我们从图中可以看出,一主多从的方案中只有一个写节点(主mysql),一旦主Mysql出现问题,整个系统就无法进行写请求,那肯定是不行的。

主Mysql有单节点故障隐患,怎么解决?网上说的方案也有很多,老顾只介绍大厂采用的,比较成熟的方案。

MHA方案

MHA全称Master High Availability,从名字上面就可以看出它的作用,就是解决主节点的高可用问题。

MHA目前在 MySQL 高可用方面是一个相对成熟的解决方案,它由日本人开发,是一套优秀的作为 MySQL高可用性环境下故障切换和主从提升的高可用软件。MHA 能做到 0~30 秒之内自动完成数据库的故障切换操作。

MHA 由两部分组成:MHA Manager(管理节点)和 MHA Node(数据节点),如图:

管理节点主要起到监控作用,如果发现主节点不可用,就发起主从切换和故障转移。

目前MHA主要支持是一主多从的架构,要求至少要3个节点,一主二从。

那MHA在主节点挂掉后,是怎么进行切换的?

1、主节点挂了,在从节点中重新选举一个新备选主节点,原则是binlog最新最近更新的从节点作为新备选主节点。

2、在备选主节点和其他从节点之间同步差异中继日志(relay log)

3、应用从原来的主节点上保存二进制日志

4、提升备选主节点为新主节点

5、迁移集群其他从节点 作为 新主节点的 从节点。

上面介绍了是核心流程,其实MHA内部做了很多业务,核心思想就是尽可能的保证数据一致性,不让数据丢失。虽然MHA已经做了很好,但有些场景还是不能避免。

还有一个问题就是主节点把数据同步到从节点是有延时的,尤其在高并发情况下,同一刻主节点和从节点数据会不一致。

Mysql在这方面也进行很多优化,如半同步方式,在5.7版本又增加了after sync方式,确保数据一致,但多个从节点之间还是存在数据延时。

那有没有一个方案能够确保数据的强一致性?我们接着往下看。

PXC方案

PXC是percona公司的percona xtraDB cluster,简称PXC。它是基于Galera协议的高可用集群方案。可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据强一致性。

PXC架构中Mysql无主从之分,都是相同的。而且每个节点都是能够提供读和写,是不是很酷,那PXC是怎么实现各个节点数据强一致性的呢?

上面是个时序图,就是PXC执行的流程,小伙伴们是不是感觉很复杂,老顾可以教大家可以这样理解:

其实就是一句话,PXC的原理其实在提交事务时,确保所有的节点事务都要成功提交,才返回成功;如果其中有一个不成功,就回滚数据,返回不成功,

正因为这样的原理,就确保数据肯定是一致的,而且是实时一致;当然这样就导致性能有损耗。PXC另一个好处就是每个节点都可以提供读写请求,不管写在哪个节点,都能够保证数据强一致性。

MHA与PXC

1、MHA主要写入速度很快,但数据不是强一致性

2、PXC保证数据强一致性,但写入速度慢

那有没有取他们优点的方案呢?来一个终极方案。老顾告诉小伙伴们,其实很多方案不可能都是优点,没有缺点,不可能很完美,最主要的是要知道在什么场景下运用什么方案。

根据MHA 和 PXC方案的特点,我们可以结合自己的业务去决定怎么使用它们?

PXC适合存储高价值的数据,要求数据强一致性,如:账户,订单,交易等等

MHA适合存储低价值的数据,不要求强一致性,如:权限,通知,日志,商品数据,购物车等等

现实情况,很多大厂都是结合使用的,我们看看2017年天猫双11,数据库峰值4200万次/秒,支付峰值25.6万次/秒;这个支付峰值已经创造了一个世界记录(国人的骄傲)。

我们发现支付场景的峰值相对其他业务的峰值比较低,这个是因为支付场景肯定是要求数据强一致性的,只要涉及到钱,用户都会很在意。

最终推荐方案

两种方案的结合,因为PXC架构都可以写,所以在入口处放一个HAProxy作负载均衡,客户端只要访问HAProxy的地址就行了,不需要知道每个PXC节点的地址。

在数据库访问中间件那边肯定要进行业务封装,在设计的时候要明确,哪些数据进入哪个集群环境,当然做的好点,可以配置化(也没有必要,因为业务其实是确定的)

总结

很多小伙伴们在网上喜欢问,哪个方案好,哪个方案不好,有没有一个通吃天下的方案,这个是不现实的,很多方案的选择是要结合相关业务场景的。

关于MHA和PXC很多细节,老顾这里没有介绍,网上介绍的也很多,可以自行查阅。

希望这篇文章可以开拓你的思维,谢谢!!!

原文地址:https://www.cnblogs.com/liuqingsha3/p/11584116.html

时间: 2024-10-19 04:12:42

转:讲讲Mysql的三高集群架构,所谓三高,就是“高可用”、“高负载”、“高性能”的架构方案。的相关文章

可扩展、高可用、负载均衡网站架构设计方案

可扩展.高可用.负载均衡网站架构设计方案 基本需求: 1.  高可用性:将停止服务时间降低到最低甚至是不间断服务 2.  可扩展性:随着访问的增加,系统具备良好的伸缩能力 3.  可视性:系统.服务的状态处于一个实时的监控之下 4.  高性能高可靠性:经过优化的体系结构及合理的备份策略 5.  安全性:结构上的安全及主机的安全策略 基 本思路 1.对于访问频繁,用户量 大的对象(bbs,blog)采用某种合理的方式负载到多个服务器上.把数据库独立出来,准备2套mysql数据库,以实现 主从复制,

mysql集群一:主从复制,通过mysql-proxy做负载均衡

mysql集群架构方式很多,根据不同的需求做不一样的架构,简单一点的就是mysql的replication,也就是Mysql的复制功能,模式有:master-slaves,master-slaves-slaves,master-master-slaves等可以有多个分层,那么现在我所要说的是master-slaves的模式(其他的模式原理基本都一样),然后再通过mysql官方提供的Mysql-proxy实现读写分离,达到负载均衡的效果. 环境: 主机:master:192.168.1.109,s

【MySQL】容器集群支持数据库实践

京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例.架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理.为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS. 本文重点介绍JDOS如何支持CDS.CDS是更大的话题,后续数据库团队会分享相关实践. 介绍 CDS依赖京东坚实的JDOS技术,生产运行1W+个MySQL容器实例.CDS借助JDOS技术优势获得主要3个方面的技术收益: CDS借助Doc

MySQL企业常用集群图解

mysql集群架构图片 1.mysql企业常用集群架构 在中小型互联网的企业中.mysql的集群一般就是上图的架构.WEB节点读取数据库的时候读取dbproxy服务器.dbproxy服务器通过对SQL语句的判断来进行数据库的读写分离.读请求负载到从库(也可以把主库加上),写请求写主库. 这里的dbproxy是数据库集群的唯一出口所以也需要做高可用. drproxy是数据库读写分离的常用软件,amoeba.mycat.cobar也很常用.这类软件不仅带有读写分离功能,还可以实现负载均衡以及后端节点

MySQL Study之--MySQL Cluster(集群)构建

MySQL Study之--MySQL Cluster(集群)构建 一.Mysql Cluster概述与部署 MySql Cluster最显著的优点就是高可用性,高实时性,高冗余,扩展性强. 它允许在无共享的系统中部署"内存中"数据库的Cluster.通过无共享体系结构,系统能够使用廉价的硬件.此外,由于每个组件有自己的内存和磁盘,所以不存在单点故障. 它由一组计算机构成,每台计算机上均运行者多种进程,包括mysql服务器,NDB cluster的数据节点,管理服务启,以及专门的数据访

Atlas+mysql主主集群实现读写分离

前言 目前线上系统数据库采用的是主主架构.其中一台主仅在故障时切换使用,(仅单台服务器对外提供服务,当一台出现问题,切换至另一台),该结构很难支撑较大并发,另外双主中的另外一台机在非故障时没得到有效利用. 结合以上情况,拟采用数据库中间件提供读写分离功能(一主读写,一主读).既可以提高读并发能力,又可以充分利用数据库服务器,后期可继续增加主主集群的从服务器扩充读并发性能.如下为具体架构图: Atlas官方链接: https://github.com/Qihoo360/Atlas/blob/mas

分布式架构高可用架构篇_02_activemq高可用集群(zookeeper+leveldb)安装、配置、高可用测试

从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式,增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式,其他两种方式目录共享和数据库共享依然存在. 三种集群方式的对比: (1)基于共享文件系统(KahaDB,默认): <persistenceAdapter> <kahaDB directory="${activemq.data}/kahadb"/> </persi

PhxSQL 教程:兼容MySQL的数据库集群

PhxSQL是一个兼容mysql.服务高可用.数据强一致的关系型数据库集群.PhxSQL以单Master多Slave方式部署,在集群内超过一半机器存活的情况下,可自身实现自动Master切换,且保证数据一致性. PhxSQL基于Percona 5.6开发.Percona是MySQL的一个分支,功能和实现与MySQL基本一致(腾云科技TY300.COM).因此本文后续直接把MySQL作为讨论对象. MySQL半同步复制存在缺陷,在Master进行切换的场景下,数据难以保证一致. 当旧Master复

Linux集群(keepalived介绍,Keepalived配置高可用集群,Keepa+mysql

一.Linux集群概述 根据功能划分为两大类:高可用和负载均衡 (1)高可用集群通常为两台服务器,台工作,另外一台作为准备,当提供服务的机器宕机,另外一台将接替继续提供服务. 实现高可用的开源软件有:heartbeat,keepalived (2)负载均衡集群:需要有一台服务器作为分发器,它负责吧用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器了,这些服务器数量最少为2 实现负载均衡的开源软件有LVS,keepalived,haproxy,nginx,商业