MyCat 启蒙:分布式系统的数据库架构演变

MyCat是一个数据库分库分表中间件,使用MyCat可以非常方便地实现数据库的分库分表查询,并且减少项目中的业务代码。今天我们将通过数据库架构发展的演变来介绍MyCat的诞生背景,以及MyCat在其中扮演的角色,从而使得大家对MyCat的诞生及其作用有深入的理解。

单数据库架构

一个项目在初期的时候,为了尽可能快地验证市场,其对业务系统的最大要求是快速实现。在这个阶段,代码开发人员为了能快速实现业务系统,一般都是将所有层级(MVC)的业务代码都写在同一个项目中,所有的业务数据都存放在同一个数据库中。此时,项目的整体架构图如下所示: 

从上图可以看到,我们在一个项目中集中了注册、登陆、购物三个模块的业务代码,并且这三个业务模块都读取同一个业务数据库。

但随着项目的不断推进,用户量不断增长,单台应用服务器已经无法承受如此巨大的流量了。此时常见的做法是把项目进行分布式部署,分散单台服务器的流量,从而可以暂时缓解用户增长带来的应用服务器压力。此时的项目架构图如下所示: 

但随着我们部署的应用服务器越来越多,后端的单台数据库服务器已经无法承受如此巨大的流量了。为了尽快缓解用户访问压力,我们一般是在应用服务器与数据库服务器中间加多一个缓存层,通过缓存可以抵消掉一部分的数据库查询操作。此时的项目架构图如下所示: 

分布式部署-缓存-单数据库架构

但是增加数据库缓存层只能缓解数据库访问压力,拦截部分数据库访问请求。随着用户访问量的进一步增长,数据库访问的瓶颈还是会进一步凸显。这个时候,我们不得不对数据层的架构进行改造。

主从数据库架构

这个时候常用的解决方案就是将原本单台数据库服务器变成主从模式的数据库服务器,即一台数据库作为主库支持写入数据,一台数据库作为读库支持查询数据。此时项目的架构图如下所示: 

我们通过数据库主从同步实现了读写分离,将所有读操作都引导到从库进行,将所有写操作都引导到主库进行。

因为我们对数据库层进行了改造,规定所有读数据库操作要访问从库,所有写数据库操作要访问主库,那么我们就必须对原来的代码进行改造。

public User selectUser(){ 
dataTemplate.selectById(…); 

public User insertUser(){ 
dataTemplate.insert(user); 

上面是改造前的代码,无论是读操作还是写操作,我们都使用同一个数据源进行操作。但为了适应新的数据库架构,我们必须在代码中手动判断应该请求哪个数据源。

public User selectUser(){ 
readTemplate.selectById(…); 

public User insertUser(){ 
writeTemplate.insert(user); 

经过修改后的代码,开发根据自身经验判断应该选择哪个数据源进行操作。当是读操作的时候,我们选择 readTemplate。当是写操作的时候,我们选择 writeTemplate。

但作为一个程序员,我们隐隐约约觉得识别应该用哪个数据源这个判断不应该人工判断,而应该自动让代码去判断。毕竟这个判断的模式很简单 —— 如果是 select 那么就用读的数据源,如果是其他那么就用写的数据源。

其实这个就是 MyCat 的用途之一,即作为一个数据库中间件去解决数据源判断问题。如果我们使用 MyCat 作为数据库中间件,那么我们不需要关心我应该使用哪个数据源。MyCat 帮我们屏蔽了不同数据源的差异,对于我们来说就只有一个数据源,这个数据源能处理写操作,也能处理读操作。上面查询和插入的代码就可以变成下面这样:

public User selectUser(){ 
dataTemplate.selectById(…); 

public User insertUser(){ 
dataTemplate.insert(user); 

实现了主从数据库架构,再使用 MyCat,你发现我们并不需要去修改太多的代码,只需要将数据源改为 MyCat 地址即可。MyCat 自动把我们所有的语句发送给后端的 MySQL 服务器。

当我们使用了主从数据库架构之后,我们会发现我们能支撑更多的用户访问和请求了。但随着业务的进一步发展,其实可以发现会存在一些问题:

当我们修改了注册模块的时候,我们需要整个项目都发布一次,这样会影响到登录、购物模块的正常使用。

即使每次改动的代码即使很小,我们还是需要发布整个项目包,这使得每次发布的代码包非常巨大。

随着业务量的不断增长,我们会发现即使实现了主从的读写分离,数据库的压力也是非常大,似乎快要承受不了了。

上面说的这些问题只是实战中遇到的一部分问题,事实上遇到的问题只会更多不会更少,而且随着业务的不断发展会愈加凸显。

垂直切分数据库架构

此时为了各个业务模块不互相影响,我们把应用层进行垂直拆分,即把注册模块、登陆模块、购物模块都单独作为一个应用系统,分别读写独立的数据库服务器。此时,我们的系统架构图如下图所示: 

实现了垂直拆分之后,我们可以成功解决上面说到的三个问题:业务模块相互影响问题、单数据库压力问题。

但是随着业务的进一步扩大,我们又增加了许多业务模块:客服模块、钱包模块、个人中心模块、收藏夹模块、订单模块等。按照我们之前所设计的数据库架构,我们会存在许多个数据源,这些数据源分散在各个项目中:

用户数据库 192.168.0.1

商品数据库 192.168.0.2

短信数据库 192.168.0.3

客服数据库 192.168.0.4

钱包数据库 192.168.0.5

……

对于一个项目管理者来说,这么多的数据源分散在不同项目中,怎么统一管理是一个问题。很多时候我们都很难记住这个项目连接的是哪个数据库,那个项目连接的是哪个数据库。

但如果你使用了 MyCat 作为数据库中间件的话,MyCat 就可以帮你解决这个问题。对于所有项目来说,它们只需要统一连接 MyCat 对外提供的一个地址,而 MyCat 则帮这些项目联系所有后端的 MySQL 数据库。对于前端的项目俩说,它们只知道 MyCat 这个数据库中间件,而不需要去理会我到底连接哪个数据库,MyCat 通过自身配置可以完成这个任务。

哪个表的冗余代码,从而让开发人员更专注于业务逻辑的开发。

水平切分数据库架构

当数据库架构经历了主从架构、垂直拆分架构之后,应对一般的业务读写是没有什么问题了。但对于一些核心的业务数据,可能还是会有瓶颈问题,例如用户模块。

对于一些用户量高达一个亿的用户系统来说,即使经过主从架构、垂直拆分架构的优化,但其用户数据库的单个表里需要存储的数据还是高达一个亿的大小。如果我们把所有的数据都存放在一个表里,无论是注册时的插入数据,或者是登陆时的查询数据,势必会变得很慢。

这时候,我们就不得不对这些高数据量的核心业务表进行水平拆分,即将海量的数据记录拆分到多张表中保存。例如我们一开始可能只有一张 User 表,我们将 User 表按照用户 ID 对 1000 取余进行拆分,那么我们就会有 1000 张表,分别是 User_000 至 User_999。此时,项目的架构图如下所示: 

当我们在代码中查询用户数据时,我们先根据用户 ID 取余判断其应该操作的表,之后再查询对应的表。例如 UserId 为 90749738 的用户就应该查询 User_38 表,UserId 为 74847383 的用户就应该查询 User_83 表。

通过水平拆分,我们成功解决了海量数据核心业务表的读写瓶颈问题。但此时在代码层面上有一个问题出现了,那就是我们需要在查询数据库之前,根据 UserId 去判断应该查询哪个表,这个操作对于所有业务模块来说都是高度一致的,应该抽离成一个公用的项目。

与判断应该使用读数据源还是写数据源一致,我们都觉得这样机械的任务不应该丢给程序员做,应该让机器去做。这其实就是 MyCat 可以帮我们做的事情:MyCat 通过配置一系列的分库分表规则,让 MyCat 帮我们自动判断应该查询哪一个分表。通过使用 MyCat 数据库中间件,我们可以省去在代码层判断查询哪个表的冗余代码,从而让开发人员更专注于业务逻辑的开发。

总结

从单一的数据库架构,到主从读写分离的数据库架构,再到垂直拆分、水平拆分的数据库架构。我们可以看到 MyCat 帮我们解决了读写数据源判断、繁杂数据源地址、分表判断这三个机械的重复性的问题。

但 MyCat 发展至今,其功能已经远远超过上面说的这三个。例如 MyCat 支持主从切换功能,当数据库主库发生网络问题或其他故障时,MyCat 可以自动切换到从库,从而保证正常读写功能的进行。MyCat 的定位是一个数据库中间件,但凡所有处于应用层和数据层之间的事情,MyCat 都可以做。

推荐一个交流学习裙:69—7-57-9-7-5-1 里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发、高性能、分布式、微服务架构的原理,JVM性能优化这些成为架构师必备的知识体系。还能领取免费的学习资源,目前受益良多: 

?通过这篇文章,我们了解了 MyCat 的诞生背景以及其最基本的作用,那么在下一篇文章我们将用一个最简可用的Demo把 MyCat 用起来。

原文地址:https://www.cnblogs.com/hang520/p/9199777.html

时间: 2024-10-04 15:49:26

MyCat 启蒙:分布式系统的数据库架构演变的相关文章

直播平台的数据库架构演变

8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团和阿里云数据库老司机们,为大家分享了一线数据库实践经验和技术干货.在本次峰会上,特邀嘉宾映客直播架构师王振涛分享了映客直播作为创业公司从0至日活千万的数据库架构变迁,数据库在直播中的经典应用场景,数据库存储的优化思路,以及如何构建一个高可用数据库架构. 以下内容根据演讲嘉宾现场视频以及PPT整理而成. 本次分享的内容将主要围绕以下四个部分: 一.映客直播发展历程 二.直播遇上云数据库 三.风口上的数据库架构变迁 四.直播典型应用场

数据库架构演变及分库分表

当生产环境中业务量激增,数据库数据量也会极具增加.当数据库的数据量达到一定程度时(数据库瓶颈),数据库宿主机负载超高,会严重影响业务,严重时会导致数据库宕机.为了避免这种极端情况的发生,我们应当在发生前做好预案,用于解决数据库数据量过载的问题.以下是我个人工作中使用的解决方案:1)数据库主从或多主多从方案2)数据库冷热数据拆分3)数据库分库分表操作4)在数据库前端增加缓存redis或memcached 一开始时,公司部分业务的架构如下(全都是单节点情况)经过自己强调该架构严重的缺点:节点单一,服

数据库架构的演变

 如果你对项目管理.系统架构有兴趣,请加微信订阅号"softjg",加入这个PM.架构师的大家庭 最近看了很多公司架构的演变的文章,发现其中的基本思路和架构演变都很类似,这里也总结一下数据库架构的演变以及演变背后的思路. 单主机 最开始网站一般都是由典型的LAMP架构演变而来的,一般都是一台linux主机,一台apache服务器,php执行环境以及mysql服务器,一般情况下,这些都在一台虚拟主机上,简称单主机模式. 单主机模式缺点: 1 web服务器和mysql服务器公用一台主机

Web集群实现共享存储的架构演变及MogileFS

本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现: =================================================================== 1 共享存储的架构演变 2 分布式存储系统 2.1 基础知识 2.2 分类 2.3 CAP理论 2.4 协议 3 MogileFS 3.1 特性 3.2 架构 3.3 组成 3.4 服务安装及启动 3.5 配置部署 3.6 配置前端代理N

大型网站架构演变史(含技术栈与价值观)

这篇文章是参考李智慧的<大型网站技术架构:核心原理与案例分析>和现蘑菇街CTO曽宪杰的<大型网站系统与Java中间件实践>写的一篇读书笔记. 前言 何谓大型网站?大型网站的特点是什么?大型网站架构发生演变的源动力是什么?大型网站的架构演变经历了哪些阶段?在演变的某个具体阶段使用到常用技术有哪些,为什么要使用这些技术,同时这些技术又解决了什么问题?笔者在初次接触大型网站时思考了以上几个问题,本着缘木求鱼的方式,我打算详细的扒一扒大型网站的演变史.如果对以上的几个问题都理解透彻了,那么

从单一WAR到多活, 记述一个创业公司的架构演变

从单一WAR到多活, 记述一个创业公司的架构演变 本故事纯属虚构,如有雷同,实属巧合 程 是一个爱折腾,喜欢交朋友的程序员. 某一天,程一个朋友介绍了另外一个朋友 创 给他,创说他有个点子,可以改变世界,现在就差一个程序员.程看了创的PPT,觉得还不错,反正也没妹子,平时下班回家或者周末也没事干,就答应创,做他的合伙人,给他开发网站. 单一垂直架构 程把他自己在大学的时候做的基于Java的考试管理系统,拿来改了改,又自学了一些前端,三个月后,第一个版本的网站上线了.这个东西的后台大概这个样子,所

数据库架构

看到一篇讲数据库架构的文章,四种方案优缺点描述很清晰,转了:https://www.cnblogs.com/littlecharacter/p/9084291.html 一.数据库架构原则 高可用 高性能 一致性 扩展性 二.常见的架构方案 方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb 1.高可用分析:高可用,主库挂了,keepalive(只是一种工具)会自动切换到备库.这个过程对业务层是透明的,无需修改代码或配置. 2.高性

大型网站架构演变

1.简介 大型网站架构的演进最开始都是由小及大慢慢演变过来的,任何一个好的架构都不是设计出来了,是经过业务发展迭代而来的,这个观点我是赞同的.对于网站架构技术非常有兴趣,一直持续关注学习架构技术,本次想通过大型网站技术发展历程,剖析大型网站技术架构模式,深入分析大型互联网架构设计.这篇文章我们只关注架构的演变历程.通过电商业务为例,该系统的功能有用户模块[用户注册和管理].商品模块[商品展示和管理].交易模块[创建交易和管理].通过图例分析一个最初从单台LAMP怎么发展到庞大的分布架构体系. 线

技术架构演变

微服务架构介绍 https://www.cnblogs.com/mrhelloworld/p/12388859.html 技术架构演变 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进. 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本. 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键. 缺点:随着应用功能的增多,代码量越来越大,越来越难