死磕MyCat使用篇之第一篇

基本概念

直接介绍概念太枯燥了,还是拿个和背景篇相似的例子介绍
业务场景:客户完成下单,快递员接受并更新运单状态,客户可以随时查看运单状态的任务。一票快递可能有多个子母件。同时,我们需要标记每个运单的状态,运单状态的解释和含义保存在运单状态字典表中。
因此,我们需要建立如下表:

我们现在按照业务将数据库垂直拆分成运单库(单表2000tps,6000W数据),快递员库(单表1500tps,100W数据),客户库(单表1500tps,1000W数据记录);假设每个MySQL数据库单表不能超过2000W数据,单表不能超过1000tps。那么运单库则需要分成3片,客户库需要分成2片,统一由MyCat管理。如下图所示:

1.逻辑库

MyCat作为一个中间件,对应用应为无感知的。
应用访问MyCat,根据之前所述,应用感知到后台只是一个(或者多个,和访问MySQL实例一样)数据库(假设只有一个数据库,这个库叫SF,里面有运单相关表,快递员相关表和客户相关表);这里MyCat的数据库就是逻辑库。访问MyCat,结果应该如下面所示

虽然其中的表可能存在于不同的库,但是表面上,他们属于同一个MyCat实例中的同一个逻辑库。所以,虽然上面的架构图显示他们不在同一个数据库,但是在MyCat中,他们在同一个逻辑库。
2.逻辑表

在逻辑库下的表就是逻辑表。逻辑表可以分片,也可以不分片。
orders表明显是要分片的表,但是在MyCat看来,他们虽然分布在不同的分片节点上(分布在不同的MySQL数据库上),但仍视为是同一个逻辑表,在同一个逻辑库里。
2.1分片表

分片表,是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的数据。分片表都有自己的分片规则,根据分片规则确定分片。
配置里面,如下配置:

<table name="orders" primaryKey="id" dataNode="test$1-2" rule="mod-long">
</table>

意思就是用mod-long规则根据主键id将运单表orders分割到test1,test2这两个数据库(分片节点)上。
请求情况1:

select * from orders where id = 1;

对于分片表的查询,如果按照分片列查询,则请求只会被发送到一个分片上。
请求情况2:

select * from orders where id < 100 and id > 0;

对于分片表的查询,如果按照分片列范围(在字段类型支持范围的情况下)查询,则请求会根据分片规则计算两个边界值,然后将请求发送到对应结果的分片上,并合并每个分片的结果。
请求情况3:

select * from orders where initialpoint = ‘Beijing‘;

像这种根据非分片列查询的情况,请求会被发送到所有分片上,并合并每个分片的结果。
请求情况4:
请求为更新类型的sql语句,与查询的三种情况相同处理。
2.2 非分片表

一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那些不需要进行数据切分的表。
例如:

<table name="courier" primaryKey="id" dataNode="test3">
</table>

意思就是快递员表不用分片,保存在test3这个分片节点上。
对于非分片表的操作和对普通数据库的一样,因为不涉及到分布式数据库。
2.3 ER表

关系型数据库是基于实体关系模型(Entity-Relationship Model)之上,通过其描述了真实世界中事物与关系,Mycat中的ER表即是来源于此。根据这一思路,提出了基于E-R关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片上,即子表依赖于父表,通过表分组(Table Group)保证数据Join不会跨库操作。
表分组(Table Group)是解决跨分片数据join的一种很好的思路,也是数据切分规划的重要一条规则。
如下:

<!-- 运单表,对主键id对2取模 -->
<table name="orders" primaryKey="id" dataNode="test$1-2" rule="mod-long">
    <!-- 运单子母件表,运单表的子表,order_id与orders的id列对应 -->
    <childTable name="orders_cargo" joinKey="order_id" parentKey="id">
    </childTable>
</table>

运单表为分片表,运单表和运单子母件表为一对多关系,可以做成父子表。
对于子表的sql请求,都是通过joinKey对应到父表对应字段后,按照之前分片表的规则进行处理。
2.4 全局表

一个真实的业务系统中,往往存在大量的类似字典表的表,这些表基本上很少变动,字典表具有以下几个特性:

变动不频繁
数据量总体变化不大
数据规模不大,很少有超过数十万条记录。

对于这类的表,在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较棘手的问题,所以Mycat中通过数据冗余来解决这类表的join,即所有的分片都有一份数据的拷贝,所有将字典表或者符合字典表特性的一些表定义为全局表。
数据冗余是解决跨分片数据join的一种很好的思路,也是数据切分规划的另外一条重要规则
比如:

<!-- 运单状态信息表,公共表,放在和运单表同样的分片上 -->
<table name="order_status_interception" primaryKey="id" type="global" dataNode="test$1-2">
</table>

运单状态信息字典表,只是注释每种运单状态,就是典型的字典表,与分片表orders为多对一的关系。
对于全局表,所有的查询请求,只会发送到其中一个全局表分片上执行,所有的更新请求,会在每个全局表分片上执行。
2.5 如何决定?

根据之前的描述,我们可以推断出,对于分片表的修改和查询,如果是按照分片字段进行查找的话,则请求会被转发到一个分片上。如果不是按照分片字段的话,就会把请求发到每一个分片上进行查找。所以,分片字段的选择比较重要!对于全局表,相当于在每个分片上有一份相同的复制,修改请求会在每一个分片上执行,但是查询只会落到一个分片上。所以,全局表尽量是不会改变的而且是需要和分片表做Join操作的,如果经常改变或者不需要做join,最好还是做成非分片表。

先抛出了这几种逻辑表的概念,大家先有个印象。现在我们结合具体实际讨论如何决定表的类型。

首先,orders表可定是分片表。orders_cargo表是子母件表,一个order可能有多个子母件,所以,最好把orders_cargo作为orders的子表。
这种情况下,orders与orders_cargo按照对应键(就是子表按照哪个键与主表的哪个键对应进行分片。比如orders_cargo就是order_id与orders的id对应。这是以order_id与orders的id进行join结果就是对的)join结果也是正确的。

一对n场景架构
像这种简单的从属关系一对n的表,我们处理起来很简单,一般将它们按照需要做join的键设为父子表即可。

但是下面的场景很麻烦,比如快递员与运单就是多对多的关系,客户对于运单也是多对多的关系(一个收方,一个寄方)。我们既有快递员需要查看自己的所有运单的场景和客户查看自己所有运单的场景。相对的,我们也有查看一个运单涉及到的快递员还有客户的场景。
customer表(客户表)以及courier表(快递员表)因为与分片表orders之间不做join操作,所以不用作为公共表。
首先,关系表可以作为公共表,这样的话,涉及到与分片表的join操作没有限制,因为在每个分片,公共表都是完整的。但是,关系表的更新很频繁,我们可能不能忍受每更新一次关系表就跑到每个分片上都更新一次(性能,可靠性考虑)。
那么作为运单的子表呢?那么查找一个运单涉及到的快递员还有客户就比较简单。因为根据运单号(也就是分片id)查询,MyCat就会根据分片规则给他定位到具体分片,而不是去按分片搜索。

这里写图片描述
但是相应的,快递员查看自己所有运单的场景就比较慢,因为请求是发送到每一个分片上查找。

这里写图片描述
作为快递员的子表也有同样的缺陷。
还有一种方法,就是这种关系表同时作为运单和快递员的子表。但是这样,目前需要应用自己去做双写。MyCat目前还没实现这种。当然,我觉得这是一个我们自己可以根据需要改进的地方。MyCat中间件根据关系冗余表关系进行双写

另外,究竟取哪种方法,都是从业务出发去考虑的。在这里,如果从快递员出发去查找以及从运单出发去查找的业务压力差不多大的话,那么最好就采用关系表同时作为运单和客户的子表这种方法。然后将快递员和运单的业务独立,每个业务应用都去维护自己的关系表,同时通过消息队列来保持关系表之间的一致性。这样也不失为一种方法。

原文地址:http://blog.51cto.com/14181691/2344439

时间: 2024-10-17 03:32:00

死磕MyCat使用篇之第一篇的相关文章

死磕 java同步系列之终结篇

简介 同步系列到此就结束了,本篇文章对同步系列做一个总结. 脑图 下面是关于同步系列的一份脑图,列举了主要的知识点和问题点,看过本系列文章的同学可以根据脑图自行回顾所学的内容,也可以作为面试前的准备. 如果有需要高清无码原图的同学,可以关注公众号"彤哥读源码",回复"sync"领取. 总结 所谓同步,就是保证多线程(包括多进程)对共享资源的读写能够安全有效的运行. 根据同步的运用场景的不同,实现同步的方式也是随之一起变化,但是总结下来,这些实现方式之间又有一些共通之

死磕 java原子类之终结篇(面试题)

概览 原子操作是指不会被线程调度机制打断的操作,这种操作一旦开始,就一直运行到结束,中间不会有任何线程上下文切换. 原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序不可以被打乱,也不可以被切割而只执行其中的一部分,将整个操作视作一个整体是原子性的核心特征. 在java中提供了很多原子类,笔者在此主要把这些原子类分成四大类. 原子更新基本类型或引用类型 如果是基本类型,则替换其值,如果是引用,则替换其引用地址,这些类主要有: (1)AtomicBoolean 原子更新布尔类型,内部使用in

死磕 java原子类之终结篇

概览 原子操作是指不会被线程调度机制打断的操作,这种操作一旦开始,就一直运行到结束,中间不会有任何线程上下文切换. 原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序不可以被打乱,也不可以被切割而只执行其中的一部分,将整个操作视作一个整体是原子性的核心特征. 在java中提供了很多原子类,笔者在此主要把这些原子类分成四大类. atomic 原子更新基本类型或引用类型 如果是基本类型,则替换其值,如果是引用,则替换其引用地址,这些类主要有: (1)AtomicBoolean 原子更新布尔类型

以太坊私链与智能合约部署学习(博主修正篇)—— 第一篇

以太坊(Ethereum)自2017年5月诞生以来,发展迅速.作为了一个小白,博主初步打算上个车,过个瘾.那什么是以太坊?请参看度娘的解释(https://baike.baidu.com/item/%E4%BB%A5%E5%A4%AA%E5%9D%8A/20865117?fr=aladdin). 事物是个新事特,也是个好东西,但资料不多,所以小白博主也只能慢慢找寻资料,慢慢记录自己填坑的过程.  第一篇的主题是:以太坊私链的创建:)    一.配置环境与软件安装 1.安装geth 以下的资料来自

做一名合格的前端开发工程师(12篇)——第一篇 Javascript加载执行问题探索

来源:http://www.cnblogs.com/huangxincheng/archive/2011/12/04/2275988.html,感谢! 做前端开发少不了各种利器.比如我习惯用的还是Google浏览器和重型武器Fiddller. 一: 原始情况 首先大家看看如下的代码: 1 <%@ Page Language="C#" AutoEventWireup="true" CodeBehind="Default.aspx.cs" In

python基础篇【第一篇】

python介绍: python由Guido van Rossum(英文不知道叫什么,大陆名字叫“龟叔”)于1989年发明,第一个公开发行版发行于1991年. python能做什么: Python是一门综合性的语言,你几乎能在计算机上通过Python做任何事情,以下是Python应该最广泛的几个方面: 网络应用:包括web网站 .服务器后台服务等 科学运算:随着NumPy.SciPy.matplotlib.ETS等众多程序库的开发,Python越来越适合于做科学计算.与科学计算领域最流行的商业软

python学习之路网络编程篇(第一篇)

新课程知识的引入:python作用域 #python中无块级别作用域 if 1 == 1 : name = 'alex' print(name) for i in range(10): name = i print(name) #python中以函数为作用域 def func(): name = 'alex' print(name) #程序执行结果 # Traceback (most recent call last): # File "D:/PythonS13/Day10/С????1_pyt

Python游戏篇【第一篇】: Pygame入门

1.Python发展史 1.Python发展史 1.Python发展史 原文地址:https://www.cnblogs.com/bin549/p/9175585.html

第79篇 Vue第一篇 ES6的常用语法

01-变量的定义 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <script> // var somedody; // console.log(somebody); // var somebody = &qu