读书笔记-Mycat权威指南-03-Mycat中的概念

数据库中间件

Mycat 是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而 Mycat 并没有 存储引擎,所以并不是完全意义的分布式数据库系统。

Mycat 是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服 务。

由于前面讲的对数据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集 群构成了整个完整的数据库存储。

数据被分到多个分片数据库后,应用如果需要读取数据,就要需要处理多个数据源的数据。

如果没有数据库中间件,那么应用将直接面对分片集群,数据源切换、事务处理、数据聚合都需要应用直接处 理。

有了数据库中间件,应用只需要集中与业务处理,大量的通用的数据聚合,事务,数据源切换都由中间件来处理。

中间件的性能与处理能力将直接决定应用的读写性能,所以一款好的数据库中间件至关重要。

逻辑库

通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道 数据库的概念,所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

在云计算时代,数据库中间件可以以多租户的形式给一个或多个应用提供服务,每个应用访问的可能是一个 独立或者是共享的物理库,常见的如阿里云数据库服务器 RDS。

逻辑表

既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。

逻辑表,可 以是数据切分后,分布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。

分片表,是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所 有分片构成了完整的数据。

  例如在 mycat 配置中的 t_node 就属于分片表,数据按照规则被分到 dn1,dn2 两个分片节点(dataNode) 上。

  <table name="t_node" primaryKey="vid" autoIncrement="true" dataNode="dn1,dn2" rule="rule1" />

非分片表,一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那 些不需要进行数据切分的表。

  配置中 t_node,只存在于分片节点(dataNode)dn1 上。

  <table name="t_node" primaryKey="vid" autoIncrement="true" dataNode="dn1" />

ER表,关系型数据库是基于实体关系模型(Entity-Relationship Model)之上,通过其描述了真实世界中事物与关 系,Mycat 中的 ER 表即是来源于此。

根据这一思路,提出了基于 E-R 关系的数据分片策略,子表的记录与所关 联的父表记录存放在同一个数据分片上,即子表依赖于父表,通过表分组(Table Group)保证数据 Join 不会跨 库操作。

表分组(Table Group)是解决跨分片数据 join 的一种很好的思路,也是数据切分规划的重要一条规则。

全局表,一个真实的业务系统中,往往存在大量的类似字典表的表,这些表基本上很少变动,字典表具有以下几个特 性:

  • 变动不频繁

  • 数据量总体变化不大

  • 数据规模不大,很少有超过数十万条记录。

对于这类的表,在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关 联,就成了比较棘手的问题,

所以 Mycat 中通过数据冗余来解决这类表的 join,即所有的分片都有一份数据的拷贝,所有将字典表或者符合字典表特性的一些表定义为全局表。

数据冗余是解决跨分片数据 join 的一种很好的思路,也是数据切分规划的另外一条重要规则。

分片节点

数据切分后,一张大表被分到不同的分片数据库上面,每个表分片所在的数据库节点成为分片节点。

节点主机

数据切分后,每个分片节点不一定会独占一台机器,同一台机器上可以有多个分片数据库。这样一个或者多个分片所在的节点成为节点主机。

为了规避单点主机并发限制,尽量将读写压力高的分片节点均衡放在不同的节点主机上。

分片规则

一个大表分成若干个分片表,就需要一定的规则。这样按照某种业务规则把数据分到某个分片的规则就是分片规则。

数据切分选择的分片规则非常重要,将极大的避免后续处理数据的难度。

全局序列号(sequence)

数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据 唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence)。

多租户

多租户技术又称为多重租赁技术,它是一种软件架构技术,它在探讨如何在多用户的环境下如何公用相同的系统或者程序组件,并且保证用户间数据的隔离性。在云计算时代,多租技术在公用数据中心以单一系统

架构和服务提供多数客户端相同甚至可定制化的服务,并且仍然可以保持用户的数据隔离。现在各种云计算就是这类技术范畴。例如云服务器,云数据库RDS。

多租户在数据存储上主要有三种方案:

  独立数据库【隔离级别最高,安全性好,成本高】

  共享数据库,隔离数据架构

  共享数据库,共享数据架构【隔离级别最低,成本最低】

时间: 2024-09-29 09:19:32

读书笔记-Mycat权威指南-03-Mycat中的概念的相关文章

读书笔记----JavaScript 权威指南(一)

0.前言 最近小编我刚刚结束上一段的工作,结果立马就马不停蹄的开始了新一轮的工作了,表示无辜,(o′?ェ?`o),程序猿真是个累死人不偿命的工作呀. 今天晚上看到同事新启封的 JavaScript 权威指南,心血来潮的想,如果我能把这个书里面的重点以及具体知识点梳理出来,那么后来的人是不是就能少走一些弯路呢? 抱着这个想法,于是就开始了今天晚上的读书之旅,更由于小编喜欢整理东西这个习惯,才有了此文. 真心希望看到这篇文章的你,能够感受到小编那深沉的爱!~ 1.JavaScript 语法核心 之

[读书笔记] CSS权威指南1: 选择器

通配选择器 可以与任何元素匹配,就像是一个通配符 /*每一个元素的字体都设置为红色*/ * { color: red; } 元素选择器 指示文档元素的选择器. /*为body的字体设置为红色*/ body { color: red: } 分组 选择器分组 h1, h2, h3 { color: red; } 声明分组 h1 { font: 18px Helvetica; color: purple; background: aqua; } 结合选择器和声明分组 h1, h2, h3 { font

[读书笔记] CSS权威指南2: 结构和层叠

层叠样式表中最基本的一个方面可能就是层叠——冲突的声明要通过这个层叠过程排序,并由此确定最终的文档表示.这个过程的核心是选择器及其相关声明的特殊性,以及继承机制. 特殊性 对于每个规则,用户代理会计算选择器的特殊性,并将这个特殊性附加到规则中的各个声明.如果一个元素有两个或多个冲突的属性声明,那么有最高特殊性的声明就会胜出. 选择器的特殊性由选择器本身的组件确定.特殊性值表述为4个部分,如:0,0,0,0.一个选择器的具体特殊性如下确定: 对于选择器中给定的各个ID属性值,加0,1,0,0. 对

读书总结——CSS权威指南

几个月前读了这本书——<CSS权威指南>,之前用css都是在w3school上看的,或者按F12看别人的代码,这是我完整的读的第一本关于css的书,感觉还是收获挺大的,最近要总结一下自己的知识,所以又重新看了一遍,又本着温故知新.边看边写的想法写了这篇文章,希望能对自己或别人有些帮助. 第一章 HTML 标记与文档结构 主要介绍了HTML及其标记 1.标签分为闭合标签与自闭合标签 闭合标签格式:<标签名>文本内容</标签名> e.g. <h1>Words b

读书笔记-Mycat权威指南-09-全局序列号

全局序列号介绍 在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一.为此,需要新的实现方式. 本地文件方式 原理:此方式 MyCAT 将 sequence 配置到文件中,当使用到 sequence 中的配置后,MyCAT 会更下 classpath 中的 sequence_conf.properties 文件中 sequence 当前的值. 配置方式: 在 sequence_conf.properties 文件中做如下配置, 使用示例: insert into table1(id

Hadoop读书笔记(十四)MapReduce中TopK算法(Top100算法)

Hadoop读书笔记系列文章:http://blog.csdn.net/caicongyang/article/category/2166855 (系列文章会逐步修整完成,添加数据文件格式预计相关注释) 1.说明: 从给定的文件中的找到最大的100个值,给定的数据文件格式如下: 533 16565 17800 2929 11374 9826 6852 20679 18224 21222 8227 5336 912 29525 3382 2100 10673 12284 31634 27405 1

【MongoDB】探讨《MongoDB权威指南》书籍中的几点错误

今天进一步学习MongoDB,学习资料是<MongoDB权威指南>,详细见如下封面: 在阅读过程中发现了如下错误: 第一处:P29页批量插入,在书中讲到可以利用batchInsert函数实现批量插入,我运行时候发现系统提示没有这个方法.我用的软件是2.6.4.我以为是版本过低,然后下载2.6.6 最新版本进行测试,报同样的错误: Property 'batchInsert' of object student.students is not a function 后来查询用命令:db.stud

读书笔记-Mycat权威指南-08-Mycat中的Join

Join Join 绝对是关系型数据库中最常用一个特性,然而在分布式环境中,跨分片的 join 确是最复杂的,最难解决一 个问题. Join:inner ,left,right,full,cross 尽量避免使用 Left join 或 Right join,而用 Inner join. 在使用 Left join 或 Right join 时,ON 会优先执行,where 条件在最后执行,所以在使用过程中,条件尽 可能的在 ON 语句中判断,减少 where 的执行少用子查询,而用 join.

读书笔记-Mycat权威指南-10-分片规则

分片规则概述 在数据切分处理中,特别是水平切分中,中间件最终要的两个处理过程就是数据的切分.数据的聚合. 选择 合适的切分规则,至关重要,因为它决定了后续数据聚合的难易程度,甚至可以避免跨库的数据聚合处理. 前面讲了数据切分中重要的几条原则,其中有几条是数据冗余,表分组(Table Group), 这都是业务上规 避跨库 join 的很好的方式,但不是所有的业务场景都适合这样的规则,因此本章将讲述如何选择合适的切分规则. Mycat 全局表 如果你的业务中有些数据类似于数据字典,比如配置文件的配