mycat 分片

1  配置下面两种ER分片,并结合日志分析子表插入过程中的不同

(1).父表按照主键ID分片,子表的分片字段与主表ID关联,配置为ER分片

(2).父表的分片字段为其他字段,子表的分片字段与主表ID关联,配置为ER分片

答:(1)第一种分片:父表按照主键ID分片

表设计:父表student,子表selectcourse

student(id,stu_id);

selectcourse(id,stu_id,cou_id);

在schema.xml中增加父表、子表定义:

<table name="student" primaryKey="ID" dataNode="dn1,dn2,dn3" rule="mod-long">

<childTable name="selectcourse" primaryKey="ID"  joinKey="stu_id"  parentKey="id" />

</table>

在mysql客户端中执行创建表的语句:

create table student(id bigint not null primary key,stu_id bigint not null);

create table selectcourse(id bigint not null primary key,stu_id bigint not null,cou_id bigint not null);

插入父表记录

insert into student(id,stu_id) values(1,3001);//

insert into student(id,stu_id) values(2,3002);

插入子表记录

insert into selectcourse(id,stu_id,cou_id) values(1,1,1); //同时观察日志

总结:直接使用父表的分片规则(id字段mod算法)来查找节点。

2)第二种分片:父表的分片字段为其他字段

表设计:父表book,子表sail

book(id,book_id);

sail(id,book_id,custo_id);

在rule.xml中增加“mod-long-book”分片方法:分片字段为book_id

<tableRule name="mod-long-book">

<rule>

<columns>book_id</columns>

<algorithm>mod-long</algorithm>

</rule>

</tableRule>

在schema.xml中增加父表、子表定义:父表用"mod-long-book"方法分片,

<table name="book" primaryKey="ID" dataNode="dn1,dn2,dn3" rule="mod-long-book">

<childTable name="sail" primaryKey="ID"  joinKey="book_id"  parentKey="id" />

</table>

在mysql客户端中执行创建表的语句:

create table book(id bigint not null primary key,book_id bigint not null);

create table sail(id bigint not null primary key,book_id bigint not null,customer_id bigint not null);

插入父表记录:

insert into book(id,book_id) values(1,3001);

insert into book(id,book_id) values(2,3002);

插入子表记录

insert into sail(id,book_id,customer_id) values(1,2,2001);//同时观察日志

总结:先通过父表的id字段查询分片,再往相应的分片中插入数据。

比第一种方法多了一个“查找分片”的步骤。

2 选则连续分片规则中的2种,对配置和路由过程做完整的分析

(1)自定义数字范围分片分片方法为“rang-long”

首先,在rule.xml中配置分片方法“price-rang-long”,算法为“rang-long”;

再在schema.xml中配置表信息,包括表名、主键、节点、分片方法等;

然后,在客户端执行创建表的命令(mygoods);

最后,往mygoods表中插入记录;

日志信息:

路由描述:

mygoods表依据rang-long算法进行分割,rang-long又依据autopartition-long.txt(如下图所示)文件中的值进行分片(制定数据节点dh),本题中的price为300,

属于0-500M的范围,所以本记录应该路由到第0个节点上(下标从0开始,第0个节点就是dn1)执行,正如上图中所示。

(2)自然月分片分片方法为“partbymonth”

首先,在rule.xml中配置分片方法“sharding-by-month”,算法为“partbymonth”;

再在schema.xml中配置表信息,包括表名、主键、节点、分片方法等;

然后,在客户端执行创建表的命令(myrecords);

最后,往myrecords表中插入记录;

日志信息:

路由描述:

Myrecords表依据partbymonth算法进行分割,partbymonth的以自然月为依据,每个月一个分片,从2015-01-01开始(如下图所示:rule.xml中partbymonth分片方法),

即2015年1月份数据在第0节点,2015年2月份数据在第1节点,以此类推。本题中的create_time=2015-03-01对应的数据应该在第2个节点(下标从0开始,第2个节点

就是dn3)执行,所以,本记录路由到第2个节点上(dn3)执行,正如上图中所示。

3 选择离散分片规则的2种,对配置和路由过程做完整的分析

(1)十进制求模分片:分片方法为“mod-long”

首先,在rule.xml中配置分片方法;

再在schema.xml中配置表信息,包括表名、主键、节点、分片方法等;

然后,在客户端执行创建表的命令(student);

create table student(id bigint not null primary key,stu_id bigint not null);

最后,往student表中插入记录;

日志信息:

路由描述:

student表依据mod-log算法进行分割,本题中记录值为4除3的模为1,对应的数据应该在第1个节点(下标从0开始,第1个节点就是dn2)上;所以,本记录路由到第1个节点上(dn2)执行,正如上图中所示。

(2)哈希分片:分片方法为“hash-int”

首先,在rule.xml中配置分片方法;

再在schema.xml中配置表信息,包括表名、主键、节点、分片方法等;

然后,在客户端执行创建表的命令(employee);

create table employee (id int not null primary key,name varchar(100),sharding_id int not null);

最后,往myrecords表中插入记录;

日志信息:

路由描述:

employee 表依据sharding-by-intfile算法进行分割,sharding-by-intfile算法又依据partition-hash-int.txt文件(如下图所示)中的范围进行分片,本题中记录值10010=1,

对应的数据应该在第1个节点(下标从0开始,第1个节点就是dn2)上;所以,本记录路由到第1个节点上(dn2)执行,正如上图中所示。

原文地址:https://www.cnblogs.com/yhq1314/p/9968267.html

时间: 2024-08-30 17:16:17

mycat 分片的相关文章

mycat分片表全局自增主键测试

mycat分片表全局自增主键测试 一.全局序列号介绍 在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一.为此,MyCat 提供了全局 sequence,并且提供了包含本地配置和数据库配置等多种实现方式. 1.本地文件方式 使用服务器本地磁盘文件的方式 2.数据库方式 使用专用数据库的方式 3.本地时间戳方式 使用时间戳算法方式 4.分布式ZK ID 生成器 基于ZK 与本地配置的分布式ID 生成器(可以通过ZK 获取集群(机房)唯一InstanceID,也可以通过配置文 件配置

mycat分片操作

mycat位于应用与数据库的中间层,可以灵活解耦应用与数据库,后端数据库可以位于不同的主机上.在mycat中将表分为两大类:对于数据量小且不需要做数据切片的表,称之为分片表:对于数据量大到单库性能,容量不足以支撑,数据通常需要通过水平切分均匀分布到不同的数据库中的表,称之为分片表.而中间件最终需要处理的数据是对数据切分,聚合. 在上一片博文中,详细说明了mycat的server.xml, schema.xml, rule.xml配置文件,下面通过具体的实例,来说明分片的用法及类型. 在说明myc

mysql+mycat分片环境部署

说明: 1.操作系统:64位CentOS Linux release 7.2.1511 (Core) 2.jdk版本:1.8.0_121 3.mysql版本: 5.7.17 本文假设以上或者类似环境已经配置成功. 准备压缩文件 1.下载网址:http://www.mycat.io/ 选择1.6版本,然后点击进入下载页面,如下图: 选择第一个,适合linux系统的 2.创建/soft目录: [[email protected] soft]# mkdir /soft 利用WinSCP将下载好的tar

mycat分片规则

配置:schema文件rule字段,rule文件name字段 (1)分片枚举:sharding-by-intfile (2)主键范围:auto-sharding-long (3)一致性hash:sharding-by-murmur (4)字符串hash解析:sharding-by-stringhash (5)按日期(天)分片:sharding-by-date (6)按单月小时拆分:sharding-by-hour (6)自然月分片:sharding-by-month --------常见的10种

mysql 第二十篇文章~mycat 分片规则的初步讲解

一 简介:今天咱们来聊聊分片规则的初步理解 二 前沿:mycat的分片规则是十分丰富的,此外还可以根据java进行扩展 三 文件:rule.xml 四 具体分片规则: <tableRule name="rule1">  <tableRule name="rule2">  <tableRule name="sharding-by-intfile">  <tableRule name="auto-s

mycat分片规则之分片枚举(sharding-by-intinfile)

刚开始看教程资料的时候,看教程文档感觉模糊,完全没明白分片枚举是个什么样的概念.于是网上搜素别人做的 案例来看,终于让我搜索到一份完整的测试案例,见如下地址:   https://www.cnblogs.com/ivictor/archive/2016/01/25/5155123.html       看完这个案例,恍然大悟教程里说的按照省份区县保存的意思.谢谢网上无偿分享文档的人们. 好了.来开始测试. 在schema.xml里定义一个分片表,如下:         [[email prote

MyCat分片集群

数据库集群会产生的问题: 自增ID问题 数据关联查询问题(水平拆分) 数据同步问题 数据库集群 自动增长id产生重复的话,解决: UUID形式  (没有排序 不是自增) 设置数据库步长 其他方案: redis  或者雪花算法 数据库分库分表的策略: 数据库分表分库策略 数据库分表分库原则遵循 垂直拆分与水平拆分垂直拆分就是根据不同的业务,分为不同的数据库,比如会员数据库.订单数据库.支付数据库等,垂直拆分在大型电商系统中用的非常常见.优点: 拆分后业务清晰,拆分规则明确,系统之间整合或扩展容易.

数据分片存储,mycat服务器

关闭防火墙和selinux,配置yum源配置21 .22 数据库(这里以21为例)[[email protected] ~]# tar -xf mysql-5.7.17.tar[[email protected] ~]# yum -y install mysql-community-*.rpm[[email protected] ~]# systemctl restart mysqld[[email protected] ~]# grep password /var/log/mysqld.log

由一次mycat+mysql水平拆分集群问题引发的思考

近段时间部署和测试了一个mycat+4 Percona+tokudb的水平拆分集群,前段应用是将一类奖状数据不断地写入到这个库中,只有insert操作,前几天运行状态还比较好. 从昨天开始,由于业务量突然增加了一些,磁盘IO负载变得很高,而且仔细分析之后,发现磁盘读的性能远远高于磁盘写的性能,这完全是有问题的.因为insert操作肯定主要是写操作,而且写都是顺序写,读操作应该不会太大. 经过对mycat和mysql多方面的查看,都难以解释的通,不太确定问题的方向和原因.后来与同事沟通,又回到了系