Mycat 月分片方法

概述

本篇文章主要介绍Mycat以月进行分片的方法,包括配置方法、注意事项等。

mycat版本:1.4

数据节点:dn1,dn2,dn3

架构:主从

配置

 创建测试表

CREATE TABLE `tdate` (
   `id` int(11) NOT NULL,
   `createdate` datetime DEFAULT NULL,
   PRIMARY KEY (`id`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8

在三个节点上面分别执行创建表语句。

分片配置

<table>参数 

在table参数配置中使用了rule="sharding-by-month"分片函数,同时配置了13个数据节点分别是dn1-dn13,当然数据节点的数目没有限制,在生产环境避免重复重启mycat这个节点的范围大小最好配置超过1年。

<datanode>参数

因为我这里只有三个节点,所以采取三个节点循环作为数据的保存节点,默认1,4,7,10,第二年1月,这些月份的数据保存在节点1。在生产婚假一般会配置12个节点,这样每年的1月可以存在节点1,

 不支持这样写,datanode中的节点定义一定要和table一样
 <dataNode name="dn1,dn4,dn7,dn10,dn13" dataHost="localhost1" database="db1" />

<datahost>参数

datahost配置的是主从读写分离,如果第一个writehost宕机了自动切换到第二个writehost

分片函数 

vim rule.xml
<tableRule name="sharding-by-month">
                <rule>
                        <columns>createdate</columns>
                        <algorithm>sharding-by-month</algorithm>
                </rule>
</tableRule>

<function name="sharding-by-month"
                class="org.opencloudb.route.function.PartitionByMonth">
                <property name="dateFormat">yyyy-MM-dd HH:mm:ss</property>
                <property name="sBeginDate">2015-01-01 00:00:00</property>

</function>

权威指南默认的自然月分片使用的dateFormat格式是yyyy-MM-dd,在这里我是故意这样测试的。

注意:如果dateFormat格式是yyyy-MM-dd那么sBeginDate格式就必须是2015-01-01,否则就是上面我配置的这种对应关系。当我使用dateFormat格式是yyyy-MM-dd的时候我在插入语句的createdate字段使用“2015-01-01 00:00:00”格式的时间也可以识别,反之,我配置dateFormat格式是yyyy-MM-dd HH:mm:ss,当我的插入语句的createdate字段使用“2015-01-01”格式的时间会报错,建议函数这里配置的是什么格式在执行插入语句的时候时间也使用什么格式。

在dateFormat格式是yyyy-MM-dd时分片字段的数据类型可以是date、datetime,在dateFormat格式是yyyy-MM-dd HH:mm:ss是分片字段的数据类型必须是datetime。

sBeginDate是开始时间

测试数据

在mycat中执行插入语句。

insert into tdate(id,createdate) values(1,‘2015-01-01 00:00:00‘);
insert into tdate(id,createdate) values(2,‘2015-02-01 00:00:00‘);
insert into tdate(id,createdate) values(3,‘2015-03-01 00:00:00‘);
insert into tdate(id,createdate) values(4,‘2015-10-01 00:00:00‘);
insert into tdate(id,createdate) values(5,‘2016-01-01 00:00:00‘);

到master中查看数据:

select * from db1.tdate;
select * from db2.tdate;
select * from db3.tdate; 

插入的结果也正常的分布到了各个分片中,测试结果正确。

注意事项

1.在进行insert插入时分片字段必须明确在table后面列出,其它的默认字段可以不列出在1.4中不受影响。

2.values中不能使用函数,例如:now()

总结

mycat对月进行分片总体概念比较清晰,但是因为mycat本身对于容错的处理比较弱,所以在sql语句方面使用尽量简单的标准语法。


备注:

作者:pursuer.chen

博客:http://www.cnblogs.com/chenmh

本站点所有随笔都是原创,欢迎大家转载;但转载时必须注明文章来源,且在文章开头明显处给明链接。

《欢迎交流讨论》

时间: 2024-12-28 17:57:29

Mycat 月分片方法的相关文章

JAVAEE——宜立方商城13:Mycat数据库分片、主从复制、读写分离、100%Linux中成功安装Mysql的方法

1 海量数据的存储问题 如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB.对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求.这个时候NoSQL的出现暂时解决了这一危机.它通过降低数据的安全性,减少对事务的支持,减少对复杂查询的支持,来获取性能上的提升. 但是,在有些场合NoSQL一些折衷是无法满足使用场景的,就比如有些使用场景是绝对要有事务与安全指标的.这个时候NoSQL肯定是无法满足的,所以还是需要使用关系性数据库.如果使用关系型数据库

mycat教程(二) —— mycat使用教程及分片方法案例

在完成mycat安装后, 开始一个示例来尽快熟悉mycat 一.环境说明 1. 服务器说明 服务器名称 地址 说明 mycat服务器 10.211.55.13 mycat中间件服务器 mysql服务器 10.211.55.9 mysql服务器 2. mysql 库和表说明 库名称 说明 db01 只有一个user表 db02 item表 db03 item表 db02,db03上的item表根据id%2取模保存数据, 也就是进行了数据分片 db01 创建表语句 CREATE TABLE `use

mycat 离散分片 -&amp;gt; 程序指定分区的分片

1.程序指定分区的分片 此规则是在运行阶段有应用自主决定路由到那个分片. 此方法为直接依据字符子串(必须是数字)计算分区号(由应用传递參数.显式指定分区号). 2,加入配置文件 在function.xml里面进行配置: <function name="sharding-by-substring-040302" class="org.opencloudb.route.function.PartitionDirectBySubString"> <pro

MyCat的分片规则

1. 枚举法: 通过在配置文件中配置可能的枚举id,自己配置分片,使用规则: <tableRule name="sharding-by-intfile"> <rule> <columns>user_id</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <function name="hash-int

mycat 离散分片 -&gt; 枚举分片

1,枚举分片 枚举分片:通过在配置文件中配置可能的枚举id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的 2,添加配置文件 在function.xml里面进行配置: <!-- mapFile标识配置文件名称 type默认值为0(0表示Integer,非零表示String) 默认节点的作用:枚举分片时,如果碰到不识别的枚举值,就让它路由到默认节点 --> <function name="hash-int-mc040301&qu

mycat 连续分片 -&gt; 按日期(天)分片

1,按日期(天)分片 按日期(天)分片:从开始日期算起,按照天数来分片 例如,从2016-01-01,每10天一个分片 注意事项:需要提前将分片规划好,建好,否则有可能日期超出实际配置分片数 2,添加配置文件 在function.xml里面进行配置: <function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate"> <property n

mycat 连续分片 -&amp;gt; 自己定义数字范围分片

1,自己定义数字范围分片 自己定义数字范围分片,提前规划好分片字段某个范围属于哪个分片,比方说将第一个500W的数据分片在第一个节点上面.第二个500W的数据分片在第二个节点上,依次类推 2,加入配置文件 在function.xml里面进行配置: <!-- 对自己定义数字分片规则rang-long-tr04的定义 --> <function name="rang-long-04" class="org.opencloudb.route.function.Au

Mycat的分片join

join概述 Join绝对是关系型数据库中最常用一个特性,然而在分布式环境中,跨分片的join确是最复杂的,最难解决一个问题. 下面我们简单介绍下各种Join操作. INNER JOIN 内连接,也叫等值连接,inner join产生同时符合A表和B表的一组数据. 如图: LEFT JOIN 左连接从A表(左)产生一套完整的记录,与匹配的B表记录(右表) .如果没有匹配,右侧将包含null,在Mysql中等同于left outer join. 如图: RIGHT JOIN 同Left join,

MyCAT常用分片规则之分片枚举

MyCAT支持多种分片规则,下面测试的这种是分片枚举.适用场景,列值的个数是固定的,譬如省份,月份等. 在这里,需定义三个值,规则均是在rule.xml中定义. 1. tableRule 2. function 3. mapFile 首先,定义tableRule, <tableRule name="sharding-by-intfile-test"> <rule> <columns>province</columns> <algor