《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片

1 应用场景

Mycat 有很多数据分库规则，接下来几篇就相关觉得常用的规则进行试用与总结。

一般来说，按自然月份来进行数据分片的规则比较适用于商城订单查询，类似最近1周、2周、3个月内的数据。或是报表类应用。

这样的数据放在一个片区内省去了数据合并的时间。

当然按月数据量不要过大就OK。

 

2 环境说明

Windows 7

本机多数据库 Mysql 5.5.2

3306 端口下挂有4个库 ： range_db_4、range_db_5、range_db_6、range_db_7

3310 端口下挂有4个库 ： range_db_8、range_db_9、range_db_10、range_db_11

3 参数配置

3.1 数据库配置

mysql 客户端分别进入 3306 和 3310 服务，开始建立物理的schema。

CREATE SCHEMA `range_db_4` DEFAULT CHARACTER SET utf8 ;
CREATE SCHEMA `range_db_5` DEFAULT CHARACTER SET utf8 ;
CREATE SCHEMA `range_db_6` DEFAULT CHARACTER SET utf8 ;
CREATE SCHEMA `range_db_7` DEFAULT CHARACTER SET utf8 ;

...

3306 上

mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mycat_sync_test |
| mysql |
| performance_schema |
| range_db_4 |
| range_db_5 |
| range_db_6 |
| range_db_7 |
+--------------------+
8 rows in set (0.00 sec)

3310上

mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mycat_sync_test |
| mysql |
| performance_schema |
| range_db_10 |
| range_db_11 |
| range_db_8 |
| range_db_9 |
| traveldata_db_1 |
| traveldata_db_2 |
+--------------------+
10 rows in set (0.00 sec)

3.2 server.xml 配置

<!-- 开通test用户访问RANGEDB访问权限  RANGEDB是虚拟schema -->

<user name="test">
　　<property name="password">test</property>
　　<property name="schemas">TRDB,RANGEDB</property> 
</user>

3.3 schema.xml 配置

<!-- 设定虚拟 schema  RANGEDB 信息 -->

<schema name="RANGEDB" checkSQLschema="false" sqlMaxLimit="100">

　　<!-- 设定虚拟表 t_range_date 对应至数据结点 dn4:dn11 一共8个数据分片，使用 sharding-by-date  分片规则 -->
　　<table name="t_range_date" dataNode="dn4,dn5,dn6,dn7,dn8,dn9,dn10,dn11" rule="sharding-by-date" />
</schema>

<!-- 设定数据结点dn4:dn7 对应的host为 3306服务 以及对应的物理schema   -->

<dataNode name="dn4" dataHost="localhost3306" database="range_db_4" />
<dataNode name="dn5" dataHost="localhost3306" database="range_db_5" />
<dataNode name="dn6" dataHost="localhost3306" database="range_db_6" />
<dataNode name="dn7" dataHost="localhost3306" database="range_db_7" />

<!-- 设定数据结点dn8:dn11 对应的host为 3310 服务 以及对应的物理schema   -->

<dataNode name="dn8" dataHost="localhost3310" database="range_db_8" />
<dataNode name="dn9" dataHost="localhost3310" database="range_db_9" />
<dataNode name="dn10" dataHost="localhost3310" database="range_db_10" />
<dataNode name="dn11" dataHost="localhost3310" database="range_db_11" />

<!-- 设定datahost 3306  目前只配了一台物理机，若要做读写分离可以参考开场第1、2篇内容进行调整 -->

<dataHost name="localhost3306" maxCon="1000" minCon="10" balance="1"
　　writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
　　<heartbeat>select user()</heartbeat>
　　<writeHost host="hostM3306" url="localhost:3306" user="root" password="root123"></writeHost>
</dataHost>

<!-- 设定datahost 3306 -->
<dataHost name="localhost3310" maxCon="1000" minCon="10" balance="1"
　　writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
　　<heartbeat>select user()</heartbeat>
　　<writeHost host="hostM3310" url="localhost:3310" user="root" password="root123"></writeHost>
</dataHost>

3.4 rule.xml 配置

<!-- 分片字段对应到date_str 分片规则为partbymonth -->

<tableRule name="sharding-by-date">
　　<rule>
　　　　<columns>date_str</columns>
　　　　<algorithm>partbymonth</algorithm>
　　</rule>
</tableRule>

<!-- 分片规则 partbymonth 的配置  从 2015 -01 -01 开始分片 -->

<function name="partbymonth" class="org.opencloudb.route.function.PartitionByMonth">

　　<property name="dateFormat">yyyy-MM-dd</property>
　　<property name="sBeginDate">2015-01-01</property>
</function>

3.5 mycat 重新加载配置信息


访问Mycat 9066 管理口，并重新加载所有参数配置。

D:\bin\mysql\MySQL_3307\bin>mysql -utest -ptest -P 9066
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.5.8-mycat-1.5-beta-20160111170158 MyCat Server (monitor)

Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.

mysql> reload @@config_all;
Query OK, 1 row affected (0.36 sec)
Reload config success

4 数据验证

4.2 Mycat 建表

进入 Mycat 8066 服务口，选用 RANGEDB 库，同步create table。

D:\bin\mysql\MySQL_3310\bin>mysql -utest -ptest -P 8066
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.5.8-mycat-1.5-beta-20160111170158 MyCat Server (OpenCloundDB)

Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type ‘help;‘ or ‘\h‘ for help. Type ‘\c‘ to clear the current input statement.

mysql> use RANGEDB;
Database changed
mysql> CREATE TABLE `t_range_date` ( `id` INT NOT NULL, `date` DATE NULL, `date_str` VARCHAR(45) NULL, `context` VARCHAR(45) NULL, PRIMARY KEY (`id`));

Query OK, 0 rows affected (0.09 sec)

4.5 数据插入与查询

由于只建立了8个分片，超出部分就直接抛数组越界异常了。

mysql> insert into t_range_date (id,date_str,context) values(1,‘2015-01-01‘,‘month-1-str‘);

insert into t_range_date (id,date_str,context) values(2,‘2015-02-01‘,‘month-2-str‘);

insert into t_range_date (id,date_str,context) values(3,‘2015-03-01‘,‘month-3-str‘);

insert into t_range_date (id,date_str,context) values(4,‘2015-04-01‘,‘month-4-str‘);

insert into t_range_date (id,date_str,context) values(5,‘2015-05-01‘,‘month-5-str‘);

insert into t_range_date (id,date_str,context) values(6,‘2015-06-01‘,‘month-6-str‘);

insert into t_range_date (id,date_str,context) values(7,‘2015-07-01‘,‘month-7-str‘);

insert into t_range_date (id,date_str,context) values(8,‘2015-08-01‘,‘month-8-str‘);

insert into t_range_date (id,date_str,context) values(9,‘2015-09-01‘,‘month-9-str‘);

insert into t_range_date (id,date_str,context) values(10,‘2015-10-01‘,‘month-10-str‘);

insert into t_range_date (id,date_str,context) values(11,‘2015-11-01‘,‘month-11-str‘);

Query OK, 1 row affected (0.01 sec)

Query OK, 1 row affected (0.01 sec)

Query OK, 1 row affected (0.00 sec)

Query OK, 1 row affected (0.00 sec)

Query OK, 1 row affected (0.01 sec)

Query OK, 1 row affected (0.00 sec)

Query OK, 1 row affected (0.01 sec)

Query OK, 1 row affected (0.00 sec)

ERROR 1064 (HY000): Index: 8, Size: 8
ERROR 1064 (HY000): Index: 9, Size: 8
ERROR 1064 (HY000): Index: 10, Size: 8

mysql> select * from t_range_date;
+----+------+------------+-------------+
| id | date | date_str | context |
+----+------+------------+-------------+
| 2 | NULL | 2015-02-01 | month-2-str |
| 4 | NULL | 2015-04-01 | month-4-str |
| 5 | NULL | 2015-05-01 | month-5-str |
| 1 | NULL | 2015-01-01 | month-1-str |
| 3 | NULL | 2015-03-01 | month-3-str |
| 6 | NULL | 2015-06-01 | month-6-str |
| 7 | NULL | 2015-07-01 | month-7-str |
| 8 | NULL | 2015-08-01 | month-8-str |
+----+------+------------+-------------+
8 rows in set (0.01 sec)

4.6 物理库查询

前 4 个月份的数据进入 3306 服务的物理库

mysql> select * from range_db_4.t_range_date;

select * from range_db_5.t_range_date;

select * from range_db_6.t_range_date;

select * from range_db_7.t_range_date;

+----+------+------------+-------------+
| id | date | date_str | context |
+----+------+------------+-------------+
| 1 | NULL | 2015-01-01 | month-1-str |
+----+------+------------+-------------+
1 row in set (0.00 sec)

+----+------+------------+-------------+
| id | date | date_str | context |
+----+------+------------+-------------+
| 2 | NULL | 2015-02-01 | month-2-str |
+----+------+------------+-------------+
1 row in set (0.00 sec)

+----+------+------------+-------------+
| id | date | date_str | context |
+----+------+------------+-------------+
| 3 | NULL | 2015-03-01 | month-3-str |
+----+------+------------+-------------+
1 row in set (0.00 sec)

+----+------+------------+-------------+
| id | date | date_str | context |
+----+------+------------+-------------+
| 4 | NULL | 2015-04-01 | month-4-str |
+----+------+------------+-------------+
1 row in set (0.00 sec)

5 优缺点分析

1.可以做简单的按月分片，如果真要商起来，可以将一个季度的数据配置到相同的datanode 里去。

2.不能按年进行循环配置，如果数据结点不足时需要提前加入，并手动清理历史数据。

本篇完

时间： 2024-10-19 07:28:36

《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片的相关文章

《Mycat学习笔记》 第二篇. MySql 读写分离与日志分析——主从多结点

1    环境说明 接上篇环境   <Mycat学习笔记> 第一篇. MySql 读写分离与日志分析——主从单结点 http://www.cnblogs.com/kaye0110/p/5134588.html 增加一套 mysql 实例,端口为3308 ,通过Binlog方式同步主机情况 localhost : 3306 主机,    在mycat 中配置为 writehost 1 localhost : 3307 从机 a ,在mycat 中配置为 readhost localhost :

MyCat 学习笔记 第十篇.数据分片 之 ER分片

1 应用场景 这篇来说下mycat中自带的er关系分片,所谓er关系分片即可以理解为有关联关系表之间数据分片.类似于订单主表与订单详情表间的分片存储规则. 本文所说的er分片分为两种: a. 依据主键进行数据分片,验证发现主表数据保存在第1个datanode中,子表数据根据分片规则存储. b. 依据分片关键字段进行分片,验证发现主表与子表根据分片规则存储,且保存在相同的分片内. 接下来,可以下实际配置与数据验证 2 环境说明 参考  <MyCat 学习笔记>第六篇.数据分片 之 按月数据分片 

MyCat 学习笔记 第十一篇.数据分片 之 分片事务处理

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo

MyCat 学习笔记 第十一篇.数据分片 之 分片数据查询 ( select * from table_name limit 100000,100 )

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo

MyCat 学习笔记 第十三篇.数据分片 之 通过HINT执行存储过程

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo

《Mycat学习笔记》 第三篇. MySql 主从同步异常后，主从切换

1)系统环境说明 MySql 5.5 主从节点 127.0.0.1:3306   主结点,为验证主从切换效果,手动停止服务 127.0.0.1: 3307    从结点 1 127.0.0.1:338     从结点 2 ,为验证主从切换效果,在主结点停止后,新增两个记录. MyCat 1.5 schema.xml 配置 具体配置说明,参考上篇: <Mycat学习笔记> 第二篇. MySql 读写分离与日志分析——主从多结点 <dataHost name="localhost1

《MyCat 学习笔记》第八篇.数据分片 之 求摸运算分片

1 应用场景 Mycat 自带了多套数据分片的机制,其实根据数值取摸应该是最简单的一种. 优点:数据离散概率较为平均,可以有效的提高应用的数据吞吐. 缺点:比较明显,后期数据运维与迁移比较困难.好在Mycat有对应的解决方案,具体后期验证或可直接参考Mycat权威指南相应章节. 2 环境说明 参考  <MyCat 学习笔记>第六篇.数据分片 之 按月数据分片  http://www.cnblogs.com/kaye0110/p/5160826.html 3 参数配置 3.1 server.xm

嵌入式学习笔记008-裸奔篇之串口

串口是个好东西,前几篇裸奔程序由于没有串口,自己调试都是有led等来表示的,比较"苦逼",终于可以用串口了~~~,这里主要采用上一篇博文(嵌入式学习笔记007-裸奔篇之定时器),也就是串口也是用中断实现的,而且也只是在前一篇博文增加串口的初始化uart0_init(),以及在中断处理函数增加对串口的处理.只要稍微改造前一篇博文就是一个通用的中断处理程序! 这里主要实现在串口输入一个字符,接受后+2再发送到串口,所以在串口输入a 会返回c---. 由于code都有相应的注释,读者自行查看

ZMAN的学习笔记之Python篇：装饰器

年前工作事务比较繁琐,我只能用零碎的时间继续学习Python,决定开一个系列的博文,作为自己深入学习Python的记录吧.名字也取好了,就叫<ZMAN的学习笔记之Python篇>~开篇是关于装饰器的,春节假期码的字哈哈~就让我们开始吧! 本文的例子都是自己想的,如果不是很合适,请大家提出宝贵意见哈~谢谢啦! 一.为什么要用“装饰器” 比如我们写了如下一段代码: # 打印0~99 def func(): for i in range(100): print(i) 我们想要监测执行这个函数花费了多

Java快速教程--vamei 学习笔记（基础篇）

链接:http://www.cnblogs.com/vamei/archive/2013/03/31/2991531.html java快速教程第1课 从HelloWorld到面向对象 学习网址:http://www.cnblogs.com/vamei/archive/2013/03/14/2958654.html java快速教程第2课 方法与数据成员 学习网址:http://www.cnblogs.com/vamei/archive/2013/03/25/2964430.html java快