mycat 连续分片 -> 按日期(天)分片

1,按日期(天)分片

按日期(天)分片:从开始日期算起,按照天数来分片

例如,从2016-01-01,每10天一个分片

注意事项:需要提前将分片规划好,建好,否则有可能日期超出实际配置分片数


2,添加配置文件

在function.xml里面进行配置:

    <function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate">
        <property name="dateFormat">yyyy-MM-dd</property>      <!-—日期格式-->
        <property name="sBeginDate">2016-01-01</property>            <!--开始日期-->
        <property name="sPartionDay">10</property>  <!--每分片天数-->
    </function>      

        <tableRule name="sharding-by-date-tr04">
                 <rule>
                         <columns>CREATE_TIME</columns>
                         <algorithm>sharding-by-date</algorithm>
                </rule>
        </tableRule>

在schema.xml里面进行配置:

    <table name="ORDER0402" primaryKey="ID" dataNode="dn21,dn22" rule="sharding-by-date-tr04"/>

3,建表并且录入数据

    CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME);
    mysql> CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME);
    Query OK, 0 rows affected (0.05 sec)

    mysql>
    INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,‘shanghai‘,‘shanghai10006_2016-01-03‘,‘2016-01-03‘);
    INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘);
    mysql> CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME);
    Query OK, 0 rows affected (0.06 sec)

    mysql> explain INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,‘shanghai‘,‘shanghai10006_2016-01-03‘,‘2016-01-03‘);
    +-----------+--------------------------------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL                                                                                                                |
    +-----------+--------------------------------------------------------------------------------------------------------------------+
    | dn21      | INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,‘shanghai‘,‘shanghai10006_2016-01-03‘,‘2016-01-03‘) |
    +-----------+--------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.11 sec)

    mysql> INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,‘shanghai‘,‘shanghai10006_2016-01-03‘,‘2016-01-03‘);
    Query OK, 1 row affected (0.00 sec)

    mysql>
    mysql> explain INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘);
    +-----------+----------------------------------------------------------------------------------------------------------------------+
    | DATA_NODE | SQL                                                                                                                  |
    +-----------+----------------------------------------------------------------------------------------------------------------------+
    | dn22      | INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘) |
    +-----------+----------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.01 sec)

    mysql> INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘);
    Query OK, 1 row affected (0.01 sec)

    mysql> 

4,对insert操作流程进行分析,参考mycat.log对路由过程做完整的分析

查看后台mycat.log分析如下:

开始获取连接:
    02/12 22:23:26.386  DEBUG [$_NIOREACTOR-2-RW] (ServerQueryHandler.java:56) -ServerConnection [id=1, schema=TESTDB, host=127.0.0.1, user=test,txIsolation=3, autocommit=true, schema=TESTDB]INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘)

开始路由匹配:
    02/12 22:23:26.388  DEBUG [$_NIOREACTOR-2-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=TESTDB, host=127.0.0.1, user=test,txIsolation=3, autocommit=true, schema=TESTDB]INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘), route={
       1 -> dn22{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘)}

匹配好路由后,直接往对应的dn22节点开始执行insert数据录入操作:
    02/12 22:23:26.403  DEBUG [$_NIOREACTOR-1-RW] (NonBlockingSession.java:229) -release connection MySQLConnection [id=17, lastTime=1455287006372, user=root, schema=db3, old shema=db3, borrowed=true, fromSlaveDB=false, threadId=90, charset=latin1, txIsolation=3, autocommit=true, attachment=dn22{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘)}, respHandler=SingleNodeHandler [node=dn22{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,‘shanghai‘,‘shanghai10006_2016-01-13‘,‘2016-01-13‘)}, packetId=0], host=10.254.1.11, port=3327, statusSync=null, writeQueue=0, modifiedSQLExecuted=true]

操作完成,开始释放连接:
    02/12 22:23:26.404  DEBUG [$_NIOREACTOR-1-RW] (PhysicalDatasource.java:403) -release channel MySQLConnection [id=17, lastTime=1455287006372, user=root, schema=db3, old shema=db3, borrowed=true, fromSlaveDB=false, threadId=90, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=10.254.1.11, port=3327, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

5,执行简单的查询,如果指定分片字段ID字段,则走分片查询单个分片节点

mycat命令台显示结果:

    mysql>  explain select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘;
    +-----------+--------------------------------------------------------------------------+
    | DATA_NODE | SQL                                                                      |
    +-----------+--------------------------------------------------------------------------+
    | dn21      | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME = ‘2016-01-03‘ LIMIT 100 |
    +-----------+--------------------------------------------------------------------------+
    1 row in set (0.04 sec)

    mysql> select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘;
    +-------+----------+--------------------------+---------------------+
    | ID    | PROVINCE | SN                       | CREATE_TIME         |
    +-------+----------+--------------------------+---------------------+
    | 10001 | shanghai | shanghai10006_2016-01-03 | 2016-01-03 00:00:00 |
    +-------+----------+--------------------------+---------------------+
    1 row in set (0.00 sec)

    mysql> 

查看后台mycat日志信息:

    02/12 22:44:13.773  DEBUG [$_NIOREACTOR-2-RW] (ServerQueryHandler.java:56) -ServerConnection [id=1, schema=TESTDB, host=127.0.0.1, user=test,txIsolation=3, autocommit=true, schema=TESTDB]explain select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘
    02/12 22:44:13.774  DEBUG [$_NIOREACTOR-2-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:TESTDB select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘
    02/12 22:44:13.812  DEBUG [$_NIOREACTOR-2-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:TESTDB select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘ value:select * from ORDER0402 t1 where t1.CREATE_TIME=‘2016-01-03‘, route={
       1 -> dn21{SELECT *
    FROM ORDER0402 t1
    WHERE t1.CREATE_TIME = ‘2016-01-03‘
    LIMIT 100}
    }

6,如果分片字段范围的查询,则走所有节点去检索,哪怕只有一条数据在一个分片上,route路由也是走所有的分片进行检索查询

    mysql> explain select * from ORDER0402 t1 where t1.CREATE_TIME<‘2016-01-04‘;
    +-----------+--------------------------------------------------------------------------+
    | DATA_NODE | SQL                                                                      |
    +-----------+--------------------------------------------------------------------------+
    | dn21      | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME < ‘2016-01-04‘ LIMIT 100 |
    | dn22      | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME < ‘2016-01-04‘ LIMIT 100 |
    +-----------+--------------------------------------------------------------------------+
    2 rows in set (0.01 sec)

    mysql> 

7,如果不走分片字段的查询,即使是单个数据,也要route路由所有的分片,走所有的分片进行查询

    mysql> explain select * from ORDER0402 t1 where t1.SN=‘shanghai10006_2016-01-03‘;
    +-----------+-------------------------------------------------------------------------------+
    | DATA_NODE | SQL                                                                           |
    +-----------+-------------------------------------------------------------------------------+
    | dn21      | SELECT * FROM ORDER0402 t1 WHERE t1.SN = ‘shanghai10006_2016-01-03‘ LIMIT 100 |
    | dn22      | SELECT * FROM ORDER0402 t1 WHERE t1.SN = ‘shanghai10006_2016-01-03‘ LIMIT 100 |
    +-----------+-------------------------------------------------------------------------------+
    2 rows in set (0.01 sec)

    mysql> 
时间: 2024-07-31 05:34:04

mycat 连续分片 -> 按日期(天)分片的相关文章

mycat 连续分片 -&amp;gt; 按日期(天)分片

1,按日期(天)分片 按日期(天)分片:从開始日期算起,依照天数来分片 比如,从2016-01-01.每10天一个分片 注意事项:须要提前将分片规划好,建好.否则有可能日期超出实际配置分片数 2,加入配置文件 在function.xml里面进行配置: <function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate"> <property n

mycat 连续分片 -&amp;gt; 自己定义数字范围分片

1,自己定义数字范围分片 自己定义数字范围分片,提前规划好分片字段某个范围属于哪个分片,比方说将第一个500W的数据分片在第一个节点上面.第二个500W的数据分片在第二个节点上,依次类推 2,加入配置文件 在function.xml里面进行配置: <!-- 对自己定义数字分片规则rang-long-tr04的定义 --> <function name="rang-long-04" class="org.opencloudb.route.function.Au

MyCat 学习笔记 第十三篇.数据分片 之 通过HINT执行存储过程

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo

MyCat 学习笔记 第十篇.数据分片 之 ER分片

1 应用场景 这篇来说下mycat中自带的er关系分片,所谓er关系分片即可以理解为有关联关系表之间数据分片.类似于订单主表与订单详情表间的分片存储规则. 本文所说的er分片分为两种: a. 依据主键进行数据分片,验证发现主表数据保存在第1个datanode中,子表数据根据分片规则存储. b. 依据分片关键字段进行分片,验证发现主表与子表根据分片规则存储,且保存在相同的分片内. 接下来,可以下实际配置与数据验证 2 环境说明 参考  <MyCat 学习笔记>第六篇.数据分片 之 按月数据分片 

《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片

1 应用场景 Mycat 有很多数据分库规则,接下来几篇就相关觉得常用的规则进行试用与总结. 一般来说,按自然月份来进行数据分片的规则比较适用于商城订单查询,类似最近1周.2周.3个月内的数据.或是报表类应用. 这样的数据放在一个片区内省去了数据合并的时间. 当然按月数据量不要过大就OK.   2 环境说明 Windows 7 本机多数据库 Mysql 5.5.2 3306 端口下挂有4个库 : range_db_4.range_db_5.range_db_6.range_db_7 3310 端

《MyCat 学习笔记》第八篇.数据分片 之 求摸运算分片

1 应用场景 Mycat 自带了多套数据分片的机制,其实根据数值取摸应该是最简单的一种. 优点:数据离散概率较为平均,可以有效的提高应用的数据吞吐. 缺点:比较明显,后期数据运维与迁移比较困难.好在Mycat有对应的解决方案,具体后期验证或可直接参考Mycat权威指南相应章节. 2 环境说明 参考  <MyCat 学习笔记>第六篇.数据分片 之 按月数据分片  http://www.cnblogs.com/kaye0110/p/5160826.html 3 参数配置 3.1 server.xm

mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域

这个系列大致想跟大家分享以下篇章(我会持续更新的(^ω^)): 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全 4.mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域 5.mongo 3.4分片集群系列之五:详解平衡器 6.mongo 3.4分片集群系列之六:详解配置数据库 7.mongo 3.4分片集群系列之七:配置数

MyCat 学习笔记 第十一篇.数据分片 之 分片数据查询 ( select * from table_name limit 100000,100 )

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo

MyCat 学习笔记 第十一篇.数据分片 之 分片事务处理

1 环境说明 VM 模拟3台MYSQL 5.6 服务器 VM1 192.168.31.187:3307 VM2 192.168.31.212:3307 VM3 192.168.31.150:  3307 MYCAT 1.5 服务部署在宿主机上 MYCAT 192.168.31.207 :8806[SQL执行端口] / 9066[管理端口] 2 应用场景 2.0 MYCAT配置 schema.xml <schema name="TESTDB" checkSQLschema=&quo