MyCAT常用分片规则之分片枚举

MyCAT支持多种分片规则,下面测试的这种是分片枚举。适用场景,列值的个数是固定的,譬如省份,月份等。

在这里,需定义三个值,规则均是在rule.xml中定义。

1. tableRule

2. function

3. mapFile

首先,定义tableRule,

   <tableRule name="sharding-by-intfile-test">
                <rule>
                        <columns>province</columns>
                        <algorithm>hash-int-test</algorithm>
                </rule>
    </tableRule>

其中,sharding-by-intfile-test是规则名,会在schema.xml中用到。

columns指的是对省份进行分片。

algorithm是算法名,该算法必须在function中定义。

其次,定义function,

      <function name="hash-int-test"
                class="org.opencloudb.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int-test.txt</property>
                <property name="type">1</property>
                <property name="defaultNode">0</property>
      </function>

其中,mapFile指的是配置文件名

type默认值为0,0表示Integer,非零表示String。因为我接下来的测试是基于省份分片,所以需type指定为1。

defaultNode 默认节点:小于0表示不设置默认节点,大于等于0表示设置默认节点
默认节点的作用:枚举分片时,如果碰到不识别的枚举值,就让它路由到默认节点。如果不配置默认节点(defaultNode值小于0表示不配置默认节点),碰到不识别的枚举值就会报错,like this:can’t find datanode for sharding column:column_name val:ffffffff

第三、在rule.xml当前目录下创建partition-hash-int-test.txt文件,定义枚举的规则

hubei=0
tianjin=1
guangdong=2

其中,hubei会被分发到第一个节点中,tianjin分发被第二个节点中,guangdong第三个节点中。

现在开始测试,

首先,在shema.xml定义表的分片规则

<table name="t_vote" dataNode="dn2,dn1,dn3" rule="sharding-by-intfile-test" />

登录MyCAT创建表

# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

mysql> create table t_vote(id varchar(10),province varchar(10));
Query OK, 0 rows affected (0.04 sec)

mysql> insert into t_vote(id,province) values(database(),‘hubei‘);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),‘tianjin‘);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),‘guangdong‘);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),‘shandong‘);
Query OK, 1 row affected (0.01 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
+------+-----------+
4 rows in set (0.03 sec)

hubei之所以是db2,因为它对应的是第一个节点,而在schema.xml定义t_vote表时,第一个节点即是dn2。

shandong之所以是在db2,因为它并没有在分片规则中定义,所以会被分到默认节点,默认节点defaultNode的是0,即第一个节点。

总结:

1. 刚开始没有指定function中type的值,即<property name="type">1</property>。导致insert时报以下错误,因为默认的分片类型是integer,而不是string。

mysql> insert into t_vote(id,province) values(database(),‘hubei‘);
ERROR 1064 (HY000): For input string: "hubei"

2. 如果没有指定function中defaultNode值,则插入不识别的枚举值时,报以下错误:

mysql>  insert into t_vote(id,province) values(database(),‘shandong‘);
ERROR 1064 (HY000): can‘t find any valid datanode :T_VOTE -> PROVINCE -> shandong

3. MyCAT其实还支持动态加载功能

譬如,我将defaultNode的值定义到partition-hash-int-test.txt中,哈哈,这点也是支持的。当然,前提是注释掉function中defaultNode值,不然function中的defaultNode值会覆盖掉partition-hash-int-test.txt中DEFAULT_NODE值。

hubei=0
tianjin=1
guangdong=2
DEFAULT_NODE=2

登录到MyCAT 9066管理端口

# mysql -utest -ptest -h127.0.0.1 -P9066

mysql> reload @@config;
Query OK, 1 row affected (0.03 sec)
Reload config success

登录到MyCAT 8066端口

mysql> insert into t_vote(id,province) values(database(),‘shanxi‘);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
| db3  | shanxi    |
+------+-----------+
5 rows in set (0.01 sec)

4. 该规则有个问题,如果中途修改了defaultNode的值,譬如,我刚开始设置的是0,插入了shandong这个值,现在修改为2。

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db3  | guangdong |
| db2  | shanxi    |
| db2  | hubei     |
| db2  | shandong  |
+------+-----------+
5 rows in set (0.01 sec)

mysql> select * from t_vote where province=‘shandong‘;
Empty set (0.00 sec)

根据where条件无法检索出原来插入的值。

日志中显示的信息如下:

01/24 15:17:50.028  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:TESTDBselect * from t_vote where province=‘shandong‘
01/24 15:17:50.029  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:TESTDBselect * from t_vote where province=‘shandong‘ value:select * from t_vote where province=‘shandong‘, route={
   1 -> dn3{SELECT *
FROM t_vote
WHERE province = ‘shandong‘
LIMIT 100}
}

dn3是现在的defaultNode=2所对应的节点。

时间: 2024-08-13 06:11:57

MyCAT常用分片规则之分片枚举的相关文章

mycat分片规则之分片枚举(sharding-by-intinfile)

刚开始看教程资料的时候,看教程文档感觉模糊,完全没明白分片枚举是个什么样的概念.于是网上搜素别人做的 案例来看,终于让我搜索到一份完整的测试案例,见如下地址:   https://www.cnblogs.com/ivictor/archive/2016/01/25/5155123.html       看完这个案例,恍然大悟教程里说的按照省份区县保存的意思.谢谢网上无偿分享文档的人们. 好了.来开始测试. 在schema.xml里定义一个分片表,如下:         [[email prote

mycat分片规则

配置:schema文件rule字段,rule文件name字段 (1)分片枚举:sharding-by-intfile (2)主键范围:auto-sharding-long (3)一致性hash:sharding-by-murmur (4)字符串hash解析:sharding-by-stringhash (5)按日期(天)分片:sharding-by-date (6)按单月小时拆分:sharding-by-hour (6)自然月分片:sharding-by-month --------常见的10种

mysql 第二十篇文章~mycat 分片规则的初步讲解

一 简介:今天咱们来聊聊分片规则的初步理解 二 前沿:mycat的分片规则是十分丰富的,此外还可以根据java进行扩展 三 文件:rule.xml 四 具体分片规则: <tableRule name="rule1">  <tableRule name="rule2">  <tableRule name="sharding-by-intfile">  <tableRule name="auto-s

MyCat 介绍、分片规则、调优的内容收集

一.MyCat的简介 MyCat高可用.负载均衡架构图: 详细知识点:  MySQL分布式集群之MyCAT(一)简介(修正) 二.MyCat的schema.xml讲解 详细知识点:MySQL分布式集群之MyCAT(二)schema详解(修正) 三.MyCat的分片规则 详细知识点:MySQL分布式集群之MyCAT(三)rule的分析 四.MyCat调优 详细知识点:MySQL分布式集群之MyCAT调优初探(四)

MyCat 学习笔记 第十篇.数据分片 之 ER分片

1 应用场景 这篇来说下mycat中自带的er关系分片,所谓er关系分片即可以理解为有关联关系表之间数据分片.类似于订单主表与订单详情表间的分片存储规则. 本文所说的er分片分为两种: a. 依据主键进行数据分片,验证发现主表数据保存在第1个datanode中,子表数据根据分片规则存储. b. 依据分片关键字段进行分片,验证发现主表与子表根据分片规则存储,且保存在相同的分片内. 接下来,可以下实际配置与数据验证 2 环境说明 参考  <MyCat 学习笔记>第六篇.数据分片 之 按月数据分片 

MapReduce中TextInputFormat分片和读取分片数据源码级分析

InputFormat主要用于描述输入数据的格式(我们只分析新API,即org.apache.hadoop.mapreduce.lib.input.InputFormat),提供以下两个功能: (1)数据切分:按照某个策略将输入数据切分成若干个split,以便确定MapTask个数以及对应的split: (2)为Mapper提供输入数据:读取给定的split的数据,解析成一个个的key/value对,供mapper使用. InputFormat有两个比较重要的方法:(1)List<InputSp

数据库索引常用创建规则

建立索引常用的规则如下: 1.表的主键.外键必须有索引: 2.数据量超过300的表应该有索引: 3.经常与其他表进行连接的表,在连接字段上应该建立索引: 4.经常出现在Where子句中的字段,特别是大表的字段,应该建立索引: 5.索引应该建在选择性高的字段上: 6.索引应该建在小字段上,对于大的文本字段甚至超长字段,不要建索引: 7.复合索引的建立需要进行仔细分析:尽量考虑用单字段索引代替: A.正确选择复合索引中的主列字段,一般是选择性较好的字段: B.复合索引的几个字段是否经常同时以AND方

NoSQL生态系统——hash分片和范围分片两种分片

13.4 横向扩展带来性能提升 很多NoSQL系统都是基于键值模型的,因此其查询条件也基本上是基于键值的查询,基本不会有对整个数据进行查询的时候.由于基本上所有的查询操作都是基本键值形式的,因此分片通常也基于数据的键来做:键的一些属性会决定这个键值对存储在哪台机器上.下面我们将会对hash分片和范围分片两种分片方式进行描述. 3.4.2 通过协调器进行数据分片 由于CouchDB专注于单机性能,没有提供类似的横向扩展方案,于是出现了两个项目:Lounge 和 BigCouch,他们通过提供一个p

shuffle机制和TextInputFormat分片和读取分片数据(九)

shuffle机制 1:每个map有一个环形内存缓冲区,用于存储任务的输出.默认大小100MB(io.sort.mb属性),一旦达到阀值0.8(io.sort.spill.percent),一个后台线程把内容写到(spill)磁盘的指定目录(mapred.local.dir)下的新建的一个溢出写文件. 2:写磁盘前,要partition,sort.如果有combiner,combine排序后数据. 3:等最后记录写完,合并全部溢出写文件为一个分区且排序的文件. 4:Reducer通过Http方式