MyCat - 使用篇

Mycat水平拆分之十种分片规则

http://www.cnblogs.com/756623607-zhang/p/6656022.html

数据库路由中间件MyCat - 使用篇(5)

配置MyCat

4. 配置schema.xml

schema.xml里面管理着MyCat的逻辑库、表,每张表使用的分片规则、分布在哪个DataNode以及DataSource上。 
之前的例子: 

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

    <!--schema就是逻辑库,相当于MySQL实例的数据库,一个MySQL实例可以有多个数据库,同样的一个MyCat实例也可以有多个schema-->
    <!-- checkSQLschema就是打开SQL语句检查,把带schema名字的查询改写成不带的,一般查询最好不要带schema名字 -->
    <!--sqlMaxLimit每条执行的SQL语句,如果没有加上limit语句,MyCat也会自动的加上所对应的值-->
    <schema name="schema1" checkSQLschema="false" sqlMaxLimit="10000" dataNode="test4">
        <!-- 运单表,分片列在rule.xml配置,这里正好就是主键id,所以分片规则是主键id对3取模-->
        <table name="orders" primaryKey="id" dataNode="test$1-3" rule="mod-long-orders">
            <!-- 运单子母件表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="orders_cargo" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 客户运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="customer_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 快递员运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="courier_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
        </table>
        <!-- 运单状态信息表,公共表,放在和运单表同样的分片上 -->
        <table name="order_status_interception" primaryKey="id" type="global" dataNode="test$1-3">
        </table>
        <!-- 快递员表,非分片表 -->
        <table name="courier" primaryKey="id" dataNode="test4">
        </table>
        <!-- 客户表,对主键id对2取模 -->
        <table name="customer" primaryKey="id" dataNode="test$5-6" rule="mod-long-customer">
        </table>
    </schema>

    <!-- 规定dataNode,就是分片的位置-->
    <dataNode name="test1" dataHost="test" database="db1" />
    <dataNode name="test2" dataHost="test" database="db2" />
    <dataNode name="test3" dataHost="test" database="db3" />
    <dataNode name="test4" dataHost="test" database="db4" />
    <dataNode name="test5" dataHost="test" database="db5" />
    <dataNode name="test6" dataHost="test" database="db6" />

    <!-- 规定每个分片host的读写服务器以及登录用户名密码,还有心跳语句-->
    <dataHost name="test" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="-1"  slaveThreshold="100">
        <heartbeat>select 1 from dual</heartbeat>
        <writeHost host="test" url="10.202.4.181:3306" user="test" password="test">
            <readHost host="slave" url="10.202.4.181:3307"  user="root" password="sf123456"/>
        </writeHost>
    </dataHost>

</mycat:schema>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52

逻辑库配置schema标签:

<!--schema就是逻辑库,相当于MySQL实例的数据库,一个MySQL实例可以有多个数据库,同样的一个MyCat实例也可以有多个schema-->
    <!-- checkSQLschema就是打开SQL语句检查,把带schema名字的查询改写成不带的,一般查询最好不要带schema名字 -->
    <!--sqlMaxLimit每条执行的SQL语句,如果没有加上limit语句,MyCat也会自动的加上所对应的值-->
<schema name="schema1" checkSQLschema="false" sqlMaxLimit="10000"  dataNode="test4">
</schema>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

 
其中,这里配置的dataNode属性,是指这个逻辑库中逻辑表的默认分片节点是test4,如果逻辑表自己配置了分片节点,那么这个属性对那个逻辑表无效。 
sqlMaxLimit防止过多的输出,如果sql语句中显式的指定了limit大小,那么这个属性就不会生效。而且,如果对于非分片表执行sql语句,这个属性也不会生效。

逻辑表配置table标签:

<!-- 运单表,分片列在rule.xml配置,这里正好就是主键id,所以分片规则是主键id对3取模-->
        <table name="orders" primaryKey="id" dataNode="test$1-3" rule="mod-long-orders">
            <!-- 运单子母件表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="orders_cargo" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 客户运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="customer_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 快递员运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="courier_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
        </table>
        <!-- 运单状态信息表,公共表,放在和运单表同样的分片上 -->
        <table name="order_status_interception" primaryKey="id" type="global" dataNode="test$1-3">
        </table>
        <!-- 快递员表,非分片表 -->
        <table name="courier" primaryKey="id" dataNode="test4">
        </table>
        <!-- 客户表,对主键id对2取模 -->
        <table name="customer" primaryKey="id" dataNode="test$5-6" rule="mod-long-customer">
        </table>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

  1. name属性定义逻辑表的表名,这个名字就如同我在数据库中执行create table命令指定的名字一样,同个schema标签中定义的名字必须唯一。
  2. dataNode属性:定义这个逻辑表所属的dataNode, 该属性的值需要和dataNode标签中name属性的值相互对应。如果需要定义的dn过多可以使用上面配置的的方法减少配置
  3. rule属性:该属性用于指定逻辑表要使用的规则名字,规则名字在rule.xml中定义,必须与tableRule标签中name属性属性值一一对应。
  4. ruleRequired属性:该属性用于指定表是否绑定分片规则,如果配置为true,但没有配置具体rule的话 ,程序会报错。
  5. primaryKey属性:该逻辑表对应真实表的主键,例如:分片的规则是使用非主键进行分片的,那么在使用主键查询的时候,就会发送查询语句到所有配置的DN上;如果使用该属性配置真实表的主键,那么MyCat会缓存主键与具体DN的信息,那么再次使用非主键进行查询的时候就不会进行广播式的查询,就会直接发送语句给具体的DN,但是尽管配置该属性,如果缓存并没有命中的话,还是会发送语句给具体的DN,来获得数据。
  6. type属性:该属性定义了逻辑表的类型,目前逻辑表只有“全局表”和”普通表”两种类型。全局表:global。普通表:不指定该值为globla的所有表。
  7. autoIncrement属性:自增id相关,不推荐使用
  8. needAddLimit属性:指定表是否需要自动的在每个语句后面加上limit限制。由于使用了分库分表,数据量有时会特别巨大。这时候执行查询语句,如果恰巧又忘记了加上数量限制的话。那么查询所有的数据出来,也够等上一小会儿的。所以,mycat就自动的为我们加上LIMIT 100。当然,如果语句中有limit,就不会在次添加了。这个属性默认为true,你也可以设置成false`禁用掉默认行为。

分片表子表配置 childTable标签:

<table name="orders" primaryKey="id" dataNode="test$1-3" rule="mod-long-orders">
            <!-- 运单子母件表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="orders_cargo" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 客户运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="customer_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
            <!-- 快递员运单关系表,运单表的子表,order_id与orders的id列对应 -->
            <childTable name="courier_order_rel" joinKey="order_id" parentKey="id">
            </childTable>
        </table>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

  1. name属性
  2. joinKey属性:插入子表的时候会使用这个列的值查找父表存储的数据节点。
  3. parentKey属性:属性指定的值一般为与父表建立关联关系的列名。程序首先获取joinkey的值,再通过parentKey属性指定的列名产生查询语句,通过执行该语句得到父表存储在哪个分片上。从而确定子表存储的位置。
  4. primaryKey属性:同table标签所描述的。
  5. needAddLimit属性:同table标签所描述的。

分片节点dataNode标签配置:

<!-- 规定dataNode,就是分片的位置-->
    <dataNode name="test1" dataHost="test" database="db1" />
    <dataNode name="test2" dataHost="test" database="db2" />
    <dataNode name="test3" dataHost="test" database="db3" />
    <dataNode name="test4" dataHost="test" database="db4" />
    <dataNode name="test5" dataHost="test" database="db5" />
    <dataNode name="test6" dataHost="test" database="db6" />
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

  1. name属性
  2. dataHost属性:该属性用于定义该分片属于哪个数据库实例的,属性值是引用dataHost标签上定义的name属性
  3. database属性:该属性用于定义该分片属性哪个具体数据库实例上的具体库,因为这里使用两个纬度来定义分片,就是:实例+具体的库。因为每个库上建立的表和表结构是一样的。所以这样做就可以轻松的对表进行水平拆分。

分片主机dataHost标签配置:

<!-- 规定每个分片host的读写服务器以及登录用户名密码,还有心跳语句-->
    <dataHost name="test" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="-1"  slaveThreshold="100">
        <heartbeat>select 1 from dual</heartbeat>
        <writeHost host="test" url="10.202.4.181:3306" user="test" password="test">
            <readHost host="slave" url="10.202.4.181:3307"  user="root" password="sf123456"/>
        </writeHost>
    </dataHost>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

 
dataHost标签:该标签在mycat逻辑库中也是作为最底层的标签存在,直接定义了具体的数据库实例、读写分离配置和心跳语句。

  1. name属性
  2. maxCon属性:指定每个读写实例连接池的最大连接。也就是说,标签内嵌套的writeHost、readHost标签都会使用这个属性的值来实例化出连接池的最大连接数。
  3. minCon属性:指定每个读写实例连接池的最小连接,初始化连接池的大小。
  4. balance属性: 
    - balance=“0”, 所有读操作都发送到当前可用的writeHost上。 
    - balance=“1”,所有读操作都随机的发送到readHost。 
    - balance=“2”,所有读操作都随机的在writeHost、readhost上分发。
  5. writeType属性 
    - writeType=“0”, 所有写操作都发送到可用的writeHost上。 
    - writeType=“1”,所有写操作都随机的发送到readHost。 
    - writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。
  6. dbType属性:指定后端连接的数据库类型,目前支持二进制的mysql协议,还有其他使用JDBC连接的数据库。例如:mongodb、oracle、spark等。
  7. dbDriver属性:指定连接后端数据库使用的Driver,目前可选的值有native和JDBC。使用native的话,因为这个值执行的是二进制的mysql协议,所以可以使用mysql和maridb。其他类型的数据库则需要使用JDBC驱动来支持。
  8. switchType属性: 
    -1 表示不自动切换 
    1 默认值,自动切换 
    2 基于 MySQL 主从同步状态决定是否切换,心跳语句必须为show slave status 
    3 基于 MySQL galary cluster 的切换机制(适合集群)心跳语句必须为show status like ‘wsrep%’
  9. slaveThreshold:主从同步状态决定是否切换,延迟超过这个就不切换
  10. heartbeat标签:这个标签内指明用于和后端数据库进行心跳检查的语句。例如,MYSQL可以使用select user(),Oracle可以使用select 1 from dual等。
  11. writeHost标签、readHost标签:这两个标签都指定后端数据库的相关配置给mycat,用于实例化后端连接池。唯一不同的是,writeHost指定写实例、readHost指定读实例,组着这些读写实例来满足系统的要求。在一个dataHost内可以定义多个writeHost和readHost。但是,如果writeHost指定的后端数据库宕机,那么这个writeHost绑定的所有readHost都将不可用。另一方面,由于这个writeHost宕机系统会自动的检测到,并切换到备用的writeHost上去。 
    - host属性:用于标识不同实例 
    - url属性:后端实例连接地址,如果是使用native的dbDriver,则一般为address:port这种形式。用JDBC或其他的dbDriver,则需要特殊指定。当使用JDBC时则可以这么写:jdbc:mysql://localhost:3306/。 
    - user属性:后端存储实例需要的用户名字 
    - password属性:后端存储实例需要的密码

5. 启动MyCat

以上,MyCat基本配置已经配置好。下面则启动,进入mycat的bin目录,启动MyCat: 
./mycat start 
查看启动状态: 
./mycat status 
停止: 
./mycat stop 
重启(改变上面的xml配置不用重启,管理端可以重新载入,以后会讲): 
./mycat restart 
查看logs/下的wrapper.log和mycat.log可以查看运行时问题和异常。 
访问MyCat(这里为127.0.0.1:8066),可以看到: 

时间: 2024-10-08 02:05:58

MyCat - 使用篇的相关文章

MyCat - 使用篇(2)

数据库路由中间件MyCat - 使用篇(2) 基本概念 3. 分片 3.1 分片节点(dataNode) 表被水平切分后,每个分片表所在的数据库就是一个分片节点.一个分片节点对应一个数据库(mysql数据库).一个分片节点只能保存每个分片表的一个分片,因为db中不允许出现同名的表. 3.2 节点主机(dataHost) 分片节点究竟被放在那个主机上.对应mysql里的mysql实例:一台主机可以部署多个mysql实例,一个mysql实例可以有多个数据库.为了规避单节点主机并发数限制,尽量将读写压

MyCat - 使用篇(3)

数据库路由中间件MyCat - 使用篇(3) 全局序列号 数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence). 全局序列号有很多实现的方式,比如本地配置文件,或者拿一个分片节点保存全局序列号,但是这么做都有单点故障的问题,从架构上看不推荐这么做. 全局序列号还是推荐用独立的id生成器服务去实现最佳! 安装准备 环境 Red Hat Enterprise Linux Serv

MyCat - 使用篇(4)

数据库路由中间件MyCat - 使用篇(4) 配置MyCat 3. 配置conf/rule.xml 1.4.1中的规则配置比较笨,1.5中优化了一些,将tableRule标签和function标签合并了,并且支持Velocity模板语言,更加灵活.这里先介绍1.4.1的: <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:rule SYSTEM "rule.dtd">

MyCat - 使用篇(5)

数据库路由中间件MyCat - 使用篇(5) 配置MyCat 4. 配置schema.xml schema.xml里面管理着MyCat的逻辑库.表,每张表使用的分片规则.分布在哪个DataNode以及DataSource上. 之前的例子:  <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:s

MyCat - 背景篇(2)

数据库路由中间件MyCat - 背景篇(2) MyCat的前世今生 如前文所说,Amoeba.Cobar.MyCat等属于同宗一脉.若Amoeba能继续下去,Cobar就不会出来:若Cobar那批人不是都走光了的话,MyCAT也不会再另起炉灶.Cobar之后,有很多类似中间件仿照其架构以及思路,针对特定的业务场景,设计出了不同的中间件.MyCat算是其中业务场景比较全面,使用配置比较简便,性能优秀,而且功能算是稳定的.同类的中间件,都是针对特定场景或者功能进行设计,像某科技的hot某中间件,性能

MyCat - 使用篇(1)

数据库路由中间件MyCat - 使用篇(1) 基本概念 直接介绍概念太枯燥了,还是拿个和背景篇相似的例子介绍 业务场景:客户完成下单,快递员接受并更新运单状态,客户可以随时查看运单状态的任务.一票快递可能有多个子母件. 因此,我们需要建立如下表:  我们现在按照业务将数据库垂直拆分成运单(3000tps,4000W数据),快递员(1500tps,100W数据),客户(1500tps,4000W数据记录),运单表和客户表均按照某种规则分片,平均分成两片.然后假设他们都通过MyCat统一管理.  1

MyCat - 源代码篇(14)

数据库路由中间件MyCat - 源代码篇(14) 5. 路由模块 真正取得RouteResultset的步骤:AbstractRouteStrategy的route方法: Created with Rapha?l 2.1.0Start处理一些路由之前的逻辑,返回真假?return nullsql拦截器拦截(就是用户自定义拦截一些语句并改写)是否需要checkSQLschema去掉schema name设置autocommit?是否是DDL语句rrs = DDL语句路由return rrssche

MyCat - 源代码篇(11)

数据库路由中间件MyCat - 源代码篇(11) 4.配置模块 每个MyCatServer初始化时,会初始化: MyCatServer.java: public static final String NAME = "MyCat"; private static final long LOG_WATCH_DELAY = 60000L; private static final long TIME_UPDATE_PERIOD = 20L; private static final Myc

MyCat - 源代码篇(12)

数据库路由中间件MyCat - 源代码篇(12) 4.配置模块 4.2 schema.xml 接上一篇,接下来载入每个schema的配置(也就是每个MyCat中虚拟化的数据库的配置): XMLSchemaLoader.java private void loadSchemas(Element root) { NodeList list = root.getElementsByTagName("schema"); for (int i = 0, n = list.getLength();