mysql分区功能详细介绍，以及实例

一、什么是数据库分区

下面来说一下什么是数据库分区，以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的，一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,myi就会变的很大，查找数据就会变的很慢，这个时候我们可以利用mysql的分区功能，在物理上将这一张表对应的三个文件，分割成许多个小块，这样呢，我们查找一条数据时，就不用全部查找了，只要知道这条数据在哪一块，然后在那一块找就行了。如果表的数据太大，可能一个磁盘放不下，这个时候，我们可以把数据分配到不同的磁盘里面去。
分区的二种方式

1、横向分区

什么是横向分区呢？就是横着来分区了，举例来说明一下，假如有100W条数据，分成十份，前10W条数据放到第一个分区，第二个10W条数据放到第二个分区，依此类推。也就是把表分成了十分，根用merge来分表，有点像哦。取出一条数据的时候，这条数据包含了表结构中的所有字段，也就是说横向分区，并没有改变表的结构。

2，纵向分区

什么是纵向分区呢？就是竖来分区了，举例来说明，在设计用户表的时候，开始的时候没有考虑好，而把个人的所有信息都放到了一张表里面去，这样这个表里面就会有比较大的字段，如个人简介，而这些简介呢，也许不会有好多人去看，所以等到有人要看的时候，在去查找，分表的时候，可以把这样的大字段，分开来。

感觉数据库的分区好像是切苹果，到底是横着切呢，还是竖着切，根据个人喜好了，mysql提供的分区属于第一种，横向分区，并且细分成很多种方式。下面将举例说明一下。

二、mysql的分区

我觉着吧，mysql的分区只有一种方式，只不过运用不同的算法，規则将数据分配到不同的区块中而已。

1、mysql5.1及以上支持分区功能

安装安装的时候，我们就可以查看一下

[[email protected] mysql-5.1.50]# ./configure --help |grep -A 3 Partition

=== Partition Support ===

Plugin Name:      partition

Description:      MySQL Partitioning Support

Supports build:   static

Configurations:   max, max-no-ndb

查看一下，如果发现有上面这个东西，说明他是支持分区的，默认是打开的。如果你已经安装过了mysql的话

mysql> show variables like "%part%";

+-------------------+-------+

| Variable_name     | Value |

+-------------------+-------+

| have_partitioning | YES   |

+-------------------+-------+

1 row in set (0.00 sec)

查看一下变量，如果支持的话，会有上面的提示的。

2、range分区

按照RANGE分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行

//创建range分区表

mysql> CREATE TABLE IF NOT EXISTS `user` (

->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT ‘用户ID‘,

->   `name` varchar(50) NOT NULL DEFAULT ‘‘ COMMENT ‘名称‘,

->   `sex` int(1) NOT NULL DEFAULT ‘0‘ COMMENT ‘0为男，1为女‘,

->   PRIMARY KEY (`id`)

-> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1

-> PARTITION BY RANGE (id) (

->     PARTITION p0 VALUES LESS THAN (3),

->     PARTITION p1 VALUES LESS THAN (6),

->     PARTITION p2 VALUES LESS THAN (9),

->     PARTITION p3 VALUES LESS THAN (12),

->     PARTITION p4 VALUES LESS THAN MAXVALUE

-> );

Query OK, 0 rows affected (0.13 sec)

//插入一些数据

mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES (‘tank‘, ‘0‘),(‘zhang‘,1),(‘ying‘,1),(‘张‘,1),(‘映‘,0),(‘test1‘,1),(‘tank2‘,1),(‘tank1‘,1),(‘test2‘,1),(‘test3‘,1),(‘test4‘,1),(‘test5‘,1),(‘tank3‘,1),(‘tank4‘,1),(‘tank5‘,1),(‘tank6‘,1),(‘tank7‘,1),(‘tank8‘,1),(‘tank9‘,1),(‘tank10‘,1),(‘tank11‘,1),(‘tank12‘,1),(‘tank13‘,1),(‘tank21‘,1),(‘tank42‘,1);

Query OK, 25 rows affected (0.05 sec)

Records: 25  Duplicates: 0  Warnings: 0

//到存放数据库表文件的地方看一下，my.cnf里面有配置，datadir后面就是

[[email protected] test]# ls |grep user |xargs du -sh

4.0K    user#P#p0.MYD

4.0K    user#P#p0.MYI

4.0K    user#P#p1.MYD

4.0K    user#P#p1.MYI

4.0K    user#P#p2.MYD

4.0K    user#P#p2.MYI

4.0K    user#P#p3.MYD

4.0K    user#P#p3.MYI

4.0K    user#P#p4.MYD

4.0K    user#P#p4.MYI

12K    user.frm

4.0K    user.par

//取出数据

mysql> select count(id) as count from user;

+-------+

| count |

+-------+

|    25 |

+-------+

1 row in set (0.00 sec)

//删除第四个分区

mysql> alter table user drop partition p4;

Query OK, 0 rows affected (0.11 sec)

Records: 0  Duplicates: 0  Warnings: 0

/**存放在分区里面的数据丢失了，第四个分区里面有14条数据，剩下的3个分区

只有11条数据，但是统计出来的文件大小都是4.0K，从这儿我们可以看出分区的

最小区块是4K */

mysql> select count(id) as count from user;

+-------+

| count |

+-------+

|    11 |

+-------+

1 row in set (0.00 sec)

//第四个区块已删除

[[email protected] test]# ls |grep user |xargs du -sh

4.0K    user#P#p0.MYD

4.0K    user#P#p0.MYI

4.0K    user#P#p1.MYD

4.0K    user#P#p1.MYI

4.0K    user#P#p2.MYD

4.0K    user#P#p2.MYI

4.0K    user#P#p3.MYD

4.0K    user#P#p3.MYI

12K    user.frm

4.0K    user.par

/*可以对现有表进行分区,并且会按規则自动的将表中的数据分配相应的分区

中，这样就比较好了，可以省去很多事情，看下面的操作*/

 mysql>alter table aa partition by RANGE(id)
 (PARTITION p1 VALUES less than (1),
 PARTITION p2 VALUES less than (5),
 PARTITION p3 VALUES less than MAXVALUE);

Query OK, 15 rows affected (0.21 sec)   //对15数据进行分区

Records: 15  Duplicates: 0  Warnings: 0

//总共有15条

mysql> select count(*) from aa;

+----------+

| count(*) |

+----------+

|       15 |

+----------+

1 row in set (0.00 sec)

//删除一个分区

mysql> alter table aa drop partition p2;

Query OK, 0 rows affected (0.30 sec)

Records: 0  Duplicates: 0  Warnings: 0

//只有11条了，说明对现有的表分区成功了

mysql> select count(*) from aa;

+----------+

| count(*) |

+----------+

|       11 |

+----------+

1 row in set (0.00 sec)

3、list分区

LIST分区中每个分区的定义和选择是基于某列的值从属于一个值列表集中的一个值，而RANGE分 区是从属于一个连续区间值的集合。

//这种方式失败

mysql>CREATE TABLE IF NOT EXISTS `list_part` (  

   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT ‘用户ID‘,  

    `province_id` int(2) NOT NULL DEFAULT 0 COMMENT ‘省‘,  

    `name` varchar(50) NOT NULL DEFAULT ‘‘ COMMENT ‘名称‘,  

    `sex` int(1) NOT NULL DEFAULT ‘0‘ COMMENT ‘0为男，1为女‘,  

    PRIMARY KEY (`id`)  

  ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  

  PARTITION BY LIST (province_id) (  

  PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  

  PARTITION p1 VALUES IN (9,10,11,12,16,21),  

  PARTITION p2 VALUES IN (13,14,15,19),  

  PARTITION p3 VALUES IN (17,18,20,22,23,24)  

 );

ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table‘s partitioning function

//这种方式成功

mysql> CREATE TABLE IF NOT EXISTS `list_part` ( 

   `id` int(11) NOT NULL  COMMENT ‘用户ID‘, 

   `province_id` int(2) NOT NULL DEFAULT 0 COMMENT ‘省‘, 

   `name` varchar(50) NOT NULL DEFAULT ‘‘ COMMENT ‘名称‘, 

   `sex` int(1) NOT NULL DEFAULT ‘0‘ COMMENT ‘0为男，1为女‘  

 ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

 PARTITION BY LIST (province_id) (  

     PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),  

     PARTITION p1 VALUES IN (9,10,11,12,16,21),  

     PARTITION p2 VALUES IN (13,14,15,19),  

     PARTITION p3 VALUES IN (17,18,20,22,23,24)  

 );

Query OK, 0 rows affected (0.33 sec)

上面的这个创建list分区时，如果有主銉的话，分区时主键必须在其中，不然就会报错。如果我不用主键，分区就创建成功了，一般情况下，一个张表肯定会有一个主键，这算是一个分区的局限性吧。

如果对数据进行测试，请参考range分区的测试来操作

4、hash分区

HASH分区主要用来确保数据在预先确定数目的分区中平均分布，你所要做的只是基于将要被哈希的列值指定一个列值或表达式，以 及指定被分区的表将要被分割成的分区数量。

mysql> CREATE TABLE IF NOT EXISTS `hash_part` (  

   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT ‘评论ID‘,  

   `comment` varchar(1000) NOT NULL DEFAULT ‘‘ COMMENT ‘评论‘,  

   `ip` varchar(25) NOT NULL DEFAULT ‘‘ COMMENT ‘来源IP‘,  

   PRIMARY KEY (`id`)  

 ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1  

 PARTITION BY HASH(id)  

 PARTITIONS 3;

Query OK, 0 rows affected (0.06 sec)

测试请参考range分区的操作

5、key分区

按照KEY进行分区类似于按照HASH分区，除了HASH分区使用的用 户定义的表达式，而KEY分区的 哈希函数是由MySQL 服务器提供。

mysql> CREATE TABLE IF NOT EXISTS `key_part` (  

   `news_id` int(11) NOT NULL  COMMENT ‘新闻ID‘,  

   `content` varchar(1000) NOT NULL DEFAULT ‘‘ COMMENT ‘新闻内容‘,  

   `u_id` varchar(25) NOT NULL DEFAULT ‘‘ COMMENT ‘来源IP‘,  

   `create_time` DATE NOT NULL DEFAULT ‘0000-00-00 00:00:00‘ COMMENT ‘时间‘  

 ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

 PARTITION BY LINEAR HASH(YEAR(create_time))  

 PARTITIONS 3;

Query OK, 0 rows affected (0.07 sec)

测试请参考range分区的操作

6、子分区

子分区是分区表中每个分区的再次分割，子分区既可以使用HASH希分区，也可以使用KEY分区。这 也被称为复合分区（composite partitioning）。

1、如果一个分区中创建了子分区，其他分区也要有子分区

2、如果创建了了分区，每个分区中的子分区数必有相同

3、同一分区内的子分区，名字不相同，不同分区内的子分区名子可以相同（5.1.50不适用）

mysql> CREATE TABLE IF NOT EXISTS `sub_part` (  

   `news_id` int(11) NOT NULL  COMMENT ‘新闻ID‘,  

   `content` varchar(1000) NOT NULL DEFAULT ‘‘ COMMENT ‘新闻内容‘,  

   `u_id`  int(11) NOT NULL DEFAULT 0s COMMENT ‘来源IP‘,  

   `create_time` DATE NOT NULL DEFAULT ‘0000-00-00 00:00:00‘ COMMENT ‘时间‘  

 ) ENGINE=INNODB  DEFAULT CHARSET=utf8  

 PARTITION BY RANGE(YEAR(create_time))  

 SUBPARTITION BY HASH(TO_DAYS(create_time))(  

 PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2),  

 PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good),  

 PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3)  

 );

Query OK, 0 rows affected (0.07 sec)

官方网站说不同分区内的子分区可以有相同的名字，但是mysql5.1.50却不行会提示以下错误

ERROR 1517 (HY000): Duplicate partition name s1

三、分区管理

1、删除分区

mysql> alter table user drop partition p4;

2、新增分区

//range添加新分区

mysql> alter table user add partition(partition p4 values less than MAXVALUE);

Query OK, 0 rows affected (0.06 sec)

Records: 0  Duplicates: 0  Warnings: 0

//list添加新分区

mysql> alter table list_part add partition(partition p4 values in (25,26,28));

Query OK, 0 rows affected (0.01 sec)

Records: 0  Duplicates: 0  Warnings: 0

//hash重新分区  

mysql> alter table hash_part add partition partitions 4;

Query OK, 0 rows affected (0.12 sec)

Records: 0  Duplicates: 0  Warnings: 0

//key重新分区  

mysql> alter table key_part add partition partitions 4;

Query OK, 1 row affected (0.06 sec)    //有数据也会被重新分配

Records: 1  Duplicates: 0  Warnings: 0

//子分区添加新分区，虽然我没有指定子分区，但是系统会给子分区命名的

mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE);

Query OK, 0 rows affected (0.02 sec)

Records: 0  Duplicates: 0  Warnings: 0

mysql> show create table sub1_part\G;

*************************** 1. row ***************************

Table: sub1_part

Create Table: CREATE TABLE `sub1_part` (  

 `news_id` int(11) NOT NULL COMMENT ‘新闻ID‘,  

 `content` varchar(1000) NOT NULL DEFAULT ‘‘ COMMENT ‘新闻内容‘,  

 `u_id` varchar(25) NOT NULL DEFAULT ‘‘ COMMENT ‘来源IP‘,  

 `create_time` date NOT NULL DEFAULT ‘0000-00-00‘ COMMENT ‘时间‘  

) ENGINE=InnoDB DEFAULT CHARSET=utf8  

!50100 PARTITION BY RANGE (YEAR(create_time))  

SUBPARTITION BY HASH (TO_DAYS(create_time))  

(PARTITION p0 VALUES LESS THAN (1990)  

 (SUBPARTITION s0 ENGINE = InnoDB,  

 SUBPARTITION s1 ENGINE = InnoDB,  

 SUBPARTITION s2 ENGINE = InnoDB),  

 PARTITION p1 VALUES LESS THAN (2000)  

 (SUBPARTITION s3 ENGINE = InnoDB,  

 SUBPARTITION s4 ENGINE = InnoDB,  

 SUBPARTITION good ENGINE = InnoDB),  

 PARTITION p2 VALUES LESS THAN (3000)  

 (SUBPARTITION tank0 ENGINE = InnoDB,  

 SUBPARTITION tank1 ENGINE = InnoDB,  

SUBPARTITION tank3 ENGINE = InnoDB),  

 PARTITION p3 VALUES LESS THAN MAXVALUE  

 (SUBPARTITION p3sp0 ENGINE = InnoDB,    //子分区的名子是自动生成的  

 SUBPARTITION p3sp1 ENGINE = InnoDB,  

 SUBPARTITION p3sp2 ENGINE = InnoDB))

1 row in set (0.00 sec)

3、重新分区

//range重新分区  

mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE);

Query OK, 11 rows affected (0.08 sec)

Records: 11  Duplicates: 0  Warnings: 0

//list重新分区

mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5));

Query OK, 0 rows affected (0.28 sec)

Records: 0  Duplicates: 0  Warnings: 0

//hash和key分区不能用REORGANIZE，官方网站说的很清楚

mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9;

  1. ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘PARTITION 9‘ at line 1

四、分区优点

1、分区可以分在多个磁盘，存储更大一点

2、根据查找条件，也就是where后面的条件，查找只查找相应的分区不用全部查找了

3、进行大数据搜索时可以进行并行处理。

4、跨多个磁盘来分散数据查询，来获得更大的查询吞吐量

参考地址：http://m.blog.csdn.net/blog/zhjf331344937/21961531

时间： 2024-08-05 11:16:19

mysql分区功能详细介绍，以及实例的相关文章

Ubuntu根目录下各文件夹的功能详细介绍

Ubuntu的根目录下存在着很多的文件夹,但你知道他们都存放着哪些文件呢?这些是深入了解Ubuntu系统必不缺少的知识,本文就关于此做一下介绍吧. /bin/    用以存储二进制可执行命令文件. /sbin/    许多系统命令的存储位置,/usr/sbin/中也包括了许多命令. /root/    超级用户,即根用户的主目录. /home/    普通用户的默认目录,在该目录下,每个用户拥有一个以用户名命名的文件夹. /boot/    存放Ubuntu内核和系统启动文件. /boot/gr

高性能ORM框架XLinq功能详细介绍

之前简单介绍了XLinq的一些功能,有很多功能都没有提到,现在给XLinq加了一些功能,这次把所有功能都介绍一遍. 设计目标 易用性 在使用一个框架的时候 应该没几个人会喜欢写一大堆的配置文件吧 也应该没几个人会喜欢为了完成一个小功能却需要写一大堆代码 这是XLinq开发的首要目标之一,就是尽可能提高易用性 最小配置的情况下仅需要一句连接字符串的配置就可以使用 默认支持的是Sql Server 2008 R2数据库,理论上说也大部分支持了sql server系的其他数据库 高性能 目前针对查询时

linux awk 内置函数详细介绍（实例）

这节详细介绍awk内置函数,主要分以下3种类似:算数函数.字符串函数.其它一般函数.时间函数 一.算术函数: 以下算术函数执行与 C 语言中名称相同的子例程相同的操作: 函数名 说明 atan2( y, x ) 返回 y/x 的反正切. cos( x ) 返回 x 的余弦:x 是弧度. sin( x ) 返回 x 的正弦:x 是弧度. exp( x ) 返回 x 幂函数. log( x ) 返回 x 的自然对数. sqrt( x ) 返回 x 平方根. int( x ) 返回 x 的截断至整数的

Thinkphp框架拓展包使用方式详细介绍--验证码实例（十一）

拓展压缩包的使用方式详细介绍 1:将拓展包解压:ThinkPHP3.1.2_Extend.zip   --> 将其下的 \Extend  文件全部复制 2:将复制的文件放入项目中 E:\wamp\www\thinkphp\ThinkPHP\Extend(安装的时候这里面是空文件),你自己的项目目录 即可 =============================以下是,拓展包中验证码的使用======================================== 比如用到拓展包的验证码:(

HttpWatch功能详细介绍

来源:https://www.cnblogs.com/Chilam007/p/6947235.html HttpWatch是功能强大的网页数据分析工具,集成在IE工具栏,主要功能有网页摘要.cookies管理.缓存管理.消息头发送/接收,字符查询.POST数据.目录管理功能和报告输出.HttpWatch是一款能够收集并显示深层信息的软件,它不用代理服务器或一些复杂的网络监控工具,能够在显示网页的同时显示网页请求和回应的日志信息,甚至可以显示浏览器缓存和IE之间的交换信息,集成在IE工具栏.(Ht

微信公众平台的最新功能详细介绍与使用技巧！

近日微信官方发布消息,微信公众平台的操作进行了又一次"感天动地"的更新 且听我一一道来 本次主要重要改(Geng)革(Xin)凸显在三个地方 改(Geng)革(Xin)一:图文模版的收藏与使用 这,真的是一个超级实用的功能呀,那么如何使用呢?在哪里找呢? 首先告诉大家,如何收藏图文模板 选中编辑区的部分或者全部素材,然后点击添加模版,图文模板即可收藏成功: 当然,你还可以从外部进行粘贴和复制内容到图文模版. 那么,在哪里找到我收藏的模版呢?? 嗯,就在添加图文模版的旁边啦! 同时,你还

MDaemon的邮件撤回功能详细介绍

邮件撤回功能是很多邮件服务器都有的一个功能,但我感觉大部分邮件服务器的邮件撤回功能只是发件人错发邮件之后的心理安慰罢了.原因是这样的,发件人在点击发送邮件按钮之后,就会直接送到收件人的邮箱里,如果邮件人正好看到了这封邮件,发件人再去撤回这封邮件,到此,邮件撤回的这个功能就已经失去了存在的意义. 根据用户的需求,自13.6.x以后版本,MDaemon也新增了邮件撤回功能.MDaemon邮件撤回的原理:把发件人发送的邮件保存在服务器的入栈队列里1-15(管理员可以自行设置)分钟,这个时间是用户的犹豫

awk 正则表达式、正则运算符详细介绍

前言:使用awk作为文本处理工具,正则表达式是少不了的. 要掌握这个工具的正则表达式使用.其实,我们不必单独去学习它的正则表达式.正则表达式就像一门程序语言,有自己语法规则已经表示意思. 对于不同工具,其实大部分表示意思相同的.在linux众多文本处理工具(awk,sed,grep,perl)里面用到正则表达式.其实就只有3种类型.详细可以参考:linux shell 正则表达式(BREs,EREs,PREs)差异比较.只要是某些工具是属于某种类型的正则表达式.那么它的语法规则基本一样. 通过那

awk 正则表达式、正则运算符详细介绍（转）

前言:使用awk作为文本处理工具,正则表达式是少不了的. 要掌握这个工具的正则表达式使用.其实,我们不必单独去学习它的正则表达式.正则表达式就像一门程序语言,有自己语法规则已经表示意思. 对于不同工具,其实大部分表示意思相同的.在linux众多文本处理工具(awk,sed,grep,perl)里面用到正则表达式.其实就只有3种类型.详细可以参考:linux shell 正则表达式(BREs,EREs,PREs)差异比较 .只要是某些工具是属于某种类型的正则表达式.那么它的语法规则基本一样. 通过