Mysql分表分区

分表

1

我事先建100个这样的表，message_00,message_01,message_02..........message_98,message_99.然后根据用户的ID来判断这个用户的聊天信息放到哪张表里面，你可以用hash的方式来获得，可以用求余的方式来获得，方法很多，各人想各人的吧。下面用hash的方法来获得表名：

查看复制打印?

<?php

function get_hash_table($table,$userid) {

$str = crc32($userid);

if($str<0){

$hash = "0".substr(abs($str), 0, 1);

}else{

$hash = substr($str, 0, 2);

}

return $table."_".$hash;

}

echo get_hash_table(‘message‘,‘user18991‘);     //结果为message_10

echo get_hash_table(‘message‘,‘user34523‘);    //结果为message_13

?>

2.

优点：避免一张表出现几百万条数据，缩短了一条sql的执行时间

缺点：当一种规则确定时，打破这条规则会很麻烦，上面的例子中我用的hash算法是crc32，如果我现在不想用这个算法了，改用md5后，会使同一个用户的消息被存储到不同的表中，这样数据乱套了。扩展性很差。

利用merge存储引擎来实现分表

mysql>show engines;的时候你会发现mrg_myisam其实就是merge。

mysql> CREATE TABLE IF NOT EXISTS `user1` (

->   `id` int(11) NOT NULL AUTO_INCREMENT,

->   `name` varchar(50) DEFAULT NULL,

->   `sex` int(1) NOT NULL DEFAULT ‘0‘,

->   PRIMARY KEY (`id`)

-> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

Query OK, 0 rows affected (0.05 sec)

mysql> CREATE TABLE IF NOT EXISTS `user2` (

->   `id` int(11) NOT NULL AUTO_INCREMENT,

->   `name` varchar(50) DEFAULT NULL,

->   `sex` int(1) NOT NULL DEFAULT ‘0‘,

->   PRIMARY KEY (`id`)

-> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

Query OK, 0 rows affected (0.01 sec)

mysql> INSERT INTO `user1` (`name`, `sex`) VALUES(‘张映‘, 0);

Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO `user2` (`name`, `sex`) VALUES(‘tank‘, 1);

Query OK, 1 row affected (0.00 sec)

mysql> CREATE TABLE IF NOT EXISTS `alluser` (

->   `id` int(11) NOT NULL AUTO_INCREMENT,

->   `name` varchar(50) DEFAULT NULL,

->   `sex` int(1) NOT NULL DEFAULT ‘0‘,

->   INDEX(id)

-> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> select id,name,sex from alluser;

+----+--------+-----+

| id | name   | sex |

+----+--------+-----+

|  1 | 张映 |   0 |

|  1 | tank   |   1 |

+----+--------+-----+

2 rows in set (0.00 sec)

mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES(‘tank2‘, 0);

Query OK, 1 row affected (0.00 sec)

mysql> select id,name,sex from user2

-> ;

+----+-------+-----+

| id | name  | sex |

+----+-------+-----+

|  1 | tank  |   1 |

|  2 | tank2 |   0 |

+----+-------+-----+

2 rows in set (0.00 sec)

3.

从上面的操作中，我不知道你有没有发现点什么？假如我有一张用户表user，有50W条数据，现在要拆成二张表user1和user2，每张表25W条数据，

INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000

INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id > 250000

这样我就成功的将一张user表，分成了二个表，这个时候有一个问题，代码中的sql语句怎么办，以前是一张表，现在变成二张表了，代码改动很大，这样给程序员带来了很大的工作量，有没有好的办法解决这一点呢？办法是把以前的user表备份一下，然后删除掉，上面的操作中我建立了一个alluser表，只把这个alluser表的表名改成user就行了。但是，不是所有的mysql操作都能用的

a，如果你使用 alter table 来把 merge 表变为其它表类型，到底层表的映射就被丢失了。取而代之的，来自底层 myisam 表的行被复制到已更换的表中，该表随后被指定新类型。

b，网上看到一些说replace不起作用，我试了一下可以起作用的。晕一个先

mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2;

Query OK, 1 row affected (0.00 sec)

Rows matched: 1  Changed: 1  Warnings: 0

mysql> select * from alluser;

+----+--------+-----+

| id | name   | sex |

+----+--------+-----+

|  1 | 张映 |   0 |

|  1 | tank   |   1 |

|  2 | tank2  |   1 |

+----+--------+-----+

3 rows in set (0.00 sec)

c，一个 merge 表不能在整个表上维持 unique 约束。当你执行一个 insert，数据进入第一个或者最后一个 myisam 表（取决于 insert_method 选项的值）。mysql 确保唯一键值在那个 myisam 表里保持唯一，但不是跨集合里所有的表。

d,当你创建一个 merge 表之时，没有检查去确保底层表的存在以及有相同的机构。当 merge 表被使用之时，mysql 检查每个被映射的表的记录长度是否相等，但这并不十分可靠。如果你从不相似的 myisam 表创建一个 merge 表，你非常有可能撞见奇怪的问题。

好困睡觉了，c和d在网上看到的，没有测试，大家试一下吧。

优点：扩展性好，并且程序代码改动的不是很大

缺点：这种方法的效果比第二种要差一点

-------------------------------------------------------------------------------------------------------

分区

show plugins;

|partition | ACTIVE

1.

range分区就是 partition by range(id) 表示按id 1-7的数据存储在p0分区；如果id大于7了则数据不能写入了，因为没有对应的数据分区来存储；所以这时在创建分区时需要使用maxvalues

DROP TABLE IF EXISTS `p_range`;

CREATE TABLE `p_range` (

`id` int(10) NOT NULL AUTO_INCREMENT,

`name` char(20) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=9 DEFAULT CHARSET=utf8

PARTITION BY RANGE (id)

(PARTITION p0 VALUES LESS THAN (8),

PARTITION p1 VALUES LESS THAN MAXVALUE);

2.

LIST 分区：类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。list分区可以理解为按一个键的id区间进行数据存储，比如类型表 1,2,3,4的所有记录存储在p0里面，5,6,7,8存在在p1分区里面

这里与range分区一样，如果现在有条记录typeid是9，那么这条记录是不能存入的；需要注意的是：LIST分区没有类似如“VALUES LESS THAN MAXVALUE”这样的包含其他值在内的定义。将要匹配的任何值都必须在值列表中找到。

DROP TABLE IF EXISTS `p_list`;

CREATE TABLE `p_list` (

`id` int(10) NOT NULL AUTO_INCREMENT,

`typeid` mediumint(10) NOT NULL DEFAULT ‘0‘,

`typename` char(20) DEFAULT NULL,

PRIMARY KEY (`id`,`typeid`)

) ENGINE=MyISAM AUTO_INCREMENT=9 DEFAULT CHARSET=utf8

PARTITION BY LIST (typeid)

(PARTITION p0 VALUES IN (1,2,3,4) ENGINE = MyISAM,

PARTITION p1 VALUES IN (5,6,7,8) ENGINE = MyISAM);

3.

HASH分区主要用来确保数据在预先确定数目的分区中平均分布。在RANGE和LIST分区中，必须明确指定一个给定的列值或列值集合应该保存在哪个分区中；而在HASH分区中，MySQL 自动完成这些工作，你所要做的只是基于将要被哈希的列值指定一个列值或表达式，以及指定被分区的表将要被分割成的分区数量。

要使用HASH分区来分割一个表，要在CREATE TABLE 语句上添加一个“PARTITION BY HASH (expr)”子句，其中“expr”是一个返回一个整数的表达式。它可以仅仅是字段类型为MySQL 整型的一列的名字。此外，你很可能需要在后面再添加一个“PARTITIONS num”子句，其中num 是一个非负的整数，它表示表将要被分割成分区的数量。如果没有包括一个PARTITIONS子句，那么分区的数量将默认为1。

DROP TABLE IF EXISTS `p_hash`;

CREATE TABLE `p_hash` (

`id` int(10) NOT NULL AUTO_INCREMENT,

`storeid` mediumint(10) NOT NULL DEFAULT ‘0‘,

`storename` char(255) DEFAULT NULL,

PRIMARY KEY (`id`,`storeid`)

) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8

/*!50100 PARTITION BY HASH (storeid)

PARTITIONS 4 */;

简单点说就是数据的存入可以按 partition by hash(expr); 这里的expr可以是键名也可以是表达式比如YEAR(time)，如果是表达式的情况下

“但是应当记住，每当插入或更新（或者可能删除）一行，这个表达式都要计算一次；这意味着非常复杂的表达式可能会引起性能问题，尤其是在执行同时影响大量行的运算（例如批量插入）的时候。 ”

在执行删除、写入、更新时这个表达式都会计算一次。

数据的分布采用基于用户函数结果的模数来确定使用哪个编号的分区。换句话，对于一个表达式“expr”，将要保存记录的分区编号为N ，其中“N = MOD(expr, num)”。

比如上面的storeid 为10；那么 N=MOD(10,4) ;N是等于2的，那么这条记录就存储在p2的分区里面。

如果插入一个表达式列值为‘2005-09-15′的记录到表中，那么保存该条记录的分区确定如下：MOD(YEAR(‘2005-09-01′),4)  =  MOD(2005,4)  =  1 ;就存储在p1分区里面了。

“MySQL 5.1 还支持一个被称为“linear hashing（线性哈希功能）”的变量，它使用一个更加复杂的算法来确定新行插入到已经分区了的表中的位置。

线性哈希分区和常规哈希分区在语法上的唯一区别在于，在“PARTITION BY” 子句中添加“LINEAR”关键字；线性哈希功能使用的一个线性的2的幂（powers-of-two）运算法则

按照线性哈希分区的优点在于增加、删除、合并和拆分分区将变得更加快捷，有利于处理含有极其大量（1000GB）数据的表。

它的缺点在于，与使用常规HASH分区得到的数据分布相比，各个分区间数据的分布不大可能均衡。”

KEY 分区：类似于按HASH分区，区别在于KEY分区只支持计算一列或多列，且MySQL 服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

4.

DROP TABLE IF EXISTS `p_key`;

CREATE TABLE `p_key` (

`id` int(10) NOT NULL AUTO_INCREMENT,

`keyname` char(20) DEFAULT NULL,

`keyval` varchar(1000) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=12 DEFAULT CHARSET=utf8

/*!50100 PARTITION BY KEY (id)

PARTITIONS 4 */;

按照KEY进行分区类似于按照HASH分区，除了HASH分区使用的用户定义的表达式，而KEY分区的 哈希函数是由MySQL 服务器提供。MySQL 簇（Cluster）使用函数MD5()来实现KEY分区；对于使用其他存储引擎的表，服务器使用其自己内部的 哈希函数，这些函数是基于与PASSWORD()一样的运算法则。

“CREATE TABLE … PARTITION BY KEY”的语法规则类似于创建一个通过HASH分区的表的规则。它们唯一的区别在于使用的关键字是KEY而不是HASH，并且KEY分区只采用一个或多个列名的一个列表。

与hash的区别就是，hash使用用户定义的表达式如YEAR(time) ；而key分区则是由mysql服务器提供的。同样KEY也是可以使用linear线性key的，与hash linear是相同的算法。

5.

DROP TABLE IF EXISTS `p_subpartition`;

CREATE TABLE `p_subpartition` (

`id` int(10) DEFAULT NULL,

`title` char(255) NOT NULL,

`createtime` date NOT NULL

) ENGINE=MyISAM DEFAULT CHARSET=utf8

/*!50100

PARTITION BY RANGE (YEAR(createtime))

SUBPARTITION BY HASH (MONTH(createtime))

(PARTITION p0 VALUES LESS THAN (2012)

(SUBPARTITION s1 ENGINE = MyISAM,

SUBPARTITION s2 ENGINE = MyISAM),

PARTITION p1 VALUES LESS THAN (2013)

(SUBPARTITION s3 ENGINE = MyISAM,

SUBPARTITION s4 ENGINE = MyISAM),

PARTITION p2 VALUES LESS THAN MAXVALUE

(SUBPARTITION s5 ENGINE = MyISAM,

SUBPARTITION s6 ENGINE = MyISAM)) */;

可以看到代表p_sobpartitionp0.myd的文件消失了，取代的是p_subpartition#p#p0#sp#s1.myd

在MySQL 5.1中，对于已经通过RANGE或LIST分区了的表再进行子分区是可能的。

子分区是分区表中每个分区的再次分割，子分区既可以使用HASH希分区，也可以使用KEY分区。这 也被称为复合分区（composite partitioning）。

1，如果一个分区中创建了子分区，其他分区也要有子分区

2，如果创建了了分区，每个分区中的子分区数必有相同

3，同一分区内的子分区，名字不相同，不同分区内的子分区名子可以相同（5.1.50不适用）

分区注意点

1、重新分区时，如果原分区里面存在maxvalue则新的分区里面也必须包含maxvalue否则就错误。

alter table p_range2x

reorganize partition p1,p2

into (partition p0 values less than (5), partition p1 values less than maxvalue);

[Err] 1520 – Reorganize of range partitions cannot change total ranges except for last partition where it can extend the range

2、分区删除时，数据也同样会被删除

alter table p_range drop partition p0;

3、如果range分区列表里面没有maxvalue则如有新数据大于现在分区range数据值那么这个数据是无法写入到数据库表的。

4、修改表名不需要 删除分区后在进行更改，修改表名后分区存储myd myi对应也会自动更改。

如果希望从所有分区删除所有的数据，但是又保留表的定义和表的分区模式，使用TRUNCATE TABLE命令。（请参见13.2.9节，“TRUNCATE语法”）。

如果希望改变表的分区而又不丢失数据，使用“ALTER TABLE … REORGANIZE PARTITION”语句。参见下面的内容，或者在13.1.2节，“ALTER TABLE语法” 中参考关于REORGANIZE PARTITION的信息。

5、对表进行分区时，不论采用哪种分区方式如果表中存在主键那么主键必须在分区列中。表分区的局限性。

6、list方式分区没有类似于range那种 less than maxvalue的写法，也就是说list分区表的所有数据都必须在分区字段的值列表集合中。

7、在MySQL 5.1版中，同一个分区表的所有分区必须使用同一个存储引擎；例如，不能对一个分区使用MyISAM，而对另一个使用InnoDB。

8、分区的名字是不区分大小写的，myp1与MYp1是相同的。

6.

DROP TABLE IF EXISTS `p_list`;

CREATE TABLE `p_list` (

`id` int(10) NOT NULL AUTO_INCREMENT,

`typeid` mediumint(10) NOT NULL DEFAULT ‘0‘,

`typename` char(20) DEFAULT NULL,

PRIMARY KEY (`id`,`typeid`)

) ENGINE=MyISAM AUTO_INCREMENT=9 DEFAULT CHARSET=utf8

/*!50100 PARTITION BY LIST (typeid)

(PARTITION p0 VALUES IN (1,2,3,4) ENGINE = MyISAM,

PARTITION p1 VALUES IN (5,6,7,8) ENGINE = MyISAM) */;

range与list分区的管理

删除分区

ALTER TABLE tr DROP PARTITION p1;

需要注意的是删除分区后，该分区的所有数据都没有了。同时删除后存在一个重大影响也就是typeid为5,6,7,8的记录是不能写入到该表了的！

清空数据

如果想要保留表结构与分区结构可以使用 TRUNCATE TABLE 清空表

更改分区保留数据

ALTER TABLE tbl_name REORGANIZE PARTITION partition_list INTO (partition_definitions)；如果想保留数据进行分区的更改

ALTER TABLE p_list REORGANIZE PARTITION p0 INTO (

PARTITION s0 VALUES IN(1,2),

PARTITION s1 VALUES IN(3,4),

);这样就能进行分区的合并了，那怎么进行拆分呢

ALTER TABLE p_list REORGANIZE PARTITION s0,s1 INTO (

PARTITION p0 VALUES IN(1,2,3,4),

); 使用 REORGANIZE PARTITION进行数据的合并与拆分，数据是没有丢失的。

在使用REORGANIZE进行重新分区时，需要注意几点：

1、用来确定新分区模式的PARTITION子句使用与用在CREATE TABLE中确定分区模式的PARTITION子句相同的规则。(partition 分区子句必须与创建原分区时的规则相同)

2、partition_definitions 列表中分区的合集应该与在partition_list 中命名分区的合集占有相同的区间或值集合。 (不管是合并还是拆分，s0,s1到p0；p0到s0,s1 里面的区间或者值都必须相同)

3、对于按照RANGE分区的表，只能重新组织相邻的分区；不能跳过RANGE分区。(比如按range年份 p0 1990,p1 2000 ,p2 2013三个分区；在合并时partition p0,p2 into()

这样是不行的，因为这两个分区不是相邻的分区；)

4、不能使用REORGANIZE PARTITION来改变表的分区类型；也就是说，例如，不能把RANGE分区变为HASH分区，反之亦然。也不能使用该命令来改变分区表达式或列。

增加分区

ALTER TABLE p_list ADD PARTITION (PARTITION p2 VALUES IN (9, 10, 11))；

但是不能使用

ALTER TABLE p_list ADD PARTITION (PARTITION p2 VALUES IN (9, 14))；

这样mysql 会产生错误1465 (HY000): 在LIST分区中，同一个常数的多次定义

hash与key分区的管理在改变分区设置方面，按照HASH分区或KEY分区的表彼此非常相似，但是它们又与按照RANGE或LIST分区的表在很多方面有差别。

关于添加和删除按照RANGE或LIST进行分区的表的分区

不能使用与从按照RANGE或LIST分区的表中删除分区相同的方式，来从HASH或KEY分区的表中删除分区。但是，可以使用“ALTER TABLE ... COALESCE PARTITION”命令来合并HASH或KEY分区。

查看源代码打印帮助1 DROP TABLE IF EXISTS `p_hash`;  2    3 CREATE TABLE `p_hash` (  4 `id` int(10) NOT NULL AUTO_INCREMENT,  5 `storeid` mediumint(10) NOT NULL DEFAULT ‘0‘,  6 `storename` char(255) DEFAULT NULL,  7 PRIMARY KEY (`id`,`storeid`)  8 ) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8  9 /*!50100 PARTITION BY HASH (storeid)  10 PARTITIONS 4 */;

如p_hash的分区数为4个；

要减少分区数为2个

ALTER TABLE p_hash COALESCE PARTITION 2；

对于按照HASH，KEY，LINEAR HASH，或LINEAR KEY分区的表， COALESCE能起到同样的作用。COALESCE不能用来增加分区的数量，如果你尝试这么做，结果会出现类似于下面的错误：

mysql> ALTER TABLE clients COALESCE PARTITION 18;

错误1478 (HY000): 不能移动所有分区，使用DROP TABLE代替要增加顾客表的分区数量从12到18，使用“ALTER TABLE … ADD PARTITION”,具体如下：

ALTER TABLE clients ADD PARTITION PARTITIONS 18；注释：“ALTER TABLE … REORGANIZE PARTITION”不能用于按照HASH或HASH分区的表。

分区维护

重建分区

这和先删除保存在分区中的所有记录，然后重新插入它们，具有同样的效果。它可用于整理分区碎片。

ALTER TABLE t1 REBUILD PARTITION (p0, p1)；

优化分区如果从分区中删除了大量的行，或者对一个带有可变长度的行（也就是说，有VARCHAR，BLOB，或TEXT类型的列）作了许多修改，

可以使用“ALTER TABLE … OPTIMIZE PARTITION”来收回没有使用的空间，并整理分区数据文件的碎片。

ALTER TABLE t1 OPTIMIZE PARTITION (p0, p1)；

分析分区

读取并保存分区的键分布

ALTER TABLE t1 ANALYZE PARTITION (p3)；

修补分区： 修补被破坏的分区。

ALTER TABLE t1 REPAIR PARTITION (p0,p1);

检查分区

可以使用几乎与对非分区表使用CHECK TABLE 相同的方式检查分区。

ALTER TABLE trb3 CHECK PARTITION (p1)；

这个命令可以告诉你表t1的分区p1中的数据或索引是否已经被破坏。如果发生了这种情况，使用“ALTER TABLE ... REPAIR PARTITION”来修补该分区。获取分区信息

在mysql服务器信息数据库里面的partitions存放着服务器所有表的分区信息。

7.

explain partitions命令

explain partitions select * from p_hash

+----+-------------+--------+-------------+------+---------------+------+---------+------+------+-------+

| id | select_type | table  | partitions  | type | possible_keys | key  | key_len | ref  | rows | Extra |

+----+-------------+--------+-------------+------+---------------+------+---------+------+------+-------+

|  1 | SIMPLE    | p_hash | p0,p1,p2,p3 | ALL  | NULL      | NULL | NULL   | NULL |  10 |    |

+----+-------------+--------+-------------+------+---------------+------+---------+------+------+-------+

-- 获取到p_list表的分区详细信息。

select * from information_schema.`PARTITIONS` where TABLE_NAME = ‘p_list‘;

-- 分区的创建信息

show create table p_list;

---------------------------------------------------------------------------------------------

分表分库备份脚本

下面贴出内容，主要是使用两个for循环把每个库的每个表列出来，然后使用mysqldump进行备份。

此脚本是在主从复制的从库中进行的，从库my.cnf有read-only,另外在备份前使用stop slave SQL_THREAD命令停止SQL线程，这样，除了拥有SUPER权限的用户可以进行更改外，在备份过程中就不会有数据更新了。从库有开binlog日志记录,flush logs之后记录下新binlog的文件名和位置以便恢复时使用。

#!/bin/bash
BACKUP_DATE=`date +%F\ %T`
WEEK=`date +%w`
IP=`/sbin/ifconfig eth0|/bin/grep "inet addr"|/bin/cut -d : -f 2|/bin/awk ‘{print $1}‘`
BACKUP_PATH="/backup/${IP}/mysql"
LOG_FILE="${BACKUP_PATH}/mysql_${BACKUP_DATE}.log"
MYSQL_USER=‘root‘
MYSQL_PASSWORD=‘baichi‘
MYSQL_PATH="/usr/local/mysql/bin"
MYSQL="${MYSQL_PATH}/mysql -u${MYSQL_USER} -p${MYSQL_PASSWORD}"
MYSQL_DUMP="${MYSQL_PATH}/mysqldump -u${MYSQL_USER} -p${MYSQL_PASSWORD}"
# if BACKUP_PATH doesn‘t exists,mkdir
[ ! -d "${BACKUP_PATH}" ] && mkdir -p "${BACKUP_PATH}"
#========================Backup start==========================
echo "--------------backup start ${BACKUP_DATE}-----------------"&gt;&gt;${LOG_FILE}
# stop slave SQL_THREAD and flush logs and read from master status to know binlog file name and positon
${MYSQL} -e "stop slave SQL_THREAD;flush logs;"
${MYSQL} -e "show master status \G"&gt;&gt;${LOG_FILE}
echo &gt;&gt;${LOG_FILE}
#start backup every table
DBNAME="`${MYSQL} -e ‘show databases;‘|sed ‘1d‘`"
echo "DATABASE LIST:" &gt;&gt;${LOG_FILE}
echo ${DBNAME}&gt;&gt;${LOG_FILE}
echo &gt;&gt;${LOG_FILE}
for dbname in ${DBNAME}
do
mkdir -p "${BACKUP_PATH}/${dbname}_${WEEK}"
#cd /backup/${dbname}_${WEEK}
echo -e "${dbname} backup start ${BACKUP_DATE}"&gt;&gt;"${LOG_FILE}"
TABNAME=`${MYSQL} ${dbname} -e ‘show tables;‘|sed ‘1d‘`
echo "TABLE LIST:" &gt;&gt;${LOG_FILE}
echo ${TABNAME}&gt;&gt;${LOG_FILE}
echo &gt;&gt;${LOG_FILE}
for tabname in ${TABNAME}
do
${MYSQL_DUMP} ${dbname} ${tabname}&gt;${BACKUP_PATH}/${dbname}_${WEEK}/${tabname}.sql
done
done
${MYSQL} -e "start slave SQL_THREAD;flush logs;"
echo "--------------backup end ${BACKUP_DATE}-----------------"&gt;&gt;${LOG_FILE}
mail -s "<a href="http://www.it165.net/database/dbmy/" target="_blank" class="keylink">MySQL</a> fenbiao backup log" [email protected]&lt;"${LOG_FILE}"

时间： 2024-11-09 18:16:43

Mysql分表分区的相关文章

mysql 分表与分区

一.操作环境 数据达到百w甚于更多的时候,我们的mysql查询将会变得比较慢, 如果再加上连表查询,程序可能会卡死.即使你设置了索引并在查询中使用到了索引,查询还是会慢.这时候你就要考虑怎么样来提高查询速度了. 抛弃其他的不讲,只从mysql本身的优化来讲,我所知道的方法有三种:mysql集群,mysql分表,mysql分区 二.mysql集群 mysql集群成本比较高,不过这不是这里讲的重点,后期开一篇文章,专门来讲这方面的知识. 三.mysql分表 1. 当数据达到百w,千w的时候,我们就想

MySQL 数据库分表分区

博主QQ:819594300 博客地址:http://zpf666.blog.51cto.com/ 有什么疑问的朋友可以联系博主,博主会帮你们解答,谢谢支持!一.分表 为什么要分表? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. 什么是分表? 分表是将一个达标按照一定的规则分解成多张具有独立存储空间的实体表,每个表都对应三个文件,.MYD数据文件..MYI索引文件..frm表结构文件.这些表可以分

mysql数据库分表分区

防伪码:博观而约取,厚积而薄发 为什么要分表和分区? 我们的数据库数据越来越大,随之而来的是单个表中数据太多.以至于查询书读变慢,而且 由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈. mysql 中有一种机制是表锁定和行锁定,是为了保证数据的完整性.表锁定表示你们都不能 对这张表进行操作,必须等我对表操作完才行.行锁定也一样,别的 sql 必须等我对这条数 据操作完了,才能对这条数据进行操作.当出现这种情况时,我们可以考虑分表或分区. 1.分表 什么是分表? 分表是将一个大表按

mysql分表和表分区详解

为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率. 什么是分表? 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在

【mysql】mysql分表和表分区详解

为什么要分表和分区? 日常开发中我们经常会遇到大表的情况,所谓的大表是指存储了百万级乃至千万级条记录的表.这样的表过于庞大,导致数据库在查询和插入的时候耗时太长,性能低下,如果涉及联合查询的情况,性能会更加糟糕.分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率. 什么是分表? 分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表,我们可以称为子表,每个表都对应三个文件,MYD数据文件,.MYI索引文件,.frm表结构文件.这些子表可以分布在

Mysql分表和分区的区别、分库分表介绍与区别

分表和分区的区别: 一,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看:mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上,具体请参考mysql分区功能详细介绍,以及实例 二,mysql分表和分区有什么区别呢 1,实现方式上 a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表

mysql分表方法-----MRG_MyISAM引擎分表法

一般来说,当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了,这次我来详细说说分表的一些方法.目前我所知道的方法都是MYISAM的,INNODB如何做分表并且保留事务和外键,我还不是很了解. 首先,我们需要想好到底分多少个表,前提当然是满足应用.这里我使用了一个比较简单的分表方法,就是根据自增id的尾数来分,也就是说分0-9一共10个表,其取值也很好做,就是对10进行取模.另外,还可以根据某一字段的md5值取其中几位进行分表,这样的话,可以分的表就很多了. 好了,先来创建表吧,

mysql分表研究

分表是分散数据库压力的好方法. 分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库. 当然,首先要知道什么情况下,才需要分表.个人觉得 单表记录条数达到百万到千万级别时就要使用分表了. 1,分表的分类 1>纵向分表 将本来可以在同一个表的内容,人为划分为多个表.(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.) 分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的) 案例: 对于一个博客系统,文章标题,作者,分类

mysql innodb表分区

分区的一些优点包括:      1).与单个磁盘或文件系统分区相比,可以存储更多的数据.      2).对于那些已经失去保存意义的数据,通常可以通过删除与那些数据有关的分区,很容易地删除那些数据.相反地,在某些情况下,添加新数据的过程又可以通过为那些新数据专门增加一个新的分区,来很方便地实现.通常和分区有关的其他优点包括下面列出的这些.MySQL分区中的这些功能目前还没有实现,但是在我们的优先级列表中,具有高的优先级:我们希望在5.1的生产版本中,能包括这些功能.      3).一些查询可以