MySQL生产库开发规范

MySQL开发规范

文件状态:
[  ] 草稿
[√] 正式发布
[  ] 正在修改 文件标识: 
 当前版本: V1.0
 作    者: 贺磊
 完成日期: 2016-05-24

变更记录
序号 修改日期 修改内容 修改人 审核人 批准人 批准日期
1 2016-05-24 MySQL开发规范 贺磊

MySQL开发规范
1. 简介
持续借鉴、收集并整理一些开发规范和技巧,期望能更充分利用MySQL的特性,得到更好的性能。
规范是死的,人是活的。
现在定义的规范,是为以后推翻准备的。
1.1 目的
提供给开发人员参考,方便写成更有效率的开发。
1.2 范围
文档涉及的范围:需要基于MySQL做应用开发的人员。
1.3 定义、首字母缩写词和缩略语
暂无

2. 数据库设计
目标三个:功能实现,可伸缩性,可用性。
关键点:平衡业务技术各个方面,做好取舍。
80%的性能优化来自架构设计的优化。
2.1 引擎及版本选择
******引擎建议使用InnoDB
根据目前我们业务的特点,建议使用MySQL5.6社区版。
2.2 架构浅谈
开发大牛都擅长,这里不多提,仅标注一下。
2.2.1 读写分离
2.2.2 分库分表

3. 表设计
先看一个范例:

create
table erp_example(
id int(10) unsigned NOT NULL AUTO_INCREMENT,/**每个表都要有主键id, int无符号自增,且与业务无关。**/
server_type TINYINT(3) UNSIGNED NOT NULL DEFAULT 0,/**如果存储类型,例如1:北京,2:上海,3:广州,若无负数则用unsigned可以提高范围。若无需字母,不要用char(1)来存**/
name varchar(5) NOT NULL DEFAULT ‘‘,/**varchar,char根据实际需要赋值,越小越好,且能用NOT NULL DEFAULT ‘‘就用,NULL不但占据空间,且会降低索引效率,用‘‘空字符串代替。**/
PRIMARY
KEY(id),
KEY `idx_name` (`name`)/**索引用idx_列名来标记,唯一索引用uniq_列名来标记**/
)
ENGINE=innodb
AUTO_INCREMENT=1
DEFAULT
CHARSET=utf8;

3.1 设计规范
3.1.1 每张表都要有主键id int(10) UNSIGNED ,且与业务无关。 NOT NULL AUTO_INCREMENT 。
3.1.2 建议字段定义为NOT NULL,需为空字段可定义为NOT NULL DEFAULT ‘‘或0(0不要赋予实际意义)。
3.1.3 库名、表名、字段名必须使用小写字母,“_”分割。
3.1.4 库名、表名、字段名不超过12个字符。
3.1.5 库名、表名、字段名见名知意,建议使用名词而不是动词。
3.1.6 存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。
3.1.7 建议使用UNSIGNED存储非负数值。
3.1.8 建议使用INT UNSIGNED存储IPV4。
3.1.9 整形定义中建议采用INT(10),而不是INT(1),INT(11)或其他。
3.1.10 存储状态,性别等,用TINYINT,如果不需要负数加UNSIGNED。使用TINYINT UNSIGNED。
3.1.11 不建议使用ENUM类型,使用TINYINT来代替。
3.1.12 尽可能不使用TEXT、BLOB类型。
3.1.13 VARCHAR(N),N表示的是字符数不是字节数,比如VARCHAR(255),可以最大可存储255个汉字,需要根据实际的宽度来选择N。VARCHAR(N),N尽可能小,因为MySQL一个表中所有的VARCHAR字段最大长度是65535个字节21845个汉字,进行排序和创建临时表一类的内存操作时,会使用N的长度申请内存。
3.1.14 表字符集选择UTF8。
3.1.15 存储年使用YEAR类型。
3.1.16 存储日期使用DATE类型。
3.1.17 存储时间(精确到秒)建议使用TIMESTAMP类型,因为TIMESTAMP使用4字节,DATETIME使用8个字节。TIMESTAMP类型保存的值不能比1970早或比2037晚。
3.1.18 将过大字段拆分到其他表中。
3.1.19 禁止在数据库中使用VARBINARY、BLOB存储图片、文件等。
3.1.20 表结构变更需要通知DBA审核。


一句话总结:能NOT NULL 就NOT NULL,char、varchar用NOT NULL DEFAULT ‘‘,tinyint、smallint、int用NOT NULL DEFAULT 0。char、varchar取值要吝啬,根据实际需求给,比如人名一般不超过5个,varchar(5),不要varchar(200)。int、tinyint这类,int(1)和int(13)都是一样的,我们统一用int(10),tinyint取值范围[-128,127],加了unsigned取值[0,255],如果不需要存储负数,整型类型的加unsigned。

3.2 索引
3.2.1 非唯一索引必须按照“idx_字段名称_字段名称[_字段名]”进行命名。
3.2.2 唯一索引必须按照“uniq_字段名称_字段名称[_字段名]”进行命名。
3.2.3 索引名称必须使用小写。
3.2.4 索引中的字段数建议不超过5个。
3.2.5 单张表的索引数量控制在5个以内。
3.2.6 索引字段的顺序需要考虑字段值去重之后的个数,个数多的放在前面。
3.2.7 使用EXPLAIN判断SQL语句是否合理使用索引,尽量避免extra列出现:Using File Sort,UsingTemporary。
3.2.8 UPDATE、DELETE语句需要根据WHERE条件添加索引。
3.2.9 不建议使用%前缀模糊查询,例如LIKE “%weibo”。
3.2.10 合理创建联合索引(避免冗余),(a,b,c) 相当于 (a) 、(a,b) 、(a,b,c),但(a,c)只能用到部分索引。
3.2.11 合理利用覆盖索引。
3.2.12 SQL变更需要确认索引是否需要变更并通知DBA。

3.3  SQL语句
3.3.1 SQL语句中IN包含的值不应过多。
3.3.2 UPDATE、DELETE语句不使用LIMIT。
3.3.3 WHERE条件中必须使用合适的类型,避免MySQL进行隐式类型转化。
3.3.4 SELECT语句只获取需要的字段。
3.3.5 SELECT、INSERT语句必须显式的指明字段名称,不使用SELECT *,不使用INSERT INTO table()。
3.3.6 使用SELECT column_name1, column_name2 FROM table WHERE[condition]而不是SELECT column_name1 FROM table WHERE[condition]和SELECT column_name2 FROM table WHERE [condition]。
3.3.7 WHERE条件中的非等值条件(IN、BETWEEN、<、<=、>、>=)会导致后面的条件使用不了索引。
3.3.8 避免在SQL语句进行数学运算或者函数运算,容易将业务逻辑和DB耦合在一起。
3.3.9 INSERT语句使用batch提交(INSERT INTO table VALUES(),(),()……),values的个数不应过多。
3.3.10 避免使用存储过程、触发器、函数等,容易将业务逻辑和DB耦合在一起,并且MySQL的存储过程、触发器、函数中存在一定的bug。
3.3.11 避免使用JOIN。
3.3.12 使用合理的SQL语句减少与数据库的交互次数。
3.3.13 不使用ORDER BY RAND(),使用其他方法替换。
3.3.14 建议使用合理的分页方式以提高分页的效率。
3.3.15 统计表中记录数时使用COUNT(*),而不是COUNT(primary_key)和COUNT(1)。

3.4  分表
3.4.1 每张表数据量建议控制在500w以下。
3.4.2 使用时间分表,表名后缀必须使用特定格式,比如按年分表user_2016按月分表user_201602、按日分表user_20160209。

4. FAQ
4.1 库名、表名、字段名使用小写字母,“_”分割。
a)MySQL有配置参数lower_case_table_names,不可动态更改,linux系统默认为0,即库表名以实际情况存储,大小写敏感。如果是1,以小写存储,大小写不敏感。如果是2,以实际情况存储,但以小写比较。
b) 如果大小写混合用,可能存在abc,Abc,ABC等多个表共存,容易导致混乱。
c) 字段名显示区分大小写,但实际使用不区分,即不可以建立两个名字一样但大小写不一样的字段。
d) 为了统一规范, 库名、表名、字段名使用小写字母。

4.2 库名、表名、字段名必须不超过12个字符。
库名、表名、字段名支持最多64个字符,但为了统一规范、易于辨识以及减少传输量,必须不超过12字符。

4.3 库名、表名、字段名见名知意,建议使用名词而不是动词。
a) 用户评论可用表名usercomment或者comment。
b) 库表是一种客观存在的事物,一种对象,所以建议使用名词。

4.4 建议使用InnoDB存储引擎。
a) 5.5以后的默认引擘,支持事务,行级锁,更好的恢复性,高并发下性能更好,对多核,大内存,ssd等硬件支持更好。
b) 具体比较可见附件的官方白皮书。

4.5 存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。
a) mysql中的数值类型(不包括整型):
IEEE754浮点数:float? (单精度) , double? 或real? (双精度)
定点数: decimal或 numeric
单精度浮点数的有效数字二进制是24位,按十进制来说,是8位;双精度浮点数的有效数字二进制是53位,按十进制来说,是16 位
一个实数的有效数字超过8位,用单精度浮点数来表示的话,就会产生误差!同样,如果一个实数的有效数字超过16位,用双精度浮点数来表示,也会产生误差
b)IEEE754标准的计算机浮点数,在内部是用二进制表示的,但在将一个十进制数转换为二进制浮点数时,也会造成误差,原因是不是所有的数都能转换成有限长度的二进制数。
即一个二进制可以准确转换成十进制,但一个带小数的十进制不一定能够准确地用二进制来表示。

实例:
drop table if exists t;

create table t(value float(10,2));

insert into t values(131072.67),(131072.68);

select value from t;
+-----------+
|value|
+-----------+
| 131072.67 |
| 131072.69 |
+-----------+

4.6 建议使用UNSIGNED存储非负数值。
同样的字节数,存储的数值范围更大。如tinyint 有符号为 -128-127,无符号为0-255

4.7 如何使用INT UNSIGNED存储ip?
使用INTUNSIGNED而不是char(15)来存储ipv4地址,通过MySQL函数inet_ntoa和inet_aton来进行转化。Ipv6地址目前没有转化函数,需要使用DECIMAL或者两个bigINT来存储。例如:
SELECT INET_ATON(‘209.207.224.40‘);
3520061480
SELECT INET_NTOA(3520061480);
209.207.224.40

4.8 INT[M],M值代表什么含义?
注意数值类型括号后面的数字只是表示宽度而跟存储范围没有关系,比如INT(3)默认显示3位,空格补齐,超出时正常显示,python、java客户端等不具备这个功能。如果采用INT类型,我们都用INT(10)

4.9 不建议使用ENUM、SET类型,使用TINYINT来代替。
a)ENUM,有三个问题:添加新的值要做DDL,默认值问题(将一个非法值插入ENUM(也就是说,允许的值列之外的字符串),将插入空字符串以作为特殊错误值),索引值问题(插入数字实际是插入索引对应的值)
实例:
drop table if exists t;
create table t(sex enum(‘0‘,‘1‘));
insert into t values(1);
insert into t values(‘3‘);
select * from t;
+------+
| sex |
+------+
| 0    |
|      |
+------+
2 rows in set (0.00 sec)

4.10  尽可能不使用TEXT、BLOB类型。
a) 索引排序问题,只能使用max_sort_length的长度或者手工指定ORDER BY SUBSTRING(column,length)的长度来排序
b) Memory引擘不支持text,blog类型,会在磁盘上生成临时表
c) 可能浪费更多的空间
d) 可能无法使用adaptive hash index
e) 导致使用where没有索引的语句变慢

4.11  VARCHAR中会产生额外存储吗?
VARCHAR(M),如果M<256时会使用一个字节来存储长度,如果M>=256则使用两个字节来存储长度。

4.12  表字符集选择UTF8。
a) 使用utf8字符集,如果是汉字,占3个字节,但ASCII码字符还是1个字节。
b) 统一,不会有转换产生乱码风险
c) 其他地区的用户(美国、印度、台湾)无需安装简体中文支持,就能正常看您的文字,并且不会出现乱码
d)ISO-8859-1编码(latin1)使用了单字节内的所有空间,在支持ISO-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。即把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题,保存的是原封不动的字节流。

4.13  使用VARBINARY存储变长字符串。
二进制字节流,不存在编码问题

4.14  为什么建议使用TIMESTAMP来存储时间而不是DATETIME?
DATETIME和TIMESTAMP都是精确到秒,优先选择TIMESTAMP,因为TIMESTAMP只有4个字节,而DATETIME8个字节。同时TIMESTAMP具有自动赋值以及自动更新的特性。
如何使用TIMESTAMP的自动赋值属性?
a) 将当前时间作为ts的默认值:ts TIMESTAMP DEFAULTCURRENT_TIMESTAMP。
b)当行更新时,更新ts的值:ts TIMESTAMP DEFAULT 0 ONUPDATE CURRENT_TIMESTAMP。
c) 可以将1和2结合起来:ts TIMESTAMP DEFAULTCURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP。
TIMESTAMP类型保存的值不能比1970早或比2037晚
4.15  建议字段定义为NOT NULL。
a)如果null字段被索引,需要额外的1字节
b)使索引,索引统计,值的比较变得更复杂
c)可用‘‘,0代替
d)如果是索引字段,一定要定义为not null
例如:NOT NULL default ‘‘

4.16  禁止在数据库中使用VARBINARY、BLOB存储图片、文件等。
采用分布式文件系统更高效

4.17  为什么MySQL的性能依赖于索引?
MySQL的查询速度依赖良好的索引设计,因此索引对于高性能至关重要。合理的索引会加快查询速度(包括UPDATE和DELETE的速度,MySQL会将包含该行的page加载到内存中,然后进行UPDATE或者DELETE操作),不合理的索引会降低速度。
MySQL索引查找类似于新华字典的拼音和部首查找,当拼音和部首索引不存在时,只能通过一页一页的翻页来查找。当MySQL查询不能使用索引时,MySQL会进行全表扫描,会消耗大量的IO。

4.18  为什么一张表中不能存在过多的索引?
InnoDB的secondaryindex使用b+tree来存储,因此在UPDATE、DELETE、INSERT的时候需要对b+tree进行调整,过多的索引会减慢更新的速度。

4.19  EXPLAIN语句
EXPLAIN语句(在MySQL客户端中执行)可以获得MySQL如何执行SELECT语句的信息。通过对SELECT语句执行EXPLAIN,可以知晓MySQL执行该SELECT语句时是否使用了索引、全表扫描、临时表、排序等信息。尽量避免MySQL进行全表扫描、使用临时表、排序等。详见官方文档。

4.20  不建议使用%前缀模糊查询,例如LIKE “%weibo”。
会导致全表扫描

4.21  什么是覆盖索引?
InnoDB 存储引擎中,secondaryindex(非主键索引)中没有直接存储行地址,存储主键值。如果用户需要查询secondaryindex中所不包含的数据列时,需要先通过secondaryindex查找到主键值,然后再通过主键查询到其他数据列,因此需要查询两次。
覆盖索引的概念就是查询可以通过在一个索引中完成,覆盖索引效率会比较高,主键查询是天然的覆盖索引。
合理的创建索引以及合理的使用查询语句,当使用到覆盖索引时可以获得性能提升。

4.22  UPDATE、DELETE语句不使用LIMIT。
a) 可能导致主从数据不一致
b) 会记录到错误日志,导致日志占用大量空间
4.23  为什么需要避免MySQL进行隐式类型转化?
因为MySQL进行隐式类型转化之后,可能会将索引字段类型转化成=号右边值的类型,导致使用不到索引,原因和避免在索引字段中使用函数是类似的。

4.24  为什么不建议使用SELECT *?
增加很多不必要的消耗(cpu、io、内存、网络带宽);增加了使用覆盖索引的可能性;当表结构发生改变时,前段也需要更新。
4.25  为什么不能使用ORDER BY rand()?
因为ORDER BYrand()会将数据从磁盘中读取,进行排序,会消耗大量的IO和CPU,可以在程序中获取一个rand值,然后通过在从数据库中获取对应的值。

4.26  MySQL中如何进行分页?
假如有类似下面分页语句:
SELECT * FROM table ORDER BY TIME DESC LIMIT 10000,10;
这种分页方式会导致大量的io,因为MySQL使用的是提前读取策略。
推荐分页方式:
SELECT * FROM table where id >=(select id from table order by id limit 10000,1)limit 10;
SELECT * FROM table inner JOIN(SELECT id FROM table ORDER BY id LIMIT 10000,10) as t USING(id)

4.27  为什么避免使用复杂的SQL?
拒绝使用复杂的SQL,将大的SQL拆分成多条简单SQL分步执行。原因:简单的SQL容易使用到MySQL的querycache;减少锁表时间特别是MyISAM;可以使用多核cpu。

2. InnoDB存储引擎为什么避免使用COUNT(*)?
InnoDB表避免使用COUNT(*)操作,计数统计实时要求较强可以使用memcache或者redis,非实时统计可以使用单独统计表,定时更新。

时间: 2024-10-22 18:25:48

MySQL生产库开发规范的相关文章

mysql 生产库大表delete

mysql 生产库大表删除 一般线上业务增长较快,造成某些表达到分表的临界值,表行数超过2000w且查询频繁,如表业务没有较多的聚合查询的话,可以考虑按时间归档部分历史数据.现推荐2种本人之前使用过的删除方式. 按照主键或者索引拆分后分段执行,使用存储过程 需要注意这种大表删除,如果是在主库执行,尽量把会话改成语句格式,以保证不会出现复制延迟 语句如下:set session binlog_format='STATEMENT'; CREATE PROCEDURE sp_delete_data()

mysql数据库设计开发规范

1.设计 1. 一般都使用INNODB存储引擎,除非读写比率<1%,才考虑使用MYISAM存储引擎:其他存储引擎请在DBA的建议下使用. 2. Stored procedure (包括存储过程,函数,触发器)对于MYSQL来说还不是很成熟,没有完善的出错记录处理,不建议使用. 3. UUID(),USER()这样的MYSQL INSIDE函数对于复制来说是很危险的,会导致主备数据.不一致.所以请不要使用.如果一定要使用UUID作为主键,让应用程序来产生. 4. 请不要使用外键约束,如果数据存在外

MySQL 设计与开发规范

1 目的 本规范的主要目的是希望规范数据库设计与开发,尽量避免由于数据库设计与开发不当而产生的麻烦:同时好的规范,在执行的时候可以培养出好的习惯,好的习惯是软件质量的很好保证. 2 适用范围 本规划的适用人员范围包括涉及数据库设计与开发的相关技术人员. 3 术语约定 本规范采用以下术语描述: ★规则:也称为强规范是编程时必须强制遵守的原则 ★建议:编程时必须加以考虑的原则 ★说明:对此规则或建议进行必要的解释 ★示例:对此规则或建议从正.反两个方面给出 4 规范及建议 4.1 书写规范 4.1.

mysql生产库变更字符集,utf8 -&gt; utf8mb4 emoj

utf8是三字节一个字符,而emoj表情是四子节,所以需要将字符集变更为utf8mb4.后者对utf8是兼容的. 对于已有数据的生产库,变更流程如下: 非常重要!不要在繁忙时段操作,否则锁表的后果不可预计 服务器端:jdbc连接需要支持emoj,但是jdbc连接串里的charset不支持utf8mb4.修改mysql的character_set_server为utf8mb4,需要重启实例.这样jdbc会自动检测这个参数,并保持一致 mysql:将需要修改的表,用下述sql变更.完成后,所有cha

MySQL生产库中添加修改表字段引起主从崩溃的问题总结

上周末和开发人员对线上库中的部分表的在线DDL和update,这过程中出现了一些意料之外的问题,现将过程.分析和解决方案在这里总结一下 一. 需求背景: 要在如下表中添加字段(modified_at)并且更改默认值 table_name { baby_compbaby_comp_statusbaby_usrbaby_ad_userbaby_campbaby_ordbaby_acc_eva } 每张表执行如下操作ALTER TABLE `$table_name` ADD COLUMN `modif

MySQL生产库之Xtrabackup物理备份

在生产环境中,我们一般采取mysqldump全库备份,但这对于大型数据库是不可用的,因为mysqldump是逻辑备份,备份和恢复的效率缓慢,根据个人经验给出一个临界值的话,500G以下的数据库可以用mysqldump来进行全库备份,500G以上的数据库则需要物理全库备份,甚至是增量备份.Xtrabackup是物理备份,其备份速度也因其物理特性远超逻辑备份的速度,而且Xtrabackup就是为了逻辑备份而生的,接下来演示一下Xtrabackup是如何完成对数据库的全备和增备的. 一:首先我们安装x

[转载] 根据多年经验整理的《互联网MySQL开发规范》

原文: http://weibo.com/p/2304181380b3f180102vsg5 根据多年经验整理的<互联网MySQL开发规范> 写在前面:无规矩不成方圆.对于刚加入互联网的朋友们,肯定会接触到MySQL,MySQL作为互联网最流行的关系型数据库产品,它有它擅长的地方,也有它不足的短板,针对它的特性,结合互联网大多应用的特点,笔者根据自己多年互联网公司的MySQLDBA经验,现总结出互联网MySQL的一些开发规范,仅供参考. 一.基础规范 (1) 使用INNODB存储引擎 (2) 

再谈MySQL全库备份

再谈MySQL全库备份 简介 Part1:写在最前 在很早之前,我写过一个MySQL生产库全库备份脚本,今天有同事问我是不是要再加一个-R参数来备份存储过程,理由的话是由于mysqldump --help中 关于存储过程的默认备份是false. routines                          FALSE MySQL生产库全库备份脚本 http://suifu.blog.51cto.com/9167728/1758022 实战 Part1:写在最前 我备份一般就三个参数 --s

MySQL开发规范

字符设计规范:1. 选择合适的字符集,短字符集更利于传输和存储:通常使用UTF8字符集.如果确认系统只需要支持英文字符,则用latin1:如果只需要支持中文,则用GBK,GB2312;需要国际化,则用UTF82. character-set-server服务端(db,table,filed)--- default_character_set客户端(connection)--工具(GUI).确保这三种字符集一致,才可以避免乱码的问题3. 校验字符集: collation-server=*_ci,*