---恢复内容开始---
1.数据库的用途:写数据和读数据
2.查询语句的生命周期:
(1)mysql服务器监听3306端口(2)验证访问用户(3)创建mysql线程
(4)检查内存(Qcache)
(5)解析SQL(6)生成查询计划(7)打开表
(8)检查内存(Buffer Pool)
(9)到磁盘取数据(10)写入内存(11)返回数据给客户端(12)关闭表(13)关闭线程(14)关闭连接
3.mysql构架
总的来说,MySQL Server可以看成是二层架构,第一层我们通常叫做 SQL Layer,在 MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql 解析,执行计划优化,query cache 的处理等等;第二层就是存储引擎层,我们通常叫做 Storage Engine Layer,也就是底层数据存取操作实现部分,由多种存储引擎共同组成。
由mysql连接器(mysql客户端、各种编程语言接口等)、mysq连接池、mysql查询优化器、存储引擎层(InnoDB等)、文件系统(file&logs)和mysql服务器组成
(1)mysql连接数:默认最大连接数是100,连接数少的话,在大并发下连接数会不够用,会有很多线程在等待其他连接释放,就可能会导致数据库连接超时或者响应时间过长,所以需要调整最大连接数。
(2)设置mysql的最大连接数
在linux中的最大连接数的配置文件/etc/my.cnf中或者cd/opt/lappp/etc/my.cnf中修改或者增加[mysqld]下面内容
最大连接数:max_connections=1000;
超时时间:wait_timeout=10
查看当前有多少个连接:show status like ‘%Threads_connected%‘;或者show processlist;
4.缓存的两个维度
(1)缓存1(mysql层):查询缓存Query Cache
查询sql的生命周期到达检查内存环节的时候,当查询命中缓存,mysql会立刻返回结果,跳过解析、优化和执行阶段。查询缓存会跟踪系统中的每张表,如果这些表发生变化,那么和这张表相关的所有查询缓存全部失效。
在查询缓存的时候,mysql不会对sql进行任何处理,它精确的使用客户端传来的查询,只要字符大小写,或者注释有一点点的不同,查询缓存就认为是不同的,任何一个包含不确定的函数,比如:now(),current_date()的查询不会被缓存。
开启查询缓存对于读写都增加了额外的开销,对于读在查询开始前需要先检查缓存;对于写,在写入后需要更新缓存(失效)。
(1.1)配置查询缓存:linux下为my.cnf,windows下为my.ini
是否开启查询缓存:query_cache_type=on/off
分配给查询缓存的总内存,一般建议不超过256M:query_cache_size=200M
限制存储的最大结果,如果查询结果超出,就不会缓存:query_cache_limit=1M
查询缓存状态:show variables like ‘%query_cache%‘;
监控qcache当前使用情况:show status like ‘%Qcache%‘;查询出来的第一项如果数值过大,可以使用flush query cache;语句来清理查询缓存碎片,提高内存使用性能。
缓存的命中率=Qcache hits/(Qcache_hits+Qcache_inserts);
(2)缓存2(存储引擎层)InnoDB_Buffer_Pool
buffer pool是innodb存储引擎带的一个缓存池,如果内存中存在的话,直接返回,提交查询响应时间
innodb buffer pool 和qcache的区别:qcache缓存的是sql语句和对应该语句的结果集,buffer pool中缓存的是表中的数据,如果表中数据有变化,那么qcache中是查询不到的,因为表更改后,在查询改sql,在qcache中失效;bufferpool不会,因为它存的是表中的数据;bufferpool设置的越大越好,一般设置为服务器物理内存的70%
(2.1)配置
bp大小:innodb_buffer_pool_size=20M
如果开启改参数,停止mysql服务时,innodb将innodb缓冲池中的热数据保存到本地硬盘:innodb_buffer_pool_dump_now=ON,
如果开启,启动mysql服务时,mysql将本地热数据加载到innodb缓存池中:innodb_buffer_pool_load_at_startup=OFF,
查看ibp的状态:show variables like ‘%innodb_buffer_pool%‘;
监控innodb_buffer_pool的使用情况:show status like ‘%innodb_buffer_pool%‘;
主要注意innodb_buffer_pool_read_requests和innodb_buffer_pool_reads,通过这两个获得bp的命中率
5.mysql慢查询日志:
(1)mysqlslowdump,用来帮助数据库管理人员解决可能存在的性能问题
(2)配置文件:在my.cnf中增加:log-slow-queries=/opt/data/slowquery.log(指定日志文件的存放位置,可以为空,系统会给一个缺省文件host_name-slow.log)
记录超过的时间:long_query_time=2,默认为10s
(3)执行命令:set global slow query log=on;
设置记录查询超过多长时间sql:set global long query time=1;
日志路径:set global slow query log file=‘%/opt/data/slow_query.log%‘;
查询慢查询状态:show variables like ‘%query%‘;
(4)mysqldumpslow命令介绍:mysqldumpslow -s t -t 20 -g ‘select‘ 路径
-s:按照何种方式排序,c\t\l\t分别是按照记录次数、时间、查询时间、返回的记录数来排序,前面加上a表示相应的倒叙,-t:是top n的意思,返回前面多少条数据;-g:后边可以写一个正则匹配模式,大小写不敏感。
6.mysql profile:分析sql执行带来的开销是优化sql的重要手段,诸如IO,上下文切换,cpu,memory等
(1)配置
开启profile:set @@profiling=1;
查看profile是否开启:select @@profiling;1为开启,0为关闭,开启后只对当前的session有效
查看被记录的sql:show profiles;或者show profiles for query n:查看指定的sql
show profile cpu/block io/memory for query 1;
7.sql优化目标
(1)减少IO次数
(2)降低cpu计算:order by,group by,distinct,最大数、最小数等,都是消耗cpu的大户
(3)优化方法:改变sql的执行计划,sql优化的基本原则:
(3.1)尽量少join
(3.2)尽量少排序:减少排序的方法:通过利用索引来排序、减少参与排序的记录条数、非必要不对数据进行排序
(3.3)尽量避免select *
(3.4)尽量用join代替子查询
(3.5)尽量用union all代替union
(3.6)禁用外键
(3.7)避免大sql、保持事物的简短精悍、避免大批量更新、避免类型转换、避免取过量数据,建议使用limit、避免sql中进行数学运算、函数计算、逻辑判断等、避免or(同一字段推荐in不同字段推荐union)
总结:1.避免磁盘io,尽量让查询在内存中完成2.通过sql和索引的调整,让mysql用跟高效率的方式查询
4.索引设计原则
下面这两种方式都是添加普通索引
create index ‘my_index‘ on bkl(name);
alter table blk add index my_index2 (sex);
删除索引:
alter table blk drop index my_index2;
(1)最适合索引的列是出现在where子句中的列,或者连接子句中指定的列
(2)使用唯一索引
(3)使用短索引
(4)利用最左前缀
(5)不要过度索引
---恢复内容结束---
1.数据库的用途:写数据和读数据
2.查询语句的生命周期:
(1)mysql服务器监听3306端口(2)验证访问用户(3)创建mysql线程
(4)检查内存(Qcache)
(5)解析SQL(6)生成查询计划(7)打开表
(8)检查内存(Buffer Pool)
(9)到磁盘取数据(10)写入内存(11)返回数据给客户端(12)关闭表(13)关闭线程(14)关闭连接
3.mysql构架
总的来说,MySQL Server可以看成是二层架构,第一层我们通常叫做 SQL Layer,在 MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql 解析,执行计划优化,query cache 的处理等等;第二层就是存储引擎层,我们通常叫做 Storage Engine Layer,也就是底层数据存取操作实现部分,由多种存储引擎共同组成。
由mysql连接器(mysql客户端、各种编程语言接口等)、mysq连接池、mysql查询优化器、存储引擎层(InnoDB等)、文件系统(file&logs)和mysql服务器组成
(1)mysql连接数:默认最大连接数是100,连接数少的话,在大并发下连接数会不够用,会有很多线程在等待其他连接释放,就可能会导致数据库连接超时或者响应时间过长,所以需要调整最大连接数。
(2)设置mysql的最大连接数
在linux中的最大连接数的配置文件/etc/my.cnf中或者cd/opt/lappp/etc/my.cnf中修改或者增加[mysqld]下面内容
最大连接数:max_connections=1000;
超时时间:wait_timeout=10
查看当前有多少个连接:show status like ‘%Threads_connected%‘;或者show processlist;
4.缓存的两个维度
(1)缓存1(mysql层):查询缓存Query Cache
查询sql的生命周期到达检查内存环节的时候,当查询命中缓存,mysql会立刻返回结果,跳过解析、优化和执行阶段。查询缓存会跟踪系统中的每张表,如果这些表发生变化,那么和这张表相关的所有查询缓存全部失效。
在查询缓存的时候,mysql不会对sql进行任何处理,它精确的使用客户端传来的查询,只要字符大小写,或者注释有一点点的不同,查询缓存就认为是不同的,任何一个包含不确定的函数,比如:now(),current_date()的查询不会被缓存。
开启查询缓存对于读写都增加了额外的开销,对于读在查询开始前需要先检查缓存;对于写,在写入后需要更新缓存(失效)。
(1.1)配置查询缓存:linux下为my.cnf,windows下为my.ini
是否开启查询缓存:query_cache_type=on/off
分配给查询缓存的总内存,一般建议不超过256M:query_cache_size=200M
限制存储的最大结果,如果查询结果超出,就不会缓存:query_cache_limit=1M
查询缓存状态:show variables like ‘%query_cache%‘;
监控qcache当前使用情况:show status like ‘%Qcache%‘;查询出来的第一项如果数值过大,可以使用flush query cache;语句来清理查询缓存碎片,提高内存使用性能。
缓存的命中率=Qcache hits/(Qcache_hits+Qcache_inserts);
(2)缓存2(存储引擎层)InnoDB_Buffer_Pool
buffer pool是innodb存储引擎带的一个缓存池,如果内存中存在的话,直接返回,提交查询响应时间
innodb buffer pool 和qcache的区别:qcache缓存的是sql语句和对应该语句的结果集,buffer pool中缓存的是表中的数据,如果表中数据有变化,那么qcache中是查询不到的,因为表更改后,在查询改sql,在qcache中失效;bufferpool不会,因为它存的是表中的数据;bufferpool设置的越大越好,一般设置为服务器物理内存的70%
(2.1)配置
bp大小:innodb_buffer_pool_size=20M
如果开启改参数,停止mysql服务时,innodb将innodb缓冲池中的热数据保存到本地硬盘:innodb_buffer_pool_dump_now=ON,
如果开启,启动mysql服务时,mysql将本地热数据加载到innodb缓存池中:innodb_buffer_pool_load_at_startup=OFF,
查看ibp的状态:show variables like ‘%innodb_buffer_pool%‘;
监控innodb_buffer_pool的使用情况:show status like ‘%innodb_buffer_pool%‘;
主要注意innodb_buffer_pool_read_requests和innodb_buffer_pool_reads,通过这两个获得bp的命中率
5.mysql慢查询日志:
(1)mysqlslowdump,用来帮助数据库管理人员解决可能存在的性能问题
(2)配置文件:在my.cnf中增加:log-slow-queries=/opt/data/slowquery.log(指定日志文件的存放位置,可以为空,系统会给一个缺省文件host_name-slow.log)
记录超过的时间:long_query_time=2,默认为10s
(3)执行命令:set global slow query log=on;
设置记录查询超过多长时间sql:set global long query time=1;
日志路径:set global slow query log file=‘%/opt/data/slow_query.log%‘;
查询慢查询状态:show variables like ‘%query%‘;
(4)mysqldumpslow命令介绍:mysqldumpslow -s t -t 20 -g ‘select‘ 路径
-s:按照何种方式排序,c\t\l\t分别是按照记录次数、时间、查询时间、返回的记录数来排序,前面加上a表示相应的倒叙,-t:是top n的意思,返回前面多少条数据;-g:后边可以写一个正则匹配模式,大小写不敏感。
6.mysql profile:分析sql执行带来的开销是优化sql的重要手段,诸如IO,上下文切换,cpu,memory等
(1)配置
开启profile:set @@profiling=1;
查看profile是否开启:select @@profiling;1为开启,0为关闭,开启后只对当前的session有效
查看被记录的sql:show profiles;或者show profiles for query n:查看指定的sql
show profile cpu/block io/memory for query 1;
7.sql优化目标
(1)减少IO次数
(2)降低cpu计算:order by,group by,distinct,最大数、最小数等,都是消耗cpu的大户
(3)优化方法:改变sql的执行计划,sql优化的基本原则:
(3.1)尽量少join
(3.2)尽量少排序:减少排序的方法:通过利用索引来排序、减少参与排序的记录条数、非必要不对数据进行排序
(3.3)尽量避免select *
(3.4)尽量用join代替子查询
(3.5)尽量用union all代替union
(3.6)禁用外键
(3.7)避免大sql、保持事物的简短精悍、避免大批量更新、避免类型转换、避免取过量数据,建议使用limit、避免sql中进行数学运算、函数计算、逻辑判断等、避免or(同一字段推荐in不同字段推荐union)
总结:1.避免磁盘io,尽量让查询在内存中完成2.通过sql和索引的调整,让mysql用跟高效率的方式查询
4.索引设计原则
下面这两种方式都是添加普通索引
create index ‘my_index‘ on bkl(name);
alter table blk add index my_index2 (sex);
删除索引:
alter table blk drop index my_index2;
(1)最适合索引的列是出现在where子句中的列,或者连接子句中指定的列
(2)使用唯一索引
(3)使用短索引
(4)利用最左前缀
(5)不要过度索引
5.事务:把多件事情当做一件事情来处理,例如:转账,我把钱转出去,别人收到我转出去的钱,如果我在转出的时候断网了,那么要么都成功,要么都失败
6.什么是锁
锁是数据库系统区别于文件系统的一个关键特性。锁机制用于管理对共享资源的并发访问,一方面最大程度的提供并发访问,量一方面要确保每个用户能以一致性得方式读取和修改数据。
Innodb存储引擎会在行级别上对表数据加锁。
(1)关闭自动提交
查看自动提交是否开启:select @@autocommit;0为关闭,1为开启
设置自动提交关闭:set @@autocommit=0;只对当前session有效
修改配置文件my.cnf中[mysqld]模块下加入autocommit =0;永久生效
(2)特点:Innodb是通过对索引上的索引项加锁来实现行锁。如果不是索引的话,实现的是表锁
(3)操作,分别打开两个终端,做update操作不同的行,不提交的时候,在第二个终端出现被锁状态,实现表锁;如果是索引,分别打开两个终端,做update操作相同的行,不提交的时候,在第二个终端出现被锁状态,实现行锁。
(4)查看死锁:show engine innodb status\G;
7.explain:该命令是查看查询优化器如果决定执行查询的主要方法,这个功能有局限性,只是一个近似结果,有时它是一个很好的近似,有时可能相差甚远。
(1)explain select * from students where id =2;
(2)all(全表扫描)<index(索引)<range(范围扫描)<ref(非唯一性索引扫描)<eq_ref(主键或者唯一索引)<const,system(??)<null(带函数的)