一、MySQL体系结构总览
不管是用哪种数据库,了解数据库的体系结构都是极为重要的。MySQL体系结构主要由数据库和数据库实例构成。
数据库:物理操作系统文件或者其它文件的集合,在mysql中,数据库文件可以是frm、myd、myi、ibd等结尾的文件,当使用ndb存储引擎时候,不是os文件,是存放于内存中的文件。
数据库实例:由数据库后台进程/线程以及一个共享内存区组成,共享内存可以被运行的后台进程/线程所共享。
以下为MySQL数据库的体系结构:
最上层的服务并不是MySQL所独有的,大多数基与网络的客户端/服务器端工具或者服务都有类似的架构。比如连接处理、授权认证、安全等等。
第二层架构大多数MySQL核心服务功能都在这一层,包括查询解析、分析、优化、缓存以及所有的内置函数(例如,日期、时间、数学和加密函数),所有跨存粗引擎的功能都在这一层实现:存储过程、触发器、视图等。
第三层包含了存储引擎。存储引擎负责MySQL中数据的存储和提取。和GNU/Linux下的各种文件系统一样,每个存储引擎都有它的优势和劣势。服务器通过API与存储引擎进行通信。这些接口屏蔽了不同存储引擎之间的差异,使得这些差异对上层的查询过程透明。存储引擎API包含几十个底层函数,用于执行诸如“开始一个事务”或者“根据主键提取一行记录”等操作。但存储引擎不会去解析SQL,不同存储引擎之间也不会相互通信,而只是简单地响应上层服务器端请求。
二、数据库后台线程
默认情况下讲述的InnoDB存储引擎,以后不再重复声明。后台线程有7个——4个IO thread,1个master thread,1个锁监控线程,1个错误监控线程。IO thread的数量由配置文件中的innodb_file_io_threads参数控制,默认为4。4个IO线程分别是insert buffer thread、log thread、read thread、write thread。
在MySQL 5.6.10中,MySQL企业版MySQL的包括线程池,使用服务器插件来实现。在MySQL服务器的默认线程处理模型使用执行每个客户端连接一个线程语句。随着越来越多的客户端连接到服务器和执行语句,整体性能降低。线程池的插件提供了旨在减少开销,提高性能的其他线程的处理模式。该插件实现了通过有效地管理语句执行线程的大量客户端连接的提高服务器性能的线程池。
InnoDB Plugin版本开始增加了默认IO thread的数量,默认的read thread和write thread分别增大到了4个,并且不再使用innodb_file_io_threads参数,而是分别使用innodb_read_io_threads和innodb_write_io_threads参数。
线程池解决每个连接模型解决单线程的几个问题:(原话也在其中,怕翻译错了。)
- 过大的线程堆栈导致处理器高速缓存在高并发工作负载下几乎是无用。线程池促进线程堆栈重用,以尽量减少处理器高速缓存。
Too many thread stacks make CPU caches almost useless in highly parallel execution workloads. The thread pool promotes thread stack reuse to minimize the CPU cache footprint.
- 伴随着过多的线程并发调用,上下文切换带来大量的性能消耗。与此同时对于操作系统任务调度也是富有挑战的任务。线程池控制着活跃线程数,以确保MySQL服务器内部保持高并发状态,同时操控并使服务器适应MySQL的运转。
With too many threads executing in parallel, context switching overhead is high. This also presents a challenging task to the operating system scheduler. The thread pool controls the number of active threads to keep the parallelism within the MySQL server at a level that it can handle and that is appropriate for the server host on which MySQL is executing.
- 并发执行导致过多的事务竞争资源。在InnoDB中,导致了花在互斥的时间增加。一旦事务开启,线程池将控制不会有太多并发执行。
Too many transactions executing in parallel increases resource contention. In InnoDB, this increases the time spent holding central mutexes. The thread pool controls when transactions start to ensure that not too many execute in parallel.
三、数据库内存
InnoDB存储引擎内存由以下几个部分组成:缓冲池(buffer pool)、重做日志缓冲池(redo log buffer)以及额外的内存池(additional memory pool),分别由配置文件中的参数innodb_buffer_pool_size和innodb_log_buffer_size的大小决定。