Internal Temporary Tables

8.4.4 How MySQL Uses Internal Temporary Tables

这是MySQL手册中的一节，尝试补充了一些解释。用的版本是MySQL5.6.15社区版

In some cases, the server creates internal temporary tables while processing queries. Such a table can be held in memory and processed by the MEMORY storage engine, or stored on disk and processed by the MyISAM storage engine. The server may create a temporary table initially as an in-memory table, then convert it to an on-disk table if it becomes too large. Users have no direct control over when the server creates an internal temporary table or which storage engine the server uses to manage it.

Temporary tables can be created under conditions such as these:

  • UNION queries use temporary tables.
    union all，顺序把各select的所有记录写入一个临时表，都写完了，再查出来发送给客户端；
    union，与上面类似，不同的是，临时表是有唯一键的，重复数据只记录一条；
  • Some views require temporary tables, such those evaluated using the TEMPTABLE algorithm, or that use UNION or aggregation.
  • If there is an ORDER BY clause and a different GROUP BY clause, or if the ORDER BY or GROUP BY contains columns from tables other than the first table in the join queue, a temporary table is created.
    即使只有一个group by，如果用不上索引，也会需要临时表；此时临时表有一个唯一键，即group by的列；还保存有select的列，包括聚合函数的列，比如sum的值；
    如果order by时出现filesort，此时不一定有临时表；filesort有单独的排序区sort buffer，和临时文件保存排序数据，数据量大时，会保存在硬盘；filesort和临时表不是一个概念，没有必然联系；
    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)mysql> explain select avg(age),name3 from three group by name3;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.08 sec)

    mysql> explain select avg(age),name3 from three group by name3 order by null;
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra           |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    1 row in set (0.00 sec)

    mysql> explain select avg(age),name3 from three group by name3 order by age;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.00 sec)

    mysql> explain select avg(age) avgage,name3 from three group by name3 order by avgage;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.02 sec)
    只要group by用不上索引，就需要临时表来解决去重和计算聚合函数；
    加上索引，执行计划就有所变化了：
    mysql> alter table three add key i_name3(name3);
    Query OK, 0 rows affected (0.51 sec)
    Records: 0  Duplicates: 0  Warnings: 0

    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`),
    KEY `i_name3` (`name3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)

    mysql> explain select avg(age),name3 from three group by name3;
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra |
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | NULL  |
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    1 row in set (0.00 sec)

    上面这个SQL用到了索引，利用innodb b+tree的特性，按顺序读取name3的值，并计算其聚合函数；当读取的name3的值发生变化时，就表示变化发生前的那个name3的值对应的聚合函数值计算完了，发送给网络接口；由此就不需要用临时表来去掉name3重复值，以及计算聚合函数值了；
    下面这个SQL也用到了索引，但是按照聚合函数值排序，就比上面多了临时表和filesort；
    mysql> explain select avg(age) avgage,name3 from three group by name3 order by avgage;
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    1 row in set (0.04 sec)
    上面这个SQL，group by使用了索引。利用索引的顺序读取name3，并计算avg(age)，算好一个avgage值之后，把该avgage和name3写入临时表；
    都写完之后，从临时表读取数据，按avgage排序，然后发送结果；
    而group by与order by的列不属于同一个表时，只是多了个join过程，其他过程应该是同理的；

  • DISTINCT combined with ORDER BY may require a temporary table.
    distinct与group by同理
    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`),
    KEY `i_name3` (`name3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)mysql> explain select distinct(age) from three;
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra           |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    1 row in set (0.01 sec)

    mysql> explain select distinct(name3) from three;
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | Using index |
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    1 row in set (0.04 sec)

  • If you use the SQL_SMALL_RESULT option, MySQL uses an in-memory temporary table, unless the query also contains elements (described later) that require on-disk storage.
  • Derived tables (subqueries in the FROM clause).
    mysql> show create table one\G
    *************************** 1. row ***************************
    Table: one
    Create Table: CREATE TABLE `one` (
    `id` int(11) DEFAULT NULL,
    `name` varchar(10) DEFAULT NULL,
    KEY `i_name` (`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.04 sec)mysql> explain select * from (select * from one) a;
    +—-+————-+————+——+—————+——+———+——+——+——-+
    | id | select_type | table      | type | possible_keys | key  | key_len | ref  | rows | Extra |
    +—-+————-+————+——+—————+——+———+——+——+——-+
    |  1 | PRIMARY     | <derived2> | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
    |  2 | DERIVED     | one        | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
    +—-+————-+————+——+—————+——+———+——+——+——-+
    2 rows in set (0.00 sec)
    在执行计划里叫DERIVED，实现上就是一个临时表；
    上面SQL把one的所有记录写入临时表，然后再查出来；
  • Tables created for subquery or semi-join materialization.
    想用in看一下子查询，结果被优化成join了；
    mysql> explain select * from one where id in(select id2 from two);
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    | id | select_type | table | type | possible_keys | key   | key_len | ref           | rows | Extra                        |
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    |  1 | SIMPLE      | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where                  |
    |  1 | SIMPLE      | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index; FirstMatch(one) |
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    2 rows in set (0.00 sec)
    5.6加了个firstmatch的优化，而且把subquery变成join了，效率提高不少；mysql> explain select * from one where exists (select id2 from two where one.id=two.id2);
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    | id | select_type        | table | type | possible_keys | key   | key_len | ref           | rows | Extra       |
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    |  1 | PRIMARY            | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where |
    |  2 | DEPENDENT SUBQUERY | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index |
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    2 rows in set (0.04 sec)
    mysql> explain select * from one where exists (select id2 from two where one.id=two.id2) order by name;
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    | id | select_type        | table | type | possible_keys | key   | key_len | ref           | rows | Extra                       |
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    |  1 | PRIMARY            | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where; Using filesort |
    |  2 | DEPENDENT SUBQUERY | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index                 |
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    2 rows in set (0.00 sec)
    上面这两个SQL都没有用到临时表；
    子查询用到临时表的情况需要再观察；
    semijoin的目前还不懂，后面再说了；

To determine whether a query requires a temporary table, use EXPLAIN and check the Extra column to see whether it says Using temporary (see Section 8.8.1, “Optimizing Queries with EXPLAIN”). EXPLAIN will not necessarily say Using temporary for derived or materialized temporary tables.

If an internal temporary table is created initially as an in-memory table but becomes too large, MySQL automatically converts it to an on-disk table. The maximum size for in-memory temporary tables is the minimum of the tmp_table_size and max_heap_table_size values. This differs from MEMORY tables explicitly created withCREATE TABLE: For such tables, only the max_heap_table_size system variable determines how large the table is permitted to grow and there is no conversion to on-disk format.

When the server creates an internal temporary table (either in memory or on disk), it increments theCreated_tmp_tables status variable. If the server creates the table on disk (either initially or by converting an in-memory table) it increments the Created_tmp_disk_tables status variable.

Some conditions prevent the use of an in-memory temporary table, in which case the server uses an on-disk table instead:

  • Presence of a BLOB or TEXT column in the table
  • Presence of any string column in a GROUP BY or DISTINCT clause larger than 512 bytes for binary strings or 512 characters for nonbinary strings. (Before MySQL 5.6.15, the limit is 512 bytes regardless of string type.)
  • Presence of any string column with a maximum length larger than 512 (bytes for binary strings, characters for nonbinary strings) in the SELECT list, if UNION or UNION ALL is used

简单地说，临时表是用来以表的形式保存中间结果的。数据少时是heap表，在内存中，数据多时是MyISAM表，在硬盘上。

注意，不是所有的中间结果都用临时表。filesort保存中间结果用的临时文件，不是临时表。

时间： 2024-10-22 12:32:46

Internal Temporary Tables的相关文章

Temporary Tables临时表

1简介 ORACLE数据库除了可以保存永久表外,还可以建立临时表temporary tables.这些临时表用来保存一个会话SESSION的数据, 或者保存在一个事务中需要的数据.当会话退出或者用户提交commit和回滚rollback事务的时候,临时表的数据自动清空, 但是临时表的结构以及元数据还存储在用户的数据字典中. 临时表只在oracle8i以及以上产品中支持. 2详细介绍 Oracle临时表分为 会话级临时表和事务级临时表. 会话级临时表是指临时表中的数据只在会话生命周期之中存在,当用

T-SQL Recipes之 Table Variables and Temporary Tables and CTE

Problem 许多时候, 我们想要Table Variables在动态SQL中执行,但现实是很骨感的.比如这个示例: DECLARE @sql_command NVARCHAR(MAX); DECLARE @parameter_list NVARCHAR(MAX); DECLARE @last_names TABLE ( last_name NVARCHAR(50) ); SELECT @sql_command = ' SELECT DISTINCT FirstName FROM Person

【mysql】关于临时表

mysql官方的介绍 In some cases, the server creates internal temporary tables while processing queries. Such a table can be held in memory and processed by the MEMORY storage engine, or stored on disk and processed by the MyISAM storage engine. The server m

关于参数net_buffer_length How MySQL Uses Memory

http://dev.mysql.com/doc/refman/5.6/en/memory-use.html The following list indicates some of the ways that the mysqld server uses memory. Where applicable, the name of the system variable relevant to the memory use is given: All threads share the MyIS

TEXT和BLOB区别

Instances of BLOB or TEXT columns in the result of a query that is processed using a temporary table causes the server to use a table on disk rather than in memory because the MEMORY storage engine does not support those data types (see Section 8.4.4

MySQL - Show Processlist 整理（转）

原文来源:MySQL 5.5 Reference Manual 部分翻译取自:<MySQL_5.1中文参考手册> 转载请注明原文链接http://www.cnblogs.com/lenagt/archive/2012/06/06/2538201.html 谢谢. ------------------------------------------------------------------------------------------ Show processlist 在Show pro

【MySQL】查询使用临时表

MySQL查询产生临时表的分析 官网说明的地址:http://dev.mysql.com/doc/refman/5.5/en/internal-temporary-tables.html 参考:http://blog.csdn.net/chenchaoxing/article/details/25214397 In some cases, the server creates internal temporary tables while processing queries. Such a t

MySQL - Show Processlist 整理

System lock Show processlist 在Show processlist输出中的Status项: 5.1手册中没有的或者翻译有问题的,都附带5.5原文说明: After create This occurs when the thread creates a table (including internal temporary tables), at the end of the function that creates the table. This state is

mysql --The MEMORY Storage Engine--官方文档

原文地址:http://dev.mysql.com/doc/refman/5.7/en/memory-storage-engine.html The MEMORY storage engine (formerly known as HEAP) creates special-purpose tables with contents that are stored in memory. Because the data is vulnerable to crashes, hardware issu