mysql open files

错误信息如下:

.....
150905 13:10:17 [ERROR] /usr/local/mysql/bin/mysqld: Can‘t open file: ‘./mytest/t1.frm‘ (errno: 24)
150905 13:10:17 [ERROR] /usr/local/mysql/bin/mysqld: Can‘t open file: ‘./mytest/t2.frm‘ (errno: 24)
......
150905 13:10:17 [ERROR] Error in accept: Too many open files
....

注意到, 系统错误代号是 24, 用 perror 来查看一下具体的错误信息是什么:

[[email protected]]# /usr/local/mysql/bin/perror 24
OS error code  24:  Too many open files

原来是打开文件太多了, 好办.用sysctl来调整一下就好了:

[[email protected]]# sysctl -w fs.file-max=43621
[[email protected]]# sysctl -a | grep fs.file-max
fs.file-max = 43621

最后, 还有最重要的一点是, 修改 mysqld 的配置文件 my.cnf, 增加如下一行:

open_files_limit = 4096
#根据自己的情况适当调整,系统默认值是
# max_connections*5 或 max_connections + table_cache*2

然后, 以root身份重新启动 mysqld. 在这里, 尽管 my.cnf 中指定的运行用户不是root, 一样可以以root身份来启动mysqld, 否则 open_files_limit 选项无法生效, 因为内核限制了普通用户的最多打开文件数.

目前open file超过limit的问题:

除了socket,binlog, relay log, ibdata, logfile等这些固定需要打开的句柄以外,

剩下的各种存储引擎的数据文件的打开数量,只应该和即时的IO并发请求量有关系,和用户的请求, 压力, 多少张表没有什么关系。

所以,出现的open file太多的问题,属于代码缺陷, 目前集中在Myisam和tukodb引擎:

InnoDB引擎严格按照Innodb_open_files的设置,使用LRU管理open file,不会遇到这个问题。

flush tables,其实没有关闭文件的含义,只是mysiam的handler close接口刚好会尝试关闭MYD,MYI文件, 这个操作对InnoDB表并没有什么卵用。

分区表过多,也是属于myisam表的缺陷,分区多少也应该和open file数量没什么关系。

如何查看mysqld进程打开的文件数?

假设pid = 26206

ls /proc/26206/fd | wc -l

在MySQL中,有几个地方会存在文件描述符限制:

1、在Server层,整个mysqld实例打开文件总数超过用户进程级的文件数限制,需要检查内核 fs.file-max 限制、进程级限制 ulimit -n 及MySQL中的 open-files-limit 选项,是否有某一个超限了。任何一个条件超限了,就会抛出错误。

2、虽然Server层总文件数没有超,但InnoDB层也有限制,所有InnoDB相关文件打开总数不能超过 innodb-open-files 选项限制。否则的话,会先把最早打开的InnoDB文件描述符关闭,才能打开新的文件,但不会抛出错误,只有告警信息。
相应地,如果提示超出限制,则可以使用下面方法提高上限:

1、首先,提高内核级总的限制。执行:sysctl -w fs.file-max=3264018;

2、其次,提高内核对用户进程级的打开文件数限制。执行:ulimit -n 204800;

3、最后,适当提高MySQL层的几个参数:open-files-limit、innodb-open-files、table-open-cache、table-definition-cache。
 

1、open-files-limit
它限制了mysqld进程可持有的最大打开文件数,相当于是一个小区的总电闸,一旦超限,小区里所有住户都得停电。
5.6.7(含)以前,默认值0,最大和OS内核限制有关;
5.6.8(含)以后,默认值会自动计算,最大和OS内核限制有关。

在5.6.8及以后,其自动计算的几个限制规则见下,哪个计算结果最大就以哪个为上限:

1) 10 + max_connections + (table_open_cache * 2)
2) max_connections * 5
3) open_files_limit value specified at startup, 5000 if none

2、innodb-open-files

限制InnoDB引擎中表空间文件最大打开的数量,相当于自己家中电箱里的某个电路保险,该电路短路的话,会自动跳闸,而不会影响其他电路,去掉短路源后重新按上去就可以使用。

其值最低20,默认400,只计算了包含ibdata*、ib_logfile*、*.ibd 等三类文件,redo log不计算在内,5.6以后可独立undo log,我还未进行测试,应该也不会被计算在内,有兴趣的朋友可验证下。

3、table-definition-cache

该cache用于缓存 .frm 文件,该选项也预示着 .frm 文件同时可打开最大数量。
5.6.7 以前默认值400;
5.6.7 之后是自动计算的,且最低为400,自动计算公式:400 + (table-open-cache / 2)。

对InnoDB而言,该选项只是软性限制,如果超过限制了,则会根据LRU原则,把旧的条目删除,加入新的条目。

此外,innodb-open-files 也控制着最大可打开的表数量,和 table-definition-cache 都起到限制作用,以其中较大的为准。如果没配置限制,则通常选择 table-definition-cache 作为上限,因为它的默认值是 200,比较大。

4、table-open-cache

该cache用于缓存各种所有数据表文件描述符。
5.6.7 以前,默认值400,范围:1 – 524288;
5.6.8 – 5.6.11,默认值2000,范围:1 – 524288;
5.6.12以后,默认值2000(且能自动计算),范围:1 – 524288。

补充说明1:关于如何计算表文件描述符的建议:

table-open-cache 通常和 max-connections 有关系,建议设置为 max_connections * N,N的值为平均每个查询中可能总共会用到的表数量,同时也要兼顾可能会产生临时表。

补充说明2:MySQL会在下列几种情况把表从table cache中删掉:

1、table cache已满,并且正要打开一个新表时;
2、table cache中的条目数超过 table_open_cache 设定值,并且有某些表已经长时间未访问了;

3、执行刷新表操作时,例如执行 FLUSH TABLES,或者 mysqladmin flush-tables 或 mysqladmin refresh

补充说明3:MySQL采用下述方法来分配table cache:

1、当前没在用的表会被释放掉,从最近最少使用的表开始;
2、当要打开一个新表,当前的cache也满了且无法释放任何一个表时,table cache会临时加大,临时加大的table cache中的表不用了之后,会被立刻释放掉。
 
时间: 2024-10-21 02:04:16

mysql open files的相关文章

解决Cannot find MySQL header files under /usr/include/mysql的错误

按照下面的步骤能成功,亲测.转帖,做笔记 编译php-5.5-6的mysql支持,出现Cannot find MySQL header files under /usr/include/mysql. Note that the MySQL client library is not bundled anymore!错误!解决方法如下: [[email protected] php-5.5.6]# ./configure --prefix=/usr/local/php --with-config-

编译安装php时提示Cannot find MySQL header files的解决方法

php的配置文件中有一行--with-mysql=/usr/local/mysql ,安装的时候提示:configure: error: Cannot find MySQL header files under yes.Note that the MySQL client library is not bundled anymore. 这是由于安装mysql时没有安装mysql头文件,或者是路径指定不正确,php找不到mysql的头文件引起的错误提示. 解决方法.1. 查看你的系统有没有安装my

linux下安装php报错configure: error: Cannot find MySQL header files under /usr/include/mysql.

linux下安装php报错configure: error: Cannot find MySQL header files under /usr/include/mysql. 2013-03-04 15:34wdjhz | 分类:服务器软件 | 浏览5318次 configure: error: Cannot find MySQL header files under /usr/include/mysql.Note that the MySQL client library is not bun

解决mysql跟php不在同一台机器上,编译安装php服务报错问题:configure: error: Cannot find MySQL header files under /application/mysql.

在编译安装php服务时报错: configure: error: Cannot find MySQL header files under /application/mysql. Note that the MySQL client library is not bundled anymore! 前边搭建lnmp环境时,是把mysql和php安装在了同一台机器上,编译php的时候,需要通过参数 --with-mysql来指定mysql的安装路径,但在生产环境中,通常php和mysql是不在同一台

MySQL log files   (1)

MySQL has several log files that can help you find out what activity is taking place. log type      information write to log file error log  Problems encoutered  starting, running or stopping mysqld General query  log      Established client connecti

Linux / mysql: is it safe to copy mysql db files with cp command from one db to another?

Copying is very simple for MyISAM and completely 100% risky (near suicidal) with InnoDB. From your question, you brought up cp /db1/mytable.frm /db2/mytable.frm MyISAM This is OK to do. However, you cannot just move the .frm. You must move all compon

LAMP搭建23:MySQL常用操作-2

授权:all全部权限,也可以授予部分权限,%通配符,表示所有 mysql> grant all on discuz.* to 'rachy'@'%' identified by '123456'; Query OK, 0 rows affected (0.01 sec) 刷新权限,使之生效 mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) 查看任务队列 mysql> show processlist; +----+

Ansible批量安装mysql数据

1.构建安装目录 mkdir -p /ansible/roles/mysql/{defaults,files,handlers,meta,tasks,templates,vars} defaults 默认寻找路径 tasks 存放playbooks路径 files 存放文件和脚本,copy模块文件搜索路径 templates 模版存放路径 handlers notify调用部分playbook存放路径 vars roles内变量存放路径 2.文件目录结构 3.playbooks & Shell

centos7 systemctl 管理 mysql

centos 7 开始使用systemctl 管理服务 服务脚本目录 /etc/systemd/system/mysql.service 脚本如下: # # Simple MySQL systemd service file # # systemd supports lots of fancy features, look here (and linked docs) for a full list: #  http://www.freedesktop.org/software/systemd/