MySQL数据库IO问题

--MySQL数据库IO问题

----------------------2014/05/25

看http://www.mysqlperformanceblog.com 的时候,发现Percona Server已经发布到
5.1.58了,其中有一个重大的性能改进在flush 日志文件和doublewrite
buffer的时候,使用fdatasync()代替fsync(),具体描述如下:

fsync() has been
replaced with fdatasync() to improve perfomance where possible. The former is
intended to sync the metadata of the file also (size, name, access time, etc.),
but for the transaction log and the doublewrite buffer, such sync of metadata
isn’t needed. Bug Fixed: #803270 (Yasufumi Kinoshita).

下面来介绍下fsync()和
fdatasync()函数吧:

传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存(OS
Cache),大多数磁盘
I/O都通过缓冲进行。当将数据写入文件时,内核通常先将该数据复制到其中一个缓冲区中,如果该缓冲区尚未写满,则并不将其排入输出队列,而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时,再将该缓冲排入输出队列,然后待其到达队首时,才进行实际的I/O操作。这种输出方式被称为延迟写
(delayed write)。

延迟写减少了磁盘读写次数,但是却降低了文件内容的更新速度,使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时,这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性,UNIX系统提供了
sync、fsync和fdatasync三个函数。

sync函数只是将所有修改过的块缓冲区排入写队列,然后就返回,它并不等待实际写磁盘操作结束。应该说,速度最快。

通常称为update的系统守护进程会周期性地(一般每隔30秒)调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。

fsync函数只对由文件描述符filedes指定的单一文件起作用,并且等待写磁盘操作结束,然后返回。fsync可用于数据库这样的应用程序,这种应用程序需要确保将修改过的块立即写到磁盘上。速度最慢。

fdatasync函数类似于fsync,但它只影响文件的数据部分。而除数据外,fsync还会同步更新文件的属性。速度介于二者之间。

那么Innodb中,配置参数innodb_flush_method有三个值,分别是fdatasync,O_DSYNC和O_DIRECT,其中fdatasync是默认值。它们控制了InnoDB刷新日志和数据的模式,这个参数对MySQL的性能有较大的影响。

fdatasync:

InnoDB使用fsync()函数去更新日志和数据文件。

O_DSYNC:

InnoDB使用O_SYNC模式打开并更新日志文件,用fsync()函数去更新数据文件。

O_DIRECT:

InnoDB使用O_DIRECT模式打开数据文件,日志文件不使用O_DIRECT标记,用fsync()函数去更新日志和数据文件。

我们目前的线上库,该配置参数设置的是O_DIRECT,数据文件的读/写操作都会跳过OS cache,直接在device(disk)上读/写。因为没有了OS
cache,所以会O_DIRECT降低文件的顺序读写的效率(因为是直接对磁盘进行操作)。如果不使用O_DIRECT,操作系统被迫开辟大量的Cache来缓存读写数据,不但没有提高读写性能,反而造成读写性能急剧下降(Flush的话,相当于要先Flush到缓存,再在一定得条件下把缓存的结果Flush到磁盘,相当于写了两遍),而且buffer
pool的数据缓存和OS
Cache都缓存了同样的数据,造成了Buffer的Double(浪费!),因此有可能造成性能的大幅下降。

使用O_DIRECT选项,通常需要带有写缓存的RAID卡,并且设置为Write-Back策略(就是写入会在RAID卡缓存上进行缓冲,不直接写到硬盘),因为这是典型的唯一能保持好性能的方法。

日志缓冲IO

日志缓冲必须被双信道持久化存储,已确保提交的事务完全被持久化,此动作方式可有参数innodb_flush_log_at_trx_commit变量来控制。

0

  把日志缓冲写到日志文件,并且美妙刷新一次,但是事务提交时不做任何事。

1

  将日志缓冲写到日志文件,并且每次事务提交都刷新到持久化存储。

2

  每次提交时把日志缓冲写到日志文件,但是并不刷新。

-----------------------------------------------------这是提到的刷新,就是使用我们上文提到的刷新策略。

具体参考下图:

MySQL数据库IO问题,布布扣,bubuko.com

时间: 2024-10-06 16:04:19

MySQL数据库IO问题的相关文章

mysql数据库性能优化(包括SQL,表结构,索引,缓存)

优化目标减少 IO 次数IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当然,也是收效最明显的优化手段.降低 CPU 计算除了 IO 瓶颈之外,SQL优化中需要考虑的就是 CPU 运算量的优化了.order by, group by,distinct … 都是消耗 CPU 的大户(这些操作基本上都是 CPU 处理内存中的数据比较运算).当我们的 IO 优化做到一定阶段之后

mysql数据库的安装以及常见优化设置

原文:mysql数据库的安装以及常见优化设置 本文根据优才网课程整理,面向web开发者,内容以实用为主,专业DBA可以绕行. 如果你在大公司,可能有专门的DBA来做这些事情,如果你在一个小公司当架构师或者技术总监,或者你自己创业,那DBA的活你也得干了.咱们来讲一下基本的mysql安装和优化. 一: MYSQL安装和基本配置 在linux上安装,可以用包管理工具来安装,比较简单:RedHat 系列:yum -y install mysql mysql-server Debian系列:sudo a

MYSQL数据库设计规范与原则

MYSQL数据库设计规范 1.数据库命名规范 采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线'_'组成; 命名简洁明确(长度不能超过30个字符); 例如:user, stat, log, 也可以wifi_user, wifi_stat, wifi_log给数据库加个前缀; 除非是备份数据库可以加0-9的自然数:user_db_20151210; 2.数据库表名命名规范 采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线'_'组成; 命名简洁明确,多

nodejs+sequelize操作mysql数据库

前言: 本人对mysql不是很熟悉,只会命令行的简单增删改查.有些观点可能不到位请谅解. sequelize是针对node.js和io.js开发的基于ORM的框架,它支持的数据库包括:PostgreSQL. MySQL.MariaDB. SQLite 和 MSSQL. 目录: 1.安装mysql 2.创建目录及文件 3.连接数据库并定义模型 4.操作数据库(增删改查) 5.sequelize框架的API泛解 1.安装mysql 安装环境:win7 x64 先去官网下载最新的版本的mysql,进入

MySQL数据库安装,配置My.ini文件

最近在做项目开发时用到了MySql数据库,在看了一些有关MySql的文章后,很快就上手使用了.在使用的过程中还是出现了一些问题,因为使用的是绿色免安装版的MySql所以在配置的时候出现了一些问题,该篇文章就主要针对MySql绿色版的配置及其使用进行讨论. 一.MySql概述 MySql数据库是有瑞典MySql AB公司开发,现在该公司被Oracle收购属于Oracle所有.同SQL Server类似,它也是基于关系型数据库的数据库管理系统,在Web应用方面MySQL是最好的RDBMS之一,因为它

mysql数据库,编码错误解决

在写代码的过程中,经常会遇见,将中文字符输入到mysql数据库中,但是查看的时候,却发现,中文显示为乱码的情况,让人相当的头疼,今天正好解决了一个这样遇到的问题,所以简单总结一下: 1.首先查看数据库的字符集,命令为: show variables like 'collation_%'; show variables like 'character_set_%'; 2.修改字符集不同的设置: 3.查看表的默认字符集是否为utf8: show create table 表名: 可以查看表的默认字符

MySQL数据库存储引擎与数据库优化

存储引擎 (1)MySQL可以将数据以不同的技术存储在文件(内存)中,这种技术就成为存储引擎. 每种存数引擎使用不同的存储机制.索引技巧.锁定水平,最终提供广泛且不同的功能. (2)使用不同的存储引擎也可以说不同类型的表 (3)MySQL支持的存储引擎 MyISAM InnoDB Memory CSV Archive 查看数据表的创建语句: SHOW CREATE TABLE 表名 相关概念: (1).并发控制:一个人读数据,另外一个人在删除这个数据. 当多个连接对记录进行修改时保证数据的一致性

(DBA之路十)《深入浅出MySQL数据库开发优化与管理维护》的读书笔记

1>mysql的配置文件在/etc下的my.cnf 2)mysql服务是一系列后台进程,mysql数据库是一系列数据目录和数据文件 mysql数据库必须在mysql服务启动之后才可以进行访问 3)查看mysql服务的状态: netstat -nlp 4)启动/关闭服务 cd /usr/bin ./mysqld_safe & mysqladmin -uroot shutdown 5)PRM包安装的启动/关闭服务 service mysql start service mysql restart

.net安装包自动安装Mysql数据库

原文:.net安装包自动安装Mysql数据库 在制作.Net安装包的时候,如果项目有用到数据库,怎么能够把数据库打包安装呢?网上已经有很多自动安装Sql Server数据库的例子,但是自动安装mysql的例子似乎不多.本文就介绍一下如何在.Net安装包中自动安装Mysql数据库. 最终我们要实现的效果是,部署.Net桌面应用程序时,能够一键自动安装应用程序以及附带的MySql数据库,并初始化数据库. 实现步骤如下: 1.准备一个干净的MySql安装包 mysql本身是开源的,安装完mysql数据