InnoDB的双写缓冲

昨天看了InnoDB的双写缓冲,书上说的不太详细,网上也人云亦云。想了一段时间,终于有一些头绪。
    首先需要说一下为什么需要双写缓冲?由于InnoDB和操作系统的页大小不一致,InnoDB页大小一般为16k,操作系统页大小为4k,导致InnoDB回写dirty数据到操作系统中,一个页面需要写4次,写入过程出现问题无法保持原子性。写的过程如果崩溃或者断电,可能导致只有一部分写回到操作系统文件系统中,整个数据只是部分成功,其实数据是损坏的。
如果需要保证数据成功,又不采用双写缓冲,也有比较笨的办法,redo日志中记录整个变更的页数据,回写的时候从redo日志中拷贝页数据到文件系统中,这样会导致redo日志非常大,可能给系统性能带来很大问题。
采用双写缓冲,redo日志只需要记录很少的变更信息,原数据还是存在原来的文件系统中,写入到doublewrite buffer中时,根据redo日志和元数据信息计算得到新数据,先写入到doublewrite buffer中。如果这时系统崩溃,恢复以后InnoDB可以计算校验位,知道数据不正确,重新根据redo日志和元数据计算生成数据覆盖doublewrite buffer中的损坏数据。当doublewrite buffer中的数据全部成功写入以后,此时doublewrite buffer会将数据写入到文件系统中,如果此时系统崩溃,只需要遍历doublewrite buffer,重新将数据写入文件系统,覆盖损坏数据即可。
    由于书里和网上一直语焉不详,一直思考为什么需要doublewrite buffer,如果没有是不是也是可行的,答案是没有也可行,但是这样就需要redo日志记录所有变更的页数据,会导致redo日志特别大。如果redo日志只记录变化是否可行?这样会有问题,因为如果直接写入到文件系统中,如果数据损坏,原数据已经被覆盖,单独根据只含有变化信息的redo日志没法计算出新的正确数据。所以doublewrite buffer相当于承担存储中间状态的介质,这样可能会导致多一些IO,但是由于doublewrite buffer是顺序写入,应该影响不太大,数据正确性和redo日志大小得到控制,利大大大于弊。

时间: 2024-08-23 23:29:42

InnoDB的双写缓冲的相关文章

insert buffer/change buffer double write buffer,双写 adaptive hash index(AHI) innodb的crash recovery innodb重要参数 innodb监控

https://yq.aliyun.com/articles/41000 http://blog.itpub.net/22664653/viewspace-1163838/ http://www.cnblogs.com/MYSQLZOUQI/p/5602206.html https://yq.aliyun.com/articles/222 主从不一致性的3种可能原因1.binlog format是不是row2.session级关闭binlog3.人工在slave修改数据 set sql_log_

MySQL 的 read_buffer_size 参数是如何影响写缓冲和写性能的?

来自国外博客的一篇文章介绍了MySQL 的 read_buffer_size 参数是如何影响写缓冲和写性能. 据说 read_buffer_size 参数只影响以下两种情况的写数据的性能: SELECT INTO … OUTFILE ‘fileName‘ When writing to the OUTFILE, the writes are buffered before writing to OUTFILE When filesort is used, during merge buffers

Java进阶面试必问:如何保证缓存与数据库的双写一致性?

面试题 如何保证缓存与数据库的双写一致性? 面试官心理分析 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 面试题剖析 一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求 "缓存+数据库" 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去. 串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低,用比正常情况下多

经典好文--如何保证缓存和数据库的双写一致性

面试题如何保证缓存与数据库的双写一致性? 面试官心理分析你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 面试题剖析一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求 “缓存+数据库” 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去. 串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低,用比正常情况下多几倍的机器去支撑

PHP中高级面试题 一个高频面试题:怎么保证缓存与数据库的双写一致性?

分布式缓存是现在很多分布式应用中必不可少的组件,但是用到了分布式缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? Cache Aside Pattern 最经典的缓存+数据库读写的模式,就是 Cache Aside Pattern.读的时候,先读缓存,缓存没有的话,就读数据库,然后取出数据后放入缓存,同时返回响应.更新的时候,先更新数据库,然后再删除缓存. 为什么是删除缓存,而不是更新缓存? 原因很简单,很多时候,在复杂点的缓存场景

9.如何保证缓存与数据库的双写一致性?

作者:中华石杉 面试题 如何保证缓存与数据库的双写一致性? 面试官心理分析 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 面试题剖析 一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求 “缓存+数据库” 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去. 串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低,用比正常情

K:缓存数据库双写数据一致性方案

对于缓存和数据库双写,其存在着数据一致性的问题.对于数据一致性要求较高的业务场景,我们通常会选择使用分布式事务(2pc.paxos等)来保证缓存与数据库之间的数据强一致性,但分布式事务的复杂性与对资源的占用问题,使得该处理方式会造成系统性能的降低.对于数据一致性要求没那么高的业务场景,选择分布式事务的处理方式就会显得不是那么必要.为此,在一般情况下,对于数据一致性要求没那么高的业务场景,会选择使用cache-aside-pattern方案来保证缓存与数据库之间,数据的最终一致性,以下文章便是介绍

一个经典面试题:如何保证缓存与数据库的双写一致性?

只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 面试题剖析 一般来说,如果允许缓存可以稍微的跟数据库偶尔有不一致的情况,也就是说如果你的系统不是严格要求 “缓存+数据库” 必须保持一致性的话,最好不要做这个方案,即:读请求和写请求串行化,串到一个内存队列里去. 串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低,用比正常情况下多几倍的机器去支撑线上请求. Cache Aside Pattern 最经

保证缓存与数据库双写时的数据一致性

缓存与数据库双写时的数据一致性问题:只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 一般来说,就是如果你的系统不是严格要求缓存+数据库必须一致性的话,缓存可以稍微的跟数据库偶尔有不一致的情况,最好不要做这个方案,读请求和写请求串行化,串到一个内存队列里去,这样就可以保证一定不会出现不一致的情况. 串行化之后,就会导致系统的吞吐量会大幅度的降低,用比正常情况下多几倍的机器去支撑线上的一个请求. 原文地址:https://www