[redis读书笔记] 第三部分 多机数据库的实现 复制

复制即主服务器向从服务器的数据同步,REDIS的实现具有参考意义,尤其对于有主从同步需求,数据量不是特别大,可以用内存存储,其中巧妙之处在于 offset和缓冲区的配对使用,让主服务器能够很快的知道应该同步哪些数据,即使面对多个从服务器可以做到处理流程一样。

书中分析了老版本和新版本在复制过程中,断链发生时的不同处理,来描述复制的过程。

老版本复制主要2个方式:

1. 从服务器主动发送SYNC给主服务器,主服务器启动BGSAVE,生成一个DB文件,传给从服务器,从服务器加载DB文件,然后主服务器将这个过程中接收到的写命令也同步给从服务器,从服务器也执行这些写命令,同步结束。

SYNC的过程是非常耗费资源的,CPU,内存,带宽都会在不同时期被占用

2. 主从服务器DB相同,主服务器执行了写命令,主动同步给从服务器,称之为命令传播

老版本的bug:上面第2点,假如主服务器和从服务器断链,主服务器无法感知,依然进行命令传播,将主服务器上的写命令传送给从服务器,而从服务器接收不到,最后建连后数据就不一致了。

当然,建链后可以直接来一次SYNC,不过这样过于耗费资源。

新版本:

有了PSYNC命令,断链后,等到建链,从服务器发送PSYNC给主服务器,主服务器会将断链时间段的所有写命令同步给从服务器。

下图中+CONTINUE回复标识开始部分同步。

二 部分复制的实现细节:

1. 首先,主从服务器都会记下同步的字节数,所谓复制偏移量,主服务器上记录 同步多少字节给从服务器,从服务器记录接收到主服务器同步多少个字节,下图15-7中同步了10086字节的数据

如果断链后恢复,从服务器发送PSYNC给主服务器,带上本地的复制偏移量,主服务器比较后发现和本地的不一样,就意味着主从数据不一致,需要进行数据同步。

2. 主服务发现本地的offset和从服务器的offset不一致,意味着要进行数据同步,怎么同步呢?

主服务器中会有一个固定长度(1MB)的FIFO的复制积压缓冲区,每个复制到从服务器的字节,都会储存在这个缓冲区中,每个字节都对应到一个offset.

当从服务器发送PSYNC,带来自己的offset,主服务器会在复制积压缓冲区中查找,如果offset+1依然在缓冲区中,没有被挤压出队列(固定长度FIFO,存储最新的命令,如果队列满,最老的命令会被挤压出队列),就可以执行部分复制。否则就要进行全部复制,即SYNC

2.服务器运行ID,从服务器会存储主服务器的运行ID,此ID是全局唯一的。如果断链再建联,主服务器发现从服务器发来的主服务器运行ID(伴随PSYNC命令)和自己的不一样,那么就要进行完整的复制,如果ID一致,可以选择进行部分复制。

时间: 2024-10-05 05:31:27

[redis读书笔记] 第三部分 多机数据库的实现 复制的相关文章

《Android编程权威指南》-读书笔记(三)Git初探

<Android编程权威指南>-读书笔记(三)Git初探 版本控制-Git 为什么要使用版本控制 什么是版本控制?我为什么要关心它呢?版本控制是一种记录一个或若干文件内容变化,以便将来查阅特定版本修订情况的系统.在本书所展示的例子中,我们仅对保存着软件源代码的文本文件作版本控制管理,但实际上,你可以对任何类型的文件进行版本控制. 如果你是位图形或网页设计师,可能会需要保存某一幅图片或页面布局文件的所有修订版本(这或许是你非常渴望拥有的功能).采用版本控制系统(VCS)是个明智的选择.有了它你就

MySQL Cookbook读书笔记第三章

1,查询指定列/从指定列中查询 若需要指定每一列在查询结果中出现的先后顺序,可以在select语句中指定(dstuser在dsthost之后): 查询显示用户所关注的列: 2,指定查询行 使用where关键字可以查询符合条件限制的数据例如:查找srchost为venus或者srchost以s开头的行记录: 使用操作符like进行模式匹配,其中%表示通配符,代表一个差多为任意值的字符串. where使用操作符and可以查询多个条件: 条件并集: 3,格式化显示查询结果 当查询语句中没有重命名列名,

Linux内核设计与实现读书笔记——第三章

Linux内核设计与实现读书笔记——第三章 进程管理 20135111李光豫 3.1进程 1.进程即处于执行期的程序,并不局限于一个可执行的代码,是处于执行期程序以及其相关资源的总称. 2.Linux系统中,对于进程和线程并没有明显的区分,线程是一种特殊的进程. 3.Linux系统中,常用fork()进程创建子进程.调用fork()进程的成之为其子进程的父进程. 4.fork()继承实际上由clone()系统调用实现.最后通过exit()退出执行. 3.2任务描述符及任务结构 1.任务队列实质上

angular读书笔记(三)

(三)使用路由和$location切换视图 app.js: angular.module('shop',['ngRoute','ngResource','shop.controllers','shop.services','shop.filter']).config(['$routeProvider','$locationProvider','$interpolateProvider',function($routeProvider, $locationProvider, $interpolat

《Java编程那点事儿》读书笔记(三)

1. static 1)静态变量:Java虚拟机为静态变量开辟单独的存储空间,所以所有的对象内部的静态变量在内存中都指向同一个地址,那么不管哪个对象改变这个成员变量,所有对象中该成员变量的值都发生变化.调用的方法一般为 类名.成员变量(常量) 2)静态方法:静态方法内部只能使用静态的成员变量,调用的方法: 类名.方法名(参数) 3)静态代码块:静态代码块在该类第一次被使用时执行一次,以后再也不执行.例如: public class StaticBlock{ static{ System.out.

Android群英传神兵利器读书笔记——第三章:Android Studio奇技淫巧

Android群英传神兵利器读书笔记--第三章:Android Studio奇技淫巧 这篇文章篇幅较长,可以使用版权声明下面的目录,找到感兴趣的进行阅读 目录 3.1 Android Studio使用初探 Project面板 Stucture面板 Android Monitor Keymap Tip of the Day 快速查找 Search Action 演示模式 3.2 Android Studio使用进阶 操作与导航 快速重构 代码模板 内置模板 自定义代码注释模板 代码分析 在Andr

《java并发编程的艺术》读书笔记-第三章Java内存模型(二)

一概述 本文属于<java并发编程的艺术>读书笔记系列,第三章java内存模型第二部分. 二final的内存语义 final在Java中是一个保留的关键字,可以声明成员变量.方法.类以及本地变量.可以参照之前整理的关键字final.这里作者主要介绍final域的内存语义. 对于final域,编译器和处理器要遵守两个重排序规则: 在构造函数内对一个final域的写入,与随后把这个被构造对象的引用赋值给一个引用变量,这两个操作之间不能重排序. 初次读一个包含final域的对象的引用,与随后初次读这

&lt;java并发编程的艺术&gt;读书笔记-第三章java内存模型(一)

一概述 本文属于<java并发编程的艺术>读书笔记系列,继续第三章java内存模型. 二重排序 2.1数据依赖性 如果两个操作访问同一个变量,且这两个操作中有一个为写操作,此时这两个操作之间就存在数据依赖性.数据依赖分下列三种类型: 名称 代码示例 说明 写后读 a = 1;b = a; 写一个变量之后,再读这个位置. 写后写 a = 1;a = 2; 写一个变量之后,再写这个变量. 读后写 a = b;b = 1; 读一个变量之后,再写这个变量. 上面三种情况,只要重排序两个操作的执行顺序,

高性能javascript读书笔记(三.DOM 编程1)

第三章DOM Script DOM编程 读书笔记 访问和修改DOM元素 浏览器通常要求DOM实现和JavaScript保持相互独立. <!-- 例如IE中,被称为JScript的JavaScript实现位于库文件jscript.dll中,而DOM实现位于另一个库mshtml.dll(内 部代号Trident).这种分离技术允许其他技术和语言,如VBScript,受益于Trident所提供的DOM功能和渲染功能.Safari使用Webkit的WebCore处理DOM和渲染,具有一个分离的JavaS