浅入深出ETCD之【raft原理】

前言

这次我们来说说,有关于etcd原理的一些事情。之前我们已经了解到了etcd是一个分布式的k-v存储,那么它究竟是如何保证数据是如何复制到每个节点上面去的呢?又是如何保证在网络分区的情况下能正常工作下去?raft协议到底是什么?带着这些问题我们继续往下看。

raft选举策略

我们知道etcd使用raft协议来保证整个分布式的节点网络能正常的运转并且能正确的将数据复制到每个节点上面去。那么什么是raft协议嘞?

首先我们有这样一个背景:raft是想维护整一个网络,其中有一个领导人,这个领导人负责将收到的信息同步给网络中的其他所有节点,从而保证整个网络数据一致。

如果你有一定的英文基础,我建议直接查看下面这个网站,它用动画非常清楚的描述了raft选举的整个过程:http://thesecretlivesofdata.com/raft/

这个其实已经说明的超级棒了,如果你还看不懂,我下面会用最简单的几个要点来进行最简单的说明。

大多数理论

首先说明一个理论,叫做大多数理论,很简单,举个栗子:

  • 有10个人,如果你将苹果给其中的6个人(大多数),那么你随机选择5个人,一定有一个人会有苹果。

在etcd中的应用:

  • 选举中只要有大多数(超过半数的人给你投票)你肯定就是票数最多的了,不可能有人比你更多。
  • 只需要将日志复制给大多数的节点,那么只要有一半的节点正常工作就能保证数据最新

选举状态

下面是一些选举过程中节点的状态
leader 表示选举最终产生的领导人
candidate 候选状态,表示当前正在参与选举
follower 表示选举最终自己不是领导人,那自己就是从属节点

选举过程与要点

  1. 所有节点一开始都是follower状态
  2. 当节点处于follower状态时,每个节点随机经过一段时间,如果没有收到leader的消息就会进入candidate状态(证明当前没有leader节点需要重新进行选举),如果收到信息就会继续保持follower状态
  3. 当节点处于candidate就会要求别人给自己投票,收到大多数的节点的投票那就转变为leader状态,否则要么是别的节点成为了leader,要么就是因为特殊情况导致这次选举失败重新进行选举
  4. 每次选举举办的时候有一个term,在每一个term中,每个节点只能投票一次
  5. 投票的时候必须投给当前数据至少和自己一样的节点,并且term大的优先

日志复制规则

etcd是通过日志复制来实现数据同步的

这个图网上也很多,说明的是日志复制的规则
每个节点都有一份自己的日志,有的节点多,有的节点少,日志最多的肯定是leader。
上图还有几个要点,我看别人没提到,我就提一下:

  1. 颜色代表term
  2. 第四行表示的这个节点,第一term下复制了两个日志就异常挂掉了
  3. 最终只有第三行这个follower和第一行的leader保持了同步

异常情况

raft之所以厉害因为即使出现一些特殊情况,整个网络在一定的时间之后也能自动恢复并正常工作。

一个节点的异常

首先最常见的情况就是一个节点出现异常,有可能是这个节点的服务器挂了,或者别的什么原因。

  • 如果出现问题的这个节点是follower,那么没有关系,整个网络依旧能正常运行,当这个节点再次加入网络的时候也只需要同步后面的数据即可。
  • 如果出现问题的是leader,有一点麻烦,因为网络中没有leader节点了,那么就会重新进行选举,重新找一个leader,当这个异常节点恢复之后发现当前网络中有leader了,而且term还比自己大,那么自己就退位称为follower。

网络分区

还有一种异常情况是由于网络导致的,网络出现异常,导致节点之间的通信存在异常,一部分节点与另一部分之间没有办法访问了。如下图所示:

上面三个follower没有办法与下面的节点进行通信。

  • 当客户端再次请求leader发送数据的时候,leader发现没有办法将数据同步给给大多数节点,它只能给自己和旁边的一个,此时leader没有办法给客户端反馈。
  • 上面三个节点由于收不到leader的消息,那么会认为网络中没有leader存在,会重新进行选举操作,因为当前上面有三个节点存在(只要有超过半数的节点参与选举就行),所以可以重新选举成功,选出新的leader告诉客户端,客户端就会重新发送数据到新的leader。
  • 当网络恢复之后又会找到最新的leader从而将数据同步至最新的状态。

总结

总的来说,只要整个网络中存在大多数节点正常运行,那么etcd就是可用的,并且能够保证数据正确。当网络恢复之后也能将数据调整到最新的状态。
raft强大的地方在于它能自动的进行状态的变化,自动进行选举,并且选举遵循一定的策略,进而保证整个网络的正常运转。同时保证数据的一致性。
了解etcd的这个原理有助于我们后续的使用以及源码的阅读。

原文地址:https://www.cnblogs.com/linkstar/p/11022322.html

时间: 2024-10-11 10:22:15

浅入深出ETCD之【raft原理】的相关文章

浅入深出ETCD之【集群部署与golang客户端使用】

前言 之前说了etcd的简介,命令行使用,一些基本原理.这次来说说现实一点的集群部署和golang版本的客户端使用.因为在实际使用过程中,etcd的节点肯定是需要2N+1个进行部署的,所以有必要说明一下集群的部署. 集群部署 网上有很多集群部署的教程,有的很复杂,其实对于我们实际使用来说,其实配置并不复杂,下面举例一种最简单的集群配置.(简单到你想不到~) 下载 https://github.com/etcd-io/etcd/releases 还是在github上面找到需要下载的版本 我使用的是

浅入深出ElasticSearch构建高性能搜索架构

浅入深出ElasticSearch构建高性能搜索架构  课程学习地址:http://www.xuetuwuyou.com/course/161 课程出自学途无忧网:http://www.xuetuwuyou.com 一.课程用到的软件 ElasticSearch5.0.0 Spring Tool Suite 3.8.2.RELEASE Maven3.0.5 Spring4 Netty4 Hadoop2.7.1 Kibana5.0 JDK1.8.0_111 二.课程目标 1.快速学习Elastic

浅入深出之Java集合框架(下)

Java中的集合框架(下) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,哈哈这篇其实也还是基础,惊不惊喜意不意外 ̄▽ ̄ 写文真的好累,懒得写了.. 温馨提醒:建议从(上)开始看哦~ 目 录 浅入深出之Java集合框架(上) 浅入深出之Java集合框架(中)   浅入深出之Java集合框架(下) 前 言 在<浅入深出之Java集合框架(中) >中介绍了Map接口的基本操作.使用的示例是在<浅入深出之Java集合框架(上)>中的模拟学

『浅入深出』MySQL 中事务的实现

在关系型数据库中,事务的重要性不言而喻,只要对数据库稍有了解的人都知道事务具有 ACID 四个基本属性,而我们不知道的可能就是数据库是如何实现这四个属性的:在这篇文章中,我们将对事务的实现进行分析,尝试理解数据库是如何实现事务的,当然我们也会在文章中简单对 MySQL 中对 ACID 的实现进行简单的介绍. 事务其实就是并发控制的基本单位:相信我们都知道,事务是一个序列操作,其中的操作要么都执行,要么都不执行,它是一个不可分割的工作单位:数据库事务的 ACID 四大特性是事务的基础,了解了 AC

浅入深出之Java集合框架(上)

Java中的集合框架(上) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,如果已经有java基础的小伙伴可以直接跳到<浅入深出之Java集合框架(下)>. 目录: 浅入深出之Java集合框架(上) 浅入深出之Java集合框架(中)   努力赶制中..关注后更新会提醒哦! 浅入深出之Java集合框架(下) 努力赶制中..关注后更新会提醒哦! 一.集合概述 1)集合的概念 现实生活中的集合:很多事物凑在一起. 数学中的集合:具有共同属性的事物的总体

浅入深出之Java集合框架(中)

Java中的集合框架(中) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,如果已经有java基础的小伙伴可以直接跳到<浅入深出之Java集合框架(下)>. 目 录 浅入深出之Java集合框架(上) 浅入深出之Java集合框架(中)   浅入深出之Java集合框架(下) 努力赶制中..关注后更新会提醒哦! 前 言 在<浅入深出之Java集合框架(上)>中介绍了List接口和Set接口的基本操作,在这篇文章中,我将介绍关于Map接口的基

浅入深出Vue:工具准备之WebStorm安装配置

浅入深出Vue之工具准备(一):WebStorm安装配置 工欲善其事必先利其器,让我们先做好准备工作吧 导航篇 WebStorm安装配置 所有工具的下载地址都可以在导航篇中找到,这里我们下载的是最新版本的WebStorm 安装 下载后即可食用,此步骤与正常软件安装并无二样. 若有固态硬盘,尽可能安装在固态硬盘上,物理加速一下~ 按照自己的系统来勾选32位还是64位,若羽的机器装的是64位系统,因此勾选的是64位.另外为了防止本机没有JetBrains系列所需的JRE环境,建议直接勾选即可. 接下

浅入深出Vue:第一个页面

今天正式开始入门篇,也就是实战了~ 首先我们是要做一个博客网站,UI 框架采用江湖传闻中的 ElementUI,今天我们就来利用它确定我们博客网站的基本布局吧. 准备工作 新建一个vue项目(可以参考基础篇里的搭建方法,也可以参考官网现在最近的 Vue CLI 3.x进行可视化创建和管理 安装 vue-router 安装 elementui 以上的操作都可以在之前的博文中(基础篇)找到完整步骤,这里就不重复了. 我们做完准备工作之后,目录结构如下: 我们来看看这个目录: |--public 公共

浅入深出的理解了盒模型,哈哈哈

css盒子模型原理: 在网页设计中常听的属性名:内容(content).填充/内边距(padding).边框(border).外边距(margin), CSS盒子模式都具备这些属性. 这些属性我们可以把它转移到我们日常生活中的盒子(箱子)上来理解,日常生活中所见的盒子也就是能装东西的一种箱子,也具有这些属性,所以叫它盒子模式. CSS中, Box Model叫盒子模型(或框模型),Box Model规定了元素内容(element content).内边距(padding).边框(border)