写一致性原理以及quorum机制

(1)consistency,one(primary shard),all(all shard),quorum(default)
我们在发送任何一个增删改操作的时候,比如 PUT /index/type/id,都可以带上一个consistency参数,指明我们想要的写一致性是什么。
PUT /index/type/id?consistency=quorum
one:要求我们这个写操作,只要有一个primary shard是active活跃可用的,就可以执行
all:要求我们这个写操作,必须所有的primary shard和replica shard都是活跃的,才可以执行
quorum:默认的值,要求所有的shard,必须大部分的shard都是活跃的,才可以执行这个操作

(2)quorum机制,写之前必须确保大多数shard都是可用的,int((primary + number_of_replicas)/2)+1,当number_of_replicas>1时才生效。
quorum = int((primary + number_of_replicas) / 2) + 1
例如:3个primary shard,number_of_replicas = 1,总共有 3 + 3 * 1 = 6 个shard。
quorum = int((3 + 1) / 2) + 1 =3
所以,要求6个shard中至少有3个shard是active状态的,才可以执行写操作。

(3)如果节点数少于quorum数量,可能导致quorum不齐全,进而导致无法执行任何写操作
3个primary shard,replica=1,要求至少3个shard是active,3个shard按照之前学习的shard&replica机制,必须在不同的节点上,如果说只有2台机器的话,是不是有可能出现说,3个shard都没法分配齐全,此时就可能会出现写操作无法执行的情况。es提供了一种特殊的处理场景,就是说当number_of_replicas>1时才生效,因为假如说,你就一个primary shard,replica=1,此时就2个shard。(1 + 1 / 2) + 1 = 2,要求必须有2个shard是活跃的,但是可能就1个node,此时就1个shard是活跃的,如果你不特殊处理的话,导致我们的单节点集群就无法工作。

(4)quorum不齐全时,wait,默认1分钟,timeout,100,30s
等待期间,期望活跃的shard数量可以增加,最后实在不行,就会timeout
我们其实可以在写操作的时候,加一个timeout参数,比如说put /index/type/id?timeout=30ms,这个就是说自己去设定quorum不齐全的时候,es的timeout时长,可以缩短,也可以增长。ms毫秒,s秒,m分钟

原文地址:https://www.cnblogs.com/qinjf/p/8511450.html

时间: 2024-10-11 14:48:19

写一致性原理以及quorum机制的相关文章

分布式系统理论之Quorum机制

一,Quorum机制介绍 在分布式系统中有个CAP理论,对于P(分区容忍性)而言,是实际存在 从而无法避免的.因为,分布系统中的处理不是在本机,而是网络中的许多机器相互通信,故网络分区.网络通信故障问题无法避免.因此,只能尽量地在C 和 A 之间寻求平衡.对于数据存储而言,为了提高可用性(Availability),采用了副本备份,比如对于HDFS,默认每块数据存三份.某数据块所在的机器宕机了,就去该数据块副本所在的机器上读取(从这可以看出,数据分布方式是按“数据块”为单位分布的) 但是,问题来

P2P结构与Quorum机制------《Designing Data-Intensive Applications》读书笔记8

前文涉及到了很多与Leader相关的算法,大家有木有想过,王侯将相,宁有种乎,既然Leader这么麻烦,干脆还是采用P2P模型吧,来个大家平等的架构.本篇需要和大家探讨的就是多副本下实现民主政治的Quorum机制.至于它是怎么样解决我们在前文提及的各种问题的,接着这篇文章我们继续聊聊-- 1. No-Leader机制 有些数据存储系统放弃了Leader的机制,允许任何副本直接接受用户的写操作.(如Amazon的Dynamo,FaceBook的Cassandra,虽然最终FaceBook放弃了Ca

区块链:一个故事告诉你比特币的原理及运作机制

一个故事告诉你比特币的原理及运作机制 周末花时间看了一些比特币原理相关的资料,虽然不敢说把每个细节都完全搞懂了,不过整体思路和关键部分的主要原理还是比较明白.写一篇文章分享给大家.这篇文章的定位会比较科普,尽量用类比的方法将比特币的基本原理讲出来.这篇文章不会涉及算法和协议中比较细节的部分,打算后面会再写一篇程序员视角下的比特币原理,那里会从技术人员的视角对比特币系统中较为关键的数据结构.算法和协议进行一些讲解. 在这篇文章中我会给出一个虚拟的村庄叫"比特村",整个文章会以讲故事的方式

一个故事告诉你比特币的原理及运作机制

来源: http://blog.codinglabs.org/articles/bitcoin-mechanism-make-easy.html 周末花时间看了一些比特币原理相关的资料,虽然不敢说把每个细节都完全搞懂了,不过整体思路和关键部分的主要原理还是比较明白.写一篇文章分享给大家.这篇文章的定位会比较科普,尽量用类比的方法将比特币的基本原理讲出来.这篇文章不会涉及算法和协议中比较细节的部分,打算后面会再写一篇程序员视角下的比特币原理,那里会从技术人员的视角对比特币系统中较为关键的数据结构.

【转载】比特币的原理以及运作机制

转载来源: http://blog.codinglabs.org/articles/bitcoin-mechanism-make-easy.html 记录一下感谢原作者. 简单看完,发现自己有一个理解的不清楚的地方: 旷工在work的时候,是否是将要记账的交易记录到一个未知的区块,然后同时计算lucknumber, 如果在某个时间段正好计算出来这个随机数,那么这个区块应该就锁定不能再变化了吗? 然后将这个区块加入到blockchain? 然后hash一下,获取到他的hash值,然后大家再新的挖矿

比特币的原理及运作机制

比特币的原理及运作机制 来源 http://blog.codinglabs.org/articles/bitcoin-mechanism-make-easy.html 问题的提出 我们先从比特币产生的动机开始. 以物易物的比特村 话说在这个世界上,有一个叫比特村的小村庄,村庄共有几百户人家.这个村庄几乎与世隔绝,过着自给自足的生活.由于没有大规模贸易,比特村村民一直过着以物易物的生活,也就是说村民之间并没有使用统一的货币,互相间的贸易基本上就是老张家拿一袋面粉换老李家一只羊,王大嫂拿一筐野果换刘

基于Quorum机制的强一致性存储方案

在线上生成环境用一台服务器提供数据服务时,我们会担心这台服务器停机,造成服务不可用或数据丢失,通常我们对数据进行冗余存储,保障数据服务的高可用性. 但加入更多的机器,会带来数据一致性的问题,下面我们来了解一个基于Quorum机制的强一致性存储方案. 三机Quorum机制 Quorum即多数派原则,与投票选举的方式类似,被多数同意的一项操作即可获得通过. 本文讨论基于三机的Quorum机制,我们称这三台机为A机.B机.C机.其中A.B机用于数据存储,称为数据机.当写请求落到A机时,是否能真正写入数

深入理解Redis主键失效原理及实现机制(转)

原文:深入理解Redis主键失效原理及实现机制 作为一种定期清理无效数据的重要机制,主键失效存在于大多数缓存系统中,Redis 也不例外.在 Redis 提供的诸多命令中,EXPIRE.EXPIREAT.PEXPIRE.PEXPIREAT 以及 SETEX 和 PSETEX 均可以用来设置一条 Key-Value 对的失效时间,而一条 Key-Value 对一旦被关联了失效时间就会在到期后自动删除(或者说变得无法访问更为准确).可以说,主键失效这个概念还是比较容易理解的,但是在具体实现到 Red

Struts2漏洞利用原理及OGNL机制

Struts2漏洞利用原理及OGNL机制研究   概述 在MVC开发框架中,数据会在MVC各个模块中进行流转.而这种流转,也就会面临一些困境,就是由于数据在不同MVC层次中表现出不同的形式和状态而造成的: View层-表现为字符串展示 数据在页面上是一个扁平的.不带数据类型的字符串,无论数据结构有多复杂,数据类型有多丰富,到了展示的时候,全都一视同仁的成为字符串在页面上展现出来.数据在传递时,任何数据都都被当作字符串或字符串数组来进行. Controller层-表现为java对象 在控制层,数据