es的replica&shard的机制

1、shard&replica机制再次梳理

(1)index包含多个shard
(2)每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力
(3)增减节点时,shard会自动在nodes中负载均衡
(4)primary shard和replica shard,每个document肯定只存在于某一个primary shard以及其对应的replica shard中,不可能存在于多个primary shard
(5)replica shard是primary shard的副本,负责容错,以及承担读请求负载
(6)primary shard的数量在创建索引的时候就固定了,replica shard的数量可以随时修改
(7)primary shard的默认数量是5,replica默认是1,默认有10个shard,5个primary shard,5个replica shard
(8)primary shard不能和自己的replica shard放在同一个节点上(否则节点宕机,primary shard和副本都丢失,起不到容错的作用),但是可以和其他primary shard的replica shard放在同一个节点上

------------------------------------------------------------------------------------------------

2、图解单node环境下创建index是什么样子的

(1)单node环境下,创建一个index,有3个primary shard,3个replica shard
(2)集群status是yellow
(3)这个时候,只会将3个primary shard分配到仅有的一个node上去,另外3个replica shard是无法分配的
(4)集群可以正常工作,但是一旦出现节点宕机,数据全部丢失,而且集群不可用,无法承接任何请求

PUT /test_index
{
"settings" : {
"number_of_shards" : 3,
"number_of_replicas" : 1
}
}

原文地址:https://www.cnblogs.com/siye1989/p/11559205.html

时间: 2024-08-15 02:17:38

es的replica&shard的机制的相关文章

es 2个node环境下replica shard是如何分配的

1.图解2个node环境下replica shard是如何分配的 (1)replica shard分配:3个primary shard,3个replica shard,1 node(2)primary ---> replica同步(3)读请求:primary/replica 原文地址:https://www.cnblogs.com/siye1989/p/11559250.html

primary和replica shard是怎么相互影响的(how primary and replica shards interact)

为了解释本节的目的,首先想象一下,我们有包含了三个node的cluster,这个cluster有一个名称是blogs的index,这个index有两个primary shard.每个primary shard有两个replica.相对应的shard的数据备份不会在相同的node,因此,这个cluster就会如下图所示: 我们能把请求发送到cluster的任意的一个node上,每个node都能服务于任何的请求,每一个node都知道每个document在cluster中的位置,所以能直接把请求转发到

replica副本同步机制

replica副本同步机制 1 前言 Kafka的流行归功于它设计和操作简单.存储系统高效.充分利用磁盘顺序读写等特性.非常适合在线日志收集等高吞吐场景. Kafka特性之一是它的复制协议.复制协议是保障kafka高可靠性的关键.对于单个集群中每个Broker不同工作负载情况下,如何自动调优Kafka副本的工作方式是比较有挑战的.它的挑战之一是要知道如何避免follower进入和退出同步副本列表(即ISR).从用户的角度来看,如果生产者发送一大批海量消息,可能会引起Kafka Broker很多警

Elasticsearch 顶尖高手(9)—图解2个node环境下replica shard是如何分配的

1.图解2个node环境下replica shard是如何分配的 replica shard分配 primary ---> replica同步 读请求:primary/replica 原文地址:https://www.cnblogs.com/Mr-WangYue/p/11519760.html

es filter过滤的bitset机制和caching机制

document存储数据为: PUT /forum/article/_bulk { "index": { "_id": 1 }} { "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" } { "index&qu

es 乐观锁的控制机制

1.图解Elasticsearch内部如何基于_version进行乐观锁并发控制 (1)_version元数据 PUT /test_index/test_type/6{ "test_field": "test test"} { "_index": "test_index", "_type": "test_type", "_id": "6", &qu

Elasticsearch学习笔记(四)ElasticSearch分布式机制

一.Elasticsearch对复杂分布式机制透明的隐藏特性 1.分片机制: (1)index包含多个shard,每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力           (2)shard分为:primary shard和replica shard.                 primary shard:接受写和读请求.                 replica shard是primary shard的副本,负责容错,以及

Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班).先后从事过电子商务.开放平台.移动浏览器.推荐广告和大数据.人工智能等相关开发和架构.目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务.擅长各种业务形态的业务架构.平台化以及各种业务解决方案.博客地址:http://arganzheng.life. 背景 最近要把原来做的那套集中式

Elasticsearch学习笔记(六)核心概念和分片shard机制

一.核心概念 1.近实时(Near Realtime NRT) (1)从写入数据到数据可以被搜索到有一个小延迟(大概1秒): (2)基于es执行搜索和分析可以达到秒级 2.集群(Cluster) 一个集群下有多个节点.集群名称,默认是elasticsearch 3.节点(Node) 集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时        候),默认节点会去加入一个名称为"elasticsearch"的集群,如果直接启动一堆节点,那么