Elasticsearch分布式机制探究

Elasticsearch是一套分布式的系统,分布式是为了应对大数据量隐藏了复杂的分布式机制

分片机制

shard = hash(routing) % number_of_primary_shards

Routing值可以是一个任意的字符串,默认情况下,它的值为存数数据对应文档 _id 值,也可以是用户自定义的值。Routing这个字符串通过一个hash的函数处理,并返回一个数值,然后再除以索引中主分片的数目,所得的余数作为主分片的编号,取值一般在0到number_of_primary_shards - 1的这个范围中。通过这种方法计算出该数据是存储到哪个分片中。

正是这种路由机制,导致了主分片的个数为什么在索引建立之后不能修改。对已有索引主分片数目的修改直接会导致路由规则出现严重问题,部分数据将无法被检索。

集群发现机制

discovery.zen.ping_timeout (默认3秒)配置允许对选举的时间进行调整,用来处理缓慢或拥挤的网络。当一个节点请求加入主节点,它会发送请求信息到主节点,请求的超时时间配置为discovery.zen.join timeout,这个时间比较长,是discovery.zen.ping timeout 时间的20倍。当主节点发生问题的时候,现有的节点又会通过ping来重新选举一个新的主节点。当 discovery.zen.masterelection.filter_client 设置为 true 的时候,在选举主节点的时候从客户端节点(node.client为true,或者node.data和node.master同时为(false)的ping 操作将被忽略,该参数默认为 true当 discovery.zen.master election.filter data 为true时,在选举主节点的时候从数据节点(node.data为ture, node.mas..ter同时为false)的ping操作将被忽略,默认为falsec主节点配置为true的节点一直都有选举的资格当节点node.master设置为false或者node.client设置为true的时候,它们将自动排除成为主节点的可能性。

discovery.zen.minimum master nodes设置需要加入一个新当选的主节点的最小节点数B,或者接收它作为主节点的最小节点数::如果不满足这一要求,主节点会下台,重新开始新的选举。

shard负载均衡

“Shard” 这个词英文的意思是”碎片”,而作为数据库相关的技术用语,称之为”分片”,是水平扩展(Scale Out,亦或横向扩展、向外扩展)的解决方案,其主要目的是为突破单节点数据库服务器的 I/O 能力限制,解决数据库扩展性问题。

shard副本

  • index包含多个shard
  • 每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力
  • 增减节点时,shard会自动在nodes中负载均衡
  • primary shard和replica shard,每个document肯定只存在于某一个primary shard以及其对应的replica shard中,不可能存在于多个primary shard
  • replica shard是primary shard的副本,负责容错,以及承担读请求负载
  • primary shard的数量在创建索引的时候就固定了,replica shard的数量可以随时修改
  • primary shard的默认数量是5,replica默认是1,默认有10个shard,5个primary shard,5个replica shard primary shard不能和自己的replica shard放在同一个节点上(否则节点宕机,primary shard和副本都丢失,起不到容错的作用),但是可以和其他primary shard的replica shard放在同一个节点上

集群扩容

原文地址:https://www.cnblogs.com/fmgao-technology/p/10410314.html

时间: 2024-10-05 23:25:28

Elasticsearch分布式机制探究的相关文章

Elasticsearch学习笔记(四)ElasticSearch分布式机制

一.Elasticsearch对复杂分布式机制透明的隐藏特性 1.分片机制: (1)index包含多个shard,每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力           (2)shard分为:primary shard和replica shard.                 primary shard:接受写和读请求.                 replica shard是primary shard的副本,负责容错,以及

ELK介绍及搭建 Elasticsearch 分布式集群

笔记内容:ELK介绍及搭建 Elasticsearch 分布式集群笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装es 27.4 配置es 27.5 curl查看es集群情况 ELK介绍 需求背景: 业务发展越来越庞大,服务器越来越多 各种访问日志.应用日志.错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要到服务器上查日志,不方便 运营人员需要一些数据,需要我们运维到服务器上分析日志 为什么要用到ELK: 一般我们需要

Kafka内核中的分布式机制实现

Kafka内核中的分布式机制实现 一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上,以分区(partition)的的形式进行数据存储:每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader,存储在其它broker上的备份分区叫做followers:只有leader节点负责该分区的数据读写操作,followers节点作为leader节点的热备节点,从l

elasticsearch分布式搜索配置文件详解

Elasticsearch是一个开源的分布式实时搜索与分析引擎,支持云服务.它是基于Apache Lucene搜索引擎的类库创建的,提供了全文搜索能力.多语言支持.专门的查询语言.支持地理位置服务.基于上下文的搜索建议.自动完成以及搜索片段(snippet)的能力.Elasticsearch支持RESTful的API,可以使用JSON通过HTTP调用它的各种功能,包括搜索.分析与监控.下面是讲述了elasticsearch分布式搜索配置文件各类参数的具体含义. elasticsearch的con

第三篇elasticsearch分布式安装

elasticSearch 分布式安装 1.在elasticSearch下的config下elasticsearch.yml文件最后一行添加注意 一定要加空格在:后面cluster.name: wali //集群的名字node.name: master //给主的master(指挥官)节点起名字node.master: true //告诉他是masternetwork.host: 127.0.0.1 绑定ip 2.配置分支节外面新建文件夹es_slave,copy2份 elasticsearch

elasticsearch 分布式集群搭建

elasticsearch环境搭建及单节点搭建可参考我的上一篇:http://www.cnblogs.com/xuwenjin/p/8745624.html 本文以Elaticsearch 6.2.2 版本为基础,讲解Elasticsearch三个节点的分布式部署.核心配置的含义以及分布式部署遇到的坑 楼主是在一台机器上配置的,所有下面的network.host全部配置同一IP 1.配置节点 1.1配置主节点: #集群名称 cluster.name: xwj #节点名称 node.name: m

ElasticSearch(分布式全文搜索引擎)

1.Lucene的优化, 实现了高可用的分布式集群的搜索方案 2.首先,ES的索引库管理支持依然是基于Apache Lucene(TM)的开源搜索引擎.ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的 RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单. 3.ES的特点 a)  分布式的实时文件存储,每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器,处理PB级结构化或非结构化数据 高度集成化的

Elasticsearch分布式搜索

ElasticSearch之介绍 一 Elasticsearch产生背景 1.1 大规模数据如何检索 如:当系统数据量上了10亿.100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题:1)用什么数据库好?(mysql.oracle.mongodb.hbase…)2)如何解决单点故障:(lvs.F5.A10.Zookeep.MQ)3)如何保证数据安全性:(热备.冷备.异地多活)4)如何解决检索难题:(数据库代理中间件:mysql-proxy.Cobar.MaxScale等;)5)如何

[Elasticsearch] 分布式文件存储

本文翻译自Elasticsearch官方指南的distributed document store一章. 分布式文档存储 在上一章中,我们一直在介绍索引数据和获取数据的方法.可是我们省略了非常多关于数据是怎样在集群中被分布(Distributed)和获取(Fetched)的技术细节.这实际上是有意为之 - 你真的不须要了解数据在ES中是怎样被分布的.它能工作就足够了. 在本章中.我们将会深入到这些内部技术细节中.来帮助你了解你的数据是怎样被存储在一个分布式系统中的. 路由一份文档(Documen