ElasticSearch 中 master、data 和 client 节点

  在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。

  默认情况下,elasticsearch 集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的。

    1. node.master

    2. node.data

  默认情况下这两个属性的值都是true。

  node.master:这个属性表示节点是否具有成为主节点的资格

  注意:此属性的值为 true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。所以,这个属性只是代表这个节点是不是具有主节点选举资格。

  node.data:这个属性表示节点是否存储数据。

四种组合

 1. node.master: true AND node.data: true

  这种组合表示这个节点既有成为主节点的资格,又可以存储数据,这个时候如果某个节点被选举成为了真正的主节点,那么他还要存储数据,这样对于这个节点的压力就比较大了。

  elasticsearch 默认是:每个节点都是这样的配置,在测试环境下这样做没问题。实际工作中建议不要这样设置,这样相当于 主节点 和 数据节点 的角色混合到一块了。

 2. node.master: false AND node.data: true

  这种组合表示这个节点没有成为主节点的资格,也就不参与选举,只会存储数据。这个节点我们称为 data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务

 3. node.master: true AND node.data: false

  这种组合表示这个节点不会存储数据,有成为主节点的资格,可以参与选举,有可能成为真正的主节点。这个节点我们称为master节点

 4. node.master: false AND node.data: false

  这种组合表示这个节点即不会成为主节点,也不会存储数据,这个节点的意义是作为一个 client(客户端)节点,主要是针对海量请求的时候可以进行负载均衡

总结

  默认情况下,每个节点都有成为主节点的资格,也会存储数据,还会处理客户端的请求。在一个生产集群中我们可以对这些节点的职责进行划分。

  建议集群中设置 3台 以上的节点作为 master 节点【node.master: true node.data: false】,这些节点只负责成为主节点,维护整个集群的状态。

  再根据数据量设置一批 data节点【node.master: false node.data: true】,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大

  所以在集群中建议再设置一批 client节点【node.master: false node.data: true】,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

  master节点:普通服务器即可(CPU 内存 消耗一般)

  data   节点:主要消耗磁盘,内存

  client  节点:普通服务器即可(如果要进行分组聚合操作的话,建议这个节点内存也分配多一点)

时间: 2024-10-10 04:33:41

ElasticSearch 中 master、data 和 client 节点的相关文章

在ElasticSearch中,集群(Cluster),节点(Node),分片(Shard),Indices(索引),replicas(备份)之间是什么关系?

最近在知乎上看到了这个问题,自己也搞了半学期的Elasticsearch,于是就想用自己所知道的浅陋知识来回答一下这个问题. Cluster包含多个node,Indices不应该理解成动词索引,Indices可理解成关系数据库中的databases,Indices可包含多个Index,Index对应关系数据库中的database,它是用来存储相关文档的.Elasticsearch与关系数据的类比对应关系如下: Relational DB ⇒ Databases ⇒ Tables ⇒ Rows ⇒

在Elasticsearch中实现统计异常检测器——第一部分

Implementing a Statistical Anomaly Detector in Elasticsearch - Part 1 该图显示了4500万个数据点的最小/最大/平均值(超过600小时的75,000个单独时间序列).这个图表中有八个大型的模拟中断,你能发现吗? 没有? 没关系,我也不行.当你将所有数据汇总到一个图表中时,你所有的数据变化往往可以平滑表示,除了最明显的变化.相比之下,这是从组成第一个图形的75,000系列中随机选择的: 这些单独的图表明确的显示可能发生中断的地方

elasticsearch选举master

数据节点确定了master以后,会开启MasterPinger线程来与其保持心跳通信的逻辑如果通信过程中链接断开,会通过MasterNodeFailureListener监听器进行回调处理处理过程中会去调用ZenDiscovery类的handleMasterGone方法,以便选举出新的master进行通信master的选举逻辑主要是通过ZenDiscovery类findMaster方法来封装的,大致过程如下:1.首先通过ping操作来向其他节点进行学习  ping的方式有两种,单播(官方推荐)或

elasticsearch中常用的API

elasticsearch中常用的API分类如下: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作,查看索引信息等 查看API: 按照更直观的形式返回数据,更适用于控制台请求展示 集群API: 对集群进行查看和操作的API 下面简单的一一介绍记录一下. 文档类API Index API: 创建并建立索引 PUT twitter/tweet/1{ "user" : "kimchy", "p

ElasticSearch中的一些概念

索引词(term) 在elasticsearch中索引词(term)是一个能够被索引的精确值.foo,Foo Foo几个单词是不相同的索引词.索引词(term)是可以通过term查询进行准确的搜索. 文本(text) 文本是一段普通的非结构化文字,通常,文本会被分析称一个个的索引词,存储在elasticsearch的索引库中,为了让文本能够进行搜索,文本字段需要事先进行分析:当对文本中的关键词进行查询的时候,搜索引擎应该根据搜索条件搜索出原文本. 分析(analysis) 分析是将文本转换为索引

HR数据抽取:通过 Read Master Data 转换规则读取时间相关主属性数据

声明:原创作品,转载时请注明文章来自SAP师太技术博客:www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4287014.html 员工 0HR_PA_0 业务数据源中有一个CALMONTH日历年/月的字段,只要员工还在职,每个员工每个月都会产生一条数据:   人事事件 0HR_PA_1 业务数据源中有一个CALDAY日历天的字段,只要员工发生人事

MS MDS系列之初识MS Master Data Service(微软主数据服务)

背景介绍: 主数据服务(Master Data Services)是微软平台支持的主数据管理(MDM)平台.类似MDS这样的系统,如果后续维护得当,会给企业提供一个强大的中心数据库系统,来防止企业数据变得不同步或不一致:同时也是企业内部管理数据流的可靠方式. 目前一个企业很多时候通过良性循环或者收购来实现业务增长.无论哪种方式,都将增加企业应用程序的数据流的数量和复杂度.如果断开和分离这些系统,将带来的各种问题,如数据不一致.数据数据碎片.数据不准确等等,并且对IT部门来讲,也会面对越来越多的困

ElasticSearch 中 _source 字段

有很多人会有这样的一个疑问: _source字段存储的是索引的原始内容,那 store 属性的设置是为何呢?elasticsearch 为什么要把 store 的默认取值设置为 no?设置为 yes 是否是重复的存储呢? 我们将一个 field 的值写入 elasticsearch 中,是想在这个 field 上执行 search 操作.但是,如果不显式的将该 field 的 store 属性设置为yes,同时 _source 字段 enabled 的情况下,你仍然可以获取到这个 field 的

Keepalived中Master和Backup角色选举策略

在Keepalived集群中,其实并没有严格意义上的主.备节点,虽然可以在Keepalived配置文件中设置"state"选项为"MASTER"状态,但是这并不意味着此节点一直就是Master角色.控制节点角色的是Keepalived配置文件中的"priority"值,但并它并不控制所有节点的角色,另一个能改变节点角色的是在vrrp_script模块中设置的"weight"值,这两个选项对应的都是一个整数值,其中"w