配置 Elasticsearch 集群

Elasticsearch 的安装非常简单,笔者在前文《单机部署 ELK》中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义。

要配置集群,最简单的情况下,设置下面几个参数就可以了:

cluster.name: es-cluster
node.name: es-node-1
discovery.zen.ping.unicast.hosts: ["192.168.1.101","192.168.1.102"]
discovery.zen.minimum_master_nodes: 1

本文的演示环境为 Ubuntu Server 18.04,Elasticsearch 的版本为 6.2.4。

配置文件

在 Ubuntu 中使用 deb 包安装的 Elasticsearch 的默认安装目录为:

/usr/share/elasticsearch

但是 Elasticsearch 的配置文件确不在这里,配置文件的目录为:

/etc/elasticsearch

注意,这个目录及其所有内容的所有者都是 root,属于 elasticsearch 用户组。本文我们主要关注的配置文件为 /etc/elasticsearch/elasticsearch.yml。

配置集群的名称

一个节点只有与集群中的所有其他节点拥有相同的 master.name 时才能加入集群。默认的集群名称是 elasticsearch,最好是设置为合适的名字,否则可能和现有的集群同名。下面的配置把集群命名为 es-cluster:

cluster.name: es-cluster

注意:确保不要在不同的环境中重用相同的集群名称,否则可能会导致节点加入错误的集群。

配置节点的名称

如果不设置节点的名称 node.name,默认情况下,Elasticsearch 将使用随机生成的 UUID 的前七个字符作为节点的 ID,并且这个随机的字符串会被持久化下来,即使重启系统也不会丢失。但是为了提高系统的可读性,我们最好是为每个节点设置一个合适的名字:

node.name: es-node-1

或者是干脆设置为主机的名称:

node.name: ${HOSTNAME}

列出集群中的所有节点

Elasticsearch 自己实现了一个名称为 "Zen Discovery" 的发现节点并从集群的节点间选取主节点的功能。在集群的配置中一定要配置两个与 "Zen Discovery" 相关的配置项,其中的一个为 discovery.zen.ping.unicast.hosts

在不进行任何网络配置的情况下,Elasticsearch 将绑定到可用的环回地址,并扫描端口 9300 到 9305,以尝试连接到同一服务器上运行的其他节点。这提供了一种无需进行任何配置的自动集群体验。当需要在其他服务器上使用节点组成集群时,必须通过 discovery.zen.ping.unicast.hosts 提供集群中其他节点的列表:

discovery.zen.ping.unicast.hosts: ["192.168.1.101","192.168.1.102"]

除了 IP 地址,这里也可以使用主机名(hostname)。

配置最小 master 节点数

另一个必须要设置的 "Zen Discovery" 相关的配置项为 discovery.zen.minimum_master_nodes。它的默认值是1,该属性定义的是为了组成一个集群,相互连接的候选主结点的最小数目,强烈推荐该属性的设置使用多数原则:(master_eligible_nodes / 2) + 1,既能避免出现脑裂(split-brain),又能在故障发生后,快速选举出新的主结点。例如:有 5 个候选主结点,推荐把该属性设置为 3。由于本文演示的 demo 中只有两个节点,因此把该值设置为 1:

discovery.zen.minimum_master_nodes: 1

脑裂(split-brain):
为了解释,假设您有一个由两个候选节点组成的集群。网络故障中断了这两个节点之间的通信。每个节点都看到一个符合主节点资格的节点,此时如果 minimum_master_nodes 设置为默认值 1,这就足以形成一个集群。每个节点都选择自己作为新的主节点(认为另一个候选节点已经死亡),结果是两个集群,或一个分裂的大脑。在重新启动一个节点之前,这两个节点永远不会重新连接。如果重新启动其中的一个节点,那么已写入该节点的任何数据都将丢失。
假设您有一个集群,其中有三个候选节点,minimum_master_nodes 被设置为 2。如果网络分裂将一个节点与其他两个节点分开,则拥有一个节点的一方无法看到足够的符合主控资格的节点,并将意识到它无法选择自己作为主控节点。拥有两个节点的端将选择一个新的主节点(如果需要)并继续正常工作。一旦网络分裂得到解决,单个节点将重新加入集群并再次开始服务请求。

至此一个非常简单的双节点集群就配置完成了,重启节点上的 Elasticsearch 服务,就可在 Kibana 上看到集群中节点的信息了:

其它重要的配置

只配置上面的四个属性就可以把集群搭建起来了。但是理解并配置另外一些重要的信息能让 Elasticsearch 节点及整个集群更加高效,下面是个人认为一些比较重要的配置。

候选节点(Master Eligible Node)
主节点负责在集群范围内执行轻量级操作,比如创建或删除索引、跟踪哪些节点是集群的一部分,以及决定将哪些分片分配给哪些节点。对于集群健康来说,拥有一个稳定的主节点非常重要。
任何候选节点(默认情况下所有节点都是候选节点)都可以被选举为主节点。也就是说节点默认的 node.master 值为 true:

node.master: true

索引和搜索数据是 CPU、内存和 I/O 密集型操作,这会对节点的资源造成压力。为了确保主节点是稳定的,并且没有压力,在规模比较大的集群中,最好把节点划分为不同的角色,比如专用的候选节点和专用的数据节点。因此精细一点的配置会让主节点只负责轻量级的操作:

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false 

虽然主节点也可以作为协调节点,将客户机的搜索和索引请求路由到数据节点,但是最好不要让主节点做这样的事情。对于集群的稳定性来说,主节点所做的工作越少越好。因此可以设置专门的协调节点做这些工作,后面会有介绍。

数据节点(Data Node)
数据节点持有包含已索引文档的切片。数据节点处理与数据相关的操作,如 CRUD、搜索和聚合。这些操作是 CPU、内存和 I/O 密集型操作。因此需要监视这些资源,并在它们过载时添加更多的数据节点。下面的配置把节点设置为专用的 Data Node:

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

摄取节点(Ingest Node)
摄取节点可以执行由一个或多个摄取处理器组成的预处理管道。根据摄取处理器执行的操作类型和所需的资源,使用专用的摄取节点可能是有意义的,这些节点只执行这个特定的任务。下面的配置把节点设置为专用的 Ingest Node:

node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

协调节点(Cordinating only node)
搜索请求或批量索引请求等请求可能涉及不同数据节点上的数据。例如,搜索请求分两个阶段执行,这两个阶段由接收客户机请求的节点(协调节点)协调。
在分散阶段,协调节点将请求转发给持有数据的数据节点。每个数据节点在本地执行请求并将结果返回给协调节点。在收集阶段,协调节点将每个数据节点的结果简化为单个全局结果集。
每个节点都是隐式的协调节点。如果取消了节点的候选资格、保存数据的能力和预处理文档的能力,那么它就只剩下一个协调节点的功能,它只能路由请求、处理 search reduce 阶段和分发批量索引。
只有协调节点才能从数据节点和候选节点中卸载协调节点角色,从而使大型集群受益。它们加入集群后,像其他节点一样接收完整的集群状态,并使用集群状态将请求直接路由到适当的位置。下面的配置把节点设置为专用的协调节点:

node.master: false
node.data: false
node.ingest: false
search.remote.connect: false 

配置节点的 IP 地址
默认情况下,Elasticsearch 只绑定到回环地址,例如:127.0.0.1 (::1)。这样只能从该服务器上访问 Elasticsearch。事实上,可以从单个节点上相同的 $ES_HOME 位置启动多个节点。这对于测试 Elasticsearch 形成集群的能力很有用,但不推荐用于生产环境。
为了与其他服务器上的节点通信并形成集群,需要把节点绑定到一个非回环地址。虽然有许多网络配置项,但通常只需要配置:

network.host: 192.168.1.101

注意,一旦为 network.host 提供了自定义设置。Elasticsearch 就假设您正在从开发模式转移到生产模式,并将许多系统启动检查从警告升级到异常。

一个简要的示例

下面是一个简要的 3 节点机器的配置示例:

# node 1
cluster.name: es-cluster
node.name: es-node-1
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.100
discovery.zen.ping.unicast.hosts: ["10.32.2.101", "10.32.2.102"]
discovery.zen.minimum_master_nodes: 2

# node 2
cluster.name: es-cluster
node.name: es-node-2
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.101
discovery.zen.ping.unicast.hosts: ["10.32.2.100", "10.32.2.102"]
discovery.zen.minimum_master_nodes: 2

# node 3
cluster.name: es-cluster
node.name: es-node-3
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.102
discovery.zen.ping.unicast.hosts: ["10.32.2.100", "10.32.2.101"]
discovery.zen.minimum_master_nodes: 2

参考:
Important Elasticsearch configuration
elasticsearch 集群搭建及参数详解
ElasticSearch入门 第二篇:集群配置
Elasticsearch Node

原文地址:https://www.cnblogs.com/sparkdev/p/11044662.html

时间: 2024-10-10 14:25:30

配置 Elasticsearch 集群的相关文章

ES2:ElasticSearch 集群配置

ElasticSearch共有两个配置文件,都位于config目录下,分别是elasticsearch.yml和logging.yml,其中,elasticsearch.yml 是全局配置文件,用于在服务器级别对ElasticSearch进行配置.ElasticSearch的配置选项分为静态设置和动态设置两种,静态设置必须在结点级别(node-level)设置,或配置在elasticsearch.yml配置文件中,或配置在环境变量中,或配置在命令行中,在结点启动之后,静态设置不能修改.集群的名字

我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知

摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknowledge(技术)”.但其中也穿插一些我个人的理解.敬请指正. 关键词:ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识: 有一些书是对某一新知识领域的介绍,将此知识领域从头到尾.从内而外剖开了分析,吸收这些知识主要在于“记忆”,(也有“领会”)

ElasticSearch集群搭建

一.前言 先介绍ElasticSearch的几个核心概念. 集群(cluster): 一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能.一个集群由一个唯一的名字标识,这个名字默认就是"elasticsearch".这个名字是重要的,因为一个节点只能通过指定某个集群的名字,来加入这个集群. 节点(node): 一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能.和集群类似,一个节点也是由一个名字来标识的,默

ElasticSearch集群配置

elasticsearch集群搭建,可以把索引进行分片存储,一个索引可以分成若干个片,分别存储到集群里面,而对于集群里面的负载均衡,副本分配,索引动态均衡(根据节点的增加或者减少)都是elasticsearch自己内部完成的,一有情况就会重新进行分配. 下面先是介绍几个关于elasticsearch的几个名词 1.cluster 代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的.es的一个概念就是去中心化,字面上理解就是无中心节点,

Elasticsearch集群配置以及REST API使用

ES安装与启动 在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可.下载地址戳这里. ES配置集群 Elasticsearch配置集群很简单,只要配置一个集群的 名称 ,ES就会自动寻找并加入到其中. 并且会自动的进行分片.备份等等操作. 配置方式: 直接修改conf/elasticsearch.yml ES查询集群状态 使用ES的REST API可以做到下面的事情: 1 管理集群,节点,索引数据和元数据 2 执行创建,读取,更新和删除操作,以及根据索引查询 3 执行更深入的操作,比

Linux下Elasticsearch集群配置

一.简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 二.集群安装 1.选择指定的版本下载 wget https://download.elastic.co/elasticsearch/release/org/elas

ElasticSearch集群服务器配置

一.安装 简单的安装与启动于前文ElasticSearch初探(一)已有讲述,这里不再重复说明. 二.启动 1.自带脚本启动 1)bin/elasticsearch,不太任何参数,默认在前端启动 2)bin/elasticsearch-d,带参-d,表示在后台作为服务线程启动 还可以设置更多的参数:bin/elasticsearch-Xmx2g-Xms2g-Des.index.store.type=memory--node.name=my-node 注意:如果是在局域网中运行elasticsea

(转)Elasticsearch集群的脑裂问题

转自 http://blog.csdn.net/cnweike/article/details/39083089 所谓脑裂问题(类似于精神分裂),就是同一个集群中的不同节点,对于集群的状态有了不一样的理解. 今天,Elasticsearch集群出现了查询极端缓慢的情况,通过以下命令查看集群状态: curl -XGET 'es-1:9200/_cluster/health' 发现,集群的总体状态是red,本来9个节点的集群,在结果中只显示了4个:但是,将请求发向不同的节点之后,我却发现即使是总体状

Elasticsearch集群知识笔记

Elasticsearch集群知识笔记 Elasticsearch内部提供了一个rest接口用于查看集群内部的健康状况: curl -XGET http://localhost:9200/_cluster/health response结果: { "cluster_name": "format-es", "status": "green", ... } 这里的status有3种状态,分别是green(所有主分片和复制分片都可用