elasticsearch集群优化

es集群优化方案:
1.节点职责划分明确:master节点(控制整个集群),数据节点(存储数据),客户端节点(响应用户,转发请求);
2.禁用交换分区:
3.关闭data节点服务器的http功能:
4.内存分配

配置详情
1. 节点职责划分
主节点:主要职责是和集群操作相关的内容,如创建或删除索引,跟踪哪些节点是群集的一部分,并决定哪些分片分配给相关的节点。 配置文件定义:node.master: true node.data: false
数据节点:主要是存储索引数据的节点,主要对文档进行增删改查操作,聚合操作等。 配置文件定义:node.master: false node.data: true
客户端节点:处理路由请求,处理搜索,分发索引操作等,从本质上来讲客户节点表现为智能负载平衡器。配置文件定义:node.master: false node.data: false

2. 禁用交换分区
临时禁用:
swapoff -a
降低操作系统交换内存的频率:
在/etc/sysctl.conf中配置:vm.swappiness = 1
配置JVM锁住内存:
在elasticsearch.yml配置: bootstrap.mlockall: true

3.关闭data节点服务器的http功能
针对ElasticSearch集群中的所有数据节点,不用开启http服务。将其中的配置 参数这样设置:http.enabled: false。
同时不要安装head, bigdesk, marvel等监控插件,保证data节点服务器只需处理创建/更新/删除/查询索引数据等操作。

4.内存分配
配置机器50%的内存给elasticsearch,预留一半内存给Lucene使用。 修改配置文件/etc/elasticsearch/jvm.options。

原文地址:https://www.cnblogs.com/imcati/p/9774505.html

时间: 2024-08-02 01:28:12

elasticsearch集群优化的相关文章

elasticsearch集群介绍及优化【转】

elasticsearch用于构建高可用和可扩展的系统.扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器(横向扩展),Elasticsearch能从更强大的硬件中获得更好的性能,但是纵向扩展也有一定的局限性.真正的扩展应该是横向的,它通过增加节点来传播负载和增加可靠性.对于大多数数据库而言,横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备.对比来说,Elasticsearch天生是分布式的:它知道如何管理节点来提供高扩展和高可用.这意味着你的程序不需要关心这些.对于大

大规模Elasticsearch集群管理心得

转载:http://elasticsearch.cn/article/110 ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别:其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多. 这两种场景的数据索引和应用访问模式上差异较大,在硬件选型和集群优化方面侧重点也会有所不同.一般来说后一种场景属于大数据范畴,数据量级和集群规模更大,在管理方面也更有挑战. 应Me

elasticsearch集群部署

先说下我用的版本:elasticsearch5.2.2 对于初学者来说,我觉得elasticsearch负载均衡没啥好介绍的,在不涉及到elasticsearch优化的前提下,其实还是蛮简单的. 之所以要写下来,是为了帮助跟我一样笨的同学少走弯路.少踩坑. 为什么这么说? 因为在做elasticsearch集群测试的时候,我也是在网上查找资料.但网上的资料都是千篇一律,而且有一个非常非常重要的关键点没讲. 那就是集群各节点之间的通讯端口:9300的开启都忽略了. 一开始百度,各种可能都试了,怎么

【Elasticsearch】深入Elasticsearch集群

7.1 节点发现启动Elasticsearch的时候,该节点会寻找有相同集群名字且课件的主节点,如果有加入,没有自己成为主节点,负责发现的模块两个目的 选出主节点以及发现集群的新节点7.1.1发现的类型Elasticsearch允许使用zen发现,在config里面的Elasticsearch.yml里面配置zen的信息即可,使用2.1.0的时候是这样的7.1.2主节点发现的功能之一就是选主节点,应该是zookeeper完成的,并且保持之间有相应配置主节点和数据节点:Elasticsearch允

elasticsearch 集群部署

Elasticsearch是一个分布式搜索服务,提供Restful API,底层基于Lucene,采用多shard的方式保证数据安全,并且提供自动resharding的功能,github等大型的站点也都采用Elasticsearch作为其搜索服务.废话在此就不多赘述了,下面记录下CentOS7下Elasticsearch集群部署过程: 1)基础信息 elk-es01.kevin.cn    192.168.10.44 elk-es02.kevin.cn    192.168.10.45 elk-

手把手教你搭建一个Elasticsearch集群

一.为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时

Elasticsearch 集群分配多少分片合理

https://www.jianshu.com/p/297e13045605 Elasticsearch 是一个非常通用的平台,支持各种用户实例,并为组织数据和复制策略提供了极大的灵活性.但是,这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片,尤其是不熟悉 Elastic Stack.虽然不一定会在首次启动时引起问题,但随着数据量的增长,它们可能会导致性能问题.群集拥有的数据越多,纠正问题也越困难,因为有时可能需要重新索引大量数据.      因此,当我们遇到性能问题时,往往

手把手教你搭建一个 Elasticsearch 集群

为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? 高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时刻宕掉了,

搭建一个Elasticsearch集群

一.为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时