elasticsearch配置优化

http://m.blog.csdn.net/article/details?id=50330149

节点

Elasticsearch 节点有四种 :

master and data--- 默认是这种配置,既存储数据,也可以成为master节点

only master --- 协调各个节点间均衡,如分片的移动

only data --- 只存储数据,此种节点的http.enable: false 可设置成false

No data and no master --- 既不是master,也不存储数据,承担将请求路由到相应data节点,并解析数据和对结果分组,此种节点node.client: true 可设置成true。

通过以下两个属性的组合来配置这四种节点

node.data: true

node.data: true

合理的配置节点的类型是有必要的,有利于提升集群性能。

分片

分片是不可动态改变的,所以在配置集群时要合理的设置分片数,考虑数据的增长。

副本

副本可以动态更改,副本和分片会随着节点的增加或者减少而在节点间移动。这个是es集群控制的,不需要手动处理。

索引

建索引尽量使用batch模式,禁用副本,速度更快,es应配置足够的内存,一般为机器内存的一半。通过多线程加载数据并不会提高速度。

index.store.compress.stored: true

index.store.compress.tv: true

在elasticsearch.yml设置这两个属性可压缩数据文件,极大的减少文件的大小。

elasticsearch.yml 推荐设置说明

node.master: false

node.data: true

index.number_of_shards: 1

index.number_of_replicas: 0

http.enabled: false

以上属性根据需要合理配置,充分考虑数据增长,负载均衡。

path.data: /path/to/data1 此属性是存储数据文件的路径,建议不要跟elasticsearch部署文件放在一起,单独放在一个目录。

path.logs: /path/to/logs es日志文件目录,也应单独设置目录

path.plugins: /path/to/plugins 插件目录,也应单独设置目录

path.conf: /path/to/conf 配置文件目录,包含日志配置文件,也可单独设置目录

以上推荐设置可方便集群升级和数据迁移。

Query 优化

每个query和filter都可以设置boost来调整条件占的比重从而影响结果分数。也可以在index的时候设置boost,但是如果要跳转boost就得rebuild。

时间: 2024-08-01 18:10:53

elasticsearch配置优化的相关文章

ElasticSearch性能优化方案

ElasticSearch性能优化主要分为4个方面的优化. 一.服务器部署 1.增加1-2台服务器,用于负载均衡节点elasticSearch的配置文件中有2个参数:node.master和node.data.这两个参数搭配使用时,能够帮助提供服务器性能. node.master: false node.data: true 该node服务器只作为一个数据节点,只用于存储索引数据.使该node服务器功能 单一,只用于数据存储和数据查询,降低其资源消耗率. node.master: true no

亿级 Elasticsearch 性能优化

前言 最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统.在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都超过亿级别,甚至达到百亿级别. 所以趁着有空,就花点时间整理一下具体怎么做 Elasticsearch 性能优化,希望能对 Elasticsearch 感兴趣的同学有所帮助. 背景 Elasticsearch 是一个基于 Lucene 的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于

ElasticSearch性能优化

一.搜索效率优化 批量提交 当有大量数据提交的时候,建议采用批量提交. 比如在做 ELK 过程中 ,Logstash indexer 提交数据到 Elasticsearch 中 ,batch size 就可以作为一个优化功能点.但是优化 size 大小需要根据文档大小和服务器性能而定. 像 Logstash 中提交文档大小超过 20MB ,Logstash 会请一个批量请求切分为多个批量请求. 如果在提交过程中,遇到 EsRejectedExecutionException 异常的话,则说明集群

Kafka server部署配置优化

Kafka配置优化其实都是修改server.properties文件中参数值 1.网络和io操作线程配置优化 # broker处理消息的最大线程数        num.network.threads=xxx    #  broker处理磁盘IO的线程数        num.io.threads=xxx 建议配置: 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1. num.io.threads主要进行磁盘io操作,高峰

Tomcat配置优化

TOMCAT配置优化一. Tomcat下使用Log4j 接管 catalina.out 日志文件生成方式,按天存放,解决catalina.out日志文件过大问题1.准备jar包:log4j-1.2.16.jar , tomcat-juli.jar, tomcat-juli-adapters.jar 注意:tomcat-juli.jar, tomcat-juli-adapters.jar 需要根据不同tomcat的版本去相应下载(从http://archive.apache.org/dist/to

nginx 配置优化的几个参数

nginx 配置优化的几个参数 2011-04-22 本文地址: http://blog.phpbean.com/a.cn/7/ --水平有限欢迎指正-- -- 最近在服务器上搞了一些nginx 研究了一下 总结总结Sleep nginx配置文件里面需要注意的一些参数 worker_processes 8 nginx要开启的进程数 一般等于cpu的总核数 其实一般情况下开4个或8个就可 我开2个 以了 多了没有太多用 每个nginx进程消耗的内存10兆的模样 worker_cpu_affinit

apache配置优化

最近参加了很多面试,多多少少有点小感悟,可以说观念转变了不少,特别是对于作为一个开发人员的定位,原来只是认为开发人员就只需要写好代码就行了,所以只需要有数据结构,算法,设计模式,重构方面的知识就行了.但是经过多次的面试,认识到网站的维护和优化也是开发人员的一个必要的素质.几乎所有的面试官都会问到一个问题,那就是如何优化一个网站,这个问题涉及到很多方面,其实面试官就是想考察你对常见的服务器,数据库的知识是否熟悉. apache的配置优化可以从以下几个方面来考虑: 一 . 内存 要让服务器运行的足够

Nginx 0.7.x + PHP 5.2.6(FastCGI)+ MySQL 5.1 在128M小内存VPS服务器上的配置优化

Nginx 0.7.x + PHP 5.2.6(FastCGI)+ MySQL 5.1 在128M小内存VPS服务器上的配置优化  大 | 中 | 小  [ 2008-10-28 16:55 | by 张宴 ] [文章作者:张宴 本文版本:v1.0 最后修改:2008.10.28 转载请注明原文链接:http://blog.zyan.cc/post/375/] VPS(全称Virtual Private Server)是利用最新虚拟化技术在一台物理服务器上创建多个相互隔离的虚拟私有主机.它们以最

Eclipse 环境安装和配置优化

1.下载相应的eclipse版本.    官方下载地址:http://www.eclipse.org/downloads/    juno版本的64位下载地址:http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/juno/SR2/eclipse-jee-juno-SR2-win32-x86_64.zip 2.解压eclipse-jee-juno-SR2-win32-x86_64.