elasticsearch日志配置

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。

配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

  1. cluster.name: elasticsearch

节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。

  1. node.name: "Franz Kafka"

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

  1. node.master: true

指定该节点是否存储索引数据，默认为true。

  1. node.data: true

设置默认索引分片个数，默认为5片。

  1. index.number_of_shards: 5

设置默认索引副本个数，默认为1个副本。

  1. index.number_of_replicas: 1

设置配置文件的存储路径，默认是es根目录下的config文件夹。

  1. path.conf: /path/to/conf

设置索引数据的存储路径，默认是es根目录下的data文件夹

  1. path.data: /path/to/data

可以设置多个存储路径，用逗号隔开，例：

  1. path.data: /path/to/data1,/path/to/data2

设置临时文件的存储路径，默认是es根目录下的work文件夹。

  1. path.work: /path/to/work

设置日志文件的存储路径，默认是es根目录下的logs文件夹

  1. path.logs: /path/to/logs

设置插件的存放路径，默认是es根目录下的plugins文件夹

  1. path.plugins: /path/to/plugins

强制所有内存锁定，不要搞什么swap的来影响性能 
设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。

  1. bootstrap.mlockall: true

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

  1. network.bind_host: 192.168.0.1

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

  1. network.publish_host: 192.168.0.1

这个参数是用来同时设置bind_host和publish_host上面两个参数。

  1. network.host: 192.168.0.1

设置节点间交互的tcp端口，默认是9300。

  1. transport.tcp.port: 9300

设置是否压缩tcp传输时的数据，默认为false，不压缩。

  1. transport.tcp.compress: true

设置对外服务的http端口，默认为9200。

  1. http.port: 9200

设置内容的最大容量，默认100mb

  1. http.max_content_length: 100mb

是否使用http协议对外提供服务，默认为true，开启。

  1. http.enabled: false

网络配置

  1. #network.tcp.keep_alive : true
  2. #network.tcp.send_buffer_size : 8192
  3. #network.tcp.receive_buffer_size : 8192

自动发现相关配置

  1. #discovery.zen.fd.connect_on_network_disconnect : true
  2. #discovery.zen.initial_ping_timeout : 10s
  3. #discovery.zen.fd.ping_interval : 2s
  4. #discovery.zen.fd.ping_retries  : 10

The gateway snapshot interval (only applies to shared gateways).

  1. #index.gateway.snapshot_interval : 1s

分片异步刷新时间间隔

  1. #index.refresh_interval : -1

Set to an actual value (like 0-all) or false to disable it.

  1. index.auto_expand_replicas

Set to true to have the index read only. false to allow writes and metadata changes.

  1. index.blocks.read_only

Set to true to disable read operations against the index.

  1. index.blocks.read

Set to true to disable write operations against the index.

  1. index.blocks.write

Set to true to disable metadata operations against the index.

  1. index.blocks.metadata

Lucene index term间隔，仅用于新创建的doc

  1. index.term_index_interval

Lucene reader term index divisor

  1. index.term_index_divisor

When to flush based on operations.

  1. index.translog.flush_threshold_ops

When to flush based on translog (bytes) size.

  1. index.translog.flush_threshold_size

When to flush based on a period of not flushing.

  1. index.translog.flush_threshold_period

Disables flushing. Note, should be set for a short interval and then enabled.

  1. index.translog.disable_flush

The maximum size of filter cache (per segment in shard). Set to -1 to disable.

  1. index.cache.filter.max_size

The expire after access time for filter cache. Set to -1 to disable.

  1. index.cache.filter.expire

merge policy 
All the settings for the merge policy currently configured. A different merge policy can’t be set.

A node matching any rule will be allowed to host shards from the index.

  1. index.routing.allocation.include.*

A node matching any rule will NOT be allowed to host shards from the index.

  1. index.routing.allocation.exclude.*

Only nodes matching all rules will be allowed to host shards from the index.

  1. index.routing.allocation.require.*

Controls the total number of shards allowed to be allocated on a single node. Defaults to unbounded (-1).

  1. index.routing.allocation.total_shards_per_node

When using local gateway a particular shard is recovered only if there can be allocated quorum shards in the cluster. It can be set to quorum (default), quorum-1 (or half), full and full-1. Number values are also supported, e.g. 1.

  1. index.recovery.initial_shards

Disables temporarily the purge of expired docs.

  1. index.ttl.disable_purge

默认索引合并因子

  1. #index.merge.policy.merge_factor : 100
  2. #index.merge.policy.min_merge_docs : 1000
  3. #index.merge.policy.use_compound_file : true
  4. #indices.memory.index_buffer_size : 5%

Gateway相关配置 
当集群期望节点达不到的时候，集群就会处于block，无法正常索引和查询，说明集群中某个节点未能正常启动，这正是我们期望的效果，block住，避免照成数据的不一致。 
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

  1. gateway.type: local

设置集群中N个节点启动时进行数据恢复，默认为1。

  1. gateway.recover_after_nodes: 1

设置初始化数据恢复进程的超时时间，默认是5分钟。

  1. gateway.recover_after_time: 5m

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

  1. gateway.expected_nodes: 2

初始化数据恢复时，并发恢复线程的个数，默认为4。

  1. cluster.routing.allocation.node_initial_primaries_recoveries: 4

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

  1. cluster.routing.allocation.node_concurrent_recoveries: 2

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

  1. indices.recovery.max_size_per_sec: 0

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

  1. indices.recovery.concurrent_streams: 5

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。

  1. discovery.zen.minimum_master_nodes: 1

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

  1. discovery.zen.ping.timeout: 3s
  1. discovery.zen.ping.multicast.enabled: false

设置是否打开多播发现节点，默认是true。 
当禁用multcast广播的时候，可以手动设置集群的节点ip

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

  1. discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

下面是一些查询时的慢日志参数设置

  1. index.search.slowlog.level: TRACE
  2. index.search.slowlog.threshold.query.warn: 10s
  3. index.search.slowlog.threshold.query.info: 5s
  4. index.search.slowlog.threshold.query.debug: 2s
  5. index.search.slowlog.threshold.query.trace: 500ms
  6. index.search.slowlog.threshold.fetch.warn: 1s
  7. index.search.slowlog.threshold.fetch.info: 800ms
  8. index.search.slowlog.threshold.fetch.debug:500ms
  9. index.search.slowlog.threshold.fetch.trace: 200ms

1.设置cache大小和过期时间。

  1. index.cache.field.max_size
  2. index.cache.field.expire

例如设置： 
  //index中每个segment中可包含的最大的entries数目

  1. index.cache.field.max_size: 50000

//过期时间为10分钟

  1. index.cache.field.expire: 10m

2.改变cache类型。

  1. index.cache.field.type: soft

默认类型为resident， 字面意思是常驻（居民）， 一直增加，直到内存 耗尽。 改为soft就是当内存不足的时候，先clear掉 占用的，然后再往内存中放。设置为soft后，相当于设置成了相对的内存大小。resident的话，除非内存够大。

3.对数据进行处理。 
文章中提到的是减小字段值长度，如将大写转成小写。 
这点上，实际中可能将数据精炼。当然， 也可以把要做facet的字段做一个转化，用int型代替。 
关于string转化int呢， 可以参考M大神的: https://github.com/medcl/elasticsearch-analysis-string2int

时间： 2024-10-22 02:48:40

elasticsearch日志配置的相关文章

Elasticsearch 基础理论 & 配置调优

一.简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. 它不但包括了全文搜索功能,还可以进行以下工作: 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索. 实时分析的分布式搜索引擎. 可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据. 使用案例: 维基百科使用Ela

分布式搜索引擎Elasticsearch安装配置

分布式搜索引擎Elasticsearch 介绍 Elasticsearch是一个基于Lucene的开源分布式搜索引擎,具有分布式多用户能力.Elasticsearch是用java开发,提供Restful接口,能够达到实时搜索.高性能计算:同时Elasticsearch的横向扩展能力非常强,不需要重启服务,基本上达到了零配置.但是目前来说相关资料很少,同时版本更新很快,bug存在,API繁多并且变化. 概念和设计 索引 索引(index)是Elasticsearch存放数据的地方.如果你熟悉关系型

Kibana+Logstash+Elasticsearch 日志查询系统

搭建该平台的目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具:Elasticsearch一个开源的搜索引擎框架(支持群集架构方式). 1 安装需求 1.1 理论拓扑 1.2 安装环境 1.2.1 硬件环境 192.168.50.62(HP DL 385 G7 .RAM:12G.CPU:AMD 6128.DISK:SAS 146*4) 192.168.50.98(HP DL 385 G7 .RAM

elasticsearch相关配置

?1.虚拟内存 在linux系统上,elasticsearch默认使用hybrid mmapfs / niofs来存储索引文件,因此操作系统主要会通过mmap来限制存储的空间,因此如果存储空间满了,那么会抛出异常,我们可以使用如下命令来更改设置 sysctl -w vm.max_map_count=262144 当然我们还可以修改/etc/sysctl.conf配置文件修改上述参数 注意在linux下我们一般会设置swap,但是设置swap会对elasticsearch的node性能产生影响,因

ELK 学习笔记之 elasticsearch elasticsearch.yml配置概述

elasticsearch.yml配置概述: 设置集群名字 cluster.name 定义节点名称 node.name 节点作为master,但是不负责存储数据,只是协调. node.master: true node.data: false 子节点,存储数据 node.master: false node.data: true 该节点是一个负载均衡器,什么都不做 node.master: false node.data: false 分片数 index.number_of_shards 副本数

ElasticSearch5的elasticsearch.yml配置

ElasticSearch5的elasticsearch.yml配置 注意 elasticsearch.yml中的配置,冒号和后面配置值之间有空格 cluster.name: my-application 指定集群的名称,同一个集群的节点务必设置同一名称 node.name: node-1 指定节点的名称,同一集群的节点名称不能相同 node.attr.rack: r1 指定节点的部落属性,一个比集群更大的范围 node.master: true 指定是否为主节点.该属性可不指定,节点之间自主选

ElasticSearch 安装配置

1.   Elasticsearch5.5.2安装 1.1.Elasticsearch安装步骤 #安装之前需安装java 环境,并配置JAVA_HOME环境变量 #直接下载Elasticsearch-5.5.2 稳定版的.tar.gz包 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz #下载完成后,发布SHA签名 sha1sum elasticsearch-5.5.2.tar

ELK+zookeeper+kafka收集springcould日志配置文档

############ 本文介绍使用ELK(elasticsearch.logstash.kibana) + kafka来搭建一个日志系统.主要演示使用spring aop进行日志收集,然后通过kafka将日志发送给logstash,logstash再将日志写入elasticsearch,这样elasticsearch就有了日志数据了,最后,则使用kibana将存放在elasticsearch中的日志数据显示出来,并且可以做实时的数据图表分析等等. 最开始我些项目的时候,都习惯用log4j来把

搭建办公环境ElasticSearch 日志分析系统

搭建办公环境ElasticSearch 日志分析系统 ? 计划将公司的防火墙+交换机+服务器(centos7)+ Vmware+Windows server纳入到监控范围,所以开启了ELK监控之旅. ? 本文采用ELK架构栈进行组建,万丈高楼平地起,虽然开始比较简陋,后期会不断完善这个日志分析系统. ? 全文框架如下: ? Hillstone: syslog→logstash→elasticsearch→kibana ? H3C: syslog→logstash→elasticsearch→ki