ELK 2 – 熟悉配置

ELK中,主要关心logstash的配置,es只是作为存储容器。

logstash

2、rubydebug格式输出

./bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘

3、配置文件 输出到elasticsearch

配置项

input、filter、output

命令

[[email protected] elasticsearch-2.3.5]$ ./bin/logstash agent -f my.conf

my.conf 内容

input {

file {

      path => "/export/servers/apache-tomcat-7.0.70/logs/my.log"

       start_position => "beginning"

       }

}

output {

    elasticsearch {hosts => "localhost" }  //这里可以加上端口号9200

}

 

读取位置

start_position => "beginning"/"end"  每次从文件什么位置读取。
读取位置会存在  /root/.sincedb_dbd93513aa1097729e1c1c9ac4b87310 这个文件中。要想每次从头读取,就要删除。

后台启动

nohup ./bin/logstash agent -f my.conf &

启动日志存在同级目录nohup.out这个文件里

时间: 2024-10-16 06:06:49

ELK 2 – 熟悉配置的相关文章

ELK的安装配置使用

ELK的安装配置 一.ES集群的安装: 搭建ElasticSearch集群: 使用三台服务器搭建集群 node-1(主节点) 10.170.13.1 node-2(从节点) 10.116.35.133 node-3(从节点) 10.44.79.57 下载安装包 地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.rpm 在三台服务器上分别下载安装elasticsearch-5.4.3.rpm 安装

从零开始搭建系统2.2——ELK安装及配置

从零开始搭建系统2.2--ELK安装及配置 原文地址:https://www.cnblogs.com/provence666/p/8638563.html

elk 安装于配置

ELK日志分析之安装 1.介绍: NRT elasticsearch是一个近似实时的搜索平台,从索引文档到可搜索有些延迟,通常为1秒. 集群 集群就是一个或多个节点存储数据,其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能.集群有一个唯一性标示的名字,默认是elasticsearch,集群名字很重要,每个节点是基于集群名字加入到其集群中的.因此,确保在不同环境中使用不同的集群名字.一个集群可以只有一个节点.强烈建议在配置elasticsearch时,配置成

ELK 根据业务配置及优化

ELK部署完成后,出现了一些问题,需要调整及优化. 1.elasticsearch 调节堆内存大小: Elasticsearch默认设置的内存是1GB,对于业务较小,所以需要将机器一半内存分配给jvm 查看系统内存: # free -m            total       used       free     shared    buffers     cached Mem:         24028      20449       3579          0        

Mybatis XML 映射配置文件 -- 熟悉配置

来源:http://www.mybatis.org/mybatis-3/zh/configuration.html properties mybatis读取属性顺序. 如果属性在不只一个地方进行了配置,那么 MyBatis 将按照下面的顺序来加载: 在 properties 元素体内指定的属性首先被读取. 然后根据 properties 元素中的 resource 属性读取类路径下属性文件或根据 url 属性指定的路径读取属性文件,并覆盖已读取的同名属性. 最后读取作为方法参数传递的属性,并覆盖

Elk+redis的配置

1.先到网站上下载 https://www.elastic.co/cn/downloads,需要的工具 Elasticsearch,Kibana,Logstash,Filebeat. 先把redis安装好.安装redis略过. 2.主要是每个工具的配置文件: Elasticsearch 直接解压后启动即可:./bin/elasticsearch Kibana:修改配置文件elasticsearch的地址,之后启动,./bin/kibana Filebeat:修改配置文件后,启动为: ./file

elk 6.0配置elastalert

官方git https://github.com/Yelp/elastalert 源码安装, 下载地址:git clone https://github.com/Lunatictwo/elastalert 目前ElastAlert不支持Elasticsearch 6.x版本, 请不要使用官方的master版本 这位大神修改了源码,具体参考地址 https://github.com/Yelp/elastalert/pull/1426 修改 elastalert/elastalert.py def

ELK安装配置及nginx日志分析

一.ELK简介1.组成ELK是Elasticsearch.Logstash.Kibana三个开源软件的组合.在实时数据检索和分析场合,三者通常是配合使用,而且又都先后归于 Elastic.co 公司名下,故有此简称.Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等.Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用.kibana 是一个开源和

专栏文章推荐:轻松玩转ELK海量可视化日志分析系统

最近一直在更新ELK系列的专栏,此专栏主要是针对ELK从入门到实战应用的介绍,内容非常实用,通过多年对ELK的使用经验,此文浓缩了ELK的各种应用技能和总结,强烈推荐给大家阅读. 在学习过程中,如果遇到任何问题可在本文后面留言,或者在专栏里面留言. 下面是专栏的介绍. 专栏介绍 ELK是目前行业中非常热门的一个技术,它可以用于电商网站.门户网站.企业IT系统等各种场景下,也可以用于对海量的数据进行近实时的数据分析. 专栏深入浅出剖析ELK在企业常见应用框架以及ZooKeeper.Kafka与EL