logstash server 配置文件

input {  
        redis {  
                host => "10.10.45.200"  
                data_type => "list"  
                key => "elk_frontend_access:redis"  
                port =>"5379"  
        }  
}  
output { 
        if [type] == "www1_access"{
                elasticsearch {
                  hosts => "10.10.45.200:8201"
                  index => "logstash-www1-frontend-%{+YYYY.MM.dd}"
        }
        }
       if [type] == "flight1_access"{
                elasticsearch {
                hosts => "10.10.45.200:8201"
                index => "logstash-flight1-frontend-%{+YYYY.MM.dd}"
         }
        }
        if [type] == "www_access"{
                elasticsearch {
                hosts => "10.10.45.200:8201"
                index => "logstash-www-frontend-%{+YYYY.MM.dd}"
}
        }
        if [type] == "m_access"{
                elasticsearch {
                hosts => "10.10.45.200:8201"
                index => "logstash-m-frontend-%{+YYYY.MM.dd}"
         }
        }
        if [type] == "ro_access"{
                elasticsearch {
                hosts => "10.10.45.200:8201"
                index => "logstash-ro-frontend-%{+YYYY.MM.dd}"
         }
        }
}
时间: 2024-12-19 12:20:53

logstash server 配置文件的相关文章

轻松测试 logstash 的配置文件

配置文件本身非常脆弱!所以修改配置文件自然会引入部署失败的风险.如果能够对配置文件进行自动化测试将会极大的降低这种风险.本文将介绍一个可以自动化测试 logstash 配置文件的工具,让大家可以像写单元测试用例一样为 logstash 配置文件创建测试 case,并以快速迭代的方式变更 logstash 配置文件. 噩梦 在很多真实环境中,变更 logstash 的配置文件几乎是个噩梦.日志不是结构化的格式(甚至是乱七八糟!),导致我们几乎必须一个一个地处理日志,并对解析什么和不解析什么做出逻辑

logstash 对配置文件conf敏感信息,密码等加密

logstash的配置文件conf经常会涉及敏感信息,比如ES,mysql的账户密码等,以下使用logstash导入mysql为例子,加密隐藏mysql的密码. 在向keystore中添加key及其secret值之后,你可以在配置敏感设置时使用key代替secret值. 引用key的语法与环境变量的语法相同:${KEY},KEY是key的名称. 例如,假设keystore包含一个名为ES_PWD的key,其值为yourelasticsearchpassword: 在配置文件中使用:output

zabbix server配置文件参数详解

AlertScriptsPath默认值:/usr/local/share/zabbix/alertscripts说明:告警脚本目录 AllowRoot默认值:0 说明:是否允许使用root启动,0:不允许,1:允许,默认情况下她会使用zabbix用户来启动zabbix进程,不推荐使用root CacheSize取值范围: 128K-8G默认值:8M说明:配置缓存,用于存储host,item,trigger数据,2.2.3版本之前最大支持2G,目前最大支持8G,一般用不了多少的. CacheUpd

zabbix server配置文件参数详细

AlertScriptsPath默认值:/usr/local/share/zabbix/alertscripts说明:告警脚本目录 AllowRoot默认值:0 说明:是否允许使用root启动,0:不允许,1:允许,默认情况下她会使用zabbix用户来启动zabbix进程,不推荐使用root CacheSize取值范围: 128K-8G默认值:8M说明:配置缓存,用于存储host,item,trigger数据,2.2.3版本之前最大支持2G,目前最大支持8G,一般用不了多少的. CacheUpd

目前线上环境(ubuntu server)终于部署好一个logstash日志收集系统了

断断续续的看了一周logstash的文档,总算在线上ubuntu搭建起来一个logstash环境了.现在分享一下自己的经验 关于logstash 这玩意现在还算是火爆,依托于elasticsearch这棵大树下,logstash的关注度是非常高的,项目目前来说算是活跃.logstash是一个用于日志收集.分析的系统,架构设计非常灵活,几乎可以满足各种规模的需求. logstash的逻辑架构 logstash的逻辑架构其实一点都不复杂,经历收集->过滤->输出三个步骤即可简简单单的筛选与管理日志

logstash的各个场景应用(配置文件均已实践过)

场景: 1) datasource->logstash->elasticsearch->kibana 2) datasource->filebeat->logstash-> elasticsearch->kibana 3) datasource->filebeat->logstash->redis/kafka->logstash-> elasticsearch->kibana 4) kafka->logstash->

Elasticsearch+Kibana+Logstash 搭建日志平台

大型日志平台搭建 Java 环境部署 网上很多教程,此处只做出测试 java -version java version "1.7.0_45" Java(TM) SE Runtime Environment (build 1.7.0_45-b18) Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode) Elasticsearch 搭建 curl -O https://download.elasticsearch.

用Kibana和logstash快速搭建实时日志查询、收集与分析系统

Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面说到这里,我们看看 kibana 和 logstash到底能为我们做些什么呢?下面是kibana的界面 简单来讲他具体的工

Elasticsearch+Logstash+Kinaba+Redis日志分析系统

一.简介 1.组成 ELK由Elasticsearch.Logstash和Kibana三部分组件组成: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用 kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可