ELK学习笔记a

一、基本操作

1、命令行运行  bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘

#bin/logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}‘

Logstash startup completed
hello world
{
       "message" => "hello world",
      "@version" => "1",
    "@timestamp" => "2017-03-22T01:34:46.013Z",
          "host" => "0.0.0.0"
}

2、加载配置文件运行 bin/logstash -f log.conf

input {
  stdin { }
}

output {
  stdout {
    codec => rubydebug {}
  }
  elasticsearch {
    embedded => true
  }
}

3、语法

a、区段

logstash 用{} 定义区域,区域内可以包括插件区域定义,一个区域内可以定义多个插件 如:

input {
    stdin { }
    syslg { }
}

b、数据类型

支持字符串、数值、数组、哈希

二、命令行参数

1、-e “执行”参数的默认值:

input {
    stdin { }
}
output {
    stdout { }
}

2、--config 或-f : 用来指定启动加载的配置文件

bin/logstash -f log.conf (读取单个配置文件)
bin/logstash -f /etclogstash.d/ (读取目录下所有的配置文件)

3、--configtest 或-t : 测试配置文件是否能正常解析,如果错误,会有提示

4、--log 或-l: 用于指定输出日志(logstash默认输出日志到标准错误)

bin/logstash -l /tmp/logstash.log

5、--filterworkers 或 -w :指定工作线程

bin/logstash -w 5

6、--pluginpath 或-P 指定插件

7、--verbose 输出一定的调试日志

8、--debug 输出更多的调试日志

三、插件

列出 bin/plugin list

安装 bin/plugin install logstash-output-webhdfs

升级 bin/plugin update logstash-input-tcp

四、启动方式 nohup bin/logstash -f log.conf &

建议启动方式 daemontools,如supervisord

时间: 2024-10-06 00:40:33

ELK学习笔记a的相关文章

ELK学习笔记(一)安装Elasticsearch、Kibana、Logstash和X-Pack

最近在学习ELK的时候踩了不少的坑,特此写个笔记记录下学习过程. 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收

ELK学习笔记(一)---安装ELK 5.x版

ELK日志平台是一个完整的日志分析系统,有三个开源工具构建组成,分别是:Elasticsearch.Logstash和Kibana.Elasticsearch用于数据分析和深度搜索:Logstash作用是从其他服务器上传输和转发日志,对其集中管理,进行分析:Kibana则是提供了强大的UI展示,将数据可视化. 安装ELK日志平台 ELK基础环境需要java环境,官网要求5.x版本要大于java8.而且安装方式多样化,支持zip.tar.gz.rpm包.deb包.window环境还有docker环

ELK 学习笔记之 elasticsearch环境搭建

ELK概述: ElasticSearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等 Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用 Kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总.分析和搜索重要数据日志 ElasticSearch 安装部署: 安装: tar

ELK 学习笔记之 elasticsearch Mget操作

Mget操作: 查询多个文档: curl -XGET 'http://192.168.1.151:9200/_mget' -d '{"docs": [{"_index": "library","_type": "books", "_id": "1"}, {"_index": "library","_type"

ELK 学习笔记之 elasticsearch head插件安装

elasticsearch head插件安装: 准备工作: 安装nodejs和npm https://nodejs.org/en/download/ node-v6.11.2-linux-x64.tar.xz 由于是xz压缩文件,所以要先安装 yum -y install xz $xz -d ***.tar.xz $tar -xvf  ***.tar 配置环境变量 # set node environment export NODE_HOME=/usr/local/node-v6.11.2-li

ELK 学习笔记之 elasticsearch Bulk操作:

Bulk操作: Bulk操作用于批量插入数据: 请求体格式: 编辑一个文件:(插入2个新的文档) curl -XPOST 'http://192.168.1.151:9200/library/books/_bulk' --data-binary @requests 用mget查询文档: 已经成功插入.

ELK 学习笔记之 elasticsearch 版本控制

版本控制: elasticsearch 版本控制: 内部版本控制 外部版本控制 内部版本控制: 内部版本会检查你提供的版本值和文档的版本值是否一致,如果不一致就报错,一致则可以更新. curl -XPUT 'http://192.168.1.151:9200/library/books/8' -d '{"title": "ElasticSearch", "name":{"first": "Feng", &q

ELK 学习笔记之 Kibana安装

Kibana安装: 安装地址: https://www.elastic.co/downloads/kibana 安装: tar -zxvf kibana-5.6.1-linux-x86_64.tar.gz 非常不开心的是,安装报错: 只能重新下载安装5.5.2版本: https://www.elastic.co/downloads/past-releases/kibana-5-5-2 安装运行Kibana: tar -zxvf kibana-5.5.2-linux-x86_64.tar.gz 修

ELK学习笔记b

一.输入 a.标准输入: input {     stdin {         add_field => {"key" =>"value"}         codec =>"plain"         tags => ["add"]         type => "std"     } } output {   stdout {      codec => rub