logstash输出到mysql

logstash输出到mysql

logstash版本:6.5.3,确保 JDK 的版本是 1.8

1  安装logstash-output-jdbc

/usr/share/logstash/bin/logstash-plugin install logstash-output-jdbc

2  JDBC插件依赖mysql-connector-java-5.1.47

下载

https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.47.zip

解压安装

mkdir /etc/logstash/jdbc

cd /etc/logstash/jdbc

解压到/etc/logstash/jdbc目录

unzip mysql-connector-java-5.1.47.zip

3  数据库服务器创建的表结构

CREATE TABLE test(

ID INT NOT NULL AUTO_INCREMENT,

TIME VARCHAR(25) NOT NULL,

IP VARCHAR(20) NOT NULL,

MESSAGES VARCHAR(255) NOT NULL,

PRIMARY KEY (ID)

);

4  配置logstash的output

output {

jdbc {

driver_jar_path => "/etc/logstash/jdbc/mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar"

driver_class => "com.mysql.jdbc.Driver"

connection_string => "jdbc:mysql://mysql服务器ip:端口/数据库?user=数据库用户名&password=数据库密码"

statement => [ "insert into 数据表 (TIME ,IP,MESSAGES) values (?,?,?)","%{@timestamp}" ,"%{host}","%{message}" ]

}

}

原文地址:https://www.cnblogs.com/longBlogs/p/10340252.html

时间: 2024-11-10 17:23:30

logstash输出到mysql的相关文章

将java log4j的日志配置输出到mysql中

log4j可以支持将log输出到文件,数据库,甚至远程服务器,这次给大家分享下如何输出到mysql中. (1)log4j.properties的配置内容如下: log4j.rootLogger=ERROR,appender1,appender2 log4j.appender.appender1=org.apache.log4j.ConsoleAppender log4j.appender.appender1.layout=org.apache.log4j.PatternLayout log4j.

logstash multiline 过滤 mysql slowlog 和java log

在logstash的输出中,每行开头都会加上timestamp 因此,对于mysql slowlog和java log 多行输出格式,就显得画蛇添足了:不过,logstash提供了multiline 功能 filter {   # 如果是以# Time开头的就开始新一行            if [type] == 'slowlog' {       multiline {          what => next          pattern => "^# Time:&qu

logstash推送mysql慢查询日志

本文将将介绍通过logstash用来收集mysql的慢查询日志,然后推送给elasticsearch,并创建自定义的索引,最终通过kibana进行web展示. 环境介绍: 操作系统版本:centos6.6 64bit Mysql版本: mysql5.6.17与mysql5.1.36 Logstash版本: logstash-2.0.0.tar.gz Elasticsearch版本:elasticsearch-2.1.0.tar.gz Kibana版本:Kibana 4.2.1 Java版本:1.

logstash简单收集mysql慢日志-5

mysql: Server version: 5.7.17 mysql日志格式: 简单的要求 需要慢sql和慢sql的查询时间和切换的库 logstash配置写法 input { file { path => "/data/soft/mysql-slow.log" start_position => "beginning" type => "mysql-slow" codec => multiline { pattern

Logstash配置同步mysql到es配置

关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地 下面进一步详细说配置: jdbc_driver_library: jdbc mysql 驱动的路径,在上一步中已经下载 jdbc_driver_class: 驱动类的名字,mysql 填 com.mysql.jdbc.Driver

第二章 logstash - 输出插件之redis与es

最常用的两个输出插件: redis es 一.redis 1.用法 1 output { 2 redis{ 3 batch => false 4 batch_events => 50 5 batch_timeout => 5 6 codec => plain 7 congestion_interval => 1 8 congestion_threshold => 0 9 data_type => list 10 db => 0 11 host => [

Storm集群上的开发 ,任务计算输出到mysql数据库,集成jdbc(十)

storm集成jdbc,把计算结果保存到mysql中. 首先在mysql中建表 ,表的字段与输出的tuple的schema一致: create table result( word varchar(20), total int ); 编写一个连接提供器,用于获取mysql数据库连接: 需要引入jar :/usr/local/apps/apache-storm-1.0.3/external/storm-jdbc 的 storm-jdbc-1.0.3.jar package mystorm.word

将MapReduce的结果输出至Mysql数据库

package com.sun.mysql;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.Iterator;import org.apache.hadoop.conf.Confi

logstash增量同步mysql数据到es

本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众多同步mysql数据到es的插件中,最稳定并且最容易配置的一个. input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/yinhela