【最新】 ELK之 logstash 同步数据库数据到Elasticsearch

cd /usr/local

  

下载logstash 6.4.3版本

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz

  

解压

tar -zxvf  logstash-6.4.3.tar.gz

  

下载input和output插件

cd logstash-6.4.3

bin/logstash-plugin install logstash-input-jdbc

bin/logstash-plugin install logstash-output-elasticsearch

  

新建logstash.conf

vi /usr/local/logstash-6.4.3/config/logstash.conf

  

内容输入案例

input {
  jdbc {
    jdbc_driver_library => "/usr/local/sql/mysql-connector-java-5.1.46.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "root"
    schedule => "* * * * *"
    statement => "SELECT * FROM user WHERE update_time >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "update_time"
    last_run_metadata_path => "syncpoint_user"
  }
}

output {
    elasticsearch {
        # ES的IP地址及端口
        hosts => ["172.31.73.140:9200","172.31.73.140:9201"]
        # 索引名称 可自定义
        index => "user"
        # 需要关联的数据库中有有一个id字段,对应类型中的id
        document_id => "%{user_id}"
        document_type => "user"
    }
    stdout {
        # JSON格式输出
        codec => json_lines
    }
}

  

注意:这里边需要先安装下mysql-connector-java-5.1.46.jar包,存放到以上指定位置

配置pipelines.yml

vi /usr/local/logstash-6.4.3/config/pipelines.yml

  

在文件底部添加

- pipeline.id: user
  path.config: "/usr/local/logstash-6.4.3/config/logstash.conf"

  

启动ogstash

cd /usr/local/logstash-6.4.3

./bin/logstash -f

  

原文地址:https://www.cnblogs.com/wbl001/p/11625814.html

时间: 2024-10-10 10:54:57

【最新】 ELK之 logstash 同步数据库数据到Elasticsearch的相关文章

【记录】ELK之logstash同步mysql数据到Elasticsearch ,配置文件详解

本文出处:https://my.oschina.net/xiaowangqiongyou/blog/1812708#comments 截取部分内容以便学习 input { jdbc { # mysql相关jdbc配置 jdbc_connection_string => "jdbc:mysql://10.112.76.30:3306/jack_test?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdb

logstash同步mysql数据到Elasticsearch

安装logstash查看我的另一篇文章  Docker 部署 logstash 同步数据我们首先需要安装好对应的插件,然后下载对应的数据库链接jar包,下面是具体的步骤 1.进入容器中 docker exec it logstash bash 2.进入到bin 目录下,我这里是/usr/share/logstash/bin,可以看到logstash-plugin文件,然后安装插件 logstash-plugin install logstash-input-jdbc 3.看到如下输出,则表示安装

使用logstash同步MongoDB数据到es

input{ mongodb{ codec => "json" uri => 'mongodb://127.0.0.1:27017/kuaibao' placeholder_db_dir => '/usr/local/etc/logstash-5.6.0/dbdir' placeholder_db_name =>'user.db' collection => 'user' generateId => 'true' parse_method =>

利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch

这里我演示的是在windows下的操作 首先下载logstash-5.6.1,直接去官网自行下载 1.需要创建如下jdbc.conf和myes.sql两个文件 input { stdin { } jdbc { jdbc_driver_library => "D:\jdbcconfig\sqljdbc4-4.0.jar" jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"

logstash增量同步mysql数据到es

本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众多同步mysql数据到es的插件中,最稳定并且最容易配置的一个. input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/yinhela

Visual Studio2017 数据库数据比较

一.前言 上一篇文章我们介绍了如何使用VS2017对SSMS数据库进行架构比较.这一篇文章我们将继续介绍如何对SSMS数据库的数据进行比较.数据的比较也是很常见的,比如我们要比较当前版本的数据库相对上一个版本在内容上有哪些改变.这个时候我们使用数据比较就可以很清楚看到异同,同样我们也可以对目标数据进行同步. 二.关于 从Visual Studio 2005版本开始,VS不仅开始支持“比较和同步数据库架构”,同时也开始支持“比较和同步数据库数据”. 三.开始演练 本次演练使用VS2017自带的SQ

logstash 从数据库同步数据

背景:目前业务中有个数据库数据大道3亿左右.如果直接从数据库进行查询,等待时间超过15分钟,用户很多时候想查看数据,只能写SQL在数据库中直接查询喝几杯茶后,结果还没出来.用户看到我们项目中使用到ES集群,于是希望将数据库中的数据同步到ES集群中. 软件版本:logstash-2.2.2 ,Elasticsearch-2.2.1. 1 .安装logstash-input-mysql插件 ./bin/logstash install logstash-input-jdbc-3.0.0.gem 2.

使用Logstash同步数据至Elasticsearch,Spring Boot中集成Elasticsearch实现搜索

安装logstash.同步数据至ElasticSearch 为什么使用logstash来同步,CSDN上有一篇文章简要的分析了以下几种同步工具的优缺点:https://blog.csdn.net/laoyang360/article/details/51694519. 下面开始实践: 1. 下载Logstash安装包,需要注意版本与elasticsearch保持一致,windows系统下直接解压即可. 2.添加同步mysql数据库的配置,并将mysql连接驱动jar包放在指定的配置目录 注: 目

elasticsearch -- Logstash实现mysql同步数据到elasticsearch

配置 安装插件由于这里是从mysql同步数据到elasticsearch,所以需要安装jdbc的入插件和elasticsearch的出插件:logstash-input-jdbc.logstash-output-elasticsearch安装效果图如下所示: 下载mysql连接库由于logstash是ruby开发的,所以这里要下载mysql的连接库jar包,从官网下载,我这里下载的是:mysql-connector-java-5.1.46.jar将下载好的mysql-connector-java