利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch

这里我演示的是在windows下的操作

首先下载logstash-5.6.1,直接去官网自行下载

1.需要创建如下jdbc.conf和myes.sql两个文件

input {
    stdin {
    }
    jdbc {
     jdbc_driver_library => "D:\jdbcconfig\sqljdbc4-4.0.jar"
            jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
            jdbc_connection_string => "jdbc:sqlserver://127.0.0.1:1433;DatabaseName=abtest"
            jdbc_user => "sa"
            jdbc_password => "123456"
                        # schedule => 分 时 天 月 年
                        # schedule => * 22  *  *  *     //will execute at 22:00 every day
            schedule => "* * * * *"
            jdbc_paging_enabled => true
            jdbc_page_size => 1000
            clean_run => false
            use_column_value => true            #设置查询条件的字段
            tracking_column => lastedittime
            record_last_run => true
            last_run_metadata_path => "D:\jdbcconfig\data\station_parameter.txt"            #设置列名小写
            lowercase_column_names => true
            statement_filepath => "/jdbcconfig/myes.sql"
            #索引的类型
            type => "test"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
         hosts => ["172.16.57.233:9200"]
        action => "index"
        #索引
        index => "test"
        document_id => "%{productid}"
    }
    stdout {
        #codec => json_lines        #设置输出的格式
        codec => line {
            format => "productid: %{[productid]} isdeleted: %{[isdeleted]} lastedittime: %{[lastedittime]} "
        }
    }
}一定要注意配置的路径是否正确,否者执行会报错

myes.sql是里面你需要执行查询的SQL语句

SELECT *
FROM [dbo].test

首先要启动elasticsearch,

然后在logstash的bin目录下执行如下命令:logstash -f jdbcconfig/jdbc.conf

数据就开始同步了。。。。

时间: 2024-09-30 16:28:37

利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch的相关文章

【记录】ELK之logstash同步mysql数据到Elasticsearch ,配置文件详解

本文出处:https://my.oschina.net/xiaowangqiongyou/blog/1812708#comments 截取部分内容以便学习 input { jdbc { # mysql相关jdbc配置 jdbc_connection_string => "jdbc:mysql://10.112.76.30:3306/jack_test?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdb

logstash同步mysql数据到Elasticsearch

安装logstash查看我的另一篇文章  Docker 部署 logstash 同步数据我们首先需要安装好对应的插件,然后下载对应的数据库链接jar包,下面是具体的步骤 1.进入容器中 docker exec it logstash bash 2.进入到bin 目录下,我这里是/usr/share/logstash/bin,可以看到logstash-plugin文件,然后安装插件 logstash-plugin install logstash-input-jdbc 3.看到如下输出,则表示安装

【最新】 ELK之 logstash 同步数据库数据到Elasticsearch

cd /usr/local 下载logstash 6.4.3版本 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz 解压 tar -zxvf logstash-6.4.3.tar.gz 下载input和output插件 cd logstash-6.4.3 bin/logstash-plugin install logstash-input-jdbc bin/logstash-plugin inst

logstash增量同步mysql数据到es

本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众多同步mysql数据到es的插件中,最稳定并且最容易配置的一个. input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/yinhela

使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步

为了充分利用 Elasticsearch 提供的强大搜索功能,很多公司都会在既有关系型数据库的基础上再部署Elasticsearch.在这种情况下,很可能需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步.因此,在本篇博文中,我会演示如何使用 Logstash 来高效地复制数据并将关系型数据库中的更新同步到 Elasticsearch 中.本文中所列出的代码和方法已使用 MySQL 进行过测试,但理论上应该适用于任何关系数据库管理系统 (RDBMS). 系统配置 在本篇文

logstash 从数据库同步数据

背景:目前业务中有个数据库数据大道3亿左右.如果直接从数据库进行查询,等待时间超过15分钟,用户很多时候想查看数据,只能写SQL在数据库中直接查询喝几杯茶后,结果还没出来.用户看到我们项目中使用到ES集群,于是希望将数据库中的数据同步到ES集群中. 软件版本:logstash-2.2.2 ,Elasticsearch-2.2.1. 1 .安装logstash-input-mysql插件 ./bin/logstash install logstash-input-jdbc-3.0.0.gem 2.

使用Logstash同步数据至Elasticsearch,Spring Boot中集成Elasticsearch实现搜索

安装logstash.同步数据至ElasticSearch 为什么使用logstash来同步,CSDN上有一篇文章简要的分析了以下几种同步工具的优缺点:https://blog.csdn.net/laoyang360/article/details/51694519. 下面开始实践: 1. 下载Logstash安装包,需要注意版本与elasticsearch保持一致,windows系统下直接解压即可. 2.添加同步mysql数据库的配置,并将mysql连接驱动jar包放在指定的配置目录 注: 目

elasticsearch -- Logstash实现mysql同步数据到elasticsearch

配置 安装插件由于这里是从mysql同步数据到elasticsearch,所以需要安装jdbc的入插件和elasticsearch的出插件:logstash-input-jdbc.logstash-output-elasticsearch安装效果图如下所示: 下载mysql连接库由于logstash是ruby开发的,所以这里要下载mysql的连接库jar包,从官网下载,我这里下载的是:mysql-connector-java-5.1.46.jar将下载好的mysql-connector-java

MYSQL同步Sqlserver数据库数据

MYSQL同步sqlserver数据库数据的方法. 1.下载安装SQLyog v10.51,确保本机安装了Mysql和Sql server 2008 r2. 2.使用SQLyog连上本地mysql数据库 3.点数据库>导入>导入外部数据 进入SQLyog外部数据导入向导,选择"开始新的工作",点"下一步" 4.在数据源类型中只有access.excel.csv.任何odbc数据源.使用前面三个中间数据格式转换方式都可以导入不过就麻烦了.这里我们选择任何O