使用logstash同步MongoDB数据到es

input{
  mongodb{
        codec => "json"
        uri => ‘mongodb://127.0.0.1:27017/kuaibao‘
        placeholder_db_dir => ‘/usr/local/etc/logstash-5.6.0/dbdir‘
        placeholder_db_name =>‘user.db‘
        collection => ‘user‘
        generateId => ‘true‘
        parse_method => "simple"
    }
}

filter{
  mutate{remove_field => ["_id"]}
}

output{
 elasticsearch{
  hosts => ["http://127.0.0.1:9200"]
  index => "ordertrance"
  manage_template=>true
  document_type=>"user"
}
stdout {
        codec => json_lines
    }
}

  

配置如上图,遇到一个坑,卡了我两天,我去。。。。

刚开始我的placeholder_db_dir是配置成了/usr/local/etc/logstash-5.6.0,也就是logstash的根目录,谁成想配置成这样居然不好使,各种百度各种谷歌,明明跟人家的配置都是一样的,我的就是同步不就去es。差点去世,最后鬼使神差的试着修改了一下placeholder_db_dir,居然可以了,吐血。。。

原文地址:https://www.cnblogs.com/zjdeblog/p/11183865.html

时间: 2024-10-30 10:43:51

使用logstash同步MongoDB数据到es的相关文章

logstash增量同步mysql数据到es

本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众多同步mysql数据到es的插件中,最稳定并且最容易配置的一个. input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/yinhela

logstash同步mysql数据到Elasticsearch

安装logstash查看我的另一篇文章  Docker 部署 logstash 同步数据我们首先需要安装好对应的插件,然后下载对应的数据库链接jar包,下面是具体的步骤 1.进入容器中 docker exec it logstash bash 2.进入到bin 目录下,我这里是/usr/share/logstash/bin,可以看到logstash-plugin文件,然后安装插件 logstash-plugin install logstash-input-jdbc 3.看到如下输出,则表示安装

【记录】ELK之logstash同步mysql数据到Elasticsearch ,配置文件详解

本文出处:https://my.oschina.net/xiaowangqiongyou/blog/1812708#comments 截取部分内容以便学习 input { jdbc { # mysql相关jdbc配置 jdbc_connection_string => "jdbc:mysql://10.112.76.30:3306/jack_test?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdb

Canal——增量同步MySQL数据到ES

1.准备 1.1.组件 JDK:1.8版本及以上: ElasticSearch:6.x版本,目前貌似不支持7.x版本:     Canal.deployer:1.1.4 Canal.Adapter:1.1.4 1.1.配置 需要先开启MySQL的 binlog 写入功能,配置 binlog-format 为 ROW 模式 找到my.cnf文件,我的目录是/etc/my.cnf,添加以下配置: log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择

【最新】 ELK之 logstash 同步数据库数据到Elasticsearch

cd /usr/local 下载logstash 6.4.3版本 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz 解压 tar -zxvf logstash-6.4.3.tar.gz 下载input和output插件 cd logstash-6.4.3 bin/logstash-plugin install logstash-input-jdbc bin/logstash-plugin inst

MongoDB -> kafka 高性能实时同步(采集)mongodb数据到kafka解决方案

写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求(项目地址:https://github.com/alibaba/MongoShake,下载地址:https://github.com/alibaba/MongoShake/releases).至此博客就结束了,你可以愉快地啃这个项目了.还是一起来看一下官方的描述: MongoShake is a universal data replication platform b

MongoDB 数据迁移和同步

MongoDB 数据迁移和同步 MongoDB的数据同步 复制 mongodb的复制至少需要两个实例.其中一个是主节点master,负责处理客户端请求,其余的都是slave,负责从master上复制数据. master写处理:master负责接收写请求,具体的流程为: 如果开启journal功能,则先将写请求记录到journal中,然后批量执行,同时将操作记录到oplog中: 如果未开启journal功能,则对每个写请求进行单独操作,然后写入oplog. 注:oplog是幂等的,当有累加操作in

Kettle+MongoDB 数据同步到MySQL

Kettle+MongoDB 数据同步到MySQL 1.前言: MongoDB中的date类型以UTC(Coordinated Universal Time)存储,isodate类型,就等于GMT(格林尼治标准时)时间.而北京所处的是+8区,所以mongo shell会将当前的GMT+0800时间减去8,存储成GMT时间. 2.抽取作业概述 3.组件选择: 4.增量处理: 在MongoDB中查询如下是正确的: > db.xamessages.find({created_at:{$gte:ISOD

Hive同步MongoDB的数据

问题: 将MongoDB数据导入Hive,按照https://blog.csdn.net/thriving_fcl/article/details/51471248文章,在hive建外部表与mongodb做映射后,执行后出现 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON 建表语句如下: CREATE EXTERNAL TABLE m