Kettle+MongoDB 数据同步到MySQL

Kettle+MongoDB 数据同步到MySQL

1、前言:

MongoDB中的date类型以UTC(Coordinated Universal Time)存储,isodate类型,就等于GMT(格林尼治标准时)时间。而北京所处的是+8区,所以mongo shell会将当前的GMT+0800时间减去8,存储成GMT时间。

2、抽取作业概述

3、组件选择:

4、增量处理:

在MongoDB中查询如下是正确的:

> db.xamessages.find({created_at:{$gte:ISODate("2016-08-16 18:33:36")},yy_id:48}).sort({created_at:1}).limit(1)

但是在kettle mongodb中查询则会报错。

解决办法:

{"$query":{"created_at":{"$gte":{"$date":"2016-11-03T00:00:00Z"}}}}

kettle维基百科:http://wiki.pentaho.com/display/BAD/Create+a+Parameterized+Report+with+MongoDB

时间: 2024-08-10 02:11:09

Kettle+MongoDB 数据同步到MySQL的相关文章

MongoDB副本集配置系列十一:MongoDB 数据同步原理和自动故障转移的原理

1:数据同步的原理: 当Primary节点完成数据操作后,Secondary会做出一系列的动作保证数据的同步: 1:检查自己local库的oplog.rs集合找出最近的时间戳. 2:检查Primary节点local库oplog.rs集合,找出大于此时间戳的记录. 3:将找到的记录插入到自己的oplog.rs集合中,并执行这些操作. 2:查看副本集的信息 gechongrepl:PRIMARY> rs.status() { "set" : "gechongrepl&quo

kettle之mongodb数据同步

需求: 1.源数据库新增一条记录,目标库同时新增一条记录: 2.源数据库修改一条记录,目标库同时修改该条记录: 示例用到三个Kettle组件 下面详细说下每个组件的配置 Source: 本示例连接的是Mongodb数据库,四个字段,ID默认为主键,_id会系统自动生成暂时先不管. 本节点的详细说明,可见官网:http://wiki.pentaho.com/display/EAI/MongoDB+Input 值映射: 本步在本示例作用不大,只是为了测试效果.按照截图上进行配置即可 MongoDbO

ODBC数据管理器 SqlServer实时数据同步到MySql

---安装安装mysqlconnector http://www.mysql.com/products/connector/ /* 配置mysqlconnector ODBC数据管理器->系统DSN->添加->mysql ODBC 5.3 ANSI driver->填入data source name如jt,mysql的ip.用户名.密码即可 */ --新建链接服务器 exec sp_addlinkedserver @server='MySqll_Aggregation',--OD

etcd安装部署及数据同步MySQL

一.etcd说明及原理 二.etcd安装部署说明 三.etcd操作说明 四.python安装etcd 五.python-etcd使用说明 六.通过脚本获取本地的信息上传到etcd 七.通过脚本将etc的数据同步到mysql 一.etcd 简介 etcd是用于共享配置和服务发现的分布式,一致的键值存储,重点是: 简单:定义明确,面向用户的API(gRPC) 安全:使用可选的客户端证书认证的自动TLS 快速:基准测试10,000写/秒 可靠:使用Raft协议来进行合理的分布式 etcd是在Go中编写

DataX实现HDFS与MySQL之间数据同步

本案例仅适用于HDFS与MySQL之间的数据同步实现. 1.  在编译安装之前注意将release下面的setSharePath方法中的路径改为你自己的安装路径,笔者的为/home/woody/datax/libs. 2.  rpm打包之前,要修改*.spec文件中的路径,dataxpath,此外可能还需要注解掉部分赋值文件的代码,如cp  –r ${OLDPWD}****.properties ****.conf,在engine.spec中的jar包复制语句也要注解掉. 3.  注意将hdfs

MongoDB 数据自动同步到 ElasticSearch

我们产品中需要全文检索的功能,后端数据存储主要使用了 MySQL + MongoDB,而其中需要检索的内容是在 MongoDB 中的. MongoDB 本身是自带文本索引功能的,但是,不支持中文.术业有专攻,MongoDB 是数据存储应用,那么全文检索就使用专业的全文搜索引擎吧. 预选的几个选手有:Solr.ElasticSearch.Xapian.Sphinx.XunSearch.由于我们的数据量比较大,觉得现在单机已经有些力不从心了,MongoDB 也开始计划做分片,那么全文搜索如果自带分布

mysql数据同步

随着各行业信息化水平的不断提升,各种各样的信息管理系统都被广泛使用,各系统间数据完全独立,形成了大量的信息孤岛.出于管理及决策方面的需求,实现各平台的数据同步是一个很迫切的需求,TreeSoft数据库管理系统整合了各主流数据库的数据访问及维护监控功能,实现了各主流数据库的互联互通,架起了一座数据同步的桥梁,便捷的实现了数据的同步交互. 一.首先在TreeSoft数据库中配置两个数据源信息 二.配置数据同步任务,并执行任务 三.同步结果数据查看确认 四.支持以下数据同步方案,好强大! 1.MySQ

MySQL数据库跨服务器数据同步

1.背景介绍最近公司项目要求与开源项目Zentao做数据对接,因为改动开源项目风险较大,采用将Zentao数据库的相关表与本地数据库同步的方案.由我测试方案的可行性.mysql版本:5.7.20.本地数据库A(作为Zentao数据库),本地数据库B,本地程序C:本地为Windows环境. 2.方案探索方案1项目经理的意思是在A中写触发器,表中数据变化时将ID发给C,由C在A中查询变化的数据,写入B.过程中需要安装mysql-udf-http插件(参考:https://www.2cto.com/d

【转】mysql数据库读写分离数据同步

转载请注明来源:mysql数据库读写分离数据同步 mysql数据库读写分离数据同步 我是用了两个xp(一个主的,一个从的)的系统测试成功的,linux系统我也做测试了,没有成功,不过我想我所遇到的问题是同一个问题,xp下的可以成功,linux下的应该也可以成功,稍候会测试,然后更新结果! PS:刚测试了下linux 可以同步成功,主服务器是xp,从服务器是centos,可以成功. 例: A机器 192.168.0.2 B机器 192.168.0.3 两个机器可以ping通,互相访问 先配置主服务