基于TreeSoft实现异构数据同步

一、为了解决数据同步汇聚,数据分发,数据转换,数据维护等需求,TreeSoft将复杂的网状的同步链路变成了星型数据链路。
     TreeSoft作为中间传输载体负责连接各种数据源,为各种异构数据库之间架起同步的桥梁,
     实现一对多,多对多,多对一等复杂场景的数据同步。      
     TreeSoft已被广泛应用,每日处理大量大数据的数据维护、数据同步、数据汇聚、数据转换业务。
     支持MySQL, MariaDB, Oracle, PostgreSQL, SQL Server, DB2, MongoDB, Hive, SAP HANA, Sybase,
     Caché, Informix, 达梦DM, 金仓Kinbase, 神通, 南大GBase, clickHouse等数据库。

二、兼具数据同步与数据维护管理功能,具备适应性广,灵活性强等特点。
    1、支持主流RDBMS、NOSQL数据库间同步交换数据。
    2、支持单节点或集群布署,可应对庞杂的业务环境。
    3、支持百万级以上数据量同步。
    4、企业级定时任务框架,稳定高效。
    5、支持多数据源向多目标数据汇聚或数据分发。
    6、支持定时数据清洗转换等后处理。
    7、支持window, Linux,mac等操作系统。
    8、基于JAVA开发,WEB网页管理,快速布署,到处使用。
    9、基于网页灵活配置及管理,详细记录同步日志。
    10、兼具数据维护,数据库管理功能,大大提高工作效率。 
    

原文地址:https://www.cnblogs.com/treesoft/p/11957504.html

时间: 2024-11-03 02:51:15

基于TreeSoft实现异构数据同步的相关文章

MySQL数据库异构数据同步–后端以tair为例

在实现levelDB挂载成MySQL引擎时,发现在实际存储是key-value格式时候,MySQL的异构数据同步,可以更简单和更通用. 以tair为例,简要描述一下以MySQL为基础的一种方案. 所谓异构数据同步,是指应用只更新MySQL,而由后端的某些机制将这些更新应用到其他数据存储服务上. 1. MySQL-Tair 引擎 a)       使用 b)       说明 这不是一个"存储引擎",实际上数据存储在tair服务器上.执行insert/update/delete时,只是将

基于文件的离线数据同步方案

产品此前的数据备份方案,存在不少问题,所以需要设计一个新的方案.本文总结一下新旧方案的优劣 首先APP是一个支持离线的应用.本地数据保存在sqlite,在离线环境下,在本地数据库里读写记录,在有网络的时候,再将数据备份到服务器:同时,也可以随时将数据从服务器恢复到本地 旧方案 此前的备份方案是基于内容的,每一条记录都有create_date和modify_date字段,同时APP保存有latest_backup_date(上次备份时间).然后开始备份的时候,就对所有表进行扫描,根据这3个时间的对

sersync基于rsync+inotify实现数据实时同步

一.环境描述 需求:服务器A与服务器B为主备服务模式,需要保持文件一致性,现采用sersync基于rsync+inotify实现数据实时同步 主服务器A:192.168.1.23 从服务器B:192.168.1.243 实时同步/var/atlassian目录到从服务器. 二.实施 1.从服务器192.168.1.243 rsync服务搭建 1.1安装软件包 wget http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz tar xf r

关于数据同步的几种实现第五种基于软件应用程序进行同步(前四种基于数据库级,第四种做集群一主多从。)

之前网络上收集到的一些关于数据同步的资料 一通过发布/订阅的方式实现同步 发布/订阅是Sql Server自带的一种数据库备份的机制,通过该机制可以快速的实现数据的备份同步,不用编写任何的代码. 此种数据同步的方式存在的以下的一些问题: 表结构不能更改,同步双方的表结构必须一致,一旦表结构发生更改需要重新生成数据库快照. 对于大数据量的同步没有可靠的保证. 网络不稳定的情况下同步也不能保证. 总的来说,这种数据备份同步的方式,在表结构一致.数据量不是特别大的情况下还是非常高效的一种同步方式. 二

基于datax的数据同步平台

一.需求 由于公司各个部门对业务数据的需求,比如进行数据分析.报表展示等等,且公司没有相应的系统.数据仓库满足这些需求,最原始的办法就是把数据提取出来生成excel表发给各个部门,这个功能已经由脚本转成了平台,交给了DBA使用,而有些数据分析部门,则需要运维把生产库的数据同步到他们自己的库,并且需要对数据进行脱敏,比如客户的身份证号.手机号等等,且数据来源分散在不同的机器,不同的数据库实例里,这样就无法使用MySQL的多源复制,只能用写脚本通过SQL语句实现,随着业务的发展,导致堆积到运维部门的

[转帖]sersync基于rsync+inotify实现数据实时同步

sersync基于rsync+inotify实现数据实时同步 https://www.jianshu.com/p/d532a34e5cc5 前言 提到数据同步就必然会谈到rsync,一般简单的服务器数据传输会使用ftp/sftp等方式,但是这样的方式效率不高,不支持差异化增量同步也不支持实时传输. 原文地址:https://www.cnblogs.com/nbxcnxvcnb/p/12393252.html

总结:基于Oracle Logminer数据同步

第 1 页 共 20 页 出自石山园主,博客地址:http://www.cnblogs.com/shishanyuan LogMiner 配置使用手册 1 Logminer 简介 1.1 LogMiner介绍 Oracle LogMiner 是 Oracle 公司从产品 8i 以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得 Oracle 在线/归档日志文件中的具体内容,特别是该工具可以分析出所有对于数据库操作的 DML 和 DDL 语句.该工具特别适用于调试.审计或者回退某个特定的

Oracle数据同步交换

一.为了解决数据同步汇聚,数据分发,数据转换,数据维护等需求,TreeSoft将复杂的网状的同步链路变成了星型数据链路.     TreeSoft作为中间传输载体负责连接各种数据源,为各种异构数据库之间架起同步的桥梁,     实现一对多,多对多,多对一等复杂场景的数据同步.           TreeSoft已被广泛应用,每日处理大量大数据的数据维护.数据同步.数据汇聚.数据转换业务.     支持MySQL, MariaDB, Oracle, PostgreSQL, SQL Server,

SymmetricDS 异构数据库同步软件部署案例

SymmetricDS是一个开源的同步软件,该软件是基于java环境编写的,在运行的时候需要安装JDK.SymmetricDS可以同步文件和数据库,本文的重点是数据库方面的同步. SymmetricDS支持多种数据库的同步,支持的数据库如下: Oracle, MySQL, MariaDB, PostgreSQL, MS SQL Server (including Azure), IBM DB2, H2, HSQLDB, Derby, Firebird, Interbase, Informix,