Otter-安装配置-(4)同步任务配置案例

准备前--otter配置流程

otter配置比较繁琐,并不会特别复杂,我这里先大概说下流程和几个关键名词解释
**otter名词解释:**
数据源:读取的源实例信息,和写入的目标实例信息
数据表:配置映射用的,用于配置,源实例,什么库,什么表,同步到目标什么库,什么表
canal:otter是做增量同步的,增量同步基于mysql的binlog日志,并且是row格式。这里需要配置你读取binlog的信息,和数据源里面的源实例信息可以说是同一个。
通道配置: otter采用一个实例一个通道方式。一个实例可以多个配置多个库
pipeline:主要核心功能如下
(1)选择你的canal配置,读取哪个实例的binlog。
(2)选择整个同步是在哪个节点上进行,例如我们部署了三个node节点,可以由node1进行读取的操作,可以由node2进行目标实例写入操作。也可以同时放到一个节点上。
(3)binlog位置,默认不写就读最新位置的。
(4)高级配置里面有是否跳过DDL,传输模式,负载均衡算法等,一般保持默认即可。
**流程:**
(1)新增数据源,一般最少配置2个,一个读取的源库,一个目标
(2)数据表,配置映射关系,从哪里同步到哪里。
(3)Canal,配置读取binlog的信息
上面步骤创建好后,我们就可以正式开始配置通道了
(4)创建通道
(5)创建pipeline
(6)创建表映射关系
(7)启动通道

1. 同步实例配置


我这里新增了两个数据源,一个叫read(读取源)实例,一个叫write(写入的目标)实例.

(1)详细编辑配置如下


(2)配置成功后的列表

source_read_testing_01: 要读取数据的实例
target_write_testing_01: 要写入数据的实例

2. 同步表配置


(1)读库表配置-详细信息编辑

这里主要是配置你要读取的数据库名,表名。
schema name: 配置库名称
Table name:因为我们是同步库下面的所有表,所以就填写了一个正则表达式;
数据源:选择源库(上面的步骤实例配置已配置,选择即可)
(2)写库表配置-详细信息编辑

这里主要是配置你要写入的数据库名,表名。
Schema name: 配置库名称
Table name:因为我们是同步库下面的所有表,所以就填写了一个正则表达式;
数据源:选择目标库(上面的步骤实例配置已配置,选择即可)

3.Canal配置

Canal配置,主要是读取的源实例的binlog日志用的

Canal名称: 自定义
Zookeeper:默认会自动选择,前面已配置过了
数据库类型:Mysql
数据库地址:就是你要获取数据库binlog的地址【和源库实例一样】
账号密码:需要有获取binlog权限的账号噢。
其他内容可不填写

4.Channel通道配置

创建Canal

选择基于当前日志变更,选择行记录;名称可自定义;

5.Pipeline配置


步骤1 : 点击Channel通道名称,进入下一步

步骤2 : 新增Pipleline,点击添加

选择select 和load 的节点。一个是读,一个是写。选择同一个节点,减少网络之间的传输。
Canal名称: 选择刚才canal配置添加的,其他保持不变

6.映射关系配置

意思就是,你要在这条通道上,什么样的规则进行同步,就是表与表之间的配置

步骤1: 点击Pipeline进入映射关系配置

步骤2:添加映射关系

步骤3:查找数据表

源数据表: 选择只读源库表

目标数据表: 选择目标库表

保存后,内容如下,返回通道首页

7.启动通道

8.测试验收

在源库新增数据,验证目标库表是否正常

原文地址:https://blog.51cto.com/jiajinh/2416265

时间: 2024-08-29 17:17:56

Otter-安装配置-(4)同步任务配置案例的相关文章

基于alibaba开源的分布式数据同步系统安装配置文档otter之环境配置

otter项目开源地址:https://github.com/alibaba/otter canal项目开源地址:https://github.com/alibaba/canal 我们的用这个系统的背景:主要是做异地容灾,可是我们需要的现网的数据需要同步到容灾区.   工作原理: 原理描述: 1.基于Canal开源产品,获取数据库增量日志数据. 什么是Canal, 请点击 2.典型管理系统架构,manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节

Linux服务器集群架构部署搭建(六)数据库服务器MySQL编译安装及主从同步配置(1)

命运是大海,当你能够畅游时,你就要纵情游向你的所爱,因为你不知道狂流什么会到来,卷走一切希望与梦想. 作者:燁未央_Estelle声明:测试学习,不足之处,欢迎指正. 第一章 数据库企业应用场景 1.1 数据库的企业应用 MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性.MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言.MySQL软件采用了双授权政策,它分为社区版和商业版,由于其体积小.速度快.总

ogg的安装配置 配置双向同步(含DDL)

第一部分 先配置单向同步(含DDL) 一 源端安装GoldenGate 创建用户 创建目录 mkdir -p /opt/ogg chmod -R 777 /opt/ogg chown -R oracle:oinstall /opt/ogg ? ogg用户???? useradd -g oinstall -G dba ggate ? 解压软件 设置环境变量 配置goldengate用户变量 su – ggate export ORACLE_BASE=/u01/app/oracle export O

配置rsync 同步数据 rpm包安装rsync及配置

[[email protected] home]# rpm -qa |grep rsync #检查系统是否安装了rsync软件包rsync-2.6.8-3.1[[email protected] CentOS]# rpm -ivh rsync-2.6.8-3.1.i386.rpm # 如果没有安装则手动安装 [[email protected] rsync-3.0.4]# vim /etc/xinetd.d/rsync 1 配置rsync servervi /etc/xinetd.d/rsync

mysql-5.6.x半同步复制配置

本文环境   主库:CentOS6.5 x64 192.168.0.65 mysql-5.6.29    备库:CentOS6.5 x64 192.168.0.66 mysql-5.6.29 接上文: mysql-5.6主从同步配置示例http://koumm.blog.51cto.com/703525/1764093 半同步复制的概念:    mysql5.5.x以上版本支持半同步复制,当Slave主机连接到Master时,能够查看其是否处于半同步复制的机制.当Master上开启半同步复制的功

Linux&&Windows文件同步简单配置[rsync]

1.Windows to Windows 1.1.所需软件:cwRsyncServer_4.1.0_Installer.zip 1.2.安装: 解压后,直接双击安装 此步骤为设置同步的帐户和密码,该步骤会在操作系统层面创建一个用户:SvcCWRSYNC.当然,我们也可以修改这个用户,自己设置密码,都可以. 但是Windows下面可以不设置,全部默认即可. 1.3.配置服务端 编辑文件:rsyncd.conf use chroot = false strict modes = false host

Debian 7.x 安装教程、网络配置、软件源配置、磁盘分区、LVM、U盘安装、网络安装

目录 一.准备安装Debian系统      1.1Debian简介          1.1.1介绍Debian版本          1.1.2Debian的正式发音          1.1.3Debian软件包管理          1.1.4Debian分支          1.1.5官方网站与文档          1.1.6介绍  Debian 7.1  1.2获得Debian发行版          1.2.1从镜像站点上下载ISO的镜像文件          1.2.2将IS

Hadoop集群配置心得(低配置集群+自动同步配置)

本文为本人原创,首发到炼数成金 http://f.dataguru.cn/thread-138720-1-1.html. 情况是这样的,我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群,相信很多人也跟我差不多,所以现在把我的低配置集群经验拿出来写一下好了. 我的配备:1)五六年前的赛扬单核处理器2G内存笔记本 2)公司给配的ThinkpadT420,i5双核处理器4G内存(可用内存只有3.4G,是因为装的是32位系统的缘故吧...) 就算是用公司配置的电脑,做出来三台1G内存的虚拟机也

01-01java概述 doc命令、jdk\jre下载安装、path、classpath配置、开发中常见小问题

1:计算机概述(了解) (1)计算机 (2)计算机硬件 (3)计算机软件 系统软件:window,linux,mac 应用软件:qq,yy,飞秋 (4)软件开发(理解) 软件:是由数据和指令组成的.(计算器) 开发:就是把软件做出来. 如何实现软件开发呢? 就是使用开发工具和计算机语言做出东西来 (5)语言 自然语言:人与人交流沟通的 计算机语言:人与计算机交流沟通的 C,C++,C#,Java (6)人机交换 图形界面:操作方便只管 DOS命令:需要记忆一些常见的命令 2:键盘功能键的认识和快