数据同步canal服务端HA配置

canal服务端HA模式,本人并未使用过,为保证文章的完整性,从以下地址摘抄该部分内容,待以后验证及使用

https://github.com/alibaba/canal/wiki/AdminGuide

1、机器准备

① 2个canal服务端节点  10.20.144.22, 10.20.144.51

② zookeeper地址为10.20.144.51:2181

③ mysql地址:10.20.144.15:3306

2、按照部署和配置,在单台机器上各自完成配置,演示时instance name为example

① 修改canal.properties,加上zookeeper配置,spring配置选择default-instance.xml

1 canal.zkServers=10.20.144.51:2181
2 canal.instance.global.spring.xml = classpath:spring/default-instance.xml

② 创建example目录,并修改instance.properties

1 canal.instance.mysql.slaveId = 1234 ##另外一台机器改成1235,保证slaveId不重复即可
2 canal.instance.master.address = 10.20.144.15:3306

注意: 两台机器上的instance目录的名字需要保证完全一致,HA模式是依赖于instance name进行管理,同时必须都选择default-instance.xml配置

3、启动两台机器的canal

启动后,你可以查看logs/example/example.log,只会看到一台机器上出现了启动成功的日志。

查看一下zookeeper中的节点信息,也可以知道当前工作的节点为10.20.144.51:11111

1 [zk: localhost:2181(CONNECTED) 15] get /otter/canal/destinations/example/running
2 {"active":true,"address":"10.20.144.51:11111","cid":1}

4、客户端链接, 消费数据

可以直接指定zookeeper地址和instance name,canal client会自动从zookeeper中的running节点,获取当前服务的工作节点,然后与其建立链接:

1 CanalConnector connector = CanalConnectors.newClusterConnector("10.20.144.51:2181", "example", "", "");

链接成功后,canal server会记录当前正在工作的canal client信息,比如客户端ip,链接的端口信息等 (聪明的你,应该也可以发现,canal client也可以支持HA功能)

1 [zk: localhost:2181(CONNECTED) 17] get /otter/canal/destinations/example/1001/running
2 {"active":true,"address":"10.12.48.171:50544","clientId":1001}

数据消费成功后,canal server会在zookeeper中记录下当前最后一次消费成功的binlog位点. (下次你重启client时,会从这最后一个位点继续进行消费)

1 [zk: localhost:2181(CONNECTED) 16] get /otter/canal/destinations/example/1001/cursor
2 {"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"10.20.144.15","port":3306}},"postion":{"included":false,"journalName":"mysql-bin.002253","position":2574756,"timestamp":1363688722000}}

5、重启一下canal server

停止正在工作的10.20.144.51的canal server

这时10.20.144.22会立马启动example instance,提供新的数据服务

1 [zk: localhost:2181(CONNECTED) 19] get /otter/canal/destinations/example/running
2 {"active":true,"address":"10.20.144.22:11111","cid":1}

与此同时,客户端也会随着canal server的切换,通过获取zookeeper中的最新地址,与新的canal server建立链接,继续消费数据,整个过程自动完成

5.1 触发HA自动切换场景 (server/client HA模式都有效)

5.1.1 正常场景

① 正常关闭canal server(会释放instance的所有资源,包括删除running节点)

② 平滑切换(gracefully)

操作:更新对应instance的running节点内容,将"active"设置为false,对应的running节点收到消息后,会主动释放running节点,让出控制权但自己jvm不退出,gracefully.

1 {"active":false,"address":"10.20.144.22:11111","cid":1}
5.1.2 异常场景

① canal server对应的jvm异常crash,running节点的释放会在对应的zookeeper session失效后,释放running节点(EPHEMERAL节点)

ps. session过期时间默认为zookeeper配置文件中定义的tickTime的20倍,如果不改动zookeeper配置,那默认就是40秒

② canal server所在的网络出现闪断,导致zookeeper认为session失效,释放了running节点,此时canal server对应的jvm并未退出,(一种假死状态,非常特殊的情况)

ps. 为了保护假死状态的canal server,避免因瞬间runing失效导致instance重新分布,所以做了一个策略:canal server在收到running节点释放后,延迟一段时间抢占running,原本running节点的拥有者可以不需要等待延迟,优先取得running节点,可以保证假死状态下尽可能不无谓的释放资源。 目前延迟时间的默认值为5秒,即running节点针对假死状态的保护期为5秒.

原文地址:https://www.cnblogs.com/wangzhisdu/p/8125928.html

时间: 2024-11-11 02:29:07

数据同步canal服务端HA配置的相关文章

Rsync+inotify 实时数据同步 inotify master 端的配置

强大的,细致的,异步的文件系统事件监控机制.Linux 内科从 2.6.13 起支持 inotify Inotify 实现的几款软件:Inotify,sersync,lsyncd ※Inotify 实施准备前提:rsync daemon 服务配置成功,并且客户端可以推送和拉取数据,才能够 成功配置 inotify 服务 #显示以下三个文件则证明支持 inotify 服务 2.6.32-358.el6.x86_64 [[email protected] ~]# ls -l /proc/sys/fs

14.1 NFS介绍 14.2 NFS服务端安装配置 14.3 NFS配置选项

14.1 NFS介绍 NFS是Network File System的缩写 NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本 NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致 例如: 一个站点,上面传输了很多图片,用户访

NFS介绍,NFS服务端安装配置,NFS配置选项

笔记内容: 14.1 NFS介绍 14.2 NFS服务端安装配置 14.3 NFS配置选项 笔记日期:2017-11-01 14.1 NFS介绍 NFS(Network File System)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源.在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样. NFS可以把A.B.C机器之间的文件数据进行共享,例如用户上传了一个文件到A机器上,用户

NFS介绍、NFS服务端安装配置、NFS配置选项介绍

NFS介绍 NFS是Network File System的缩写,NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本.NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写.NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致,NFS服务需要借助RPC服务去通信. NFS服务端安装配

14.1 NFS介绍;14.2 NFS服务端安装配置;14.3 NFS配置选项

14.1 NFS介绍 1. NFS是Network File System的缩写 2. NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本 3. NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. 4. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致 NFS原理图: 14

五十四、NFS介绍、NFS服务端安装配置、NFS配置选项

一.NFS介绍 NFS是Network File System的缩写. NFS最早由sun公司开发,分2,3,4三个版本,2和3由sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本. NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别挂载A共享的数据目录,从而B和C访问到的数据和A上的一致. NFS原理: RPC服务是由rpcbind所实

十四周一课 NFS介绍、NFS服务端安装配置、NFS配置选项

NFS介绍 NFS是Network File System的缩写 NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本 NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致 NFS服务端安装配置 首先在服务端安装两个包yum i

03-openldap服务端安装配置

openldap服务端安装配置 阅读目录 基础环境准备 安装openldap服务端 初始化openldap配置 启动OpenLDAP 重新生成配置文件信息 规划OpenLDAP目录树组织架构 使用GUI客户端登录查看 openldap配置日志 通过migrationtools实现用户及用户组的添加 OpenLDAP控制策略 1. 基础环境准备 1.1 系统环境 系统:centos 6.9 软件:openldap-2.4.23-32 表1:IP地址及主机名规划 | 主机 | 系统版本 | IP地址

Linux centosVMware NFS介绍、NFS服务端安装配置、NFS配置选项

一.NFS介绍 NFS是Network File System的缩写 NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本 NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致 NFS原理图 二.NFS服务端安装配置 yum i