otter

1, 安装zookeeper集群

tar xf  -C /usr/local/zoo

cp zoo.sample.cfg  zoo.cfg

vim zoo.cfg

clientPort=2181

./bin/zkServer.sh start           日志文件zookeeper.out

vim conf/log4j.properties      修改日志文件

zookeeper.root.logger=INFO, CONSOLE     >>>

zookeeper.root.logger=INFO,ROLLINGFILE

vim bin/zkEvn.sh

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

ZOO_LOG4J_PROP="INFO,CONSOLE"

fi

改成

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi


2, ip和host  jdk  aria2

cd aria2

./configure && make && make install

3, otter  manager

mkdir /usr/local/manager

tar xf manager.deployer-4.2.11.tar.gz ./manager

vim /usr/local/manager/conf/otter.properties

a otter.domaniName    ip

b otter.port                       manager管理端的端口,即 web 工程的端口

c otter.database.driver.url=jdbc:mysql://192.168.30.58:3306/otter    mysql地址和数据库实例,写本机 ip 而不是127.0.0.1 ,写 127.0.0.1,8.6虚拟机访问不到

d otter.database.driver.username           数据库的用户名

e otter.database.driver.password            数据库的密码

f otter.communication.manager.port     manager的服务端口

g otter.zookeeper.cluster.default           zookeeper的地址,包括本机 ip 和端口,这个端口就是 zookeeper的 conf 中的zoo.cfg 中的 clientPort

./bin/stop.sh

./bin/startup.sh

4, 安装多个node

mkdir /usr/local/node

tar xf node.deployer-4.2.11.tar.gz -C /usr/local/node

echo 1 > /usr/local/node/conf/nid       manager配置好会自动生成nid

./bin/stop.sh

./bin/startup.sh                conf/otter配置成manager的ip

5, 安装mysql群

server-id=1

log-bin=mysql-bin

binlog-format=row

datadir=

default-character-set=utf8

初始化otter数据库 otter-manager-schema.sql

双A模式 需初始化数据库retl   otter-manager-retl.sql


7,配置zoo群地址

8,添加所有node,会看到启动状态

9, 添加数据源 所有数据库

10,添加数据源的对应的库和表 ,两边库表得先存在

11,canal 添加要同步的源库 ,ip,账号,utf8, 位点

select unix_timestamp(now())

show master status;

12,同步管理,添加channel, 行记录模式,日志变更,

13,添加pipeline, 选择node,同步线程,canal名

14,映射表

15,双A同步,一个主一个否,一个支持DDL一个不支持

16,

时间: 2024-10-14 17:04:56

otter的相关文章

mysql数据库同步系统otter部署实践(中国与欧洲同步)

otter的介绍就不说了, 自己去看官网https://github.com/alibaba/otter/wiki 本系统中, 中国的服务器部署在阿里云上, 欧洲服务器部署在亚马逊上, 由于阿里云的网络不支持外网回环访问(即在本机上向本机的外网地址发送数据), 所以需要将node与manager部署在不同的主机上.如果只是在虚拟机中调试, 很多服务都可以放在一台主机中. 1. 阿里云服务器 1. mysql服务, 外网ip 120.x.x.1,  内网ip 10.x.x.1 2. manager

阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)

项目背景 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品. otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4. 目前同步规模: 同步数据量6亿 文件同步1.5TB(2000w张图片) 涉及200+个数据库实例之间的

阿里 otter搭建过程整理

1 环境说明: 本机ip 192.168.8.3 虚拟机1 ip 192.168.8.5 虚拟机2 ip 192.168.8.6 虚拟机采取桥接模式 虚拟机系统为CentOS 2.6.32-279.el6.i686 java版本 1.6.0-24 mysql版本 5.1.61-log 2 虚拟机8.5搭建otter 2.0配置固定ip和修改host 2.0.1 虚拟机8.5 ip为192.168.8.5 vi /etc/syscnfig/network-script/ifcfg-eth0 DEV

基于alibaba开源的分布式数据同步系统安装配置文档otter之环境配置

otter项目开源地址:https://github.com/alibaba/otter canal项目开源地址:https://github.com/alibaba/canal 我们的用这个系统的背景:主要是做异地容灾,可是我们需要的现网的数据需要同步到容灾区.   工作原理: 原理描述: 1.基于Canal开源产品,获取数据库增量日志数据. 什么是Canal, 请点击 2.典型管理系统架构,manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节

Canal & Otter 的一些注意事项和最佳实践

1,canal和otter由于是java开发的,运行在windows和linux上都可以 2,为了使用otter必须要canal的支持,otter作为canal的消费方,当然也可以单独使用canal,如果你有消费mysql binlog的需求 3,canal有几种运行方式,生产环境中推荐使用zookeeper的持久化方式,对应的spring配置文件为:default-instance.xml 4,运行otter需要aria2的支持,windows和linux都有对应的版本 centos5,安装a

阿里mysql同步工具otter的docker镜像

https://github.com/dearplain/otter_manager https://github.com/dearplain/otter_node 本人开发的小巧docker镜像,根据工作中遇到的问题进行了一些优化,添加了一些参数. 鉴于otter部署和测试的复杂性,这个镜像还是很有意义的.至少我完成这个镜像后,效率提升了很多.

mysql 第四十篇文章~canal+otter的初次尝试

一 简介: 今天咱们来聊聊 canal和otter的组合搭配吧二 概念统计    1. 基于Canal开源产品,获取数据库增量日志数据. 2. 典型管理系统架构,manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上 3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作. 三 机器组成: 1 manager节点(最好自带数据库)  2 node节点   3 ZK集群

otter双A同步配置

otter双A配置 最近做跨国服务器的数据同步,用了阿里的otter开源框架,遇到了不少问题,写一下文档为以后做参考. 第一步: 下载所需的文件 :otter,zookeeper,aria2 otter下载地址:https://github.com/alibaba/otter zookeeper下载地址:https://github.com/apache/zookeeper aria2下载地址:http://sourceforge.net/projects/aria2/files/stable/

利用otter实现跨机房数据同步

Otter: otter是阿里开源的一个分布式数据库同步系统,尤其是在跨机房数据库同步方面,有很强大的功能.它是基于数据库增量日志解析,实时将数据同步到本机房或跨机房的mysql/oracle数据库. 环境:(由于环境隐私原因,环境中使用的外部IP隐藏) 网络图: 实验环境: A机房(公司内网)<===>B机房(云服务环境内网) 数据源(mysql需开启binlog,binlog_format=ROW): Mysql_A:192.168.1.20:3306(外部IP:xx.xx.xx.xx:3