mac本机部署canal

1、背景介绍

最近做的一个项目需要快速检索数据，经过商讨后采用了ElasticSearch作为快速检索数据引擎，但是数据如何同步到ES中是个问题，我们最开始计划了定时任务、mysql trigger等方式，最后选择了比较好的canal组件，通过canal同步mysql中的数据到ES中，所以要学习一下canal。

2、canal介绍

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务：

  1. 数据库镜像
  2. 数据库实时备份
  3. 多级索引 (卖家和买家各自分库索引)
  4. search build
  5. 业务cache刷新
  6. 价格变化等重要业务消息

canal更多相关信息参见：https://github.com/alibaba/

3、开启MySQL的binlog功能

1）、canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，建议配置binlog模式为row.

mysql的安装可以去官网看：https://dev.mysql.com/downloads/mysql/

本人机器上安装的mysql是5.6.19-osx10.7-x86_64，安装位置在/usr/local/mysql，下面修改mysql目录下的my.cnf配置文件，

如果你的目录下没有该文件，没关系，新建一个就可以，注意下面标红的文字为新添加的内容。

注意：修改my.cnf文件可能没有权限，那就重新设置一下权限再修改。另外不要把该文件设置成everyone可读写，不然mysql服务会认为该文件不安全，在读取时启动会跳过此文件。

# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.6/en/server-configuration-defaults.html

[mysqld]

# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M

# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
log-bin = mysql-bin #开启binlog
binlog-format = ROW #选择row模式
server_id = 1 #配置mysql replication需要定义，不能喝canal的slaveId重复

# These are commonly set, remove the # and set as required.
# basedir = .....
# datadir = .....
# port = .....
# server_id = .....
# socket = .....

# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M 

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

2）、canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限.

先启动mysql服务（如果没启动的话）。

系统偏好设置—>最底下有一个mysql图标，点开

点击start MySQL Server，启动mysql服务成功后会显示绿色的running.

接下来打开命令行工具iTerm.

$> mysql -uroot -p  #使用root账号登录mysql
...
mysql> CREATE USER canal IDENTIFIED BY ‘canal‘; #创建用户canal密码也是canal
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘canal‘@‘%‘; #授权部分需要的权限
-- GRANT ALL PRIVILEGES ON *.* TO ‘canal‘@‘%‘;  #也可以用这个授权所有权限
mysql>FLUSH PRIVILEGES; #刷新权限列表

mysql>show variables like ‘%log%‘; #看看先前开启的binlog是否生效了，没有的话重启一下mysql服务看看，还有问题就去看看mysql的错误日志
+-----------------------------------------+------------------------------------------+
| Variable_name | Value |
+-----------------------------------------+------------------------------------------+
| binlog_format | ROW |
...
| log_bin | ON |

3、部署canal server

1）、下载canal server.

大家可以到这个地址 https://github.com/alibaba/canal/releases 去下载canalserver文件。我下载的是canal.deployer-1.0.24.tar.gz。

我下载之后解压并重命名成canal放在了/usr/local/目录下，由于官方的这个文件是已经编译好的，我们自己就不需要再编译了。

在canal/bin目录下有几个脚本文件，startup.sh 启动服务用的，stop.sh 停止服务用的，startup.bat是windows下启动服务用的。

在canal/logs目录下放的是日志文件。

在canal/conf目录下放的是配置文件。

2）、配置canal server应用参数：

如果是跟着本教程来，按照下面的配置就行了

$>cd /usr/local/canal/canal> vi conf/example/instance.properties

################################################
## mysql serverId
canal.instance.mysql.slaveId = 1234

# position info
canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =

# username/password
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName = 
canal.instance.connectionCharset = UTF-8

# table regex
canal.instance.filter.regex = .\..

3)、启动canal server

$>cd /usr/local/canalcanal> bin/startup.sh #启动服务....启动完成后看一下日志canal> vi logs/canal/canal.log

2017-05-26 15:56:41.994 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2017-05-26 15:56:42.063 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.16.96.181:11111]
2017-05-26 15:56:42.511 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

看一下具体instance的日志
  canal>vi logs/example/example.log

2017-05-26 15:56:42.248 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2017-05-26 15:56:42.253 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2017-05-26 15:56:42.295 [main] WARN org.springframework.beans.TypeConverterDelegate - PropertyEditor [com.sun.beans.editors.EnumEditor] found through deprecated global PropertyEditorManager fallback - consider using a more isolated form of registration, e.g. on the BeanWrapper/BeanFactory!
2017-05-26 15:56:42.367 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
2017-05-26 15:56:42.469 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to .*\..*
2017-05-26 15:56:42.469 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
2017-05-26 15:56:42.469 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - prepare to find start position just show master status

出现上面类型的日志就说明启动成功了。

本人遇到过下面的错误日志：

2017-05-26 15:45:08.317 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2017-05-26 15:45:08.323 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2017-05-26 15:45:08.376 [main] WARN  org.springframework.beans.TypeConverterDelegate - PropertyEditor [com.sun.beans.editors.EnumEditor] found through deprecated global PropertyEditorManager fallback - consider using a more isolated form of registration, e.g. on the BeanWrapper/BeanFactory!
2017-05-26 15:45:08.482 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
2017-05-26 15:45:08.608 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - subscribe filter change to .*\..*
2017-05-26 15:45:08.609 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
2017-05-26 15:45:08.616 [destination = example , address = /127.0.0.1:3306 , EventParser] ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /127.0.0.1:3306 has an error, retrying. caused by
com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: connect /127.0.0.1:3306 failure:java.io.IOException: Error When doing Client Authentication:ErrorPacket [errorNumber=1045, fieldCount=-1, message=Access denied for user ‘canal‘@‘localhost‘ (using password: YES), sqlState=28000, sqlStateMarker=#]
    at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.negotiate(MysqlConnector.java:208)
    at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(MysqlConnector.java:71)
    at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.connect(MysqlConnection.java:56)
    at com.alibaba.otter.canal.parse.inbound.mysql.MysqlEventParser.preDump(MysqlEventParser.java:86)
    at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:157)
    at java.lang.Thread.run(Thread.java:745)

这个是[email protected]的权限有问题，大家可以参照第的3—2节中，不用%，重新设置一下[email protected]的权限就行了

$> mysql -uroot -p  #使用root账号登录mysql
...
mysql> CREATE USER [email protected] IDENTIFIED BY ‘canal‘; #创建用户canal密码也是canal
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘canal‘@‘localhost‘; #授权部分需要的权限
-- GRANT ALL PRIVILEGES ON *.* TO ‘canal‘@‘localhost‘;  #也可以用这个授权所有权限
mysql>FLUSH PRIVILEGES; #刷新权限列表

4)、关闭服务。(这个暂时不执行了，让服务开着)

$>cd /usr/local/canalcanal> bin/stop.sh

4、运行cancal client实例

官网上有一个client例子，地址：https://github.com/alibaba/canal/tree/master/example/src/main/java/com/alibaba/otter/canal/example

本人按照这个例子搭建了一个测试。

本人eclipse工具好长时间没用起不来了，直接下载了开发工具intellij idea (v2017.1.3)。

1)、创建一个新工程，类型选择Maven，Project SDK我选择的jdk1.7，1.8应该也可以（我没试过），直接next.

2）、填写GroupId,ArtifactId,Version,这三个自己随便写吧。然后next。

3）、工程名称地址默认就算了。 然后点finish.选择OK.

4）、工程初始化成成功了，有一个小提示：Maven projects need to be imported ,选择Enable Auto-Import。

5）、找到工程中的pom.xml文件，增加依赖，如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.jerry.happy</groupId>
    <artifactId>SimpleCanalClientTest</artifactId>
    <version>1.0.1</version>

    <dependencies>
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.0.24</version>
        </dependency>
    </dependencies>

</project>

6）、导入依赖。File->Project Structrue（或者快捷键cmd+;）打开工程设置。选择Modules,选择Dependencies,如下图勾选。

如果没有选项，在工程上右键Run Maven->install 再试。 然后OK.

7）、写代码。在java目录下创建包com.jerry.happy，并把官网地址：https://github.com/alibaba/canal/tree/master/example/src/main/java/com/alibaba/otter/canal/example中的两个文件

AbstractCanalClientTest.java 和 SimpleCanalClientTest 拷过来，注意包名用现在自己的。

8）、启动程序。选中SimpleCanalClientTest.java文件，右键Run ‘SimpleCanalCli...main()‘ 执行启动。

程序启动后，在下面控制台中看看，没有报错就是成功了。

9）打开控制台操作数据库，触发数据库变更看效果。

$> mysql -uroot -p  #使用root账号登录mysql

mysql> use test; #切换数据库
ERROR 1049 (42000): Unknown database ‘test‘
mysql> create database test; #没有test数据库，创建一个
Query OK, 1 row affected (0.00 sec)



mysql> use test; #切换到test数据库
Database changed
mysql> CREATE TABLE `xdual` (`ID` int(11) NOT NULL AUTO_INCREMENT,`X` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,PRIMARY KEY (`ID`)) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 ;  
Query OK, 0 rows affected (0.01 sec) #成功创建一张表xdual




mysql> insert into xdual(id,x) values(null,now());
Query OK, 1 row affected (0.01 sec) #给表xdual中成功增加一条数据


我们可以到intellij idea工具的控制台中看到如下类似记录，说明canal触发了，整个canal本机部署及测试通过。




OK!。
				


				
时间： 2024-10-13 10:41:22 

		


		


	

	
	

		


		
mac本机部署canal的相关文章


								

		

			

                mac 客户端远程部署项目到linux服务器
			

		

		

									

				首先,你要知道远程服务1:IP或域名,2:用户名,密码 3:远程服务器已经装有ssh,下面分享下在mac客户端如何部署,window或其他客户端只是连接服务命令不同其他一样. 准备:远程服务器IP比如是555.555.55.555     用户名是:userlogin   密码是:password    要部署的项目名是:projectName 1.    登录到远程服务器(一般服务机都会提供ssh协议):ssh  [email protected] 2.    接下来会提示输入密码:passw			

		

	

				

		

			

                【两分钟视频教程】如何使用myeclipse在mac本机运行iOS配套的服务器
			

		

		

									

				如何使用myeclipse在mac本机运行iOS配套的服务器 [两分钟视频教程]如何使用myeclipse在mac本机运行iOS配套的服务器,布布扣,bubuko.com			

		

	

				

		

			

                mac os下部署laravel项目笔记
			

		

		

									

				最近在mac os下部署一个laravel项目,一直都听说mac上配置php+apache+mysql很简单,但是对于不熟悉的我还是遇到了不少的麻烦.一开始装了MAMP,以为和windows上的集成环境一样简单,结果还是遇到了很多问题.最后还是用了brew. brew的安装: ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 大家可以上官网看更多的资料:ht			

		

	

				

		

			

                如何批量部署Office 2013 （四）——多机部署Office 2013
			

		

		

									

				接下来来看Office的多机部署,如何在多台客户端中批量部署Office,其实方法并不唯一,可以通过MDT结合操作系统一同部署,也可以单独批量部署Office,这两种方法我们都会讲,首先来看下单独实现Office的批量部署 1.将Office 2013安装文件复制到网络存储位置 2. 将制作好的OCT文件拷贝到updates文件夹下 3.将部署文件夹共享并设置读写权限 4.在开始屏幕中打开AD用户和计算机 5.创建一个名为Office的OU 6.在Computers中将OfficeClient.			

		

	

				

		

			

                Navicat Premium 11 For Mac 注册机
			

		

		

									

				http://mac.pcbeta.com/thread-138357-1-1.html Navicat Premium 11 For Mac 注册机,码迷,mamicode.com			

		

	

				

		

			

                菜鸟系列Fabric——Fabric 1.2 多机部署(3)
			

		

		

									

				多机部署fabric kafka共识 1. 角色分配 主机1 主机 2 Org1 peer0 1 Org2 peer 0 1 Orderer 0 1 Orderer 2 kafka 0 1 kafka 2 3 zookeeper 0 1 zookeeper 2 2. 配置文件生成及准备yaml文件 2.1 修改配置文件 configtx-kafka.yaml Addresses: - orderer0.example.com:7050 - orderer1.example.com:8050 -			

		

	

				

		

			

                多机部署之定时任务完整方案
			

		

		

									

				1.场景描述 老项目需要多机部署,项目中有几十个定时任务,一旦多机部署,定时任务就会重复执行,固定ip与错开时间方案都存在较大弊端,最终采用的方案是:AOP+排他锁的方式,软件老王已验证通过,介绍下,有需要的朋友可以参考下. 2.解决方案 软件老王基本方案是采用:AOP+排他锁的方式. (1)目前老项目有几十个定时任务,采用AOP的方式,可以保证代码的无侵入(即使简单的微侵入,例如增加几行代码,测试验证的工作量也会比较大的). (2)采用排他锁的方式,保证批处理的高可用,不重复执行. 2.1 A			

		

	

				

		

			

                记述一次通过跳板机部署内网服务器
			

		

		

									

				前几天做了一个任务,需要将一个配置参数下发服务器部署到客户的服务器上,之前没弄过这个,中间耽误了点时间,现在对涉及到的技术做一下总结,为了保护客户的隐私,下面设计到具体数据的地方都是为描述方便虚拟的,并不是真实的. 网络架构大概是这个样子的: 我是没办法直接连到配置参数下发服务器的,中间需要通过一台跳板机,所谓的跳板机可以看做是一台带Linux操作系统的路由器,上面一般会有很多网卡(物理的或者虚拟的),这些网卡连接到了不同的网络,从不同网络过来的连接可以通过这里中转. 这里的跳板机主要目的就是为			

		

	

				

		

			

                在本机部署gitlab后，如何在nginx上配置多域名？
			

		

		

									

				(转载)https://segmentfault.com/q/1010000002646550 之前在本机上部署了gitlab服务,可以通过localhost.127.0.0.1 和本机IP访问到本机gitlab页面. 现在想在本机建立一个网站做些测试,可是不知道怎么访问到新建的网站,搜索了相关资料,据说要修改nginx的配置文件,我在配置文件里添加 myhome.cn 域名,并绑定到网站目录,可是访问 myhome.cn 后,打开的还是gitlab的页面. 按照网上的相关说明,我又修改了git