canal-随记001-吐血一个下午找bug

前天leader说,阿里的新版本canal支持 canal收集binlog直接发到kafka,你要不研究一下?

ok,没问题。

昨天周六,在家搭了套环境。解决centos7安装mysql各种小细节,按照阿里github上的步骤来做。终于,还是没有跑起来。。

但是根据现象:一旦往mysql表中插入数据,查看canal.log就会有日志滚动更新,只是不是我想要的内容。。。

日志如下:

2019-04-28 05:24:06.242 [kafka-producer-network-thread | producer-1] WARN  org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -1 could not be established. Broker may not be available.

由此推测是canal到kafka的过程出了问题。

今天周天,因为五一假期,法定上班。早早来到办公室,再次细细看了阿里的github和自己的工程环境,怀疑是canal配置到kafka的端口有问题,配置文件canal.properties默认:canal.mq.servers = 127.0.0.1:6667,

心想没有端口是6667啊,应该是kafka的9092才对啊。

果然,搞定!

/////////////////////////然而下午并没有那么顺利/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

下午打开电脑,发现我的虚拟机的ip自己又变了。因为采用的是动态地址,心里想一定要改成静态地址,但。。。还是先解决当下问题重要。

我把canal和kafka中的相关配置文件ip都改了后,鉴于经常启用canal,zk,kafka,所以把启动和停止的命令都添加到xshell的快捷栏上

然后再次启动。。。呵呵呵。。。。

2019-04-28 05:24:06.242 [kafka-producer-network-thread | producer-1] WARN  org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Connection to node -1 could not be established. Broker may not be available.

又是不停的刷这个日志,我一开始是不怕的,毕竟我见过它。

我想,肯定是我在配置新的ip的时候,配置文件没有配置正确。

我一个一个的翻,终于,还是没找到原因。

还好,我足够机智,提前把上午canal,zk,kafka的那套正确运行的整个包都备份了一下。我删除下午修改配置文件所导致的狼狈不堪的环境,把上午的那套解压了出来。

嘿嘿,心想这下把之前的IP换成现在的IP,其他都不变,还有错的道理?

果然,还是上面那条看了就心乱如麻的日志在不停刷新。。。

有点慌了。。。。。

咦~别慌。。。怎么每次我点xshell中快速按钮来关闭kafka时,总会提示我“No kafka server to stop”呢???

然后我用xshell中快速按钮来启动kafka时,然后用ps -ef | grep -i kafka却看不到kafka呢???

是的,我知道错了。

问题恰恰出在xshell的快捷按钮上。

启动kafka时,指定server.properties文件,我是这么写的:

sh /usr/hadoop/kafka/kafka_2.12-2.1.0/bin/kafka-server-start.sh -daemon ../config/server.properties &

快速启动的时候,当前路径是不固定的,怎么可能正确识别“../config/server.properties”

所以,对不起,我错了,我以后改。

原文地址:https://www.cnblogs.com/cnblogszs/p/10785612.html

时间: 2024-10-05 04:16:58

canal-随记001-吐血一个下午找bug的相关文章

C#程序双击运行之后,界面不显示,但是在任务管理器有进程(一个winform找bug之旅)

最近客户端又出了奇葩事情:http://q.cnblogs.com/q/43038/ 如这篇博问一样.我的一个客户的电脑上程序打开了,进程也有了,就是界面窗体出不来!!! 我是win7是开发机,三四台测试虚拟机,都是xp的.都可以完美运行.但是客户那么就是出现了那么多问题,谁叫着软件用户多呢,有一万多的用户.然后就会有一万多的奇葩电脑,50%的xp,50%的win7.win7自当是没有事情,问题基本都是xp引起的.真的是xp引起的血案.一开始的常规思路是客户机的运行库是否按照正确,结果是2.0的

编写一个程序找出100~999之间所有的水仙花数

如果一个3位数等于其各位的立方和,称该数为水仙花数. 如,所以407是一个水仙花数,编写一个程序找出100~999之间所有的水仙花数. 1 #include<stdio.h> 2 #include<stdlib.h> 3 //判断水仙花数,是则返回1 4 int isNarcissus(int n); 5 6 int main() 7 { 8 int i; 9 for(i = 100; i < 1000; i++) 10 if(isNarcissus(i)) 11 print

vs05字节对齐问题又一不小心就弄去了我一个下午的时间

由于一字节的对齐问题,我调一个库调了我基本一个下午..... 犯错其实并不可怕, 可怕的是你一犯再犯...... 这也算得上是难能可贵... /Zp (Struct Member Alignment) Visual Studio 2013 Other Versions This topic has not yet been rated - Rate this topic Controls how the members of a structure are packed into memory

使用一个函数找出一个整型数组中的最大值和最小值

/***************************************************** 知识点:bool类型,命名空间,输入输出 题目要求: 使用一个函数找出一个整型数组中的最大值和最小值 *****************************************************/ #include<stdlib.h> #include<iostream> using namespace std; namespace CJJ // 定义命名空间

SQL Server 字段类型 decimal(18,6)小数点前是几位?记一次数据库SP的BUG处理

原文:SQL Server 字段类型 decimal(18,6)小数点前是几位?记一次数据库SP的BUG处理 SQL Server 字段类型 decimal(18,6)小数点前是几位? 不可否认,这是一个很低级的问题.... 为什么会问这么低级的问题? 由于这个问题,导致一个数据导入的SP执行失败....以至于困扰了我好几个小时.... 事情是这样的... 公司总部上了一套Oracle的ERP,我们系统中有些数据要从里面取,比如Supplier,Product等. Oracle会导出数据文件,我

一个struts2登录bug的解决

点登录的时候,在url后面总会加上一个;jsessionid=xxx 使找不到页面 的404 Bug ,百思不得其解,最后终于找到解决方案,实验最终成功解决了这个bug,下面是解决方案 1,增加依赖   <dependency>            <groupId>org.tuckey</groupId>            <artifactId>urlrewritefilter</artifactId>            <v

第二次作业:找Bug

引子 我真的想了一个小时,上哪里去找bug.我昨天还留意到一个bug,今天就不见了.灵光不断,我想起来了.我就要找大公司的产品的bug... 第一部分 调研, 评测 体验. <腾讯桌球>是腾讯首款重磅推出的桌球对战游戏,使用自研物理引擎高度还原真实桌球操作,界面精美,球杆酷炫,操作流畅.集多种玩法,给玩家更多体验.  --官方游戏介绍 好久没玩,操作几把. 实力依旧,我在等待BUG的出现. 按照<构建之法>13.1节描述的 bug 定义, 找出几个功能性的比较严重的 bug. bu

【软件测试】软件测试是找bug,不是找茬

前两天和一个新认识的朋友聊天 "你是码农吗?" 我那个气啊,我这个形象像吗?像吗?真想抽他丫的 "不是,我是做软件测试的,代码用的没有那么多,所以称不上" "哦!那你就是专门挑毛病,找茬的呗?" 当时我就认定了这个朋友拜拜了您内 "我是做测试的,找的是缺陷,不是找茬,谢谢您老了,先忙,再见" 回家了之后我就想分享一下: 第一: 测试是找bug,不是找茬.以前在外包做测试,面对的之间人是PM,面对所谓的客户是开发软件的人,而且因

找bug的过程

关于昨天程序出差我找bug的过程记录 昨天才程序 https://www.cnblogs.com/pythonywy/p/11006273.html ├── xxxx │ ├── src.py │ └── fil_mode.py │ └── data_time.py │ └── loading.py │ └── data_time.py │ └── logger.py src.py与打印日志相关片段 if __name__ == '__main__': logger_start('程序主界面')