Windows平台整合SpringBoot+KAFKA__环境配置部分

项目需要，需要整合 SpringBoot+KAFKA

我调查了一下，发现Linux中，要先装zoomkeeper，再装KAFKA，如 https://blog.csdn.net/zhangcongyi420/article/details/88674491

我CA，我的机器搞不动，而且要搞的话，也要搞好几个虚机一起弄个大数据平台环境，太麻烦，正考虑着呢，看到了下面

https://www.jianshu.com/p/5da86afed228

不错哦，试试

下载了zoopkeeper

apache-zookeeper-3.5.6-bin.tar.gz

保存到本地

D:\apache-zookeeper-3.5.6

按照网上的配置说明，我先配置在自己的zoomkeeper中

dataDir=D:\\apache-zookeeper-3.5.6\\data

然后执行 zkServer

报错

C:\Users\Administrator>call  "-Dzookeeper.log.dir=D:\apache-zookeeper-3.5.6\bin..\logs" "-Dzookeeper.root.logger=INFO,CONSOLE" "-Dzookeeper.log.file=zookeeper-
Administrator-server-GAOLE.log" "-XX:+HeapDumpOnOutOfMemoryError" "-XX:OnOutOfMe
moryError=cmd /c taskkill /pid %%p /t /f" -cp "D:\apache-zookeeper-3.5.6\bin\..build\classes;D:\apache-zookeeper-3.5.6\bin\..\build\lib\*;D:\apache-zookeeper-3
.5.6\bin\..\*;D:\apache-zookeeper-3.5.6\bin\..\lib\*;D:\apache-zookeeper-3.5.6\b
in\..\conf" org.apache.zookeeper.server.quorum.QuorumPeerMain "D:\apache-zookeep
er-3.5.6\bin\..\conf\zoo.cfg"
文件名、目录名或卷标语法不正确。

上面有个 JAVA_HOME报错引起了我的注意，不管怎么样，估计这个家伙要找JAVA_HOME的，先满足它再说，毕竟我机器上装的开发环境都有自己的JDK，预先装的JDK无所谓给谁用

设置好JAVA_HOME后，再执行 zkServer ，目测应该是过了；

2020-01-03 17:10:56,545 [myid:] - INFO  [main:[email protected]] - Server environm
ent:java.io.tmpdir=C:\Users\ADMINI~1\AppData\Local\Temp2020-01-03 17:10:56,547 [myid:] - INFO  [main:[email protected]] - Server environm
ent:java.compiler=<NA>
2020-01-03 17:10:56,547 [myid:] - INFO  [main:[email protected]] - Server environm
ent:os.name=Windows 7
2020-01-03 17:10:56,548 [myid:] - INFO  [main:[email protected]] - Server environm
ent:os.arch=amd64
2020-01-03 17:10:56,548 [myid:] - INFO  [main:[email protected]9] - Server environm
ent:os.version=6.1
2020-01-03 17:10:56,549 [myid:] - INFO  [main:[email protected]] - Server environm
ent:user.name=Administrator
2020-01-03 17:10:56,549 [myid:] - INFO  [main:[email protected]] - Server environm
ent:user.home=C:\Users\Administrator
2020-01-03 17:10:56,550 [myid:] - INFO  [main:[email protected]] - Server environm
ent:user.dir=C:\Users\Administrator
2020-01-03 17:10:56,550 [myid:] - INFO  [main:[email protected]] - Server environm
ent:os.memory.free=114MB
2020-01-03 17:10:56,551 [myid:] - INFO  [main:[email protected]] - Server environm
ent:os.memory.max=1801MB
2020-01-03 17:10:56,552 [myid:] - INFO  [main:[email protected]] - Server environm
ent:os.memory.total=123MB
2020-01-03 17:10:56,555 [myid:] - INFO  [main:[email protected]] - minSessionT
imeout set to 4000
2020-01-03 17:10:56,555 [myid:] - INFO  [main:[email protected]] - maxSessionT
imeout set to 40000
2020-01-03 17:10:56,557 [myid:] - INFO  [main:[email protected]] - Created ser
ver with tickTime 2000 minSessionTimeout 4000 maxSessionTimeout 40000 datadir D:
apache-zookeeper-3.5.6data\version-2 snapdir D:apache-zookeeper-3.5.6data\versio
n-2
2020-01-03 17:10:56,605 [myid:] - INFO  [main:[email protected]] - Logging initialized @63
1ms to org.eclipse.jetty.util.log.Slf4jLog
2020-01-03 17:10:56,816 [myid:] - WARN  [main:[email protected]] - o.e.j.s.Ser
[email protected]{/,null,UNAVAILABLE} contextPath ends with /*
2020-01-03 17:10:56,817 [myid:] - WARN  [main:[email protected]] - Empty conte
xtPath
2020-01-03 17:10:56,834 [myid:] - INFO  [main:[email protected]] - jetty-9.4.17.v201904
18; built: 2019-04-18T19:45:35.259Z; git: aa1c656c315c011c01e7b21aabb04066635b9f
67; jvm 1.8.0_60-b27
2020-01-03 17:10:56,900 [myid:] - INFO  [main:[email protected]] - Def
aultSessionIdManager workerName=node0
2020-01-03 17:10:56,901 [myid:] - INFO  [main:[email protected]] - No
SessionScavenger set, using defaults
2020-01-03 17:10:56,906 [myid:] - INFO  [main:[email protected]] - node0 Scavengin
g every 600000ms
2020-01-03 17:10:56,922 [myid:] - INFO  [main:[email protected]] - Started o.e.
[email protected]{/,null,AVAILABLE}
2020-01-03 17:10:56,959 [myid:] - INFO  [main:[email protected]] - Started S
[email protected]{HTTP/1.1,[http/1.1]}{0.0.0.0:8080}
2020-01-03 17:10:56,960 [myid:] - INFO  [main:[email protected]] - Started @996ms
2020-01-03 17:10:56,960 [myid:] - INFO  [main:[email protected]] - Started Ad
minServer on address 0.0.0.0, port 8080 and command URL /commands
2020-01-03 17:10:56,973 [myid:] - INFO  [main:[email protected]] - Using org
.apache.zookeeper.server.NIOServerCnxnFactory as server connection factory
2020-01-03 17:10:56,988 [myid:] - INFO  [main:[email protected]] - Config
uring NIO connection handler with 10s sessionless connection timeout, 1 selector
 thread(s), 8 worker threads, and 64 kB direct buffers.
2020-01-03 17:10:56,992 [myid:] - INFO  [main:[email protected]] - bindin
g to port 0.0.0.0/0.0.0.0:2181
2020-01-03 17:10:57,012 [myid:] - INFO  [main:[email protected]] - zookeeper.snapsh
otSizeFactor = 0.33
2020-01-03 17:10:57,017 [myid:] - INFO  [main:[email protected]] - Snapshotting
: 0x0 to D:apache-zookeeper-3.5.6data\version-2\snapshot.0
2020-01-03 17:10:57,036 [myid:] - INFO  [main:[email protected]] - Snapshotting
: 0x0 to D:apache-zookeeper-3.5.6data\version-2\snapshot.0
2020-01-03 17:10:57,058 [myid:] - INFO  [main:[email protected]] - Using check
IntervalMs=60000 maxPerMinute=10000

周末休息，暂停更新；

周一过来，接着搞KAFKA

按照此文描述，开始去下载一个kafka_2.12-2.4.0

然后修改配置文件，老习惯，先备份，备份之后开始修改 server.properties

按照网上的说明，操作成功；启动kafka，一切正常；

 with path version 1 (kafka.coordinator.transaction.ProducerIdManager)
[2020-01-06 10:49:10,027] INFO [TransactionCoordinator id=0] Starting up. (kafka
.coordinator.transaction.TransactionCoordinator)
[2020-01-06 10:49:10,031] INFO [Transaction Marker Channel Manager 0]: Starting
(kafka.coordinator.transaction.TransactionMarkerChannelManager)
[2020-01-06 10:49:10,032] INFO [TransactionCoordinator id=0] Startup complete. (
kafka.coordinator.transaction.TransactionCoordinator)
[2020-01-06 10:49:10,086] INFO [ExpirationReaper-0-AlterAcls]: Starting (kafka.s
erver.DelayedOperationPurgatory$ExpiredOperationReaper)
[2020-01-06 10:49:10,172] INFO [/config/changes-event-process-thread]: Starting
(kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2020-01-06 10:49:10,265] INFO [SocketServer brokerId=0] Started data-plane proc
essors for 1 acceptors (kafka.network.SocketServer)
[2020-01-06 10:49:10,280] INFO Kafka version: 2.4.0 (org.apache.kafka.common.uti
ls.AppInfoParser)
[2020-01-06 10:49:10,281] INFO Kafka commitId: 77a89fcf8d7fa018 (org.apache.kafk
a.common.utils.AppInfoParser)
[2020-01-06 10:49:10,282] INFO Kafka startTimeMs: 1578278950272 (org.apache.kafk
a.common.utils.AppInfoParser)
[2020-01-06 10:49:10,286] INFO [KafkaServer id=0] started (kafka.server.KafkaSer
ver)

注意：不要关了这个窗口，启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

按照文章介绍，依次设定topic，创建生产者、消费者，测试

测试成功，完成kafka的安装及配置；

原文地址：https://www.cnblogs.com/alexgl2008/p/12145712.html

时间： 2024-10-11 06:56:24

Windows平台整合SpringBoot+KAFKA__环境配置部分的相关文章

Windows平台整合SpringBoot+KAFKA__第2部分_代码编写前传

开始准备写测试代码看半天不太懂(我也算是小白级别的,看我搞windows版本的kafka就知道了), 看文档无聊,偶然看到一个KAFKA的windows管理程序,于是就试试就装了一个,感觉那个玩意也比较垃圾,打算不用,突然看到上面可以管理 topic 于是我就当测试了,用这个管理工具删除我自定义的 test topic 后面操作比较快,我也懒得看结果,反正都是垃圾中间接了个电话,回来,打算从零开始再弄一个JAVA测试类,心想这些个test topic 也没啥价值,干脆我重启 zookeep

Windows平台整合SpringBoot+KAFKA__第3部分_代码部分（结束）

重要的地方说下,算是给自己提醒,也给阅读者凑合着看看吧: (1)序列化.反序列化: 注意看这个文章 https://www.jianshu.com/p/5da86afed228 很多网上的例子都是推送字符串对象的,大多也都算是DEMO,要转实战成对象进行传递,需要序列化和反序列化,否则肯定要报错 (2)端口号问题按照我第一部分的配置,配置了 zookeeper 后,正常启动后8080会被zookeeper占用,从而导致整个SpringBoot项目启动失败,报端口被占用异常: (3)KAFKA

SpringBoot 多环境配置

在我们的实际开发中,一般都有三套环境,开发环境,测试环境,生产环境,三套环境的数据库连接配置也有所不同,比如,端口,IP地址等等.如果在打包时候都频繁的修改配置文件信息,那必将是非常容易出错的地方. 在springBoot多环境配置文件名需要满足application-{profile}.properties的格式,其中{profile}对应你的环境标识,例如: (1)application-dev.properties 对应开发环境 (2)application-test.propertie

Android应用开发（一）：Android平台搭建与开发环境配置

本文从自身经历的角度分享了Android应用开发的第一步,即Android平台搭建与开发环境配置,主要包括平台的选择与安装及其安装过程中经常遇到的问题,最后给出一个实例,即第一个Android软件"Hello World!". 1.Android Studio软件下载可以在百度上直接下载Android Studio,或者到官网www.android.com上直接下载(中国大陆资源可能会受限). 注意:这里推荐使用Android Studio,并不推荐使用Eclipse或者IDEA开发

springboot 多环境配置yml

https://www.cnblogs.com/mr-yang-localhost/p/8971327.html springboot 多环境配置 https://blog.csdn.net/liuchuanhong1/article/details/54694458 spring boot中多环境配置支持 https://blog.csdn.net/davis2015csdn/article/details/75220046 springboot多环境(dev.test.prod)配置 h

windows平台python 2.7环境编译安装zbar

最近一个项目需要识别二维码,找来找去找到了zbar和zxing,中间越过无数坑,总算基本上弄明白,分享出来给大家. 一.zbar官方介绍 ZBar 是款桌面电脑用条形码/二维码扫描工具,支持摄像头及图片扫描,支持多平台,例如 iPhone,Andriod 手机,同时 ZBar封装了二维码扫描的 API 开发包. ZBar 目前条码类型有:EAN-13/UPC-A, UPC-E, EAN-8, Code 128, Code 39, Interleaved 2 of 5 and QR Code. 从

windows＋Python＋virtualenv 环境配置

virtualenv是Python中常用的虚拟环境.可以理解为属于Python的虚拟机. 在Linux和Mac系统上,virtualenv环境是很方便配置的,但是在windows平台上比较麻烦,记录下来和大家分享. 安装 Python 注:本次配置的Python版本是 2.7.X,也就是老版本,新版本Python 3.X 有一些库不支持,所以没有使用. window下Python 2.7.x的配置就不多说,网上资料很多,可以参见这里.只是下载时候下载 2.7.X 版本.同时,切记将Python

windows 7下React Native环境配置

React Native 是 Facebook 推出的一个用 Java 语言就能同时编写 ios,android,以及后台的一项技术,它可以做到实时热更新 .FaceBook 也号称这们技术是 “Learn Once,Write AnyWhere”,学习成本只有一次,却完成了所有开发角色的统一. 这意味着: 1.app 将来都是可像网页一样热更新,随时发布. 2.对于一名开发人员,将再也没有前端,终端,后台的区分,他所关注的就是做一整套应用程序,人力将得到最大幅度的整合与释放. 3.代码复用将会

springboot多环境配置

springboot多环境(dev.test.prod)配置 2017-07-17 10:33 1290人阅读评论(0) 收藏举报分类: spring boot(6) 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] propertiest配置格式在Spring Boot中多环境配置文件名需要满足application-{profile}.properties的格式,其中{profile}对应你的环境标识,比如: application-dev.properti