Windows安装运行Kafka

简介

本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。

Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于Zookeeper能提供可靠的分布式协调服务,Apache
Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看https://zookeeper.apache.org/

关于在Windows安装Kafka的具体步骤,可以查看这个视频:https://youtu.be/OJKesEpO6ok

下载所需文件

针对此教程,我们将Zookeeper与Kafka解压到C盘,不过也可以选择其他位置。这里我们要使用完全的zookeeper,而不是用Kafka打包的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在\kafka\bin\windows库中。

安装

A. JDK安装

1.启动JRE安装,选中复选框“修改目标路径”,然后点击安装。

2.修改安装目录,文件夹名称中不能有空格,例如:C:\Java\jre1.8.0_xx\(默认情况下是C:\Program Files\Java\jre1.8.0_xx),然后点击下一步。

3.现在点击控制面板->系统->高级系统设置->环境变量,打开系统环境变量对话框。

4.点击用户变量中的新用户变量按钮,然后在变量名称那里输入JAVA_HOME,并将自定义的jre路径填入变量值。如下图所示:

Java路径与版本可能会根据所使用Kafka的版本而有所改变

5.现在点击ok。

6.刚才打开的“环境变量“对话框中有“系统变量”一栏,在其中寻找路径变量。

7.编辑路径与类型“;%JAVA_HOME%\bin”,如下图:

8.确认Java安装打开cmd,输入类型“java –version”,应该能够看到刚刚安装的java版本。

如果命令行提示与上图类似,请继续。否则,需要重新检查安装版本是否与OS架构匹配(x86, x64),以及环境变量路径是否正确。

B. Zookeeper安装

1.进入Zookeeper设置目录,比如C:\zookeeper-3.4.7\conf

2. 将“zoo_sample.cfg”重命名为“zoo.cfg”。

3. 在任意文本编辑器(如notepad)中打开zoo.cfg,我个人更喜欢notepad++。

4. 找到并编辑dataDir=/tmp/zookeeper to :\zookeeper-3.4.7\data

5. 与Java中的做法类似,我们在系统环境变量中添加:

  a. 在系统变量中添加ZOOKEEPER_HOME = C:\zookeeper-3.4.7

  b. 编辑系统变量,命名为路径 System Variable%ZOOKEEPER_HOME%\bin;

6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)。

7. 打开新的cmd,输入zkserver,运行Zookeeper。

8. 命令行提示如下:

恭喜,Zookeeper已经完成并在端口2181运行。

C. 安装Kafka

1. 进入Kafka配置目录,例如C:\kafka_2.11-0.9.0.0\config

2. 编辑文件“server.properties”

3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs”

4. 如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。

5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。

D. 运行Kafka服务器

重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录C:\kafka_2.11-0.9.0.0\

2.按下Shift+右键,选择“打开命令窗口”选项,打开命令行。

3.现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties

4.如果一切正常,命令行应当是这样:

5.现在Kafka已经准备好并开始运行,可以创建主题来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据。

E. 创建主题

1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。

2. 在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。

3. 输入下面的命令,回车:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

F. 创建Producer及Consumer来测试服务器。

1.在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。

2.输入以下命令,启动producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic test

3.在同样的位置C:\kafka_2.11-0.9.0.0\bin\windows再次打开新的命令行。

4.现在输入下列命令启动consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

5.现在有两个命令行窗口,如下图:

6.在producer命令行中任意输入内容,回车;在其他consumer命令行中能看到相应消息。

7.如果能够将消息推送到consumer端并显示出来的话,Kafka安装就完成了。

一些有用的命令

1.列出主题:kafka-topics.bat –list –zookeeper localhost:2181

2.描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

3.从头读取消息:kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning

4.删除主题:kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181

时间: 2024-07-30 20:32:04

Windows安装运行Kafka的相关文章

在Windows安装运行Kafka

一.安装JAVA JDK 1.下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:根据32/64位操作系统下载对应的安装包 2.添加系统变量:JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144 二.安装ZooKeeper 1. 下载安装包 http://zookeeper.apache.org/releases.h

Laravel windows安装运行

下载Laravel(http://www.golaravel.com/download/) Laravel 5.0 开始对 PHP 版本的要求是5.4以上 将下载的 PHP 安装包解压到任意目录,例如解压到 C 盘根目录下, PHP 的安装路径将是 C:\php. 将 PHP 的安装路径加入 PATH 环境变量.因为我们这次要使用的是 PHP 的命令行工具. 进入 PHP 安装目录(例如 C:\php).用编辑器打开 php.ini 文件,修改以下配置: 去掉 extension=php_mbs

Windows OS上安装运行Apache Kafka教程

本文转自:http://geek.csdn.net/news/detail/52976 下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper. Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作.更多信息请参见http://kafka.apache.

Windows上搭建Kafka运行环境

完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击“我的电脑” -> "高级系统设置" -> "环境变量" 1.2 查看CLASSPATH的值里

(转)Windows上搭建Kafka运行环境

转自:<Windows上搭建Kafka运行环境> 完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击“我的电脑” -> "高级系统设置" -> &quo

windows安装程序无法将windows配置为在此计算机的硬件上运行

关于装windows系统时,出现一些安装中断的处理 该方法适用于 windows安装程序无法将windows配置为在此计算机的硬件上运行 计算机意外地重新启动或遇到错误. Windows 安装无法继续.若要安装Windows,请单击“确定”重新启动计算机,然后重新启动安装”. 按下shift+f10 会打开命令窗口, 进入到C:\windows\system32\oobe文件夹, 输入msoobe回车然后输入msoobe即可进入下一步操作, 但错误提示框仍然在,不用理会按照屏幕提示输入相应的信息

在Windows Service上安装运行Redis

CSDN下载RedisWatcher,运行InstallWatcher.msi,默认安装在C:\Program Files (x86)\RedisWatcher,修改watcher.conf 1 # required exepath and exename are combined to form full path 2 exepath D:\Demos\redisdev\redis 3 exename redis-server.exe 4 5 # optional fastfailMS is

Windows 安装JRuby 生成 war 到 tomcat 运行

Windows安装JRuby Rails 直接下载 JRuby,不装 Ruby. http://jruby.org/download 该安装包可以配好环境变量 %JRUBY_HOME% 等 安装 bundler(可能不需要安装,忘了) gem install bundler 安装rails: gem install rails -v 4.2.6 rbenv rehash 修改GemFile bundle install 运行 同Ubuntu. JRuby Rails 运行于 tomcat 生成w

安装win7系统是提示:windows安装程序无法将windows配置为在此计算机的硬件上运行

博文转载自 Afeia , 版权归原作者所有. 该文解决了笔者的问题,故此转载之,希望能解决更多人的问题. 安装WIN7系统出现:”windows安装程序无法将windows配置为在此计算机的硬件上运行”,如下图: 解决办法: 当出现如上提示的时候,按下shift+f10 会打开命令窗口, 进入到C:\windows\system32\oobe文件夹,输入msoobe回车然后输入msoobe即可进入下一步操作. 但错误提示框仍然在,不用理会.按照屏幕提示输入相应的信息直至完成系统的安装.安装好后