初试kafka消息队列中间件一 (只适合初学者哈)

初试kafka消息队列中间件一

今天闲来有点无聊,然后就看了一下关于消息中间件的资料,
简单一点的理解哈,网上都说的太高大上档次了,字面意思都想半天;
也就是用作消息通知,比如你想告诉某某你喜欢他,或者要开会了,通知给哪些人;
可以分不同的主题,不同的接受方式。

我这也是第一次动手哈,以前都只是看理论知识;
理论大家www.baidu.com一番都了解的七七八八了哈 ,我就直接上动手的过程了。

需要先进行下载;
这里是下载地址http://kafka.apache.org/downloads
如下图

下载完成后选择合适的目录进行解压即可,本案例是在windos环境下进行的;如下图

上面已经下载完成了、接下来就是要进行启动,然后进行测试了;

打开你解压的文件,G:\下载\04\kafka_2.11-2.3.0把这个换成你自己的路径;

在地址栏输入cmd回车或者shift+鼠标右键都行。代表在当前目录打开命令行;

输入命令:.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties;. 代表当前目录,使用这个bat启动Zookeeper并且使用后边的配置。

出现如下图并且没有什么错误代表启动成功。

启动Kafka

同样的路径,再打开一个新的命令行窗口;输入命令:.\bin\windows\kafka-server-start.bat .\config\server.properties

现在需要启动的都已经启动了,打开的命令行窗口别关闭;

现在我们需要创建一个主题,也就相当于消息的类型,就叫msg1吧

进入的文件目录\bin\windows下,再次打开一个新的命令行窗口;

输入创建主题命令:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic msg1

现在消息的主题已经创建了

接下来创建发送消息的生产者,用于发送消息

进入的文件目录\bin\windows下,再次打开一个新的命令行窗口;

输入创建主题命令:kafka-console-producer.bat --broker-list localhost:9092 --topic msg1

最后一步创建接受消息的消费者,用于接受消息

进入的文件目录\bin\windows下,再次打开一个新的命令行窗口;

输入创建主题命令:kafka-console-producer.bat --broker-list localhost:9092 --topic msg1

最后就是测试了,我们在发送消息的窗口输入信息,在接受信息的窗口上就可以收到了;如下图:

好了,测试完毕;大家可以自行多创建几个主题多开几个窗口进行不同的主题发送试试看!

下次有时间我再整理到项目中用代码写案例了,有想一起学习了童鞋们可以加一波关注哈!!!!

原文地址:https://www.cnblogs.com/qq376324789/p/11316895.html

时间: 2024-11-02 23:17:53

初试kafka消息队列中间件一 (只适合初学者哈)的相关文章

消息队列中间件的技术选型分析

[http://cloudate.net/?p=1165]2015/04/25  |  消息队列 |  罗伯特 消息队列中间件是互联网行业不可或缺的一项基本技术,在高并发消峰,非关键业务异步化,通知系统,监控数据推送等场景下是必不可少的,下文为转载文章,具体出处不详. 个人很喜欢ZeroMQ,非企业级的消息中间件,具有及低延迟-微秒级,使用简单灵活可嵌入等特性,性能报告请参考官网:http://zeromq.org/results:more-precise-0mq-tests 消息中间件是一种由

7月目标 socket , 一致性哈希算法 ; mongodb分片; 分布式消息队列; 中间件的使用场景

  分布式的基础:一致性哈希  路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html   redis 和 mongodb的使用,要能自己写 helper帮助类,和多台机器上的使用   socket http://www.cnblogs.com/JimmyZhang/archive

Kafka 消息队列系列之分布式消息队列Kafka

介绍 ApacheKafka®是一个分布式流媒体平台.这到底是什么意思呢?我们认为流媒体平台具有三个关键功能:它可以让你发布和订阅记录流.在这方面,它类似于消??息队列或企业消息传递系统.它允许您以容错方式存储记录流.它可以让您在发生记录时处理记录流.什么是卡夫卡好?它被用于两大类的应用程序:构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建实时流应用程序,可以转换或响应数据流要了解卡夫卡如何做这些事情,让我们深入探索卡夫卡的能力.首先几个概念:Kafka作为一个或多个服务器上的集群运行

关于消息总线使用哪种消息队列中间件的调查

几种MQ产品说明: ZeroMQ :  扩展性好,开发比较灵活,采用C语言实现,实际上他只是一个socket库的重新封装,如果我们做为消息队列使用,需要开发大量的代码 RabbitMQ :结合erlang语言本身的并发优势,性能较好,但是不利于做二次开发和维护 ActiveMQ: 历史悠久的开源项目,已经在很多产品中得到应用,实现了JMS1.1规范,可以和spring-jms轻松融合,实现了多种协议,不够轻巧(源代码比RocketMQ多).,支持持久化到数据库,对队列数较多的情况支持不好,不过我

kafka 消息队列

kafka是使用Java和Scala编写的一个快速可扩展的高吞吐量的分布式消息队列系统. kafka将数据持久化存储到磁盘上,自带分区和副本机制,因而具有较好的持久化保证. 但是kafka的消息消费没有确认机制,可能因为consumer崩溃导致消息没有完成处理.因此不建议将kafka用于一致性较高的业务场景,kafka经常被用做日志收集和数据仓库之间的缓存. 比如将网站的浏览日志缓存到kafka,然后从kafka中取出批量写入ElasticSearch, Hive或者HBase等数据仓库中.这样

消息队列中间件(二)使用 ActiveMQ

ActiveMQ 介绍 Active MQ 是由 Apache 出品的一款流行的功能强大的开源消息中间件,它速度快,支持跨语言的客户端,具有易于使用的企业集成模式和许多的高级功能,同时完全支持 JSM1.1 和 J2EE1.4 . 官方下载地址: http://activemq.apache.org/download.html 官方安装教程: http://activemq.apache.org/getting-started.html 默认管理页面:http://127.0.0.1:8161/

MQ选型对比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息队列框架选哪个?

最近研究消息队列,发现好几个框架,搜罗一下进行对比,说一下选型说明: 1)中小型软件公司,建议选RabbitMQ.一方面,erlang语言天生具备高并发的特性,而且他的管理界面用起来十分方便.不考虑rocketmq和kafka的原因是,一方面中小型软件公司不如互联网公司,数据量没那么大,选消息中间件,应首选功能比较完备的,所以kafka排除.RocketMQ也很不错,只是没有RabbitMQ出来的早,文档和网上的资料没有RabbitMQ多,但也是很不错,RocketMQ是阿里出品,现在阿里已经把

使用kafka消息队列解决分布式事务

微服务框架Spring Cloud介绍 Part1: 使用事件和消息队列实现分布式事务 本文转自:http://skaka.me/blog/2016/04/21/springcloud1/ 不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据源之间进行

大数据学习之Kafka消息队列31

一:Kafka概述 离线部分: Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调(动物管理员) hive->数据仓库(离线计算 / sql)easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive hdfs/hive->mysql Azkaban->任务调度工具 hbase->数据库(nosql)列式存储 读写速度 实时: kafka storm 官网