kafka基础

一、kafka是一个消息中间件,具体的起源等介绍忽略。

kafka主要需要了解有四部分:

  1、producer 生产者

  2、consumer 消费者

  3、broker 服务

  4、topic 消息主题

  总结就是,生产者将主题生产出来交给服务管理,由消费者消费。

二、kafka安装(mac_os)

  1、下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz

    选择二进制下载,解压即可用。下载完,解压就算安装完成了吧。(kafka自带了一个zookeeper)

  2、主要目录结构

    bin:执行文件目录,包括启动kafka、主题操作、控制台模拟生产主题、控制台模拟消费主题、启动zookeeper等命令

    conf:配置文件目录,包括kafka启动配置、自带zookeeper启动配置等配置文件

    lib:jar包目录

    logs:日志文件目录

三、kafka基本操作:

  1、zookeeper启动:

    kafka的很多信息都是注册在zookeeper上的,包括broker信息,主题信息,消费者,消费偏移量、分区等等。所以启动kafka之前要先启动zookeeper。

    这里就不用kafka自带的zookeeper了。下载zookeeper后,运行bin目录下的命令:zkServer.sh start (默认2181端口)

  2、kafka启动:

    bin目录下命令文件kafka-server-start.sh

    ./bin/kafka-server-start.sh conf/server.properties & (启动kafka使用server.properties配置文件)

  上面1、2操作,kafka启动完成。

  下面模拟kafka生产消费,关于kafka创建主题等命令就不写了,不创建主题,直接生产消息,系统会默认帮你创建该主题的,还有其中涉及到分区等内容,这里只概括的讲最简单的。

  3、生产消息/消费消息

    新打开一个生产者终端输入

    ./bin/kafka-console-producer  --broker-list localhost:9092 --topic  test

    新打开一个消费者终端输入

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic tpc --from-beginning

    在生产者终端输入发送信息回车,观察消费者终端的反馈,发现进行了生产消费动作。

  4、上面就是最简单的kafka小例子

时间: 2024-10-10 19:58:21

kafka基础的相关文章

kafka 基础介绍

kafka 基础 kafka有四个核心API: 应用程序使用 Producer API 发布消息到1个或多个topic(主题). 应用程序使用 Consumer API 来订阅一个或多个topic,并处理产生的消息. 应用程序使用 Streams API 充当一个流处理器,从1个或多个topic消费输入流,并生产一个输出流到1个或多个输出topic,有效地将输入流转换到输出流. Connector API允许构建或运行可重复使用的生产者或消费者,将topic连接到现有的应用程序或数据系统.例如,

1.kafka基础架构

kafka基础架构 什么是kafka? Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域. 1.什么是消息队列? 2.使用消息队列的好处 1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2)可恢复性 系统的一部分组件失效时,不会影响到整个系统.消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理. 3)缓冲 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度

消息队列之kafka(基础介绍)

一.关于JMS 1. JMS 的基础 ??JMS是Java提供的一套技术规范.即Java消息服务(Java message service).应用程序接口.是一个Java平台中关于面向消息中间件的API.用于在两个应用程序之间或者分布式系统中发送消息,进行异步通信.Java消息服务是一个与具体平台无关的API.??用来异构系统集成通信,缓解系统瓶颈. 提高系统的伸缩性.增强系统用户体验.使得系统模块化和组件化变得可行并更加灵活.JAVA2EE十三大规范:https://blog.csdn.net

kafka基础集群部署

kafka集群部署方案 ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower.集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息.例如我的ZooKeeper集群中每个结点的配置以zk-01为例/etc/hosts内容如下所示:192.168.0.11   zk-01192.168.0.12  

Kafka基础知识

1. kafka是一个分布式的消息发布-订阅队列.2. 其中有一些主要的概念: Topic: 就是对放入队列的消息进行分类,分类消息分开储存,比如现在有订单消息和用户投诉消息,则分成订单topic和投诉topic Message: 放入消息队列的一条一条的消息. Producer: 消息的生产者,就是往队列里放消息(Push)的客户端. Consumer: 消息的生产者,就是从队列里取消息(Pull)的客户端. Broker:对应kafka的一个服务器端,如果是分布式,则可以有多个Broker,

kafka 基础知识梳理

一.kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据.这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素.这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. kafka名词解释: producer:生产者. consumer:消费者. topic: 消息以topic为类别记录,Kafka将消息种子(Feed)分门别类,每一类的消息称之为一个主题(Topic). broker:以集群的方式

kafka 基础01

总结:    1.kafka 中可以分步不同的组,消息可以被不同组里面的消费者多次消费    2. 观察zookeeper中kafka中的信息: [zk: air00:2181(CONNECTED) 8] ls / [consumers, config, controller, admin, brokers, zookeeper, controller_epoch] [zk: air00:2181(CONNECTED) 9] ls /consumers [test01, test02] [zk:

Kafka基础知识(二)

Kafka进阶知识 消息概念 消息指的是通信的基本单位.由消息生产者(producer)发布关于某个话题(topic)的消息.简单来说:消息以一种物理方式被发送给了作为代理(broker)的服务器(可能是另外一台机器).若干的消息使用者(consumer)订阅(subscribe)某个话题,然后生产者所发布的每条消息都会被发送给所有的使用者. Kafka的生产者.使用者和代理都可以运行在作为一个逻辑单位的.进行相互协作的集群中不同的机器上.生产者和代理没有什么关系,但是使用者都是属于一个使用者小

Kafka基础简介

kafka是一个分布式的,可分区的,可备份的日志提交服务,它使用独特的设计实现了一个消息系统的功能. 由于最近项目升级,需要将spring的事件机制转变为消息机制,针对后期考虑,选择了kafka作为消息中间件. kafka的安装 这里为了快速搭建,选择用docker docker run -d -p 2181:2181 -p 9092:9092 -v /opt/kafka/server.properties:/opt/kafka_2.11-0.10.1.0/config/server.prope