kafka zookeeper学习(2) 测试kafka与zookeeper环境

  上节搭建了zookeeper与kafka环境,这一节要测试环境是否能正常工作。

1,紧接着上节的内容,zookeeper与kafka都启动好了,新开一个命令窗口,定为到

  D:\soft\kafka_2.11-0.9.0.0\bin\windows

2,创建topic

输入命令  .\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 来创建topic 名为test。topic可以理解为一个逻辑队列,逻辑队列里存放消息的是若干个(可配置)partitions。

3,创建一个生产者和一个消费者来测试消息

  打开两个命令窗口, 定为到D:\soft\kafka_2.11-0.9.0.0\bin\windows,一个用于producer,另一个作为consumer

  a)创建producer

  kafka-console-producer.bat --broker-list localhost:9092 --topic test

  b)创建consumer

  kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

  得到两个命令窗口如下:

  如果成功了 在producer窗口输入内容可以在consumer窗口打印出来,如下:

  

时间: 2024-10-28 22:10:41

kafka zookeeper学习(2) 测试kafka与zookeeper环境的相关文章

ZooKeeper学习第四期---构建ZooKeeper应用

转:http://www.cnblogs.com/sunddenly/p/4064992.html 一.配置服务 配置服务是分布式应用所需要的基本服务之一,它使集群中的机器可以共享配置信息中那些公共的部分.简单地说,ZooKeeper可以作为一个具有高可用性的配置存储器,允许分布式应用的参与者检索和更新配置文件.使用ZooKeeper中的观察机制,可以建立一个活跃的配置服务,使那些感兴趣的客户端能够获得配置信息修改的通知. 下面来编写一个这样的服务.我们通过两个假设来简化所需实现的服务(稍加修改

ZooKeeper学习总结 第二篇:ZooKeeper深入探讨

其实zookeeper系列的学习总结很早就写完了,这段时间在准备找工作的事情,就一直没有更新了.下边给大家送上,文中如有不恰当的地方,欢迎给予指证,不胜感谢!. 1. 数据模型 1.1. 只适合存储小数据 Zk维护着一个逻辑上的树形层次结构,树中的节点称为znode,个znode都有一个ACL(权限控制).Zookeeper是被设计用来协调服务的,因此znode里存储的都是小数据,而不是大容量的数据,数据容量一般在1MB范围内. 1.2. 操作的原子性 Znode的数据读写是原子的,要么读或写了

完全分布式ZooKeeper集群和Kafka集群的搭建和使用

自己使用的版本为zookeeper-3.4.7.tar.gz和kafka_2.10-0.9.0.0.tgz.首先要安装JDK(jdk-7u9-linux-i586.tar.gz)和SSH,IP地址的分配为Kafka1(192.168.56.136),Kafka2(192.168.56.137),Kafka3(192.168.56.138).下面主要介绍SSH的安装,ZooKeeper和Kafka集群的搭建和使用. 一. SSH的安装 (1)apt-get install ssh (2)/etc/

kafka服务器搭建与测试

kafka服务器搭建 kafka自身集群信息的管理以及对producer和consumer的信息管理是通过zookeeper实现的,zookeepr是kafka不可分割的一部分,所以搭建zookeeper服务器是搭建kafka集群环境不可或缺的一部分.zookeeper集群的搭建在网上有很多相关资料,本文不在详细描述,也可参照我自己编写的zookeeper 安装的三种模式搭建zookeeper集群.本文所写的kafka服务搭建方法适用于Ubuntu系统和MacOS系统(亲测). 集群搭建软件环境

Kafka入门学习(一)

====常用开源分布式消息系统 *集群:多台机器组成的系统叫集群. *ActiveMQ还是支持JMS的一种消息中间件. *阿里巴巴metaq,rocketmq都有kafka的影子. *kafka的动态扩容目前是通过zookeeper来完成的. ====kafka定义及使用背景 是一个分布式消息系统,由Linkedln使用Scala编写,用作Linkedln的活动流(Activity Stream) 和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量 应用领域:已经被多家不同类

安装和测试Kafka

本文主要介绍如何在单节点上安装 Kafka 并测试 broker.producer 和 consumer 功能. 下载 进入下载页面:http://kafka.apache.org/downloads.html ,选择 Binary downloads下载 (Source download需要编译才能使用),这里我下载 kafka_2.11-0.8.2.1,其对应的 Scala 版本为 2.11: $ wget http://apache.fayea.com/kafka/0.8.2.1/kafk

kafka基本原理学习

下载安装地址:http://kafka.apache.org/downloads.html 原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 Kafka主要术语直观解释 BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker Topic每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic.(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的top

Kafka的安装及测试

1.zokeeper的安装及配置 在zokeeper的conf目录下新建zoo.cfg文件,在里面配置如下内容 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending

大数据技术之_10_Kafka学习_Kafka概述+Kafka集群部署+Kafka工作流程分析+Kafka API实战+Kafka Producer拦截器+Kafka Streams

第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 Kafka 生产过程分析3.1.1 写入方式3.1.2 分区(Partition)3.1.3 副本(Replication)3.1.4 写入流程3.2 Broker 保存消息3.2.1 存储方式3.2.2 存储策

Flume 测试 Kafka 案例

Flume Kafka 测试案例,Flume 的配置. a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = netcat a1.sources.s1.bind = master a1.sources.s1.port = 44444 a1.channels.c1.type = memory a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sin