kafka部署

step1 压缩包 kafka_2.9.2-0.8.1.1.czj.zip

step2:解压

unzip kafka_2.9.2-0.8.1.1.czj.zip

进入kafka_2.9.2-0.8.1.1: (以后执行命令在此路径下)

cd kafka_2.9.2-0.8.1.1

修改配置文件config/server.properties:

vim config/server.properties

属性:

broker.id=0 (随便)

host.name=hadoop03 (自己的主机 也可以是ip地址)

zookeeper.connect=hadoop03:2181 (自己的主机 也可以是ip地址,注意要统一)

step3: 确保有执行权限

chmod +x sbin/*

chmod +x bin/*

Step5:启动kafka服务

sbin/start-kafka.sh

查看是否启动: jsp -ls

启动成功会出现 kafka字样

tep6.创建topic主题:

bin/kafka-topics.sh --create --zookeeper hadoop03:2181 --replication-factor 1 --partitions 1 --topic mytopic (hadoop03 主机名 mytopic 主题名)

启动consumer

bin/kafka-console-consumer.sh --zookeeper hadoop03:2181 --topic mytopic

启动productor

bin/kafka-console-producer.sh --broker-list hadoop03:9092 --topic mytopic

在productor端输入,看consumer端的输出。

时间: 2024-10-11 10:59:44

kafka部署的相关文章

处理大并发量订单处理的 KafKa部署总结

处理大并发量订单处理的 KafKa部署总结 今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为公司需要它. 网上已经有很多怎么用和用到哪的内容,但结果很多人都倒在了入门第一步 环境都搭不起来,可谓是从了解到放弃,所以在此特记录如何在linux环境搭建,windows中配置一样,只是启动运行bat文件. 想要用它就先必须了解它能做什么及能做到什么程度,先看看它是什么吧. 当今社会各种应用系统诸

Kafka部署与代码实例(转)

来自:http://doc.okbase.net/QING____/archive/19447.html kafka作为分布式日志收集或系统监控服务,我们有必要在合适的场合使用它.kafka的部署包括zookeeper环境/kafka环境,同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我们使用3个zookeeper实例构建zk集群,使用2个kafka broker构建kafka集群. 其中kafka为0.8V,zookeeper为3.4.5V 一.Zookeeper集群构建 我们有

Centos6.5下kafka部署安装

一)安装JDK 步骤1:新建路径/usr/Java, 并在其下解压 jdk-7u71-linux-x64.tar.gz # mkdir -p /usr/java # tar -zxvf jdk-7u71-linux-x64.tar.gz 步骤2:添加JDK到系统环境变量 # vi /etc/profile 新增以下内容: export JAVA_HOME=/usr/java/jdk1.7.0_71 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH

我是如何处理大并发量订单处理的 KafKa部署总结

今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为公司需要它. 网上已经有很多怎么用和用到哪的内容,但结果很多人都倒在了入门第一步 环境都搭不起来,可谓是从了解到放弃,所以在此特记录如何在linux环境搭建,windows中配置一样,只是启动运行bat文件. 想要用它就先必须了解它能做什么及能做到什么程度,先看看它是什么吧. 当今社会各种应用系统诸如商业.社交.搜索.浏览等像信息工厂一样不断

kafka基础集群部署

kafka集群部署方案 ZooKeeper第一步主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色Leader和Follower.集群中所有的结点作为一个整体对分布式应用提供服务集群中每个结点之间都互相连接所以在配置的ZooKeeper集群的时候每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息.例如我的ZooKeeper集群中每个结点的配置以zk-01为例/etc/hosts内容如下所示:192.168.0.11   zk-01192.168.0.12  

转 docker 部署 kafka

原文链接 http://blog.csdn.net/snowcity1231/article/details/54946857 1.下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 [html] view plain copy print? docker pull wurstmeister/zookeeper [html] view plain copy print? docker pull wurstmeister/kafk

kafka单机部署文档

单机Kafka部署文档 最简单的使用方式,单机,使用自带的zookeeper 1.解压 下载地址:http://pan.baidu.com/s/1i4K2pXr tar –zxvf kafka_2.10-0.10.0.1.tgz 2.修改配置 vim config/server.properties 修改项如下(有则修改,无则添加): host.name=你的ip listeners=PLAINTEXT://你的ip:9092 advertised.listeners=PLAINTEXT://你

实践部署与使用apache kafka框架技术博文资料汇总

前一篇Kafka框架设计来自英文原文(Kafka Architecture Design)的翻译及整理文章,很有借鉴性,本文是从一个企业使用Kafka框架的角度来记录及整理的Kafka框架的技术资料,也很有借鉴价值,为了便于阅读与分享,我将其整理一篇Blog.本文内容目录摘要如下: 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)

Kafka系列二之部署与使用

Kafka部署与使用 写在前面 从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用.上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka. 如何开始呢? 我们查看官网上面是如何说的,http://kafka.apache.org/quickstart. 接着,第二步,我们启动了一个kafka的se