kafka单机环境搭建

1，准备工作：

　 windows下虚拟机上安装centos7,下载putty工具。

2，windows下下载相关的安装包

　　jdk-8u71-linux-x64.rpm

　　kafka_2.11-0.9.0.0.tgz

　　zookeeper-3.4.6.tar.gz

3，通过putty的pscp工具将上述3个文件上传到centos的/home/xf/backup目录(自己指定目录)

4，启动一个putty窗口连接centos，rpm方式安装jdk-8u71-linux-x64.rpm

5，解压kafka_2.11-0.9.0.0.tgz和zookeeper-3.4.6.tar.gz到centos的/home/xf/apps目录(自己指定目录)

6，进入/home/xf/apps/zookeeper-3.4.6/bin，执行命令sh zkServer.sh start ../conf/zoo.cfg &，启动zookeeper

7，进入/home/xf/apps/kafka_2.11-0.9.0.0，执行命令sh kafka-server-start.sh ../config/server.properties &，启动kafka

8，重新启动一个putty窗口连接centos，执行命令sh kafka-console-producer.sh --broker-list localhost:9092 --topic test，启动测试producer

9，重新启动一个putty窗口连接centos，执行命令 sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning，启动测试consumer

10，在producer窗口中输入字符串，可以在consumer窗口中看到接收到的相同的字符串，kafka单机环境搭建成功

时间： 2024-12-25 15:45:55

kafka单机环境搭建的相关文章

kafka单机环境搭建及其基本使用

最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1).解压kafka_2.11-1.1.0.tgz,得到"kafka_2.11-1.1.0"文件夹. (2).kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用.使用需配置kafka_2.

Kafka单机环境的部署

前面说过Kafka集群环境的部署,现在主要说一下在本地测试中Kafka单机环境的部署,和前面一样首先保证zookeeper服务的正常运行,然后解压并释放kafka安装包,并放到指定位置: tar -xvzf kafka_2.9.2-0.8.2.2.tar.gz mkdir /usr/kafka mv kafka_2.9.2-0.8.2.2 /usr/kafka/ cd /usr/kafka/kafka_2.9.2-0.8.2.2 现在开始编辑配置文件server.properties,执行命令:

[转载] Hadoop和Hive单机环境搭建

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329 下载hadoophadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/这里下载的版本是1.0.3$ mkdir hadoop$ wget http://www.fayea.com/apache-mirror/hadoop

spark单机环境搭建以及快速入门

1 单机环境搭建系统环境 cat /etc/centos-release CentOS Linux release 7.3.1611 (Core) 配置jdk8 wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.

Kafka开发环境搭建（五）

如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer.producer和broker替换成自己写的代码.所以在阅读这篇文章前你需要具备以下前提: 1. 简单了解kafka功能,理解kafka的分布式原理 2. 能在分布式环境下成功运行—topic test. 如果你还没有完成上述两个前提,请先看: kafka分布式初步 kafka搭建分布式环境接下来我们就简单介绍下kafka开发环境的搭建.

Kafka分布式环境搭建（二）赞

这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展.单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点. Kafka的中文文档并不多,所以我们尽量详细点儿写.要交会你搭建分布式其实很简单,手把手的教程大不了我录个视频就好了,可我觉得那不是走这条路的方式.只有真正了解原理,并且理解的透彻了才能最大限度的发挥一个框架的作用.所以,如果你不了解什么事kafka,请先看:<ka

Hadoop-2.6.0分布式单机环境搭建HDFS讲解Mapreduce示例

Hadoop安装使用 1.1 Hadoop简介 1.2 HDFS分布式存储系统 1.3 单机安装 1.4 Mapreduce 案例 1.5 伪分布式安装 1.6 课后作业 1.1 Hadoop简介在文章的时候已经讲解了Hadoop的简介以及生态圈,有什么不懂的可以"出门右转" http://dwz.cn/4rdSdU 1.2 HDFS分布式存储系统(Hadoop Distributed File System) HDFS优点高容错性数据自动保存多个副本副本都时候会自动恢复适合

kafka的环境搭建

kafka是一个高吞吐量的消息系统.隔离消息接收和处理过程(可理解为一个缓存) 1.kafka伪分布的部署 1.1.下载并解压 1.2.启动zk bin/zookeeper-server-start.sh config/zookeeper.properties *发布和订阅通过zk实现,kafka设计就使用了zk 1.3.启动kafka的服务 bin/kafka-server-start.sh conf/server.properties 1.4.创建主题 bin/kafka-topics.sh

hadoop2.6.4【ubuntu】单机环境搭建系列1

jdk安装 tar zxvf jdk mv jdk /usr/lib/jvm/java jdk环境变量配置 vim /etc/profile ``` export JAVA_HOME=/usr/lib/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin export