kafka安装以及入门

一、安装

下载最新版kafka,Apache Kafka,然后上传到Linux,我这里有三台机器,192.168.127.129,130,131 。

进入上传目录,解压到/usr/local目录下

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/

进入/usr/local目录

cd /usr/local

然后改一下名字(这一步可有可无)

mv kafka_2.11-0.11.0.0/ kafka

进入kafka目录,编辑配置文件

cd kafka/

vi config/server.properties

配置文件:有的地方三台机器不一样哦,不一样的你都能看出来

编辑好之后,进入kafka目录并且建立日志目录

mkdir kafka-logs

开启kafka的通信端口9092

firewall-cmd --zone=public --add-port=9092/tcp --permanent

systemctl restart firewalld

启动Zookeeper,如果你不知道Zookeeper安装的话,就找我的文章,有一篇是关于Zookeeper安装的。

然后启动kafka

cd /usr/local/kafka/bin/
./kafka-server-start.sh /usr/local/kafka/config/server.properties &

最后出现

就是成功了,进入Zookeeper客户端

除了activemq,zookeeper,dubbo,root,都是kafka相关的

二、入门

依赖jar包,请找到kafka的libs目录

生产者:
import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class SimpleProducer {

    public static void main(String[] args) throws InterruptedException {
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.127.129:9092,192.168.127.130:9092,192.168.127.131:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 10; i++){
            //ProducerRecord<String, String>(String topic, String key, String value)
            producer.send(new ProducerRecord<String, String>("my-topic", "fruit" + i, "banana" + i));
            Thread.sleep(1000);
        }
        producer.close();

    }
}
消费者:
import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class SimpleConsumer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.127.129:9092,192.168.127.130:9092,192.168.127.131:9092");
        props.put("group.id", "testGroup");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //订阅的topic,多个用逗号隔开
        consumer.subscribe(Arrays.asList("my-topic"));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
        //consumer.close();
    }
}

先启动消费者,再启动生产者

你会发现消费者每隔1秒输出一行数据。

时间: 2024-11-08 10:39:13

kafka安装以及入门的相关文章

kafka安装以及入门demo

jdk:1.6.0_25 64位 kafka:2.9.2-0.8.2.1 kafka 官方下载地址 http://apache.fayea.com/kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz tar -zxvf kafka_2.9.2-0.8.2.1.tgz -C /usr/local/ && mv kafka_2.9.2-0.8.2.1 kafka cd /usr/local/kafka vi config/zookeeper.properties dat

kafka安装和使用

kafka安装和启动 kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境. Step 1: 下载代码 下载0.10.0.0版本并且解压它. > tar -xzf kafka_2.11-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0 Step 2: 启动服务 运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zooke

Apache CouchDB安装及入门 &nbsp;

1. 从Apache CouchDB官网下载最新的版本,目前最新版本为1.6.1. 2. 运行"setup-couchdb-1.6.1_R16B02.exe"文件,并将couchdb设置为Windows服务,这样就不用每次都启动服务. 3. 在浏览器中运行"http://127.0.0.1:5984",出现下面的内容说明安装成功. {"couchdb":"Welcome","uuid":"4f58

bower安装使用入门详情

bower安装使用入门详情 bower自定义安装:安装bower需要先安装node,npm,git全局安装bower,命令:npm install -g bower进入项目目录下,新建文件1.txt然后命令行进入项目目录下,输入命令重命名该文件为.bowerrc:修改文件名,命令:rename 1.txt .bowerrc*说明下为何要命令行修改文件名,因为直接修改的话电脑不让修改啊,另外上面命令用于window~~.bowerrc文件内容填充,如下:(js/lib是通过bower下载的文件存放

nodejs学习笔记之安装、入门

由于项目需要,最近开始学习nodejs.在学习过程中,记录一些必要的操作和应该注意的点. 首先是如何安装nodejs环境?(我用的是windows 7环境,所以主要是windows 7的例子.如果想看linux下的安装可以参考http://www.cnblogs.com/meteoric_cry/archive/2013/01/04/2844481.html) 1. nodejs提供了一些安装程序,可以去官网(http://nodejs.org/download/)按照自己的机器进行下载,下载完

Kafka安装及部署

阅读目录 一.环境配置 二.操作过程 Kafka介绍 安装及部署 回到顶部 一.环境配置 操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7.0_51 SSH Secure Shell版本:XShell 5 回到顶部 二.操作过程 1.下载Kafka并解压 下载: curl -L -O http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.10-0.9.0.0.tgz 解压: tar z

kafka 安装步骤

kafka安装文档 1.解压缩(官网下载:http://kafka.apache.org/downloads.html) tar -xzf kafka_2.10-0.8.2.0.tgz cd kafka_2.10-0.8.2.0 2.启动server服务(包括zookeeper服务.kafka服务) bin/zookeeper-server-start.sh  config/zookeeper.properties & (&表示在后台执行) bin/kafka-server-start.s

Lombok 安装、入门 - 消除冗长的 java 代码

前言:    逛开源社区的时候无意发现的,用了一段时间,觉得还可以,特此推荐一下.    lombok 提供了简单的注解的形式来帮助我们简化消除一些必须有但显得很臃肿的 java 代码.特别是相对于 POJO,光说不做不是我的风格,先来看看吧.lombok 的官方网址:http://projectlombok.org/  lombok 其实到这里我就介绍完了,开个玩笑,其实官网上有 lombok 三分四十九秒的视频讲解,里面讲的也很清楚了,而且还有文档可以参考.在这里我就不扯太多,先来看一下 l

MongoDB+MongoVUE安装及入门

MongoDB+MongoVUE安装及入门 转自CSDN 前言及概念 环境安装 MongoDB的安装 MongoVUE安装 建立连接 基础操作 创建表 添加数据 查询 日期查询 排序Sort 查询字段Fields skip跳过 Limit分页 修改 删除数据 前言及概念 据说nodejs和MongoDB是一对好基友,于是就忍不住去学习了解了一下MongoDB相关的一些东西, 那么,MongoDB是什么?这里的五件事是每个开放人员应该知道的: MongoDB是一个独立的服务器; 如MySQL或Po