【Kafka】

KafkaProducer

Kafka消息发布客户端。

线程安全,跨线程共享单个生产者实例通常比拥有多个实例的速度更快。

例子,使用生产者发送包含序列号的字符串作为键/值对的记录:

Properties props = new Properties();
 props.put("bootstrap.servers", "localhost:9092");
 props.put("acks", "all");
 props.put("retries", 0);
 props.put("batch.size", 16384);
 props.put("linger.ms", 1);
 props.put("buffer.memory", 33554432);
 props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
 props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

 Producer<String, String> producer = new KafkaProducer<>(props);
 for (int i = 0; i < 100; i++)
     producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));

 producer.close();
时间: 2024-10-23 04:51:42

【Kafka】的相关文章

【kafka】kafka特性

1.稀疏索引 kafka分布式实现 tar包内容 server.properties broker.id=0

【kafka】celery与kafka的联用问题

背景:一个小应用,用celery下发任务,任务内容为kafka生产一些数据. 问题:使用confluent_kafka模块时,单独启用kafka可以正常生产消息,但是套上celery后,kafka就无法将新消息生产到topic队列中了. 解决:换了个pykafka模块,结果问题就没有了. 我很疑惑啊,是我调用confluent_kafka的方法不对吗,怎么套上celery就不行了呢? 可以用的pykafka代码: tasks.py from celery import Celery from p

【Kafka】kafka的环境搭建,集群环境的搭建

Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计 Kafka将消息以topic为单位进行归纳. 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. 下面来看下如何简单的使用: 首先,去官网下载kakfa的安装包 http://kafka.apache.org/downloads.html

【kafka】简单安装kafka单机版

1.安装kafka 下载地址 : https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz rz tar zxf kafka_2.11-0.9.0.0.tgz mv kafka_2.11-0.9.0.0 /usr/local/kafka 2.启停 /usr/local/kafka/bin/kafka-server-stop.sh  /usr/local/kafka/config/server.

【kafka】单节点多broker配置

1.在进入多个broker设置之前,首先启动ZooKeeper服务器 /usr/local/zookeeper/bin/zkServer.sh start 2.复制kafka的server.properties文件 cd /usr/local/kafka/config/ cp -a server.properties server1.properties cp -a server.properties server2.properties vim server.properties ------

【kafka】集群配置

1.先配置好zookeeper集群(可以看zookeeper集群搭建) 2.三个kafka机器 10.1.44.186 kafka(9092) zookeeper(2181) 10.1.44.187 kafka(9092) zookeeper(2181) 10.1.44.188 kafka(9092) zookeeper(2181) vim /etc/hosts -------------- 10.1.44.186 server186 10.1.44.187 server187 10.1.44.

【kafka】Topic管理

1.查看已经创建的Topic cd /usr/local/kafka ./bin/kafka-topics.sh --list --zookeeper 10.1.44.186:2181,10.1.44.187:2181,10.1.44.188:2181 186                    187                    188 ------------------     ------------------     ------------------ __consum

【kafka】kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0

https://blog.csdn.net/bigtree_3721/article/details/78442912 I am trying to create topics in Kafka by following the guide on Apache Kafka website through command line. While running the command:bin/kafka-topics.sh --create --zookeeper localhost:2181 -

【Kafka】《Kafka权威指南》入门

发布与订阅消息系统 在正式讨论Apache Kafka (以下简称Kafka)之前,先来了解发布与订阅消息系统的概念, 并认识这个系统的重要性.数据(消息)的发送者(发布者)不会直接把消息发送给接收 者,这是发布与订阅消息系统的一个特点.发布者以某种方式对消息进行分类,接收者 (订阅者)订阅它们,以便接收特定类型的消息.发布与订阅系统一般会有一个 broker,也就是发布消息的中心点. 发布与订阅消息系统的大部分应用场景都是从一个简单的消息队列或一个进程间通信开始的.比如电商系统中,包含会员模块