详解Kafka生产者Producer配置

基本配置


metadata.broker.list:broker服务器集群列表,格式为 host1:port1, host2:port2 ...

producer.type:消息发送类型同步还是异步,默认为同步

compression.codec:消息的压缩格式,默认为none不压缩,也可以为gzip, snappy, lz4

serializer.class:消息加密格式,默认为kafka.serializer.DefaultEncoder

compressed.topics:主题的压缩格式,可以为‘gzip‘, ‘snappy‘, lz4

异步生产者配置

queue.buffering.max.ms:生产者异步缓存数据的最大时间,单位毫秒

queue.buffering.max.messages:生产者异步缓存消息的最大容量

queue.enqueue.timeout.ms:队列超时事件。0,如果队列满了就放弃;-ve,如果队列满了就会永远阻塞;+ve,如果队列满了会阻塞一段时间。

batch.num.messages:生产者可以批量处理的消息数

Java客户端消费者常用配置


bootstrap.servers:broker服务器集群列表,格式为 host1:port1, host2:port2

key.serializer:定义序列化的接口,建议为org.apache.kafka.common.serialization.StringSerializer

value.serializer:实现序列化接口的类,建议为org.apache.kafka.common.serialization.StringSerializer

acks:配置可以设定发送消息后是否需要Broker端返回确认

0:不需要进行确认,速度最快。存在丢失数据的风险。

1:仅需要Leader进行确认,不需要ISR进行确认。是一种效率和安全折中的方式。

all:需要ISR中所有的Replica给予接收确认,速度最慢,安全性最高,但是由于ISR可能会缩小到仅包含一个Replica,所以设置参数为all并不能一定避免数据丢失。

buffer.memory:生产者的缓村容量,如果记录发送的比传输到服务器的速度快,要么是生产者阻塞,要么是配置的block.on.buffer.full缓存区满了。默认大小为32M

compression.type:生产者生成的所有数据压缩格式,默认不压缩,还可以为gzip, snappy, or lz4

linger.ms:Producer默认会把两次发送时间间隔内收集到的所有Requests进行一次聚合然后再发送,以此提高吞吐量,而linger.ms则更进一步,这个参数为每次发送增加一些delay,以此来聚合更多的Message。

时间: 2024-11-05 15:49:29

详解Kafka生产者Producer配置的相关文章

详解Kafka: 大数据开发最火的核心技术

详解Kafka: 大数据开发最火的核心技术 架构师技术联盟 2019-06-10 09:23:51 本文共3268个字,预计阅读需要9分钟. 广告 大数据时代来临,如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章:如何全方位掌握Kafka核心技术)!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP10银行,8家TOP10保险公司,9家TOP10电信公司等等. LinkedIn.Microsoft和Netflix每天都用Ka

centos7.0 安装日志--图文详解-python开发环境配置

centos7.0发布之后,就下载了everthing的DVD镜像,今天有时间,所以决定在vbox底下体验一番--- 上图: 默认是体验安装,作为一个忠实粉丝,我决定选择直接安装! 这个界面是这次新版本更新后改的,它把以前要下一步.上一步可以修改的操作全部集中到一个页面来,默认选择是下图这样,比如你想修改软件安装选项只要点击相应选项就可以了. 每次你更改安装选项之后,它都会自动从新计算安装源,如果你的选择的资源本地没有,还可以通过网络来安装,默认网络是不启用的,所以我们需要自己手工设置一下网络.

SpringMVC配置web.xml文件详解(列举常用的配置)

常用的web.xml的配置 1.Spring 框架解决字符串编码问题:过滤器 CharacterEncodingFilter(filter-name) 2.在web.xml配置监听器ContextLoaderListener(listener-class) ContextLoaderListener的作用就是启动Web容器时,自动装配ApplicationContext的配置信息.因为它实现了ServletContextListener这个接口,在web.xml配置这个监听器,启动容器时,就会默

Android Google Map v2详解之:开发环境配置

Android Google Map v2详解之:开发环境配置                                       --转载请注明出处:coder-pig 说在前面: 说到地图定位,现在越来越多的社交app都加入了地图和定位的功能模块,用户很多的时候 也会用到这些东东,比如,到外面吃饭,次次吃饭前都要拍下照片发到朋友圈,定个位,然后发条说说, 炫耀一下自己今天吃了什么高大上的东东,炫耀和攀比心理我懂,不过,一次下班去吃饭,看到一妹子 吃饭,拍照+发朋友圈,足足用了大概20

dpkg命令详解及apt源配置

dpkg命令详解及apt源配置 一:dpkg命令 dpkg 是"Debian Packager "的简写, 是Debian Linux系统用来安装.创建和管理软件包的实用工具. 1.语法 dpkg --help Usage: dpkg [<option> ...] <command> 常用选项有-i , -s , -l , -L , -c , -r , -P 等 2.实例 本文是提前手动下载的tcl8.5_8.5.11-2_amd64.deb为例. 安装软件包

【单元测试】NUint使用详解及Visual Studio配置

阅读目录 什么是单元测试? 为什么使用单元测试? NUint使用详解: 示例 属性 断言 简单测试 VS配置: External Tools Visual Nunit 2010 NUnit Test Adapter 后记 什么是单元测试? 单元测试(Unit Testing)是针对最小的可测试软件元素(单元)的,它所测试的内容包括单元的内部结构(如逻辑和数据流)以及单元的功能和可观测的行为.通俗一点讲,就是我们编程的时候,编写的一个测试方法用于检测功能是否正确的代码段,通常而言,一个单元测试是用

spring集成RabbitMQ配置文件详解(生产者和消费者)

1,首先引入配置文件org.springframework.amqp,如下: <dependency> <groupId>org.springframework.amqp</groupId> <artifactId>spring-rabbit</artifactId> <version>1.7.1.RELEASE</version> </dependency> 2,准备工作:安装好rabbitmq,并在项目中增

DNS详解及DNS主从配置

DNS 全称domain name system域名系统的缩写,它是一种将IP地址转换成对应的主机名或者将主机名转换成对应的IP的一种服务机制.其中通过域名解析出IP叫做正向解析,通过IP解析出域名叫做反向解析.DNS使用TCP和UDP协议,端口号都是53,但它主要使用UDP,服务器之间备份使用TCP.全世界只有13台"根"服务器,一个主根服务器放在美国,其他12台为辅根服务器,DNS服务器根据角色可分为:主DNS,从DNS,缓存DNS服务器,DNS转发服务器. 首先来看看域名的结构组

redhat6下的网络服务的详解、安装及配置

1.web服务 Apache a.简介 HTTP是一个属于应用层的面向对象的协议,由于其简洁,快速的方式 适用于分布式超媒体信息系统 HTTP协议的特点: 是一个标准的客户端服务器模型 简单快速 灵活 无连接 无状态 b.安装 一.安装编译环境 在安装apache之前,我们需要安装编译apache时所需要的相关软件包,如下:yum -y install gcc gcc++ zlib zlib-devel 二.卸载原有Apache 在源码安装apache之前,我们要先卸载系统中,已经通过rpm包安