Kafka Broker常用配置详解

broker的配置文件位于kafka的config/server.properties文件。

    Broker基本配置

broker.id:代理Id,必须是唯一的整数。可以是0,1,2,3这样的自定义编号,也可以是IP地址的最后一位,如23,24,25,建议使用后面的编码方式。

auto.leader.rebalance.enable:是否允许leader节点自动分配,启用的话,会有后台进程定时检查并触发转移leader操作。默认启用。

background.threads:后台处理任务的进程数,默认为10.

    Topic配置

auto.create.topics.enable:是否允许自动创建主题,默认为true,建议设置为false。

delete.topic.enable:是否允许删除主题,默认不允许,建议保持现状。

Zookeeper配置

zookeeper.connect:zookeeper服务器的地址和端口号,如果有多个的话,用逗号分开。如10.0.10.1:2181,10.0.10.2:2182。

zookeeper.connection.timeout.ms:Zookeeper连接超时时间,单位为ms,默认值6000。

Socket服务器设置

listeners:监听服务器,端口号必须与port一致,PLAINTEXT://:9092

port:监听端口

host.name:broker绑定的主机地址,可以是主机名,也可以是ip地址。默认值localhost。如果不设置的话,通过客户端连接的话,会找不到服务器。

advertised.host.name:代理广播给生产者和消费者的端口号,如果没有设置的话,默认值为host.name的值。

num.network.threads:并发网络线程数,默认为3

num.io.threads:并发IO线程数,默认为8

socket.send.buffer.bytes:socket发送服务器的缓存区,默认102400字节

socket.receive.buffer.bytes:socket接收服务器的缓存区,默认102400字节

socket.request.max.bytes:socket每次请求的最大字节数,默认102857600字节

日志配置

log.dirs:日志的存放路径

num.partitions:每个主题的默认分区数,默认值1。分区数越多,可并行的消费者越多,但会导致代理服务器处理更多的文件。

num.recovery.threads.per.data.dir:每个数据目录的线程数量,在启动时恢复日志和关闭时冲洗使用。建议和RAID队列中的数据目录一同增加。

日志写入磁盘策略

log.flush.interval.messages:两条消息的写入磁盘的间隔时间,默认值10000,单位毫秒。

log.flush.interval.ms:将消息强制写入磁盘前,消息占用日志文件的最大时间。

日志保存策略

log.retention.hours:日志最少保存时间,即超过某时间后才可能被删除,默认值168,单位小时。

log.retention.bytes:日志文件的最大存储容量,默认1073741824,单位字节。

log.segment.bytes:单个日志文件的最大存储容量,默认1073741824,单位字节。

log.retention.check.interval.ms:日志可以删除的最早时间,默认为300000,单位毫秒。即日志只有在创建5分钟后才可以删除。

Broker总共有130项配置,这里就不一一详解了,感兴趣的小伙伴请参考这里

时间: 2024-10-11 05:50:34

Kafka Broker常用配置详解的相关文章

logback logback.xml 常用配置详解

一:根节点 包含的属性: scan: 当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true. scanPeriod: 设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒.当scan为true时,此属性生效.默认的时间间隔为1分钟. debug: 当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态.默认值为false. 例如: <configuration scan="true" scan

logback logback.xml常用配置详解(三) &lt;filter&gt;

转自:logback logback.xml常用配置详解(三) <filter> logback 常用配置详解(三) <filter> <filter>: 过滤器,执行一个过滤器会有返回个枚举值,即DENY,NEUTRAL,ACCEPT其中之一.返回DENY,日志将立即被抛弃不再经过其他过滤器:返回NEUTRAL,有序列表里的下个过滤器过接着处理日志:返回ACCEPT,日志会被立即处理,不再经过剩余过滤器. 过滤器被添加到<Appender> 中,为<

logback logback.xml常用配置详解(二)&lt;appender&gt;

logback 常用配置详解(二) <appender> <appender>: <appender>是<configuration>的子节点,是负责写日志的组件. <appender>有两个必要属性name和class.name指定appender名称,class指定appender的全限定名. 1.ConsoleAppender: 把日志添加到控制台,有以下子节点: <encoder>:对日志进行格式化.(具体参数稍后讲解 ) &

logback 常用配置详解(二) &lt;appender&gt;

logback 常用配置详解(二) <appender> <appender>: <appender>是<configuration>的子节点,是负责写日志的组件. <appender>有两个必要属性name和class.name指定appender名称,class指定appender的全限定名. 1.ConsoleAppender: 把日志添加到控制台,有以下子节点: <encoder>:对日志进行格式化.(具体参数稍后讲解 ) &

logback 常用配置详解&lt;appender&gt;

logback 常用配置详解 <appender> <appender>: <appender>是<configuration>的子节点,是负责写日志的组件. <appender>有两个必要属性name和class.name指定appender名称,class指定appender的全限定名. 1.ConsoleAppender: 把日志添加到控制台,有以下子节点: <encoder>:对日志进行格式化.(具体参数稍后讲解 ) <

Varnish常用配置详解

实现负载均衡 varnish所支持的调度方式有以下几种: 1.round-robin        #加权轮询,因为每个backend都有它的权重 2.random             #随机 3.dns                #基于DNS名称解析之后进行调度 例: 定义多个backend directorNAME  scheduler {     .retries = 2;     {          .backend = b1;          .weight = 2;   

logback常用配置详解及logback简介

logback 简介(一) Ceki Gülcü在Java日志领域世界知名.他创造了Log4J ,这个最早的Java日志框架即便在JRE内置日志功能的竞争下仍然非常流行.随后他又着手实现SLF4J 这个“简单的日志前端接口(Façade)”来替代Jakarta Commons-Logging . LOGBack,一个“可靠.通用.快速而又灵活的Java日志框架”. 要在工程里面使用logback需要以下jar文件: slf4j-api-1.6.1.jar 官网网址:http://www.slf4

oracle init.ora常用配置详解

参考网上整理了重要的配置文件 db_name = "51cto"   一个数据库标识符,应与CREATE DATABASE 语句中指定的名称相对应. instance_name = 51cto在多个例程使用相同服务名的情况下,用来唯一地标识一个数据库例程. INSTANCE_NAME 不应与 SID 混淆,它实际上是对在一台主机上共享内存的各个例程的唯一标识. service_names =  51cto为 Net8 监听程序可用于识别一个服务 (如:复制环境中的一个特定数据库) 的例

logback 常用配置详解(序)logback 简介

logback 常用配置详解(序)logback 简介 摘自:http://aub.iteye.com/blog/1101222 博客分类: Log java loglogback 原创文章,转载请指明出处:http://aub.iteye.com/blog/1101222, 尊重他人即尊重自己 详细整理了logback常用配置, 不是官网手册的翻译版,而是使用总结,旨在更快更透彻的理解其配置 logback 常用配置详解(序)logback 简介 logback 常用配置详解(一)<confi