kafka之config/server.properties配置参数说明

每个kafka broker中配置文件server.properties默认必须配置的属性如下: [java] view plaincopy broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka-logs

一.目录结构 二.pom文件 <!-- 配置服务依赖 --> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId> </dependency> <!-- Eureka 客户端依赖--> <dependency> <groupId&

http://blog.csdn.net/lizhitao/article/details/25667831  -- 参考文章 http://kafka.apache.org/documentation.html#serverconfig --官网

一.集群安装 1. Kafka下载: 可以从kafka官方网站(http://kafka.apache.org)上找到下载地址,再wgetwget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz 解压该文件: tar zxvf kafka_2.10-0.8.2.2.tgz 注意kafka依赖于zookeeper和scala,以上tgz文件名中的2.10即为scala的版本号 zk和scala的安装在此不再赘述

一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.129   主机名:kafka01 192.168.145.130              kafka02 192.168.145.131              kafka03 4.本次安装版本:kafka_2.10-0.8.2.0 5.注意事项 ①:kafka依赖zookeeper集群. ②:集

一.介绍 Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成.Kafka最初是由LinkedIn开发,并于2011年初开源.2012年10月从Apache Incubator毕业.该项目的目标是为处理实时数据提供一个统一.高通量.低等待的平台. 二.安装环境kafka server IP: 10.0.0.25 10.0.0.26 操作系统: CentOS 6.5 x86_64 须用到的软件包: jdk-1.7.0_65-fcs.x86_64 java-

(一).环境介绍1.服务器的相关设置:1.kafka1:172.20.67.522.kafka2:172.20.67.563.kafka3:172.20.67.57 2.zookeeper所需的三个端口1.21812.28883.3888三个端口的作用:2181:对客户端提供服务2888:集群内机器通讯使用(Leader监听此端口)3888:选举leader使用 3.kafka 所需的端口9092:kafka所需的端口 (二).kafka集群的安装配置 (1).kafka1172.20.67.5

通常而言我们的kafka的配置如下所示: broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka-logs num.partitions=2 log.retention.hours=168 log.segm

Kafka配置优化其实都是修改server.properties文件中参数值 1.网络和io操作线程配置优化 # broker处理消息的最大线程数        num.network.threads=xxx    #  broker处理磁盘IO的线程数        num.io.threads=xxx 建议配置: 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1. num.io.threads主要进行磁盘io操作,高峰