kafka外部访问设置

一、broker参数

broker.id:kafka集群的唯一标识。

log.dirs:kafka存储消息日志的目录,多个用逗号隔开,需要保证指定的目录有充足的磁盘空间。

zookeeper.connect:必须配置,指定kafka集群注册的zookeeper集群的地址。格式是:[主机名]:端口,多个使用逗号隔开。当多个kafka集群注册到同一个zookeeper集群时,必须在末尾指定chroot(即当前kafka集群注册到zookeeper的根目录),用于

将每个kafka集群隔离开,如:localhost:2181,localhost:2182/kafka_cluster1,此处的/kafka_cluster1就表示chroot。

listeners:该参数用于客户端连接broker端。格式:[协议]://[主机名]:[端口],多个使用逗号隔开。如果不指定主机名,则绑定默认网卡,若主机名是:0.0.0.0,则绑定多有网卡。kafka当前支持的协议包括:PLAINTEXT、SSL和SASL_SSL。对于未启用安全的

kafka集群,使用PLAINTEXT就可以了。否者使用SSL或者SASL_SSL。

advertised.listeners:和listeners类似,也是用于发布给clients的,不过该参数主要用于IaaS环境。对于有多块网卡的环境(公网网卡和私网网卡),可以指定该参数绑定公网IP,供外部clients使用,使用listeners绑定私网IP,公内部clients使用。

unclean.leader.election.enable:是否开启unclean leader选举,默认是false。表示如果ISR变空,而此时leader有宕机了,kafka不允许从剩下存活的非ISR副本中选择一个当leader,因为如果允许,虽然kafka可以继续为clients提供服务,但会造成数据丢失。

delete.topic.enable:是否允许删除topic及管理的所有数据,新版本默认允许。这是一个异步删除。

log.retention.{hours|minutes|ms}:该参数主要用于设置kafka消息持久化的时间,若同时设置,优先级是ms>minutes>hours,默认是保存7天。

log.retention.bytes:该参数主要控制kafka集群需要为每个消息日志保存多大的数据。对于大小超过了这个设置,kafka会自动清理过期的日志段文件。默认是1G。

min.insync.replicas:该参数主要配合producer的acks使用。当acks=-1,表示producer端寻求最高等级的持久化保证,而min.insync.replicas也只有在acks=-1时才有意义,它指定了broker端必须成功响应clients端消息发送的最少分片数才算成功。举个栗子:

加上某个topic的每个分片数为3,当min.insync.replicas=2,则表示我们容一台kafka机器宕机。

num.network.threads:控制一个broker在后台用于处理网络请求的线程数,默认3。这里的“处理”只是负责转发请求,他会将接收到的请求转发到后面的处理线程中。在正式环境中,用户需要不停的监控NetworkProcessorAvgIdlePercent JMX指标,若该指标

持续低于0.3,则需要调大该参数。

num.io.threads:这个参数是控制broker端实际处理网络请求的线程数,默认8,。kafka默认创建8个线程以轮询的方式不停的监听转发过来的网络请求并进行处理。kafka同样也为请求处理提供了一个JMX监控指标RequestHandlerAvgIdlePercent ,当指标低于0.3时,

则需要调大该参数。

message.max.bytes:kafka能够接受的最大消息大小,默认是977KB,用户可以根据需要进行设置。

二、topic参数

delete.retention.ms:每个topic可以设置自己的留存时间,以覆盖broker设置的全局留存时间。

max.message.bytes:覆盖全局的message.max.bytes。

retention.bytes:覆盖全局的log.retention.bytes。

FAQ

2018-05-02 14:49:18.916 WARN 11916 --- [ntainer#0-3-C-1] org.apache.kafka.clients.NetworkClient : [Consumer clientId=consumer-4, groupId=cwenao-group] Connection to node 0 could not be established. Broker may not be available.

0.10.x broker配置弃用了advertised.host.name和 advertised.port这两个个配置项,就配置advertised.listeners就可以了。

原文地址:https://www.cnblogs.com/zhjh256/p/11606955.html

时间: 2024-11-11 00:10:01

kafka外部访问设置的相关文章

linux mysql 数据库开启外部访问设置指南

Linux下设置MySQL和允许外部机器访问,具体目录是具体情况而定,有的人是安装了在个人目录下,则找到对应的目录则可以 Linux下设置MySQL和允许外部机器访问sudo vi /etc/my.cnf 具体目录是具体情况而定,有的人是安装了在个人目录下,则找到对应的目录则可以. 一.配置文件的修改 1.#sudo vim /etc/mysql/my.conf 找到 bind-address = 127.0.0.1 注释掉这句话 二.Mysql数据库的修改 1) [[email protect

Redis 外部访问设置

1.错误原因 Redis搭建好后一般都是使用编程语言进行连接调用,默认Redis的设置是不允许外界访问的,连接Redis只能通过本地(127.0.0.1)来连接,而不能使用网络IP(192.168.1.x)来连接,如果需要请修改配置文件redis.conf 2.解决方案 进入Redis目录打开Redis.conf配置文件 1>注释掉bind #bind 127.0.0.1 2>默认不是守护进程方式运行,这里可以修改 daemonize no 3>禁用保护模式 protected-mode

centos7 打开mysql 3306端口并 设置外部访问

mysql安装后默认是localhost访问,如果需要外部访问可以设置一个新的账号把host改为%,意味着所有ip均可以访问 grant all privileges on *.* to 'outUser'@'%' identified by '12' with grant option 然后 flush privileges; 就可以使用outUser账户密码12来外部访问,有的时候无法访问需要打开防火墙开放端口 centos 7 中使用的是firewall-cmd命令 # firewall-

mysql 设置可以外部访问

GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;   --授权可以外部访问 GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;   --授权可以外部访问

2016/07/07 wamp中apache2.4.9允许外部访问的配置 重点是版本 版本不同配置效果不同

wamp安装包中安装好服务器之后只能使用127.0.0.1来访问了,如果我们要设置多个站点或其它像192.168.1.1这种就需要进行一下修改,具体步骤如下. wamp-apache2.4.9允许外部访问的配置,apache2.2配置外网访问的方法跟apache2.4.9的有点不同 apache2.2配置方法: 打开apache目录下的httpd.conf配置文件,找到关键字:”deny from”,会发现一处 “deny from”下有一行”Allow from 127.0.0.1″ ,然后将

局域网电脑外部访问

对于一个码农而言,一个可以稳定存储代码的服务器是很有必要的.不管是打开家里的机器.笔记本.实验室的机器,需要做的第一件事就是更新到更新的代码:而一个功能点完成后,也需要把代码提交到服务器. 以前一直用实验室的电脑当我自己的服务器,不过自从实验室遭了一次黑客攻击,为了数据安全,实验室的网络就被整成了一个纯内网.只想说,真是坑爹啊! 后来就把家里的电脑整成了服务器,不过因为家里是一个局域网,在外面又访问不了:要配置成让外网可以访问,又怕麻烦. 直到今天发现原来这也不是一件很难的事.在路由器里,有一个

C# Web应用调试开启外部访问

在用C#开发Web应用时有个痛点,就是本机用VS开启Web应用调试时外部机器无法访问此Web应用.这里将会介绍如何通过设置允许局域网和外网机器访问本机的Web应用. 目录 1. 设置内网访问 2. 设置外网访问 1. 设置内网访问 在设置之前,本机环境如下: 操作系统:win7 IDE:Visual Studio 2010 应用:ASP.net 想要实现局域网内其他机器访问本机web应用包含以下4步: 第一步:设置启动方式为IIS Express Visual Studio 运行Web应用时,默

私有字段private也可以外部访问

<?php//私有字段private也可以外部访问class nowamagic { private $domain; function __get($key){ return "使用get访问属性".$this->$key; } function __set($key,$value){ $this->$key = $value; echo("使用set设置属性$key, 赋值为:<font color=red>$value</font&g

centos 下安装jdk、tomcat 以及tomcat无法从外部访问的解决办法

centos 下安装jdk.tomcat 以及tomcat无法从外部访问的解决办法 原创 2014年08月28日 10:24:33 标签: selinux enforce cent 2223 昨天在centos下安装了jdk和tomcat,并调试通,之前从Ubuntu下装过,还没有从centos弄过,记录一下安装过程与出现的问题. 首先准备好安装文件,jdk-6u45-linux-i586-rpm.bin  apache-tomcat-6.0.41.tar.gz 进入目录 [html] view