基于SASL+ACL 的Kafka集群内外网访问

需求：阿里云ECS服务器上部署了Kafka伪集群，要求内网其他机器访问时broker走内网网卡，外部用户访问均走公网网卡

IP：内网：10.130.10.10 外网：12.12.12.12

解决方法：

         1. 先在/etc/hosts文件中添加解析记录
            10.130.10.10   SvrInside 
                
          2. 修改server.properties
               port 9092
               listeners=SASL_PLAINTEXT://0.0.0.0:9092
              advertised.listeners=SASL_PLAINTEXT://12.12.12.12:9092
              advertised.host.name=SvrInside          
          
              其他两个节点只需要修改配置文件中的端口即可
    
           3.测试
              内网客户端访问:
           --borker-list 10.130.10.10:9092
           
              外网客户端访问:
           --borker-list 12.12.12.12:9092

原文地址：http://blog.51cto.com/xiaoyouyou/2061570

时间： 2024-10-08 15:55:17

基于SASL+ACL 的Kafka集群内外网访问的相关文章

基于docker环境搭建kafka集群（三台真机之间）

环境基于docker,三台物理主机192.168.0.27.192.168.0.28.192.168.0.29,每台主机部署一个zookeeper节点,一个kafka节点,共三个zookeeper节点,三个kafka节点,容器之间的网络采用host模式 1.拉取镜像 2.启动容器 step1. 创建配置文件zoo.cfg并替换容器内的该文件,不同的镜像有可能zoo.cfg位置不同 # The number of milliseconds of each tick tickTime=2000 #

Kafka 集群配置SASL+ACL

** Kafka 集群配置SASL+ACL 测试环境:** 系统: CentOS 6.5 x86_64 JDK : java version 1.8.0_121 kafka: kafka_2.11-1.0.0.tgz zookeeper: 3.4.5 ip: 192.168.49.161 (我们这里在一台机上部署整套环境) kafka 名词解析: Broker: Kafka 集群包含一个或多个服务器,这种服务器被称为broker Topic: 每条发布到Kafka 集群的消息都有一个类别,这个类

HyperLedger Fabric基于zookeeper和kafka集群配置解析

简述在搭建HyperLedger Fabric环境的过程中,我们会用到一个configtx.yaml文件(可参考Hyperledger Fabric 1.0 从零开始(八)--Fabric多节点集群生产部署),该配置文件主要用于构建创世区块(在构建创世区块之前需要先创建与之对应的所有节点的验证文件集合),其中在配置Orderer信息中有一个OrdererType参数,该参数可配置为"solo" and "kafka",之前博文所讲的环境配置皆是solo,即单节点共

kafka集群精华之-----安装配置、扩容、监控

kafka集群细节支出折磨我死去活来,查看众多文档进度缓慢,内容重复,所以站在大佬的肩膀上整理文档记录它. kafka说明: 一个Topic可以认为是一类消息,每个topic将被分成多个partition(区),,此外kafka还可以配置partitions需要备份的个数(replicas).有多少个partitions就意味着有多少个"leader",kafka会将"leader"均衡的分散在每个实例上,来确保整体的性能稳定. kafka是通过zookeeper

kafka集群管理工具kafka-manager部署安装

一.kafka-manager 简介为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能: 1.管理多个kafka集群2.便捷的检查kafka集群状态(topics

如何为Kafka集群选择合适的Partitions数量

转载http://blog.csdn.net/odailidong/article/details/52571901 这是许多kafka使用者经常会问到的一个问题.本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式. 文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 4 越多的分区可能增加端对端的延迟 5 越多的partition意味着需要客户端需要更多的内存 6 总结越多的分区可以提供更高的吞吐量首

kafka集群维护

kafka集群基本信息实时查看和修改: 集群信息实时查看(topic工具) kafka-topics,sh --list --zookeeper x.x.x.x kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name 集群信息实时修改(topic工具) 提高topic并发,通过增加topic的partition数来解决. 现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行""describe topics&

KAFKA集群搭建

一.简介 Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成. Kafka适合做什么? 官方文档介绍,它通常被使用在两大类应用中: 搭建实时数据流管道,在系统或应用之间可靠的获取数据搭建对数据流进行转换或相应的实时流应用程序. 为了了解Kafka具体如何实现这些功能, 首先理解几个概

kafka集群配置与测试

刚接触一些Apache Kafka的内容,用了两天时间研究了一下,仅以此文做相关记录,以供学习交流. 概念: kafka依赖的项: 1. 硬件上,kafka利用线性存储来进行硬盘直接读写. 2. kafka没有使用内存作为缓存. 3. 用zero-copy. 4. Gzip和Snappy压缩, 5. kafka对事务处理比较弱,但是message分发上还是做了一定的策略来保证数据递送的准确性的. kafka关于存储的几个概念 1. Partition:同一个topic下可以设置多个partit