Kafka管理与监控——调优

1、JVM参数配置优化

如果使用的CMS GC算法,建议JVM Heap不要太大,在4GB以内就可以。JVM太大,导致Major GC或者Full GC产生的“stop the world”时间过长,导致broker和zk之间的session超时,比如重新选举controller节点和提升follow replica为leader replica。

JVM也不能过小,否则会导致频繁地触发gc操作,也影响Kafka的吞吐量。另外,需要避免CMS GC过程中的发生promotion failure和concurrent failure问题。CMSInitiatingOccupancyFraction=70可以预防concurrent failure问题,提前出发Major GC。

Kafka JVM参数可以直接修改启动脚本bin/kafka-server-start.sh 中的变量值。

export KAFKA_HEAP_OPTS="-Xms6G -Xmx6G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true"

2、打开JMX端口

主要是为了通过JMX端口监控Kafka Broker信息。可以在bin/kafka-server-start.sh中打开JMX端口变量。

export JMX_PORT=9999

原文地址:https://www.cnblogs.com/caoweixiong/p/11769674.html

时间: 2024-07-31 05:10:37

Kafka管理与监控——调优的相关文章

Java虚拟机内存模型及垃圾回收监控调优

Java虚拟机内存模型及垃圾回收监控调优 如果你想理解Java垃圾回收如果工作,那么理解JVM的内存模型就显的非常重要.今天我们就来看看JVM内存的各不同部分及如果监控和实现垃圾回收调优. JVM内存模型         正如你上图所看到的,JVM内存可以划分为不同的部分,广义上,JVM堆内存可以划分为两部分:年轻代和老年代(Young Generation and Old Generation) 年轻代(Young Generation) 年轻代用于存放由new所生成的对象.当年轻代空间满时,

性能测试分析与性能调优诊断--史上最全的服务器性能分析监控调优篇

一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行,那么服务器的性能监控和分析就显得非常重要了,选用什么配置的服务器.如何对服务器进行调优.如何从服务器监控中发现程序的性能问题. 如何判断服务器的瓶颈在哪里等 就成为了服务器性能监控和分析时重点需要去解决的问题了. 1     服务器的性能监控和分析 1.1      Linux服务器的性能指标监控和分析 1.1.1       通过vmstat深挖服务器的性能问题 1.1.2       如何通过mpstat 分析服务器的性能指标

spark监控调优

一.Spark运行时架构: Spark分布式结构采取 主/从 结构模式.主是驱动器(Driver)节点,这个节点负责中央协调,调度各个工作(执行器executor)节点. 从是执行器(executor)节点. Spark驱动器节点和执行器节点统称为Spark应用.Spark应用通过集群管理器在集群的机器上启动. 二.驱动器和执行器的任务: 驱动器任务:负责运行组成Spark作业的任务: 执行器任务:为要求缓存的RDD提供内存式存储. 三.集群管理器 Cluster Manager可以用来启动驱动

Kafka测试及性能调优详细总结

Kafka性能测试 测试背景 由于业务需求,针对kafka在不同参数下的性能进行测试.从而进行kafka性能调优 测试目标 测试kafka 0.8n的性能(Producer/Consumer性能).当消息大小.批处理大小.压缩等参数变化时对吞吐率的影响. 测试环境 软件版本:kafka 0.8.1.1 硬件环境:3台多云服务组成的kafka集群.各服务器CPU4核,内存16G,配置如下: 服务器IP: 203.150.54.215 203.150.54.216 203.150.54.217 测试

Eclipse 中设置JVM 内存及JVM监控调优

当我们在IDE控制台发现: 说明我们给jvm的持久代设置的值太小,此时你需要打开eclispe 中window->preferences->Java->Installed JRE ,点击右侧的Edit 按钮,在编辑界面中的 "Default VM Arguments "选项中,将-XX:PermSize及  -XX:MaxPermSize的值加大. 如果你懂jvm性能调优的话,从jstat监控中可以得知其中的关系.以下为实际演示操作: 1,按照如下图步骤将-XX:Pe

Python的内存管理机制及调优手段

内存管理机制:引用计数.垃圾回收.内存池 引用计数: 引用计数是一种非常高效的内存管理手段,当一个Python对象引用时其引用计数加一,当其不再被一个变量引用时则减一.当引用计数等于0时对象被删除. 1.引用计数: 引用计数也是一种垃圾收集机制,而且也是一种最直观,最简单的垃圾收集技术.当 Python 的某个对象的引用计数降为 0 时,说明没有任何引用指向该对象,该对象就成为要被回收的垃圾了.比如某个新建对象,它被分配给某个引用,对象的引用计数变为 1.如果引用被删除,对象的引用计数为 0,那

HBase 管理,性能调优

设置 Hadoop 来扩展磁盘 I/O 现代服务器通常有多个磁盘硬件来提供大存储能力.这些磁盘通常配置成 RAID 阵列,作为它们的出厂设置.这在很多情况下是有益的,但对 Hadoop 却不是. Hadoop 的 slave 节点存储了 HDFS 数据块和 MapReduce 临时文件在它的本地磁盘.这些本地磁盘操作受益于使用多个独立的磁盘来扩展磁盘 I/O. 在这方面,我们将描述怎样通过使用多个磁盘设置 Hadoop 来扩展磁盘 I/O. 准备工作 我们假设你的每个 DataNode 节点都有

Mysql监控调优

关系型数据库概念,有啥? 非关系型数据库概念,有啥? 要对表操作,是有权限控制的,我们自动会忽略这个权限问题 查询走硬盘的话,硬盘会影响性能.ssd>hdd 存储引擎:innerdb 首先,让我们来看一下SQL语句执行的过程,下面这个是我们平时写的SQL语句. SELECT DISTINCT < select_list > FROM < left_table > < join_type > JOIN < right_table > ON < jo

Kafka管理与监控——彻底删除topic

一.配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true,则调用kafka 的delete命令无法真正将topic删除,而是显示(marked for deletion) 二.停止消费 如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止. 因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新