Apache Kafka 1.0.0正式发布!

千呼万唤始出来,经过7年的发展与完善,Apache Kafka 1.0.0正式发布!在笔者看来,比起1.0.0引入的新功能,此版本最大的意义在于标识Kafka各种组件功能的稳定性。不过我们还是来看下1.0.0引入的一些新功能:

  • Kafka Streams API的优化:增加了一些全新的操作算子(operator),如cogroup等。另外print和writeAsText方法的改进更加方便了对Streams程序的调试
  • JMX监控指标的完善:引入了很多集群健康度检查指标,同时对Kafka Connect监控体系做了较大程度的补足
  • 正式支持Java 9:Java 9优化TLS和CRC32的性能(JEP 249以及引入了java.util.zip.CRC32C),因此在Java 9上启用Kafka安全后可以更快地进行数据加密以及checksum计算与校验
  • 优化SASL认证错误的处理:之前某些SASL认证异常没有清晰显式地与其他异常区分开来。1.0.0版本更加“优雅”地处理这些异常,参见KAFKA-4764
  • 强化对JBOD磁盘崩溃的处理:之前JBOD下Kafka无法容忍磁盘崩溃,会直接导致broker宕机。该新功能正式支持JBOD错误处理——笔者以为这是普通Kafka用户(没有使用Kafka Streams)最期待的两个1.0新功能之一
  • 幂等producer的优化:之前为了保证消息的顺序性,在启用幂等producer之后强制设置max.in.flight.requests.per.connection=1,因而影响producer的TPS。KAFKA-5949引入了新的算法使得在保持幂等和EOS的同时还能提升该参数上限到5,一定程度上缓解了对TPS的伤害
  • 替换ZkClient:这个特性未写在官方的Release Notes中,但实际上已经集成进1.0中。之前版本中Zookeeper的访问全部依赖于ZkClient以及Zookeeper的同步API,当分区数很多或请求数很多时controller的处理往往成为瓶颈。1.0版本使用了原生Zookeeper的异步API + 回调的方式,以期望提升controller与Zookeeper的交互性能。——笔者以为这是最期待的第二个1.0新功能

比起Apache Flink火箭速度的版本演进,Kafka 1.0发布的确有些慢了,不过我们总算是等到了这个正式版本。接下来问题来了,Confluent会把KSQL捐献给Apache社区吗:-)

时间: 2024-10-16 18:03:53

Apache Kafka 1.0.0正式发布!的相关文章

Spring for Apache Kafka 1.1.0 Milestone 2 发布

Spring for Apache Kafka 1.1.0 Milestone 2 发布了. 此版本进行了一些bug修复,及开发以下新功能: 1. 当使用 @KafkaListener 时,M2 可以处理一批讯息(腾云科技ty300.com).例如: 2. 您现在可以执行寻求监听操作--当 Kafka 进行群组管理进行了划分是,它允许设置初始化(基础教程qkxue.net).您还可以执行初始化后的任意操作. 详情请查看: https://spring.io/blog/2016/09/08/spr

Apache Kafka 0.11版本新功能简介

Apache Kafka近日推出0.11版本.这是一个里程碑式的大版本,特别是Kafka从这个版本开始支持"exactly-once"语义(下称EOS, exactly-once semantics).本文简要介绍一下0.11版本主要的功能变更,下面中的每一项都值得专门写篇文章好好聊聊. 一.修改unclean.leader.election.enabled默认值 Kafka社区终于下定决心要把这个参数的默认值改成false,即不再允许出现unclean leader选举的情况,在正确

实践部署与使用apache kafka框架技术博文资料汇总

前一篇Kafka框架设计来自英文原文(Kafka Architecture Design)的翻译及整理文章,很有借鉴性,本文是从一个企业使用Kafka框架的角度来记录及整理的Kafka框架的技术资料,也很有借鉴价值,为了便于阅读与分享,我将其整理一篇Blog.本文内容目录摘要如下: 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)

Apache Kafka安全| Kafka的需求和组成部分

1.目标 - 卡夫卡安全 今天,在这个Kafka教程中,我们将看到Apache Kafka Security 的概念  .Kafka Security教程包括我们需要安全性的原因,详细介绍加密.有了这个,我们将讨论Kafka Security可以轻松解决的问题列表.此外,我们将看到Kafka身份验证和授权.此外,我们将看看ZooKeeper身份验证.那么,让我们开始Apache Kafka Security. Apache Kafka安全| Kafka的需求和组成部分 2.什么是Apache K

Apache Flink 1.3.0正式发布及其新功能介绍

下面文档是今天早上翻译的,因为要上班,时间比较仓促,有些部分没有翻译,请见谅. 2017年06月01日儿童节 Apache Flink 社区正式发布了 1.3.0 版本.此版本经历了四个月的开发,共解决了680个issues.Apache Flink 1.3.0 是 1.x.y 版本线上的第四个主要版本,其 API 和其他 1.x.y 使用 @Public 注释的API是兼容的. 此外,Apache Flink 社区目前制定了每四月发行一个主要版本(Apache Flink 1.2.0 是201

Apache Spark 1.5.0正式发布

Spark 1.5.0是1.x线上的第6个发行版.这个版本共处理了来自230+contributors和80+机构的1400+个patches.Spark 1.5的许多改变都是围绕在提升Spark的性能.可用性以及操作稳定性.Spark 1.5.0焦点在Tungsten项目,它主要是通过对低层次的组建进行优化从而提升Spark的性能.Spark 1.5版本为Streaming增加了operational特性,比如支持backpressure.另外比较重要的更新就是新增加了一些机器学习算法和工具,

Apache Storm 1.1.0 中文文档 | ApacheCN

前言  Apache Storm 是一个免费的,开源的,分布式的实时计算系统. 官方文档: http://storm.apache.org 中文文档: http://storm.apachecn.org ApacheCN 最近组织了翻译 Storm 1.1.0 中文文档 的活动,整体 翻译进度 为 96%. 感谢大家参与到该活动中来 感谢无私奉献的 贡献者,才有了这份 Storm 1.1.0 中文文档 感谢一路有你的陪伴,我们才可以做的更好,走的更快,走的更远,我们一直在努力 ... 网页地址:

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN

Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)(离散化流) Input DStreams 和 Receivers(接收器) DStreams 上的 Transformations(转换) DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作 缓存 / 持久性 Checkpointing Accumulators, Broadcas

Apache Spark 2.2.0 中文文档 - Structured Streaming 编程指南 | ApacheCN

Structured Streaming 编程指南 概述 快速示例 Programming Model (编程模型) 基本概念 处理 Event-time 和延迟数据 容错语义 API 使用 Datasets 和 DataFrames 创建 streaming DataFrames 和 streaming Datasets Input Sources (输入源) streaming DataFrames/Datasets 的模式接口和分区 streaming DataFrames/Dataset