Kafka 笔记1

Kafka 是对日志文件进行 append 操作,因此磁盘检索的开支是较小的;同时

为了减少磁盘写入的次数,broker 会将消息暂时 buffer 起来,当消息的个数(或大小)达到
一定阀值时,再 flush 到磁盘,这样减少了磁盘 IO 调用的次数。

需要考虑的影响性能点很多多,除磁盘 IO 之外,我们还需要考虑网络 IO,这直接关系到
Kafka 的吞吐量问题。Kafka 并没有提供太多高超的技巧;对于 producer 端,可以将消息 buffer
起来,当消息的条数达到一定阀值时,批量发送给 broker;对于 consumer 端也是一样,批
量 fetch 多条消息。

因此启用消息压缩机制是一个良好的策略;压缩需要消耗少量的 CPU 资源。

时间: 2024-11-14 21:18:03

Kafka 笔记1的相关文章

Kafka笔记整理(一)

[TOC] Kafka笔记整理(一) Kafka简介 消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列 Queue 一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素.入队.出队. 消息队列 MQ 消息+队列,保存消息的队列.消息的传输过程中的容器:主要提供生产.消费接口供外部调用做数据的存储和获取. MQ分类 MQ主要分为两类:点对点(p2p).发布订阅(P

Kafka笔记整理(二):Kafka Java API使用

[TOC] Kafka笔记整理(二):Kafka Java API使用 下面的测试代码使用的都是下面的topic: $ kafka-topics.sh --describe hadoop --zookeeper uplooking01:2181,uplooking02:2181,uplooking03:2181 Topic:hadoop PartitionCount:3 ReplicationFactor:3 Configs: Topic: hadoop Partition: 0 Leader:

Kafka笔记整理(三):消费形式验证与性能测试

[TOC] Kafka笔记整理(三):消费形式验证与性能测试 Kafka消费形式验证 前面的<Kafka笔记整理(一)>中有提到消费者的消费形式,说明如下: 1.每个consumer属于一个consumer group,可以指定组id.group.id 2.消费形式: 组内:组内的消费者消费同一份数据:同时只能有一个consumer消费一个Topic中的1个partition: 一个consumer可以消费多个partitions中的消息.所以,对于一个topic,同一个group中推荐不能有

Kafka笔记

最近做的一个项目需要跟Kafka打交道,学习了很多相关知识,就到这里来汇总一下. kafka是一个传递消息的系统,原本是用来快速记录海量log的,现在也经常用作消息队列.它主要由三个部分组成,producer,broker以及consumer.producer发布消息,broker存储消息,consumer接收消息. 发布消息的时候,producer会把它发送到broker的某一个topic上.每条消息都只属于一个topic,而一个topic会有一个或多个partition.那一条消息属于这个t

kafka笔记-Kafka在zookeeper中的存储结构【转】

参考链接:apache kafka系列之在zookeeper中存储结构  http://blog.csdn.net/lizhitao/article/details/23744675 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: {    "version": "版本编号目前固定为数字1",    "partitions": {        &q

Kafka笔记-3-kafka配置文件介绍

四:kafka相关配置文件说明 4.1 server.properties 参数说明 broker.id =0 每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况 log.dirs=/data/kafka-logs kafka数据的存放地址,多个地址的话用逗号分割 /data/kafka-logs-1,/data/kafka-logs-2 port =9092 broker server服务端口 m

kafka笔记(一)

1.kafka应用场景 基于流数据的发布订阅消息系统.实时流数据的高效异步通信.基于流数据的高可用分布式存储! 不同的系统之间实时流数据管道; 2.官方一句话概括 kafka是一个分布式流数据平台:可以被用作消息队列,企业级消息系统,具备很强的容错能力;实时处理的能力; 3.kafka的使用 一般都是以集群的形式部署在一台或者多台服务器上:消息记录(数据)根据主题(topic)进行分类:每个记录都有一个key  value  和时间戳: 4.核心API 生产者API发布数据(记录)到一个或者多个

kafka 笔记

Quick Start 1.下载代码> tar -xzf kafka_2.11-1.0.0.tgz> cd kafka_2.11-1.0.0 2.启动服务(1) 单个zookeeper节点> bin/zookeeper-server-start.sh config/zookeeper.properties[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.a

3 kafka介绍

 本博文的主要内容有 .kafka的官网介绍 http://kafka.apache.org/ 来,用官网上的教程,快速入门. http://kafka.apache.org/documentation kafka的官网文档教程. The Producer API allows an application to publish a stream records to one or more Kafka topics. The Consumer API allows an application