kafka 集群搭建

环境：ubuntu14.04

版本：jdk1.8，zookeeper 3.4.10，kafka 2.11

搭建步骤：

1. 搭建zookeeper集群

2. 下载kafka源码包，并上传到服务器

下载链接：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

3. 解压kafka源码包

tar -zxvf kafka_2.11-1.0.0.tgz

4. 创建kafka-log文件夹

mkdir -p ~/data/kafkalog

5. 修改kafka配置文件

6. 启动kafka

## 前台启动-启动无误，使用后台启动命令
./bin/kafka-server-start.sh config/server.properties
## 后台启动
nohup ./bin/kafka-server-start.sh config/server.properties &

时间： 2024-09-28 13:05:51

kafka 集群搭建的相关文章

KAFKA集群搭建

一.简介 Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用.目前越来越多的开源分布式处理系统如Cloudera.Apache Storm.Spark都支持与Kafka集成. Kafka适合做什么? 官方文档介绍,它通常被使用在两大类应用中: 搭建实时数据流管道,在系统或应用之间可靠的获取数据搭建对数据流进行转换或相应的实时流应用程序. 为了了解Kafka具体如何实现这些功能, 首先理解几个概

kafka集群搭建和使用Java写kafka生产者消费者

kafka集群搭建 Java代码 1.zookeeper集群搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs 复制到其他两个节点,然后修改对应节点上的config/server.pro 3.启动,在三个节点分别执行 bin/kaf

kafka学习(三)-kafka集群搭建

kafka集群搭建下面简单的介绍一下kafka的集群搭建,单个kafka的安装更简单,下面以集群搭建为例子. 我们设置并部署有三个节点的 kafka 集合体,必须在每个节点上遵循下面的步骤来启动 kafka 服务器,kafka集群需要依赖zookeeper集群,上一篇已经说道了zookeeper的搭建,方法请参考:http://www.cnblogs.com/chushiyaoyue/p/5615267.html 1.环境准备测试服务器(2n+1)奇数台 192.168.181.128 ce

Kafka【第一篇】Kafka集群搭建

Kafka初识 1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行统计,分析出当前的流行趋势有些数据,存储数据库浪费,直接存储硬盘效率又低这些场景都有一个共同点: 数据是又上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布

消息队列之kafka(集群搭建)

1.kafka集群搭建 kafka安装包下载地址: 官网网址:http://kafka.apache.org/quickstart 中文官网:http://kafka.apachecn.org/quickstart.html 在 windows 平台,从官网下载:http://mirrors.hust.edu.cn/apache/kafka/1.1.0/ 在 centos 平台:wgethttp://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2

[Golang] kafka集群搭建和golang版生产者和消费者

一.kafka集群搭建至于kafka是什么我都不多做介绍了,网上写的已经非常详尽了. 1. 下载zookeeper https://zookeeper.apache.org/releases.html 2. 下载kafka http://kafka.apache.org/downloads 3. 启动zookeeper集群(我的示例是3台机器,后面的kafka也一样,这里就以1台代指3台,当然你也可以只开1台) 1)配置zookeeper. 修改复制一份 zookeeper-3.4.13/c

Linux下kafka集群搭建过程记录

环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列,所以需要有zookeeper单机或者集群环境. 三台服务器: 172.16.18.198 k8s-n1 172.16.18.199 k8s-n2 172.16.18.200 k8s-n3 下载kafka安装包 http://kafka.apache.org/downloads 中下载,目前最新版本的kafka已经到2.2.0,我这里之前下载的是kafka_2.11-2.2.0.tgz. 安装ka

kafka集群搭建与apiclient创建

曾经的消息队列(activeMQ)对于大数据吞吐率不行,但kafka非常好的攻克了此类问题.而且以集群的方式进行扩展.可谓相当强大: 集群搭建方式很轻量级.仅仅需将tar包复制到server,解压,改动配置文件就可以: 1.tar -xzf kafka_2.9.2-0.8.1.1.tgz 2.改动配置文件: 节点1: vim config/server.properties broker.id=1 //全部集群节点中必须唯一 port=9092 //端口号(发送消息) log.dir=/tmp/

kafka集群搭建与api客户端创建

以前的消息队列(activeMQ)对于大数据吞吐率不行,但kafka很好的解决了此类问题,并且以集群的方式进行扩展,可谓相当强大: 集群搭建方式非常轻量级,只需将tar包拷贝到服务器,解压,修改配置文件即可: 1.tar -xzf kafka_2.9.2-0.8.1.1.tgz 2.修改配置文件: 节点1: vim config/server.properties broker.id=1 //所有集群节点中必须唯一 port=9092 //端口号(发送消息) log.dir=/tmp/kafka