Kafka安装之二 在CentOS 7上安装Kafka

一、简介

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息.Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。

二、系统环境

1、操作系统:64位 CentOS 7

2、jdk版本:1.8.0

3、zookeeper版本:zookeeper-3.4.10.tar.gz

4、三台服务器:192.168.1.91; 192.168.1.92; 192.168.1.93;

三、下载安装Kafka

进入kafka官方网站下载kafka 地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka-1.1.0-src.tgz

下载完kafka上传到CentOS服务上进行解压

tar zxvf kafka_2.11-0.8.2.2.tgz
mv kafka_2.11-0.8.2.2 kafka
cd kafka

四、 配置Kafka

4.1 进入Kafka配置目录配置

cd /usr/local/kafka/config/
vi server.properties

4.2 修改配置

Kafka的配置信息就是在server.properties里面配置的

找到下面两行代码并进行修改

broker.id=1

zookeeper.connect=192.168.1.91:2181,192.168.1.92:2181,192.168.1.93:2181

listeners = PLAINTEXT://192.168.1.92:9091

4.3 Kafka集群配置

拷贝Kafka到另外两台服务器然后修改配置

IP:192.168.1.92
broker.id=2
zookeeper.connect=192.168.1.91:2181,192.168.1.92:2181,192.168.1.93:2181
listeners = PLAINTEXT://192.168.1.92:9092
IP:192.168.1.93
broker.id=2
zookeeper.connect=192.168.1.91:2181,192.168.1.92:2181,192.168.1.93:2181
listeners = PLAINTEXT://192.168.1.92:9093

五、功能验证

5.1 开启三台服务的zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.propertie

5.2 开启三台服务器的Kafka服务

bin/kafka-server-start.sh config/server.properties

5.3 创建topic

使用kafka-topics.sh 创建单分区单副本的topic test:

bin/kafka-topics.sh --create --zookeeper 192.168.1.92:2181 --replication-factor 1 --partitions 1 --topic test

查看创建的topic test:

bin/kafka-topics.sh --list --zookeeper 192.168.1.92:2181

5.4 产生消息命令

使用kafka-console-producer.sh  命令向topic test 发送消息

bin/kafka-console-producer.sh --broker-list 192.168.1.92:9092 --topic test

5.5 消费消息

使用kafka-console-consumer.s 命令接受来自topic test的消息
bin/kafka-console-consumer.sh --zookeeper 192.168.1.92:2181 --topic test --from-beginning

原文地址:https://www.cnblogs.com/wuwei928/p/9025685.html

时间: 2024-11-09 01:02:30

Kafka安装之二 在CentOS 7上安装Kafka的相关文章

zabbix server3.0在centos 7上安装

安装前准备: 1.1 安装依赖包: yum -y install wget net-snmp-devel OpenIPMI-devel httpd openssl-devel java lrzsz fping-devel libcurl-devel perl-DBI pcre-devel libxml2 libxml2-devel mysql-devel gcc php php-bcmath php-gd php-xml php-mbstring php-ldap php-mysql.x86_6

CentOS 7上安装Zabbix Server 3.0 图文详解

转载自 http://www.linuxidc.com/Linux/2016-09/135204.htm CentOS 7上安装Zabbix Server 3.0 图文详解 1.查看系统信息. cat /etc/RedHat-releaseCentOS Linux release 7.0.1406 (Core) uname -a Linux VM_96_155_centos3.10.0-123.el7.x86_64 #1 SMP Mon Jun 30 12:09:22 UTC 2014 x86_

在CentOS 7上安装phpMyAdmin

原文 在CentOS 7上安装phpMyAdmin phpMyAdmin是一款以PHP为基础,基于Web的MySQL/MariaDB数据库管理工具.虽然已经存在着一些诸如Adminer的轻量级数据库管理工具, 但是phpMyAdmin还是更加广泛应用于网站管理员之中来进行各种MySQL/MariaDB的管理任务.它支持几乎所有MySQL数据库/表的相关操作,比如浏览.创建.复制.删除.重命名.更改,还有MySQL用户/权限管理和数据库导入/导出.以下就是如何在CentOS 6或7上安装phpMy

在CentOS 6上安装Apache和PHP

本文演示如何在CentOS 6上安装Apache和PHP.CentOS 6自带的是Apache 2.2.3和PHP 5.1.6,您可以使用默认的CentOS包管理器进行安装yum.使用yum(而不是使用源代码进行安装)的优点在于您可以获得任何安全更新(分发时),并且依赖关系被自动处理. 安装Apache 运行以下命令: sudo yum install httpd mod_ssl 因为服务器在安装Apache时不会自动启动,所以必须手动启动它. sudo /usr/sbin/apachectl

Linux Centos 系统上安装BT客户端 Transmission

Linux Centos 系统上安装BT客户端 Transmission Transmission是一种BitTorrent客户端,特点是一个跨平台的后端和其上的简洁的用户界面,以MIT许可证和GNU通用公共许可证双许可证授权,因此是一款自由软件,还被众多linux发行版,包括Ubuntu.Mandriva.Mint.Fedora.Puppy.openSUSE 选作默认BT下载工具:Imageshack的服务使用其技术. 上面已经提到了很多种Linux系统都内置了这软件,可是使用最广的Cento

[openfair]解决在centos x64 上安装openfire出现的错误

在centos x64 上安装openfire,运行  /etc/init.d/openfire start后发现服务器没法开启,查看log日志: nohup: failed to run command `/opt/openfire/jre/bin/java': No such file or directory 很奇怪,我是在centos上安装了java,openfire自带的jre就没法使用了,在论坛上搜索到下面的解决办法: http://community.igniterealtime.

在CentOS 7上安装Jenkins

在CentOS 7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/RedHat/jenkins.repo sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.keysudo yum install jenkins 如果没有java的话要安装java sudo yum ins

CentOS 7上安装 MongoDB数据库 4.0.0最新版

MongoDB简介 MongoDB(来自于英文单词"Humongous",中文含义为"庞大")是可以应用于各种规模的企业.各个行业以及各类应用程序的开源数据库.作为一个适用于敏捷开发的数据库,MongoDB的数据模式可以随着应用程序的发展而灵活地更新.与此同时,它也为开发人员提供了传统数据库的功能:二级索引,完整的查询系统以及严格一致性等等. MongoDB能够使企业更加具有敏捷性和可扩展性,各种规模的企业都可以通过使用MongoDB来创建新的应用,提高与客户之间的

在CentOS 7上安装Python3

在CentOS 7上安装Python3 源码包安装 Python官方没有对Linux打包, 需要下载源码包进行编译. 可以自己下载最新版本的Python, 在Python下载页面, 点击Python3.x.x版本对应的Download, 在新页面的Files下, 选择Source release, 选择Gzipped source tarball或者XZ compressed source tarball压缩方式的包, 我选择的是tgz压缩. Python3.6.5 下载源码包 wget htt