kafka-2安装实战篇

了解好kafka的基础概念之后,可以开始动手,

环境:centos7,

官方教程

http://kafka.apache.org/quickstart#quickstart_download

安装java环境,安装jdk(推荐,也省事)

Centos :

yum -y update

yum -y install java

Ubuntu :

sudo apt-get update

sudo apt-get install java

或者也可以通过源码手动安装(如果上面的执行了,这一步到重启环境变量,可以直接跳过了)

http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

tar zxvf jdk-8u65-linux-x64.tar.gz

mv jdk1.8.0_65 java

mv java /java

#设置环境变量,生效

vi .bash_profile

JAVA_HOME=/java

PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME PATH

#重新启动环境变量,使配置生效

source .bash_profile

下载kafka

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz

> tar -xzf kafka_2.11-0.10.2.0.tgz

> cd kafka_2.11-0.10.2.0

启动zookeeper服务

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

#可以通过ps aux | grep zookeeper

查看起来没有

#编辑kafka配置变量,几个重要的设置

vim config/server.properties
num.partitions = 10   #设置partitions数量,在客户端消费时指定多少个线程并发
listeners=PLAINTEXT://192.168.1.200:9092     #设置本机的监听ip及端口,如果为127.0.0.1那从其他机器上将连接不了,需要把192.168.1.200(我的ip)设置成你自己本机的真实ip
#设置日志的保存时间,是按byt保存还是按照时间,超过的会自动删除
log.retention.bytes=1073741824
log.retention.hours=168
zookeeper.connect=localhost:2181#本地监听的zookeeper端口,默认即可

启动kafka

bin/kafka-server-start.sh config/server.properties

vim /etc/iptables.startup

#增加

-A KAFKA -p tcp -m tcp --dport 10050 -j ACCEPT

#重启,生效

iptables-restore < /etc/iptables.startup

#查看list

iptables -L

#设置完成后在本地telnet下本机的10050通么,通的话再从其他机器telnet测试下

#如果需要重启kafka或者zookeeper,执行下面kill命令,再重新执行上面启动命令就可以了

ps -ef | grep kafka |awk ‘{print $2}‘|xargs kill -9

时间: 2024-12-11 10:10:28

kafka-2安装实战篇的相关文章

vue + experss项目搭建 + mongodb下载安装 + 实战篇

一:vue 项目搭建 二:experss项目搭建 三:mongodb下载安装(转自网络)Ayers 四:实战篇(转自网络)highsea

漫游kafka实战篇之搭建Kafka开发环境

转载注明出处:http://blog.csdn.net/honglei915/article/details/37563647 上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topic,发送和接收消息.下面我们来搭建kafka的开发环境. 添加依赖 搭建开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了.不过我们使用另一种更加流行的方式:使用maven管理jar包依赖. 创建好mav

第89课:SparkStreaming on Kafka之Kafka解析和安装实战

本篇博文将从以下方面组织内容: 1. Kafka解析 2. 消息组件Kafka 3. Kafka安装 实验搭建所需要的软件: kafka_2.10-0.9.0.1 Zookeeper集群已经安装好.在上一篇博文有安装步骤,不清楚的朋友可以参考下. 一:Kafka解析 1. Kafka是生产者和消费者模式中广播概念,Kafka也可以实现队列的方式. 2. Kafka不仅是一个消息中间键,还是一个存储系统,可以将流进来的数据存储一段时间.这就与传统的流式处理不一样,传统的流式处理处理完数据之后就消失

XenApp_XenDesktop_7.6实战篇之十九:安装、升级和配置StoreFront 3.0

CitrixXenDesktop7.6 Feature Pack 2中发布了StoreFront 3.0,本章节为大家分享如何全新部署.升级和配置StoreFront 3.0.默认XenDesktop 7.6光盘自带的StoreFront版本为2.6.0.5031.注意升级和全新部署StoreFront 3.0使用的安装程序是一致的. 1.  全新部署StoreFront 3.0 1.1   将CTXSF01服务器加入域,并使用具备本地管理员权限的域账户进行登录 1.2   运行StoreFro

第89课:Spark Streaming on Kafka解析和安装实战

本课分2部分讲解: 第一部分,讲解Kafka的概念.架构和用例场景: 第二部分,讲解Kafka的安装和实战. 由于时间关系,今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功.后续课程会接着讲解如何集成Spark Streaming和Kafka. 一.Kafka的概念.架构和用例场景 http://kafka.apache.org/documentation.html#introdution 1.Kafka的概念 Apache Kafka是分布式发布-订阅消息系统.它最初由Linked

第89讲:Spark Streaming on Kafka解析和安装实战

本课分2部分讲解: 第一部分,讲解Kafka的概念.架构和用例场景: 第二部分,讲解Kafka的安装和实战. 由于时间关系,今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功.后续课程会接着讲解如何集成Spark Streaming和Kafka. 一.Kafka的概念.架构和用例场景 http://kafka.apache.org/documentation.html#introdution 1.Kafka的概念 Apache Kafka是分布式发布-订阅消息系统.它最初由Linked

Kafka Eagle安装详情及问题解答

1.概述 最近有很多同学给笔者留言,说在安装Kafka Eagle的时候,会遇到一些问题,请教如何解决?今天笔者就在这里总结一下安装步骤,和一些安装的注意事项,以及解决方式. 2.内容 在安装Kafka Eagle之前,可能新接触的同学对Kafka Eagle不太了解,那我们现在简要介绍一下Kafka Eagle. 源代码地址:https://github.com/smartloli/kafka-eagle (感兴趣的同学可以关注一波) 2.1 Kafka Eagle是什么? Kafka Eag

caffe框架下目标检测——faster-rcnn实战篇操作

原有模型 1.下载fasrer-rcnn源代码并安装 git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git 1)  经常断的话,可以采取两步: git clone https://github.com/rbgirshick/py-faster-rcnn.git 2)  到py-faster-rcnn中,继续下载caffe-faster-rcnn,采取后台跑: git submodule update --in

Systemd 入门教程:实战篇

Systemd 入门教程:实战篇 上一篇文章,介绍了 Systemd 的主要命令,这篇文章主要介绍如何使用 Systemd 来管理我们的服务,以及各项的含义: 一.开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件,如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例). $ sudo systemctl enable httpd 上面的命令相当于在/etc/systemd/system目