centos kafka单包单机部署

kafka下载地址

http://kafka.apache.org/downloads.html

在这里下载kafka_2.11-0.10.0.0.tgz,kafka和zookeeper都用同一个包里的

安装和配置jdk(略过)

JAVA_HOME=/opt/jdk1.8.0_131
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) Server VM (build 25.131-b11, mixed mode)

解压后kafka_2.11-0.10.0.0.tgz,

先配置zookeeper

$cd  kafka_2.11-0.10.0.0
$vi config/zookeeper.properties 
dataDir=/data/programs/kafka_2.11-0.10.0.0/data
dataLogDir=/data/programs/kafka_2.11-0.10.0.0/logs
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10

配置后直接启动zookeeper

$bin/zookeeper-server-start.sh config/zookeeper.properties 
如果没有报错,可以转后台启动
$nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

再配置kafka

$ vi config/server.properties
broker.id=0
port=9092
host.name=192.168.12.105
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/logs/kafka
num.partitions=2
num.recovery.threads.per.data.dir=1
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

启动kafka
$ bin/kafka-server-start.sh config/server.properties
如果没有报错,可以转后台启动
$nohup bin/kafka-server-start.sh config/server.properties &

测试kafka

1、创建topic 
$bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

2、查看创建的topic 
$ bin/kafka-topics.sh -list -zookeeper localhost:2181 
test

3、生产消息测试 
$bin/kafka-console-producer.sh --broker-list 192.168.12.105:9092 --topic test 
this is test          #输入后回车

4、消费消息测试 
$bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
this is test

完成以上代表kafka单包机安装成功。

时间: 2024-08-09 11:31:43

centos kafka单包单机部署的相关文章

Kafka原理及单机部署

博文大纲:一.kafka介绍及原理二.部署单机kafka 一.kafka介绍及原理 kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写.它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可

linux单机部署kafka(filebeat+elk组合)

filebeat+elk组合之kafka单机部署 准备: kafka下载链接地址:http://kafka.apache.org/downloads.html 在这里下载kafka_2.12-2.10.0.0.tgz(kafka和zookeeper都用同一个包里的). 一.安装和配置jdk(下载jdk,配置环境即可) JAVA_HOME=/opt/jdk1.8.0_131 CLASSPATH=.:$JAVA_HOME/lib.tools.jar PATH=$JAVA_HOME/bin:$PATH

Kafka介绍及安装部署

本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件 消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1

openstack swift 源码分析之swift单机部署

本文对在单机部署swift 其中每一个细节做详细的介绍,并对配置做相应的解释 PC物理机    Ubuntu-12.04-desktop-64位 Swift 版本:1.13.1 Swift-client   1.2.0 注意:本文所有操作都是在root权限下进行的. 1 .下载swift 和swift-client 源代码,本文利用git从github获取其源代码 获取swift源代码 git clone https://github.com/openstack/swift.git 获取pyth

Spark-1.4.0单机部署(Hadoop-2.6.0采用伪分布式)【已测】

??目前手上只有一个机器,就先拿来练下手(事先服务器上没有安装软件)尝试一下Spark的单机部署. ??几个参数: ??JDK-1.7+ ??Hadoop-2.6.0(伪分布式): ??Scala-2.10.5: ??Spark-1.4.0: ??下面是具体的配置过程 安装JDK 1.7+ [下载网址]http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 环境变量设置(最好不要采用o

Linux平台oracle 11g单实例 安装部署配置 快速参考

1.重建主机的Oracle用户 组 统一规范 uid gid 以保证共享存储挂接或其他需求的权限规范 userdel -r oracle groupadd -g 500 oinstall groupadd -g 501 dba useradd -g oinstall -G dba -u 500 oracle #id oracle uid=500(oracle) gid=500(oinstall) 组=500(oinstall),501(dba) 2.安装好Oracle 需要的rpm包.安装rpm

RocketMQ 消息队列单机部署及使用

转载请注明来源:http://blog.csdn.net/loongshawn/article/details/51086876 相关文章: <RocketMQ 消息队列单机部署及使用> < java编写简单消息队列.实现高德坐标变形服务> 0 RocketMQ简单介绍 0.1 介绍 RocketMQ是一个消息中间件. 消息中间件中有两个角色:消息生产者和消息消费者.RocketMQ里相同有这两个概念.消息生产者负责创建消息并发送到RocketMQ服务器.RocketMQ服务器会将

Openstack 单控制节点部署实例

一.前期准备 1.openstack集群设备列表 10.240.216.101 os-node1    控制节点(ceph mon mds节点) 10.240.216.102 os-node2    计算节点(ceph mon mds节点) 10.240.216.103 os-node3    计算节点(ceph mon mds节点) 10.240.216.104 os-node4    存储节点(ceph osd节点) 10.240.216.105 os-node5    存储节点(ceph

ETL作业调度软件TASKCTL4.1单机部署

单机部署,实际上就是将EM节点和一个Server节点安装到同一个地方.EM节点是TASKCTL服务端的最顶层,主要负责客户端与服务端之间的通信.Server节点是TASKCTL的调度服务控制层,也有Agent节点的部分功能,能够直接执行任务.下面我们来看看单机部署的过程. 先释放tar包的文件 tar vxf taskctlforlinux32_4.1.3.tar1 在安装之前,我们需要先设置好环境变量,请注意,这里是分别安装到同一台服务器的不同账户下,所以只需要在root账户下设置一次环境变量