kafka单机部署文档

单机Kafka部署文档

最简单的使用方式,单机,使用自带的zookeeper

1.解压

下载地址:http://pan.baidu.com/s/1i4K2pXr

tar –zxvf kafka_2.10-0.10.0.1.tgz

2.修改配置

vim config/server.properties

修改项如下(有则修改,无则添加):

host.name=你的ip

listeners=PLAINTEXT://你的ip:9092

advertised.listeners=PLAINTEXT://你的ip:9092

zookeeper.connect=你的ip:2181

3.启动 (nohub 和 最后的 &都是为了后台启动,避免ctrl+c 或者关闭链接而kill)

启动zookeeper:nohup bin/zookeeper-server-start.sh config/zookeeper.properties 1>zookeeper.log 2>zookeeper.err &

启动kafka:nohup bin/kafka-server-start.sh config/server.properties &

4.创建topic 并查看

创建topic:bin/kafka-topics.sh --create --topic test --replication-factor 1 --partitions 1 --zookeeper Slave1:2181

查看list:bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

5.验证(收发消息)

发:bin/kafka-console-producer.sh --broker-list 你的IP:9092 –topic test

收:bin/kafka-console-consumer.sh --zookeeper  127.0.0.1:2181  --from-beginning --topic test

6.可能存在的问题

启动失败

  1. 报错说没有log.dirs=/tmp/kafka-logs,这个目录没有写权限,这时就得ll检查一下权限了,比如我用root安装,用work启动,就会遇到此问题
  2. 收不到消息:连不上zookeeper,但是zookeeper进程在,可能是因为 步骤2 没有修改IP,原因是kafk会自动获取,可能会获取出错。
  3. 假死:进程在,但是无法使用,或者调用 bin/zookeeper-server-stop.sh 和bin/kafka-server-stop.sh后进程依然在,就ps –ef | grep kafka , ps –ef | grep zookeeper手动kill -9 一下
时间: 2024-11-08 12:07:20

kafka单机部署文档的相关文章

hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclipse-plugin-2.5.0插件下载hadoop2.5.1汇总:最新编译 32位.64位安装.源码包.API下载及新特性等 新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍 从零教你在Linux环境下(ubuntu 12.04)如何编译hadoo

PPTP部署文档

PPTP部署文档 作者:尹正杰 前言:这款VPN部署起来特别简单,想对OPENVON配置起来方便多了,但是也带来了一些 不好的事情,经查阅资料,这款VPN在很多系统都不支持,在这里我并没有验证,因为我们 一般使用电脑去远程他的,而且都是基于微软的,所以你如果是只是微软访问的话这还是一 个不错的选择哟! 服务端配置: 1.更新yum源(首先要配好本地的yum源哟~) wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-

Sqlserver2008安装部署文档

Sqlserver2008部署文档 注意事项: 如果你要安装的是64位的服务器,并且是新机器.那么请注意,你需要首先需要给64系统安装一个.net framework,如果已经安装此功能,请略过这一步.   具体安装.net framework的方法是:在图标<我的电脑>上右击选择<管理>,打开以后选择<功能>选项卡,如下图所示,然后点击添加功能,勾选..net framework,然后一直点击下一步安装即可. 安装的过程中,需要注意如果你要安装的服务器有外挂或者附加的

loganalyzer部署文档-(第一部分)

loganalyzer部署文档 环境准备: 简介 LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端.它提供了对日志的简单浏览.搜索.基本分析和一些图表报告的功能.数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构.基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据中看出问题的解决方案. LogAnalyzer 获取客户端日志会有两种保存模式,一种是

VDP VMware 备份部署文档

文档内容 安装VDP ova虚拟机,部署VDP备份机制. 基础知识 vSphere Data Protection (VDP) 是一个基于磁盘的备份和恢复解决方案,可靠且易于部署. vSphere Data Protection 与 VMware vCenter Server 完全集成,可以对备份作业执行有效的集中式管理,同时将备份存储在经过重复数据消除的目标存储中,支持Web界面访问. 系统环境 操作系统:ESXi 6.0 预安装准备 在安装 vSphere Data Protection 之

Nginx部署文档(二进制包安装)

Nginx部署文档(二进制包安装) 创建时间:2016-06-27 修改时间:2017-03-04 修改时间:2017-03-06 文档目的2 基础知识2 常用命令2 系统环境2 操作步骤3 1. 安装依赖3 2. 安装nginx3 3. 启动nginx5 3. 关闭防火墙6 4. 修改生产环境配置6 常见问题7 问题一:报错"cp: `conf/koi-win' and `/usr/local/nginx/conf/koi-win' are the same file"7 问题二:[

Wcp知识管理系统部署文档

Wcp知识管理系统部署文档 环境 CentOS-6.5-x86_64-bin-DVD1.iso jdk-7u79-linux-x64.tar.gz apache-tomcat-7.0.72.tar.gz MySQL-5.6.33-1.el6.x86_64.rpm-bundle.tar WCP知识管理系统v3.2.0(免费版.开源) http://www.wcpdoc.com/webdoc/view/Pub8a2831b350e6b01f0150e6c1ad5a009f.html 下载地址:百度云

ElasticSearch部署文档(Ubuntu 14.04)

ElasticSearch部署文档(Ubuntu 14.04) 参考链接 https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html#setup-configuration https://www.elastic.co/guid

zabbix监控安装部署文档

Zabbix监控部署文档 创建时间:2017.02.19          文档目的 安装部署Zabbix服务器和Zabbix客户端,监控客户端服务器的硬件状态 基础知识 zabbix(音同 zbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题. zabbix由2部分构成,zabbix server与可选组件zabbix agent. z