Kafka 伪分布安装

高吞吐的分布式消息系统

相当于一个大缓存

架构

伪分布式的安装

tar -xzf kafka_2.10-0.8.1.1.tgz

启动ZK bin/zookeeper-server-start.sh config/zookeeper.properties

启动服务 bin/kafka-server-start.sh config/server.properties

创建主题 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看主题 bin/kafka-topics.sh --list --zookeeper localhost:2181

命令行客户端操作

创建生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

创建消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

集群安装

安装zk集群

修改配置文件server.properties

broker.id:  唯一,填数字

host.name:唯一,填服务器

zookeeper.connect=192.168.40.134:2181,192.168.40.132:2181,192.168.40.133:2181

伪分布报错?

在配置文件中去掉

配置文件

时间: 2024-08-24 10:11:30

Kafka 伪分布安装的相关文章

Hadoop伪分布安装

1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行(在上面的那一步即使我们关闭了防火墙,还是在有些情况下,防火墙会自动起来,那些情况就是下面的命令的结果为on的时候) 执行命令 chkconfig iptables off 验证: chkconfig --

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS 6.XHadoop 2.6.0JDK       1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件支持平台    GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证.    Win32平台是作为开发平台支持的.由于分布式操作尚未在Win

Hadoop-2.6.0伪分布--安装配置hbase

Hadoop-2.6.0伪分布--安装配置hbase 1.用到的hadoop与hbase: 2.安装hadoop: 具体安装看这篇博文: http://blog.csdn.net/baolibin528/article/details/42939477 hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3.解压hbase: 结果: 4.修改hbase 文件权限为一般用户权限: 5.设置环境变量: 配置内容: 保存配置: 6.进入配置文件目录: 7

CentOS 6.5 伪分布安装

CentOS 6.5 伪分布安装 软件准备  jdk-6u24-linux-i586.bin .hadoop-1.2.1.tar.gz.hadoop-eclipse-plugin-1.2.1.jar . Eclipse-jee-indigo-SR2-linux-gtk.tar.gz 假设:  所有软件压缩包都放在  /home/hadoop 文件夹下. 1.JDK安装 1.1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录progra

hadoop1学习系列2-hadoop伪分布安装

1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址    1.1.1设置宿主机的VirtualBox Host-only Network网路设置         IP地址:192.168.56.1   子网掩码:255.255.255.0   默认网关:不填  1.1.2设置VirtualBox虚拟机的网路连接   网卡1:启用网路连接   连接方式:仅主机(Host-Only)适配器   高级:保持默认   1.1.3启动linux系统,(使用centos6.4)

2015.07.12hadoop伪分布安装

hadoop伪分布安装 ? Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168.1.99重启网卡,网关192.168.1.1是物理机下面的默认网关, 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0 ? 修改内容: TYPE="Ethernet" BOOTPROTO="static" ONBOOT=&

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述. (一)Hadoop伪分布安装 1.简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪分布 分布:如果Hadoop对应的Java进程运行在多台物理机器上,称为分布.[集群就是有主有从] 伪

hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,99%的操作是相同的,唯一的区别是不用配置slaves文件,下面是几个关键的配置: (安装JDK.创建用户.设置SSH免密码.设置环境变量这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下) 一.修改hadoop-env.sh.yarn-env.sh 主要是设置JAVA_HOME的路径 二.修改core-site.xml 1 <configuration

hadoop伪分布安装步骤

2.hadoop的伪分布的安装步骤: 1.1设置静态IP 在centos桌面右上角图标,右键修改 重启网卡,执行命令service network restart 验证:ifconfig 1.2 修改主机名 <1> 修改当前会话中的主机名,执行命令hostname hadoop <2> 修改配置文件中的主机名,执行命令 vi /etc/sysconfig/network 验证:重启机器 1.3 把hostname和ip绑定 执行命令 vi /etc/hosts 增加一行192.16