[Hadoop][Kafka]

tar -C /opt -xf /tmp/kafka_2.12-0.10.2.1.tar

ln -s /opt/kafka_2.12-0.10.2.1 /opt/kafka

# 创建组和用户

groupadd kafka

useradd -g kafka kafka -s /sbin/nologin

# 文件存放目录

mkdir -p /mnt/kafka/data

mkdir -p /var/log/kafka

chown kafka:kafka -R /mnt/kafka/data

chown kafka:kafka -R /var/log/kafka

chown kafka:kafka -R /opt/kafka_2.12-0.10.2.1

chown kafka:kafka -R /opt/kafka

#修改配置文件

sed -i ‘s/broker.id=0/broker.id=1/‘ /opt/kafka/config/server.properties

sed -i ‘s/log.dirs=\/tmp\/kafka-logs/log.dirs=\/var\/log\/kafka/‘ /opt/kafka/config/server.properties

sed -i ‘s/zookeeper.connect=localhost:2181/zookeeper.connect=zookeeper01:2181,zookeeper02:2181,zookeeper03:2181/‘ /opt/kafka/config/server.properties

#systemd开机配置

cat <<EOF | tee /usr/lib/systemd/system/kafka.service

[Unit]

Description=Kafka

After=network.target

#After=zookeeper.service

[Service]

Type=forking

Restart=on-failure

ExecStart=/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

User=kafka

Group=kafka

[Install]

WantedBy=multi-user.target

EOF

systemctl enable kafka

systemctl start kafka

时间: 2024-08-02 13:47:57

[Hadoop][Kafka]的相关文章

大牛博客!Spark / Hadoop / Kafka / HBase / Storm

在这里,非常感谢下面的著名大牛们,一路的帮助和学习,给予了我很大的动力! 有了Hadoop,再次有了Spark,一次又一次,一晚又一晚的努力相伴! HBase简介(很好的梳理资料) 1. 博客主页:http://jiajun.iteye.com/ 2.博客主页:http://www.cnblogs.com/ggjucheng/ 3.博客主页:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 4.博客主页:http:/

hadoop+kafka+strom+flume第一步

1.所有主机需要安装JDK,并配置JDK环境变量 2.所有主机安装SSH,并相互间实现无密访问 3.修改主机hosts :文件/etc/hosts,保证各机器通过机器名可以互访 4.安装python 2.6及以上(storm用) 5.ZeroMQ Java代码 wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make sudo 

【Spark深入学习 -15】Spark Streaming前奏-Kafka初体验

----本节内容------- 1.Kafka基础概念 1.1 出世背景 1.2 基本原理 1.2.1.前置知识 1.2.2.架构和原理 1.2.3.基本概念 1.2.4.kafka特点 2.Kafka初体验 2.1 环境准备 2.2 Kafka小试牛刀 2.2.1单个broker初体验 2.2.2 多个broker初体验 2.3 Kafka分布式集群构建 2.3.1 Kafka分布式集群构建 2.3.2 Kafka主题创建 2.3.3 生产者生产数据 2.3.4消费者消费数据 2.3.5消息的

flume + kafka + sparkStreaming + HDFS 构建实时日志分析系统

一.Hadoop配置安装 注意:apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.s

Hadoop Spark 集群简便安装总结

本人实际安装经验,目的是为以后快速安装,仅供自己参考. 一.Hadoop 1.操作系统一如既往:①setup关掉防火墙.②vi /etc/sysconfig/selinux,改SELINUX=disabled .(3)同时应该卸载掉OpenJdk.④并在每台机器上建立用户,如:useradd hadoop -p 123456 (还可 -d 指定目录) . 2.ssh.①让集群有相同的/etc/hosts文件.②在每台机器上用hadoop用户执行 ssh-keygen.在其中一台上用户目录下的.s

kafka详细介绍,安装,配置

1.简介 Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现.kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker.无论是kafka集群,还是producer和consumer都依赖于zookeep

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

kafka的三种部署模式

/************* *kafka 0.8.1.1的安装部署 *blog:www.r66r.net *qq:26571864 **************/ 相关部署视频地址:http://edu.51cto.com/course/course_id-2374.html kafka的部署模式为3种模式 1)单broker模式 2)单机多broker模式 (伪集群) 3)多机多broker模式 (真正的集群模式) 第一种模式安装 1.在hadoopdn2机器上面上传kafka文件,并解压到

Kafka——分布式消息系统

Kafka——分布式消息系统 架构 Apache Kafka是2010年12月份开源的项目,采用scala语言编写,使用了多种效率优化机制,整体架构比较新颖(push/pull),更适合异构集群. 设计目标: (1) 数据在磁盘上的存取代价为O(1)(2) 高吞吐率,在普通的服务器上每秒也能处理几十万条消息(3) 分布式架构,能够对消息分区(4) 支持将数据并行的加载到hadoop Kafka实际上是一个消息发布订阅系统.producer向某个topic发布消息,而consumer订阅某个top