linux单机部署kafka(filebeat+elk组合)

filebeat+elk组合之kafka单机部署

准备:

kafka下载链接地址:http://kafka.apache.org/downloads.html

在这里下载kafka_2.12-2.10.0.0.tgz(kafka和zookeeper都用同一个包里的)。

一、安装和配置jdk(下载jdk,配置环境即可)

JAVA_HOME=/opt/jdk1.8.0_131

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

$ java -version

java version "1.8.0_131"

Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

Java HotSpot(TM) Server VM (build 25.131-b11, mixed mode)

或者在bin/kafka-run-class.sh指定kafka jdk 环境变量

vi bin/kafka-run-class.sh

JAVA_HOME=/opt/jdk1.8.0_131

二、安装Kafka

1安装glibc

# yum -y install glibc.i686

2、解压kafka_2.12-2.10.0.0.tgz

先配置zookeeper

$cd  kafka_2.12-2.10.0.0

$vi config/zookeeper.properties

dataDir=/data/soft/kafka/data

dataLogDir=/data/soft/kafka/log

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

配置后直接启动zookeeper:

$bin/zookeeper-server-start.sh config/zookeeper.properties

如果没有报错,可以转后台启动:

$nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

再配置kafka

$ vi config/server.properties

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://server20.srv:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/log/kafka

num.partitions=2

num.recovery.threads.per.data.dir=1

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

启动kafka:

$ bin/kafka-server-start.sh config/server.properties

如果没有报错,可以转后台启动:

$nohup bin/kafka-server-start.sh config/server.properties &

检查启动情况:默认开启的端口为2181(zookeeper)和9202(kafka)。

3、测试kafka

(1)、创建topic

$bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

(2)、查看创建的topic

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

test

(3)、生产消息测试(模拟客户端发送消息)

$bin/kafka-console-producer.sh --broker-list 192.168.53.20:9092 --topic test

> ..hello world..          #输入内容回车

>

(4)、消费消息测试(模拟客户端接收信息)

$bin/kafka-console-consumer.sh --bootstrap-server 192.168.53.20:9202 --topic test --from-beginning

..hello world..                   #如果能正常接收到信息说明kafka部署正常

(5)、删除topic

$bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

完成以上代表kafka单包机安装成功。

三、配置filebeat

filebeat.yml文件添加配置信息,注释掉原来的logstash output。

#------------------- Kafka output ---------------------

output.kafka:

hosts: ["server20.srv:9092"]

topic: ‘kafka_logstash‘

四、配置logstash

logstash.conf文件添加配置信息,注释掉原来input{beats...}。

input {

kafka {

codec => "json"

bootstrap_servers => "server20.srv:9092"

topics => ["kafka_logstash"]

group_id => "kafka-consumer-group"

decorate_events => true

auto_offset_reset => "latest"

}

在logstash服务器上配置好kafka访问地址:

$ cat /etc/hosts

122.9.10.106    server20.srv    8bet-kafka

五、kafka相关配置文件参考

$ cat config/server.properties | egrep -v ‘^$|#‘

broker.id=0

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://server20.srv:9092

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/log/kafka

num.partitions=2

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

$cat config/zookeeper.properties | egrep -v ‘^$|#‘

dataDir=/data/soft/kafka/data

dataLogDir=/data/soft/kafka/zookeeper_log

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

$cat config/producer.properties | egrep -v ‘^$|#‘

bootstrap.servers=localhost:9092

compression.type=none

$cat config/consumer.properties | egrep -v ‘^$|#‘

bootstrap.servers=localhost:9092

group.id=kafka-consumer-group

六、配置完后测试消费消息连通,如果接受正常,则成功

$bin/kafka-console-consumer.sh --bootstrap-server server20.srv:9202 --topic test --from-beginning

原文地址:https://www.cnblogs.com/immense/p/11402640.html

时间: 2024-09-29 15:51:00

linux单机部署kafka(filebeat+elk组合)的相关文章

Linux下部署Kafka分布式集群,安装与测试

注意:部署Kafka之前先部署环境JAVA.Zookeeper 准备三台CentOS_6.5_x64服务器,分别是:IP: 192.168.0.249 dbTest249 Kafka IP: 192.168.0.250 Other250 Kafka IP: 192.168.0.251 webTest251 Kafka 一.安装Kafka # tar zxvf kafka_2.9.1-0.8.2.2.tgz -C /usr/local/ # cd /usr/local/kafka_2.9.1-0.

linux下部署kafka

由于项目中要用到kafka,先在自己的虚拟机上部署试一下 1. 下载压缩包 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz 2. kafka运行依赖zookeeper,如未安装,可参照 https://www.cnblogs.com/pageBlog/p/11379211.html 3. 将压缩包上传到服务器 4. 解压:tar -xzf kafka_2.12-2.3.0.tgz 5. 进入

原版Filebeat+ELK

在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程,有不对的地方还望指出. 简单介绍: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是

ELK + kafka + filebeat +kibana

架构说明 app-server(filebeat) -> kafka -> logstash -> elasticsearch -> kibana 服务器用途说明 系统基础环境 # cat /etc/redhat-release  CentOS release 6.5 (Final) # uname -r 2.6.32-431.el6.x86_64 192.168.162.51    logstash01 192.168.162.53    logstash02 192.168.1

ELK + Kafka + Filebeat

ELK + Kafka + Filebeat学习 https://blog.csdn.net/qq_21383435/article/details/79463832 https://blog.csdn.net/xiangyuan1988/article/details/78977471 https://www.jianshu.com/p/f149a76ea5b5 https://blog.csdn.net/qq_21383435/article/category/7486820 ELK + K

helm部署Filebeat + ELK

helm部署Filebeat + ELK 系统架构图: 1) 多个Filebeat在各个Node进行日志采集,然后上传至Logstash 2) 多个Logstash节点并行(负载均衡,不作为集群),对日志记录进行过滤处理,然后上传至Elasticsearch集群 3) 多个Elasticsearch构成集群服务,提供日志的索引和存储能力 4) Kibana负责对Elasticsearch中的日志数据进行检索.分析 1. Elasticsearch部署 官方chart地址:https://gith

Kafka原理及单机部署

博文大纲:一.kafka介绍及原理二.部署单机kafka 一.kafka介绍及原理 kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写.它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可

FILEBEAT+ELK日志收集平台搭建流程

filebeat+elk日志收集平台搭建流程 1.         整体简介: 模式:单机 平台:Linux - centos - 7 ELK:elasticsearch.logstash.kibana三款开源软件的集合. FILEBEAT:代替logstash的采集功能,轻量.耗用小. 目前收集的有nginx日志.java日志[单行|多行]. 都是通过在客户端的生成日志配置文件中定义好初步json格式,然后利用filebeat采集到logstash,存储到elasticsearch,最后通过k

RocketMQ 消息队列单机部署及使用

转载请注明来源:http://blog.csdn.net/loongshawn/article/details/51086876 相关文章: <RocketMQ 消息队列单机部署及使用> < java编写简单消息队列.实现高德坐标变形服务> 0 RocketMQ简单介绍 0.1 介绍 RocketMQ是一个消息中间件. 消息中间件中有两个角色:消息生产者和消息消费者.RocketMQ里相同有这两个概念.消息生产者负责创建消息并发送到RocketMQ服务器.RocketMQ服务器会将