flume收集tomcat日志保存到本地目录

下载flume和jdk

flume下载地址:

wget https://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-src.tar.gz

解压文件

tar zxvf apache-flume-1.6.0-src.tar.gz

移动指定目录

mv apache-flume-1.6.0-src.tar.gz /usr/local

进入/etc/profile.d目录,添加java.sh文件,添加环境变量

JAVA_HOME=/usr/local/java
JAVA_BIN=/usr/local/java/bin
JRE_HOME=/usr/local/java/jre
FLUME_HOME=/usr/local/flume
CATALINA_HOME=/usr/local/tomcat
CLASS_PATH="$JAVA_HOME/lib:$JRE_HOME/lib:$JRE_HOME/lib/charsets.jar"
export PATH=$PATH:$JAVA_HOME/bin:$CATALINA_HOME/bin:$FLUME_HOME/bin

让环境变量生效

source /etc/profile

创建vim /usr/local/flume/conf/tomcat.conf

a1.sources = s1

a1.sources.s1.type = exec

a1.sources.s1.command = tail -F /usr/local/tomcat/logs/catalina.out

a1.sources.s1.channels = m1

a1.channels = m1

a1.channels.m1.type = memory

a1.channels.m1.capacity = 1000

a1.channels.m1.transactionCapacity = 100

a1.sinks = LocalOut

a1.sinks.LocalOut.type = file_roll

a1.sinks.LocalOut.sink.directory = /opt/data

a1.sinks.LocalOut.sink.rollInterval = 0

a1.sinks.LocalOut.channel = m1

进入flume目录

cd /usr/local/flume/conf

执行

flume-ng agent -c . -f /usr/local/flume/conf/exec_tail.conf -n a1 -Dflume.root.logger=INFO,console

查看保存目录,已保存

ll /opt/data

时间: 2024-12-28 20:57:38

flume收集tomcat日志保存到本地目录的相关文章

ELK学习实验016:filebeat收集tomcat日志

filebeat收集tomcat日志 1 安装tomcat [[email protected] ~]# yum -y install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc [[email protected] ~]# systemctl start tomcat [[email protected] ~]# systemctl status tomcat [[email prot

syslog-ng+syslog收集Tomcat日志(三)

本篇讲解如果提交tomcat日志,为tomcat创建独立配置. 为什么要创建独立配置文件? 做成模块化便于管理,调试.不需要时,直接删除对应的配置文件即可. 以下是配置内容,都做了相关注释. 注:教程相关配置下载. 配置文件中的中文注释为方便初学者,并非官方提供,中文注释可能会引起奇怪的问题. 建议:在使用中删除所有的中文注释,如需注释可以用英文(实在不行就拼音) 环境:tomcat安装路径 /web/webfront vi /etc/rsyslog.d/tomcat-log.conf # rs

syslog-ng+syslog收集Tomcat日志(二)

上一篇我们把日志服务器搭建和配置讲解完成,这节讲rsyslog客户端配置.因为系统默认已经安装rsyslo就不在复数了.只讲配置. 注:教程配置文件下载. 在rsyslog.conf 中配置,在文件末尾添加如下,全局远程提交路径: 如果客户端所有日志都提交到一个服务器,可以把IP定义在全局变量里,反之则在相关脚本中定义. @代表UDF方式传输,@@代表是TCP方式传输. *.* 左边的*是设备,右边*是类型(正常.一般.紧急等),这个不要理解成系统里的文件名和后缀. vi /etc/rsyslo

ELK 平台收集Tomcat日志记录

简介 目前大多数中小型企业使用tomcat 服务作为后端服务器,因为tomcat支持java代码.但是每次查看tomcat的日志(catalina.out),不仅庞大,还特别不方便查询,所以应用ELK平台监控tomcat日志是很有必要的. 部署过程 一.安装ELK平台 详细安装过程参考博客: https://blog.51cto.com/13760351/2471799 二.安装tomcat服务 1.安装过程 可以参考博客 https://blog.51cto.com/13760351/2160

使用rsync归档收集Tomcat日志

随着业务的不断的增加,使得多台的Tomcat的日志不断剧增,以前有利用bzip2压缩历史数据的脚本压缩过,所以历史日志格式都是统一的,所以打算把部分历史日志数据收集下来,再做具体分析,选选取一台磁盘比较大的服务器用rsync来做日志中心服务器用于收集日志,需要的可以参看:http://jim123.blog.51cto.com/4763600/1959054.于是就写了一个脚本在不同的服务器上用于历史日志数据的归档,实现也很简单,如下: #!/bin/bash #rsync_logs.sh #w

syslog-ng+syslog收集Tomcat日志(一)

环境: 日志收集服务器:syslog-ng_V3.3.7 Tomcat客户端:syslog + tomcat 干扰: 1.为了方便调试将防火墙和SELinux关闭. #service iptables stop     //停止防火墙 #chkconfig iptables off    //开机不启动 #service iptables status    //查看防火墙状态 防火墙停止运行了. 2.将SELINUX=enforcing 改成 SELINUX=disabled #vi /etc

通过CRT将交换机日志保存到本地

通过CRT将日志和诊断信息导出txt格式. 大部分网管都是通过CRT去进行设备管理,但是通过CRT去查看交换机.防火墙的日志或者诊断信息,会发现CRT并不能将所有的日志信息在窗口中列出,就像下图一样 下面我们通过CRT软件本身的设置将会话输出导出到本地就可以实现日志的导出了 CRT保存日志设置 1.选项 会话选项 2.日志文件 日志文件名:C:\Log\%S\%Y%M%D-%h%m%s.log 3.打钩选项 .覆盖文件 .在连接上开始记录日志 .半夜时启动新日志 4.连接时 [%Y%M%D_%h

logstash收集tomcat日志

1,日志格式 2015-09-28·09:50:48·[http-bio-80-exec-13]·DEBUG·com.weitoo.server.aspect.LogAspect·-{ip:183.16.4.40,url:http://api.xx.com/server/sc/commodity/getOnlineCommodity,param:{"shopId":1000001,"needCategory":false,"needCommodityTot

ELK+kafka收集 Nginx与tomcat日志

ELK日志收集 ELK原理与介绍为什么用到ELK:一般我们需要进行日志分析场景:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问.一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定