td-agent和elasticsearch、kibana搭建日志平台

系统版本:centos 6.4 x86.64

网络环境:我这台机器处于内网,连不了外网,所以要通过代理上

服务端:elasticsearch和kibana、Fluentd Aggregator安装在一台机器上 IP为192.168.1.5

客户端:192.168.1.6 Mysql Server

192.168.1.7:tomcat Server

架构图:

注意:1、2、3步服务端和客户端都要安装

1、首先安装ruby

首先把系统自带的ruby删除啦,系统自带ruby版本太低

安装依赖软件

yum -y install zlib-devel libcurl-devel

接着安装yaml

tar xvf /soft/yaml-0.1.4.tar.gz
cd yaml-0.1.4
./configure&&make&&make install

继续安装ruby

tar xvf /soft/ruby-1.9.3-p484.tar.gz
cd ruby-1.9.3-p484
./configure --prefix=/usr/local/ruby --enable-shared --disable-install-doc --with-opt-dir=/usr/local/ && make &&make install

2、安装td-agent

下载 http://174.129.37.216/redhat/x86_64/td-agent-1.1.17-0.x86_64.rpm

下载 http://174.129.37.216/redhat/x86_64/td-libyaml-0.1.4-1.x86_64.rpm

软件包放在/soft下

yum -y install /soft/td-*

3、安装td-agent插件

删除自带的ruby源,国外的源太慢了

/usr/lib64/fluent/ruby/bin/fluent-gem sources --remove http://rubygems.org/

添加淘宝的源

/usr/lib64/fluent/ruby/bin/fluent-gem sources --http-proxy http://172.17.17.132:235 -a http://ruby.taobao.org/

安装secure-forward插件

/usr/lib64/fluent/ruby/bin/fluent-gem install --http-proxy http://172.17.17.132:235 fluent-plugin-secure-forward

4、安装elasticsearch(在服务端安装,需JDK1.7)

去官网下载RPM包

rpm -ivh /soft/elasticsearch-1.3.2.noarch.rpm

启动

/etc/init.d/elasticsearch start

5、安装kibana(在服务端安装)

去官网下载压缩包,直接放在网站目录下(nginx和apache都可以),纯静态页面写的

6、配置Fluentd Aggregator (在服务端安装)

默认打开24284端口,确保防火墙已开放此端口

安装fluent-plugin-elasticsearch插件,

/usr/lib64/fluent/ruby/bin/fluent-gem install --http-proxy http://172.17.17.132:235 fluent-plugin-elasticsearch

编辑td-agent配置文件:/etc/td-agent/td-agent.conf

# Listen to incoming data over SSL
<source>
  type secure_forward
  shared_key 123456 #密码设置,随便设,保持两边一致就行
  self_hostname logserver.test.com
  cert_auto_generate yes
</source>

# Store Data in Elasticsearch
<match *.**>
  type copy
  <store>
    type elasticsearch
    host localhost
    port 9200
    include_tag_key true
    tag_key log_name
    logstash_format true
    flush_interval 1s
  </store>
</match>

7、抓取mysql慢查询日志(客户端 192.168.1.6)

安装fluent-plugin-mysqlslowquery插件

/usr/lib64/fluent/ruby/bin/fluent-gem install --http-proxy http://172.17.17.132:235 fluent-plugin-mysqlslowquery

编辑td-agent配置文件:/etc/td-agent/td-agent.conf

<source>
    type mysql_slow_query
    path /var/log/mysql/slow.log
    tag master.slow_query
</source>
<match *.**>
  type secure_forward
  shared_key 123456 #密码设置
  self_hostname master.test.com
  <server>
    host 192.168.1.5
  </server>
</match>

8、抓取tomcat日志(客户端 192.168.1.7)

我两个tomcat实例,所以配了两个source

编辑td-agent配置文件:/etc/td-agent/td-agent.conf

 <source>
     type tail
     path /usr/local/tomcat/logs/catalina.out
     pos_file /var/log/td-agent/tomcat_2_8080.log.pos
     tag tomcat_2_8080
     #format /^(?<error_time>(\[.+?\]|^\t\S.*))(?<flag>\s.+?\s)(?<info>([\s\S]*))|(?<msg>([\s\S]*))$/
     format /^(?<message>([\s\S]*))$/
 </source>
<source>
     type tail
     path /usr/local/tomcat1/logs/catalina.out
     pos_file /var/log/td-agent/tomcat_2_8081.log.pos
     tag tomcat_2_8081
     format /^(?<message>([\s\S]*))$/
     #format /^(?<error_time>(\[.+?\]|^\t\S.*))(?<flag>\s.+?\s)(?<info>([\s\S]*))|(?<msg>([\s\S]*))$/
 </source>
<match *.**>
  type secure_forward
  shared_key 123456
  self_hostname tomcat.test.com
  <server>
    host 192.168.1.5
  </server>
</match>
时间: 2024-10-10 16:24:45

td-agent和elasticsearch、kibana搭建日志平台的相关文章

syslog+rsyslog+logstash+elasticsearch+kibana搭建日志收集

最近rancher平台上docker日志收集捣腾挺久的,尤其在配置上,特写下记录 Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的.syslog是一种标准的协议,分为客户端和服务器端,客户端是产生日志消息的一方,而服务器端负责接收客户端发送来的日志消息,并做出保存到特定的日志文件中或者其他方式的处理. ryslog 是一个快速处理收集系统日志的程序,提供了高性能.安全功能和模块化设计.rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的

使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力 日志数据分散在多个系统,难以查找 日志数据量大,查询速度慢 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据 数据不够实时 常见的一些重量级的开源

利用 Log-Pilot + Kafka + Elasticsearch + Kibana 搭建 kubernetes日志解决方案

利用 Log-Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1.前提条件 已有kafka.elk.k8s集群,这3套集群搭建网上资料很多,这里不写,IP规划如下所示: kafka集群 10.6.11.22:9092 10.6.11.23:9092 10.6.11.24:9092 ELK集群 10.6.11.25:9200 10.6.11.26:9200 10.6.11.27:9200 k8s集群 10.6.11.28(maste

spring mvc+ELK从头开始搭建日志平台

spring mvc+ELK从头开始搭建日志平台 最近由于之前协助前公司做了点力所能及的事情,居然收到了一份贵重的端午礼物,是给我女儿的一个乐高积木,整个有7大包物件,我花了接近一天的时间一砖一瓦的组织起来,虽然很辛苦但是能够从过程中体验到乐趣.这次将分享从头搭建分布式日志系统,主要是在spring mvc上结合ELK套件实现(之前有些工作由于分工不同由不同的同事来完成,我只是在已经配置好的环境下做开发而已),包含如下这些技术点: spring mvc logback logstash elas

elasticsearch+kibana搭建

elasticsearch+kibana搭建: elasticsearch: Elasticsearch是一个分布式搜索服务 下载网址: https://www.elastic.co/downloads https://www.elastic.co/downloads/past-releases/elasticsearch-5-0-2 yum install java-1.8.0-openjdk rpm -i elasticsearc-6.2.1-x86_64.rpm service elast

Elasticsearch+Kibana+Logstash 搭建日志平台

大型日志平台搭建 Java 环境部署 网上很多教程,此处只做出测试 java -version java version "1.7.0_45" Java(TM) SE Runtime Environment (build 1.7.0_45-b18) Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode) Elasticsearch 搭建 curl -O https://download.elasticsearch.

【转载】使用logstash+elasticsearch+kibana快速搭建日志平台

原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数据自动触发消息通知 基于日志的数据挖掘 很多团队在日志方面可能遇到的一些问题有: 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力

利用 log-pilot + elasticsearch + kibana 搭建 kubernetes 日志解决方案

开发者在面对 kubernetes 分布式集群下的日志需求时,常常会感到头疼,既有容器自身特性的原因,也有现有日志采集工具的桎梏,主要包括: 容器本身特性: 采集目标多:容器本身的特性导致采集目标多,需要采集容器内日志.容器 stdout.对于容器内部的文件日志采集,现在并没有一个很好的工具能够去动态发现采集.针对每种数据源都有对应的采集软件,但缺乏一站式的工具. 弹性伸缩难:kubernetes 是分布式的集群,服务.环境的弹性伸缩对于日志采集带来了很大的困难,无法像传统虚拟机环境下那样,事先

Linux——使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台

http://wsgzao.github.io/post/elk/