filebeat相关registry文件内容解析

  filebeat的registry文件中存放的是被采集的所有日志的相关信息。

  linux中registry中一条日志记录的内容如下

{"source":"/var/log/messages","offset":5912,"FileStateOS":{"inode":38382035,"device":64768},"timestamp":"2017-03-13T18:17:54.39159179+08:00","ttl":-1}

  这条记录中的各个字段的意义分别为

source 日志文件完整路径
offset 已经采集的日志的字节数;已经采集到日志的哪个字节位置
filestateos  操作系统相关
  inode  日志文件的inode号
  device    日志所在磁盘的磁盘编号
  timestamp  日志最后一次发生变化的时间戳
  ttl  采集失效时间。-1表示只要日志存在,就一直采集该日志    

  device一列的数字64768有些难理解。这个数字可以通过stat命令得到:

stat /var/log/messages
  File: "/var/log/messages"
  Size: 3964            Blocks: 8          IO Block: 4096   普通文件
Device: fd00h/64768d    Inode: 2228688     Links: 1
Access: (0600/-rw-------)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2017-12-17 03:20:01.177559387 +0800
Modify: 2017-12-22 11:01:19.401186654 +0800
Change: 2017-12-22 11:01:19.401186654 +0800

  64768为十进制数,对应十六进制数fd00,对应磁盘为fd,00即253, 0

# ll /dev/dm-0
brw-rw----. 1 root disk 253, 0 8月  17 19:30 /dev/dm-0
# ll /dev/root
lrwxrwxrwx. 1 root root 4 8月  17 19:30 /dev/root -> dm-0
# ll /dev/VolGroup/
总用量 0
lrwxrwxrwx. 1 root root 7 11月 17 10:37 lv_home -> ../dm-2
lrwxrwxrwx. 1 root root 7 8月  17 19:30 lv_root -> ../dm-0
lrwxrwxrwx. 1 root root 7 8月  17 19:30 lv_swap -> ../dm-1

  windows中registry内容如下

[{"source":"D:\\zwl\\filebeat\\error.log","offset":92937960,"FileStateOS":{"idxhi":131072,"idxlo":40032,"vol":4070684760},"timestamp":"2017-08-22T11:26:52.887343+08:00","ttl":-1}

  

source 日志文件完整路径
offset 已经采集的日志的字节数;已经采集到日志的哪个字节位置
filestateos  操作系统相关
  idxhi/idxlo/vol    On windows the pair of (volume, idxhi, idxlo) uniquely identifies a file.
  timestamp  日志最后一次发生变化的时间戳
  ttl  采集失效时间。-1表示只要日志存在,就一直采集该日志

  

 

时间: 2024-11-09 10:46:26

filebeat相关registry文件内容解析的相关文章

文件内容解析

下面是我的第一个React Native程序,也是自己对该程序的文件内容解析一些理解,注释很清楚哟,相信你一看就懂!!!! /** * Sample React Native App * https://github.com/facebook/react-native * @flow */ // 1.引入组件 import React, { Component } from 'react'; import { AppRegistry, // 注册 StyleSheet, // 样式 Text,

Python 之 文件内容解析(1)

说明: 有一个文件joke.txt,其内容如下: 老师:波涛汹涌的偏旁都是三点水.小明来举个相似的例子吧:小明:馅饼馄饨?老师:换一个吧.小明:玩玻璃球.老师:不好.小明:...没法洗澡?老师:有本事来一个六个字的?小明:哦吗咪吗咪哄.老师:来个一百字的!小明:哈哈哈哈哈哈哈哈...老师:滚出去!!! 将其以如下方式输出: 老师 说: 波涛汹涌的偏旁都是三点水.小明来举个相似的例子吧:小明 说: 馅饼馄饨?老师 说: 换一个吧.小明 说: 玩玻璃球.老师 说: 不好.小明 说: ...没法洗澡?

JVM系列文章(三):Class文件内容解析

作为一个程序员,仅仅知道怎么用是远远不够的.起码,你需要知道为什么可以这么用,即我们所谓底层的东西. 那到底什么是底层呢?我觉得这不能一概而论.以我现在的知识水平而言:对于Web开发者,TCP/IP.HTTP等等协议可能就是底层:对于C.C++程序员,内存.指针等等可能就是底层的东西.那对于Java开发者,你的Java代码运行所在的JVM可能就是你所需要去了解.理解的东西. 我会在接下来的一段时间,和读者您一起去学习JVM,所有内容均参考自<深入理解Java虚拟机:JVM高级特性与最佳实践>(

Class文件内容解析

一.概述 任何一个Class文件都对应唯一一个类或接口的定义信息,但是不是所有的类或接口都得定义在文件中(它们也可以通过类加载器直接生成). Class文件是一组以8位字节为基础单位的二进制流,各个数据项严格按顺序排列,没有任何分隔符.Class文件格式采用一种类似于C语言结构体的伪结构来存储数据,这种伪结构只有两种数据类型:无符号数和表. 无符号数:是基本数据类型,以u1.u2.u4.u8分别代表1个字节.2个字节.4个字节.8个字节的无符号数,可以用来描述数字.索引引用.数量值或者按照UTF

文件内容检索工具

Java相关技术 - 文件内容检索工具 拿到一个几百M甚至上G的project让你去学习 有时候你会想知道某个关键词是在哪个文件里 比如:spring MVC配置的@RequestMapping,你从页面源知道了Action是 index/login.sftl 然后你想知道,这个@RequestMapping到底是配置在哪个Java类里,你怎么找到这个类呢 又比如,你想知道你当前看到的页面的源文件到底在项目的哪个路径下,你又要什么寻找 别告诉我,你会把项目里的文件一个个打开,直到找到你要的文件

通过上传的APK文件,解析APK文件内容,获取应用权限包名等

通过上传的APK文件,解析APK文件内容,获取应用权限包名等 1工具导入: 下载aapt.exe反编译执行程序,放入Java工程资源文件夹下(具体路径自己可定义) 2编写ApkUtil类,获取apk文件信息 public class ApkUtil { public static final String VERSION_CODE = "versionCode"; public static final String VERSION_NAME = "versionName&q

深入学习python解析并读取PDF文件内容的方法

这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应用.主要参考了一些已有的博客内容,代码. 主要思路是首先利用一个做项目的形式,描述所做的问题,运行环境,和需要安装的库,然后写代码,此代码是在python2.7中运行,然后写出在python3.6中运行的代码,并详细解释python2.7和python3.6中python库的一些不同之处,最后详细的

Java解析文件内容

本文主要实现对.chk文件的解析,将其内容读出来,存入到一个Map中,文件内容实例为: A0500220140828.CHK A05002 |34622511 |373532879 |3 识别分隔符|,代码如下所示: 1 package com.src.factory; 2 3 import java.io.BufferedReader; 4 import java.io.File; 5 import java.io.FileReader; 6 import java.io.IOExceptio

PHP如何正确读取文件内容?解析

PHP 读取文件的多种方法,一起来看看吧. 处理诸如 PHP 之类的现代编程语言的乐趣之一就是有大量的选项可用.PHP 可以轻松地赢得 Perl 的座右铭“There's more than one way to do it”(并非只有一种方法可做这件事),尤其是在文件处理上.但是在这么多可用的选项中,哪一种是完成作业的最佳工具?当然,实际答案取决于解析文件的目标,因此值得花时间探究所有选项. 回页首 传统的 fopen 方法 fopen 方法可能是以前的 C 和 C++ 程序员最熟悉的,因为如