日志易产品使用系列一:定时任务使用详解

在日志易产品的使用过程中,有些关键功能的使用是用户关注度比较高、使用比较频繁的,如报表、定时任务、仪表盘展示等。今天,我们就详细说下定时任务的使用。

1 定时任务工作逻辑

定时任务由日志易后端模块定时发起,经 SPL 语句搜索出相关结果并保存,并能在任务运行后在前台页面查看历史运行结果。定时任务的优势在于可以定期保存查询结果,以便后期实时查看。

定时任务的执行有以下步骤:
1、输入搜索语句,执行搜索;
2、将搜索结果保存为“定时任务”;
3、将定时任务相关信息记录在对应的数据库中;
4、根据任务相关规则中的搜索语句(query)、运行频次及首次运行时间等配置,后端模块定时执行该任务;
5、按照定时任务规则中的参数 size 规定的限制条数,将任务执行结果入库索引,同时将结果记录,以供前台查看本地定时任务的运行结果。

2 定时任务创建流程

根据上述定时任务的执行步骤,定时任务的创建有以下流程。

2.1 执行搜索,创建“定时任务”

在搜索界面定义搜索语句后并执行,通过“另存为”,打开“定制任务”创建页面。

2.2 定时任务创建

这里需要注意的几点:
1、“日志来源”跟权限有关,默认是 all;
2、不管是搜索语句中手动指定 timerange(搜索时间范围),还是用搜索时选择的 timerange,尽量跟执行计划中的执行间隔时间保持一致,如果执行时间间隔比 timerange 大则会出现结果不连续(中间有部分结果未统计);如果执行时间间隔比 timerange 小则会出现统计结果有部分是时间重叠的;
3、“保存条数”默认为 20000 条;
4、如果开始时间选择的小于当前时刻,那么该任务首次运行时间就会是第二天的该时刻。

2.3 “定时任务”执行详情查看

打开“定时任务”菜单可查看定时任务执行情况,这里的 ID 指“定时任务”的执行次数。点击某个“定时任务”的名称,可以进入任务详情页,查看该定时任务的运行情况。在任务详情页,可以点击打开某次运行的结果数据。

2.4 “定时任务”结果查询

定时任务结果入库后可以通过搜索定时任务索引来查询,可以使用 index=schedule schedule_name:xxxx(xxxx 替换为具体任务名),或 index=schedule schedule_id:xxxx 搜索,如下图:

3 定时任务个性化配置

在使用定时任务过程中,用户往往需要根据自己的需求进行自定义设置。常见的定时任务个性化设置列举如下。

3.1 执行结果保留条数设置

定时任务执行结果保留条数即入库索引数,日志易支持在配置定时任务时修改 size 参数大小,以根据实际生产需求保留合适的结果数。

为性能及稳定性考虑,该参数的设置需认真斟酌。

3.2 任务结果历史保留时间设置

超过一定时间的定时任务执行结果,保留的价值可能逐渐减小。此时,用户可通过该参数设置定时任务结果历史保留时间,及时清除冗杂数据,以保持系统的高效性能。

3.3 定时任务补采

有些定时任务的数据价值较高,可由于网络或个人设置等原因,有时候数据不能及时采集,这时,可通过“定时任务补采”对数据进行重新采集。

在使用日志易过程中,都遇到了哪些困惑?欢迎给我们留言哦,日志易产品专家随时为您解惑!

原文地址:https://blog.51cto.com/13533303/2434640

时间: 2024-10-04 04:57:15

日志易产品使用系列一:定时任务使用详解的相关文章

Nginx知多少系列之(三)配置文件详解

原文:Nginx知多少系列之(三)配置文件详解 目录 1.前言 2.安装 3.配置文件详解 4.工作原理 5.Linux下托管.NET Core项目 6.Linux下.NET Core项目负载均衡 7.Linux下.NET Core项目Nginx+Keepalived高可用(主从模式) 8.Linux下.NET Core项目Nginx+Keepalived高可用(双主模式) 9.Linux下.NET Core项目LVS+Keepalived+Nginx高可用集群 10.构建静态服务器 11.日志

OAF_OAF EO系列增删改 - Delete详解和实现(案例)

2014-06-14 BaoXinjian 一.摘要 在OAF中,似乎不是根据你光标所在的行来删除对应的记录,而是根据记录指针来删除,而这个指针又与你的光标位置无关需要用代码来精确的定位.因此我们在删除记录时,需要编写一定的代码来实现. User’s Guide中提供了一种标准的删除方法,通过在在当前记录集中用指针进行循环来定位需要删除的记录(例子提供的是只删一条). 不管如何删除,总的实现思路如下: Step1. 首先给需要删除的记录做标记:  要么打勾选上,要么在行上放个图标按钮来点火,总之

java io系列12之 BufferedInputStream详解

目录1. BufferedInputStream 介绍2. BufferedInputStream 源码分析(基于jdk1.7.40)3. 示例代码 BufferedInputStream 是缓冲输入流.它继承于FilterInputStream. BufferedInputStream 的作用是为另一个输入流添加一些功能,例如,提供"缓冲功能"以及支持"mark()标记"和"reset()重置方法".BufferedInputStream 本质

大型网站架构系列:负载均衡详解(4)

本文是负载均衡详解的第四篇,主要介绍了LVS的三种请求转发模式和八种负载均衡算法,以及Haproxy的特点和负载均衡算法.具体参考文章,详见最后的链接. 三.LVS负载均衡 LVS是一个开源的软件,由毕业于国防科技大学的章文嵩博士于1998年5月创立,用来实现Linux平台下的简单负载均衡.LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器. 基于IP层的负载均衡调度技术,它在操作系统核心层上,将来自IP层的TCP/UDP请求均衡地转移到不同的 服务器,从而将一组

大型网站架构系列:负载均衡详解(3)

本次分享大纲 软件负载均衡概述 Ngnix负载均衡 Lvs负载均衡 Haproxy负载均衡 本次分享总结 一.软件负载均衡概述 硬件负载均衡性能优越,功能全面,但是价格昂贵,一般适合初期或者土豪级公司长期使用.因此软件负载均衡在互联网领域大量使用.常用的软件负载均衡软件有Nginx,Lvs,HaProxy等.本文参考大量文档,部分为直接拷贝,参考出处见负载均衡详解(4). 二.Ngnix负载均衡 Ngnix是一款轻量级的Web服务器/反向代理服务器,工作在七层Http协议的负载均衡系统.具有高性

转载爱哥自定义View系列--Paint详解

上图是paint中的各种set方法 这些属性大多我们都可以见名知意,很好理解,即便如此,哥还是带大家过一遍逐个剖析其用法,其中会不定穿插各种绘图类比如Canvas.Xfermode.ColorFilter等等的用法. set(Paint src) 顾名思义为当前画笔设置一个画笔,说白了就是把另一个画笔的属性设置Copy给我们的画笔,不累赘了 setARGB(int a, int r, int g, int b) 不扯了,别跟我说不懂 setAlpha(int a) 同上 setAntiAlias

Android优化系列之ListView优化详解

本文内容:adapter,listview的优化,RecycleBi,n优化情况对比,google大会推荐优化, 实现ListView的过程,Adapter起到了至关重要的作用,不仅仅因为getview()方法.那么,先从Adapter说起~ Adapter: 它在ListView和数据源之间起到桥梁的作用,避免listview和数据源直接接触,而导致因为数据源的复杂性使listview显得臃肿. Adapter,适配器,把复杂的数据源适配给listview,很容易联想到适配器模式.   下面是

转载爱哥自定义View系列--文字详解

FontMetrics FontMetrics意为字体测量,这么一说大家是不是瞬间感受到了这玩意的重要性?那这东西有什么用呢?我们通过源码追踪进去可以看到FontMetrics其实是Paint的一个内部类,而它里面呢就定义了top,ascent,descent,bottom,leading五个成员变量其他什么也没有: 这五个成员变量除了top和bottom我们较熟悉外其余三个都很陌生是做什么用的呢?首先我给大家看张图: 这张图很简单但是也很扼要的说明了top,ascent,descent,bot

elasticsearch系列二:索引详解(快速入门、索引管理、映射详解、索引别名)

一.快速入门 1. 查看集群的健康状况 http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明:v是用来要求在结果中返回表头 状态值说明 Green - everything is good (cluster is fully functional),即最佳状态Yellow - all data is available but some replicas are not yet allocated (cluster i