Linux中添加计划任务与Elasticsearch日志自动清理

一、简述

  当日志发送到ELK之后,Elasticsearch随着日志的增加,占用磁盘量会越来越大。这时候,需要我们写角本定期DELETE日志。角本写法,也很简单,只是发送HTTP的DELETE方式到:http://<ip>:<port>/*-yyyy.MM.dd*即可。

  

二、定期删除Elasticsearch中日志的角本:新建一个es-index-clear.sh到/opt目录下,内容如下:

#/bin/bash
#es-index-clear
#只保留15天内的日志索引
LAST_DATA=`date -d "-15 days" "+%Y.%m.%d"`
#删除上个月份所有的索引
curl -XDELETE ‘http://127.0.0.1:9200/*-‘${LAST_DATA}‘*‘

三、使用crontab -e添加定时任务:执行crontab -e,在打开的内容中,输入(前面‘0  * * * *’表示Cron表达式,可以参考我前面的文章):

  比如下列表示每小时整时执行一次:

0 * * * * root /opt/es-index-clear.sh

  如果要每天凌晨执行一次:

0 0 * * * root /opt/es-index-clear.sh

四、启动定时任务,并开机自动运行

systemctl enable crond
systemctl restart crond
systemctl status crond

原文地址:https://www.cnblogs.com/songxingzhu/p/10213230.html

时间: 2024-10-14 08:57:57

Linux中添加计划任务与Elasticsearch日志自动清理的相关文章

Linux中添加用户、删除用户时新手可能遇到的问题

Linux中添加用户.删除用户时新手可能遇到的问题  1.创建新用户后切换到新用户:No directory, logging in with HOME=/     添加用户     #sudo useradd -m -s /bin/bash -g group loginname     -m 创建home目录 (不加这个要手动添加目录,不然会出现No directory,Logging in with HOME=/ )     -s /bin/bash 使用bash( 默认为 /bin/sh

在linux中添加ftp用户,并设置相应的权限

在linux中添加ftp用户,并设置相应的权限,操作步骤如下: 1.环境:ftp为vsftp.被限制用户名为test.被限制路径为/home/test 2.建用户:在root用户下: useradd -d /home/test test //增加用户test,并制定test用户的主目录为/home/testpasswd test //为test设置密码 3.更改用户相应的权限设置: usermod -s /sbin/nologin test //限定用户test不能telnet,只能ftpuse

Linux下添加shell脚本使得nginx日志每天定时切割压缩

Linux下添加shell脚本使得nginx日志每天定时切割压缩一 简介 对于nginx的日志文件,特别是access日志,如果我们不做任何处理的话,最后这个文件将会变得非常庞大 这时,无论是出现异常时查日志,还是使用"GoAccess"等工具对日志进行分析都将会变得非常麻烦.因此,每天定时对nginx日志进行切割压缩就非常有必要了 二 实现 我的实现思路是每天晚上接近12点时定时执行脚本.其脚本内容就是将当前的nginx日志先按照当天日期进行重命名接着进行压缩,最后是新建空白的ngi

利用Linux中的计划任务+PHP网页程序(转)

利用Linux中的计划任务+PHP网页程序,实现对web服务器运行状况的监测[每5分钟监测一次,并邮件提醒]一.我的监测服务器环境:rhel5.5+apache2.2+php5二.功能描述:写一个PHP页面,实现如下功能:请求要监控的WEB服务器的某一个页面的内容,如果返回不到数据,或者返回的数据里没有包含我期望的代码[用于自定义错误页面时的情况],那我就认为WEB服务出问题了[宕机或者遭到内容改写攻击],然后就发送一个邮件出来,这个邮件可以和手机进行绑定[139邮箱可以做到]而我在计划任务里去

linux中使用计划任务进行数据库定期备份

Linux上经常要使用cornd执行定时任务.如果对crontab掌握不是很熟悉,也可以直接使用宝塔面板进行一些简单的定时计划任务.在我的三 丰 免 费 云主 机上 安装了CentOS系统,并默认安装了宝塔管理面板,为了安全起见,在服务器在正常服务期间,手动关闭了宝塔面板服务进程.为使用宝塔面板管理创建mysql数据库. 1.通过SSH登录,开启宝塔面板服务如下图: 2.登录宝塔面板 使用IP地址并通过设置好的端口进行宝塔管理面板登录 3.选择"计划任务"进行定时备份任务的添加 4.添

在linux中快速使用docker搭建ELK日志监控分析系统

在linux中使用docker安装ELK日志监控分析系统 网上的教程非常零散或者很多都已经过时了,我这里总结了相比于其他更新的日志系统搭建.并且使用docker镜像,更加简化了安装.在这开始之前先附上我的成功配置截图: linux的安装 linux的安装很简单,但是要使用docker必须安装centos7及以上,不然出现的各种兼容性问题自行百度解决.这里有两种方法: 如果是学生可以购买阿里或者腾讯的linux服务器,简单方便,每个月只要10元钱,其实挺划算的.这是阿里linux的购买地址:htt

Linux中的计划任务—Crontab

1. Crontab是什么? Crontab是一个用于设置周期性被执行的任务的工具. 被周期性执行的任务叫作Cron Job,周期性执行的任务列表我们称为Cron Table. 2. 相关工具 Putty:一个免费的易用的SSH连接工具(www.putty.org  需FQ) 3. 安装并检查Crontab服务 1. 检查cron服务 - 检查Crontab工具是否安装:crontab  -l - 检查crond服务是否启动:service  crond  status 2. 安装cron -

如何在 Linux 中添加一块大于 2TB 的新磁盘?

你有没有试过使用 fdisk 对大于 2TB 的硬盘进行分区,并且纳闷为什么会得到需要使用 GPT 的警告? 是的,你看到的没错.我们无法使用 fdisk 对大于 2TB 的硬盘进行分区. 在这种情况下,我们可以使用 parted 命令.它的主要区别在于 fdisk 使用 DOS 分区表格式而 parted 使用 GPT 格式. 提示:你可以使用 gdisk 来代替 parted. 在本文中,我们将介绍如何将大于 2TB 的新磁盘添加到现有的 Linux 服务器中(如 RHEL/CentOS 或

[笔记] linux中的计划任务crontab

不能拒绝进步 cron来源于希腊单词chronos(意为"时间"),指linux系统下一个自动执行指定任务的程序(计划任务). 1--crontab 的命令选项 #crontab -u <-l, -r, -e> -u指定一个用户 -l列出某个用户的任务计划 -r删除某个用户的任务 -e编辑某个用户的任务 .csharpcode, .csharpcode pre { font-size: small; color: black; font-family: consolas,