定时 清理 elasticsearch 6.5.4 的 索引 文件

#!/bin/sh

ip=‘127.0.0.1‘
port=‘9200‘

day=`date -d "2 days ago" +%Y%m%d`
#day=`date -d "5 hour ago" +%Y.%m.%d`

echo ""
echo "================================================="
echo `date +"%Y-%m-%d %H:%M.%S"`

indexname=`curl -XGET -s $ip:$port/_cat/indices|awk ‘{print $3}‘`
if [ $? -ne 0 ];then
    echo "Connect $ip:$port error...."
else
    echo "Connect $ip:$port Sucess,loading index ..."
fi

length=${#indexname[@]}
if [[ 0 -eq "$lenqth" ]];then
    echo "Nothings to do!"
fi

for i in $indexname
do
    time=`echo $i|awk -F"-" ‘{print $NF}‘|egrep "([0-9][0-9][0-9][0-9]).(0[1-9]|[1][0-2]).(0[1-9]|[1-2][0-9]|3[0-1])"`
    time=${time//./}

    if [ -n "$time" ];then
        if [ "$time" -lt "$day" ];then
            echo "Delete $i"
            curl -XDELETE http://$ip:$port/$i
        fi
    fi
done

echo ""

以上脚本加入crontab

#每天清理es数据
0 1 * * * /data/shell/rm_esindex.sh >> /data/logs/rm_esindex.log

PS:

https://www.cnblogs.com/shiyiwen/p/8311014.html

https://www.cnblogs.com/yxwkf/p/5196016.html

原文地址:https://www.cnblogs.com/phpdragon/p/10182439.html

时间: 2024-10-27 14:24:12

定时 清理 elasticsearch 6.5.4 的 索引 文件的相关文章

Elasticsearch索引定时清理

问题 近期,kibana页面上出现Elasticsearch plugin is red错误信息,重启elasticsearch后又频繁出现该问题,观察elasticsearch发现各节点之间出现连接超时的现象. 解决方法 怀疑是索引条目太多,导致Elasticsearch性能下降造成的,通过查询api发现大量索引是yellow状态:curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' yellow open user_audit-2018-08-

linux 日志定时清理脚本

工作中经常会碰到服务日志占满服务器磁盘,如果不去清理,服务就可能无法正常工作.适当提高日志的打印级别,如info级别提高到warn可以临时缓解下,但也不长久之际, 还得写个脚本定时清理下. #!/bin/bash #clearLog.sh nginxDir=/usr/local/nginx/logs/* devInfo=($(df -l | awk '{print $1}')) #日志所处的磁盘 perInfo=($(df -l | awk '{print int($5)}')) #磁盘使用率

cleanmymac定时清理与垃圾监测

cleanmymac是一款非常智能并且人性化的Mac清理软件,为了保持Mac清洁,我们可以事先设置好“提醒我定时清理”和“可用空间小于此值时警告”,这样就不会忘记清理Mac了. 提醒我定时清理 是不是经常会忘记清理Mac?那也没关系,cleanmymac可以设置定时清理.启动软件,在“偏好设置”-“计划程序”中,我们可以看到“提醒我定时清理”,它提供了多种不同的定时时间,可根据需要进行选择,包括从不.每周一次.每两周一次.每月一次.每三个月一次.每六个月一次和每年一次. 软件默认为每两周一次,我

oracle定时清理日志操作

下面介绍下oracle下定时清理归档日志文件操作. 假设:归档日志满,清空归档日志办法如下. 第一步:在c盘下面建立一个RMAN_DEL.txt文件 第二步:做一个批处理文件,名为:RAMN_DEL.bat 放在c盘的根目录.文件内容如下所示: 第三步:添加一个任务计划: 执行步骤如下图所示,任务计划出来后点击下一步设置参数即可. 以上为window下执行计划任务定时删除归档日志方法.如果是linux请操作本人写的linux定时任务操作.版权所有.转载请说明出处.

定时清理两周前的分区上的数据

DECLARE @NEW_P INT DECLARE @P INT SELECT @NEW_P=DATEPART(DAYOFYEAR,CONVERT(DATETIME,GETDATE())) DECLARE BOUNDARY_ID_PARTSCHEME_DAY CURSOR FOR --控制top的值控制清除的时间 SELECT TOP 339 SORV.boundary_id FROM sys.partition_schemes SPS LEFT JOIN sys.partition_rang

linux-实现日志的定时清理

定时清理分2步骤 1.查找出需要清理的文件 2.系统增加定时执行任务 第一步.vi dellog.sh 第二步.查找需要清理的文件 录入:find /var/log/nginx -mtime +7 -type f -name \*.log | xargs rm -f 其中 -mtime +7,为查找7天前的文件 http://blog.sina.com.cn/s/blog_716358dc0100lj5p.html -type f ,类型为文件 http://zhidao.baidu.com/l

定时删除日志文件---linux定时清理日志

linux是一个很能自动产生文件的系统,日志.邮件.备份等.虽然现在硬盘廉价,我们可以有很多硬盘空间供这些文件浪费,让系统定时清理一些不需要的文件很有一种爽快的事情.不用你去每天惦记着是否需要清理日志,不用每天收到硬盘空间不足的报警短信,想好好休息的话,让我们把这个事情交给机器定时去执行吧. 1.删除文件命令: find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 实例命令: find /opt/soft/log/ -mtime +30

Elasticsearch-基础介绍及索引原理分析

转自 : http://www.cnblogs.com/dreamroute/p/8484457.html 介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作: 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索. 实时分析的分布式搜索引擎. 可以扩展到上百台服务器,处理P

mysql定时清理binlog

一.没有主从同步的情况下清理日志 mysql -uroot -p123456 -e 'PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ),INTERVAL 5 DAY)'; #mysql 定时清理5天前的binlog mysql -u root -p #进入mysql 控制台 reset master; #重置binlog 二.MySQL主从同步下安全清理binlog日志 1.mysql -u root -p #进入从服务器mysql控制台 show slave