elasticsearch的索引自动清理及自定义清理

近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本

一、手动删除

rm -rf *2016-07-*

二、api删除

curl -XDELETE ‘http://127.0.0.1:9200/logstash-2016-07-*‘

清理掉了所有 7月份的索引文件，我发现curl 删除比rm删除要快出很多

三、脚本加api删除（推荐）

cat es-index-clear.sh
#/bin/bash
#es-index-clear
#获取上个月份日期
LAST_DATA=`date -d "last month"+%Y-%m`
#删除上个月份所有的索引
curl -XDELETE‘http://127.0.0.1:9200/*-‘${LAST_DATA}‘-*‘

四、添加到任务计划

crontab -e
0 1 5 * * /script/es-index-clear.sh

时间： 2024-10-21 20:52:44

elasticsearch的索引自动清理及自定义清理的相关文章

【转载】mysql binlog日志自动清理及手动删除

说明:当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间.mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005…有三种解决方法:1.关闭mysql主从,关闭binlog:2.开启mysql主从,设置expire_logs_days:3.手动清除binlog文件,> PURGE MASTER LOGS TO ‘MySQL-bin

Elasticsearch系列---索引管理

概要 Elasticsearch让索引创建变得非常简单,只要索引一条新的数据,索引会自动创建出来,但随着数据量的增加,我们开始有了索引优化和搜索优化的需求之后,就会发现自动创建的索引在某些方面不能非常完美的适应我们的需求,我们开始考虑手动创建适合我们业务需求的索引. 索引的CRUD 为了更好地贴切我们的业务数据需求,我们开始更精细的管理我们的索引. 创建索引创建索引的语法示例如下: PUT /music { "settings": { "number_of_shards&q

使用java访问elasticsearch创建索引

使用java访问elasticsearch创建索引 http://riching.iteye.com/blog/1921625 ...怎么这么多对象啊.... 结贴.. 1.创建连接elasticsearch服务的client 创建这个服务的客户端 Settings settings = ImmutableSettings.settingsBuilder().put("client.transport.sniff", true).put("cluster.name"

Elasticsearch 【索引别名 alias】

https://www.elastic.co/guide/en/elasticsearch/reference/1.7/indices-aliases.html 一. Elasticsearch的别名,就类似数据库的视图. 创建别名: 我们为索引my_index创建一个别名my_index_alias,这样我们对my_index_alias的操作就像对my_index的操作一样 POST /_aliases { "actions": [ { "add&

Elasticsearch索引自动套用模板

公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中,将日志数据按月分索引保存,在扩展的ELK架构中,利Logstash对接rabbitmq,获取日志消息,自动持久化至Elasticsearch.而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定,最常见的问题就是,某个字段我们并不希望ES对其进行分词,但如果使用自动模板创建索引,那么默认是所有string类型的字段都会被分词的,因此必须要显式指定字段的not_analyzed属性,其它的比如控制索引的备份数,分片

Elasticsearch创建索引和映射结构详解

前言这篇文章详细介绍了如何创建索引和某个类型的映射. 下文中[address]指代elasticsearch服务器访问地址(http://localhost:9200). 1 创建索引 1.1 简单创建语句 curl -XPUT [address]/blog 1.2 带参数的创建语句 curl -XPUT [address]/blog/ -d '{ "settings":{ "number_of_shards":1, //设置分

Elasticsearch操作索引

目录操作索引 1. 基本概念 2. 创建索引 2.1 语法 2.2查看索引设置 2.3.删除索引 2.4 映射配置 2.5 新增数据 2.6 修改数据 2.7 删除数据 3. 查询 3.1 基本查询 3.2.结果过滤 3.3 高级查询 3.4 过滤(filter) 3.5 排序 4. 聚合aggregations 4.1 基本概念 4.2 聚合为桶 4.3 桶内度量 4.4 桶内嵌套桶 4.5 划分桶的其它方式操作索引 1. 基本概念 Elasticsearch也是基于Lucene的全文检索

mysql binlog日志自动清理及手动删除

说明:当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间.mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005-有三种解决方法:1.关闭mysql主从,关闭binlog:2.开启mysql主从,设置expire_logs_days:3.手动清除binlog文件,> PURGE MASTER LOGS TO 'MySQL-bin

Elasticsearch 【索引模板 index templates】

https://www.elastic.co/guide/en/elasticsearch/reference/1.7/indices-templates.html 一. 索引模板,定义模板,当新索引创建时,自动匹配,并应用定义的模板新增索引模板(index templates) 我们新建一个索引模板template_1 设置它的主分片为1个.类型有type1且_source disabled PUT /_template/template_1 { "template": &qu