elasticsearch snapshot快照备份和恢复

环境:mac

  使用brew 安装elasticsearch

1.在 /usr/local/etc/elasticsearch/elasticsearch.yml 文件中配置快照地址

path.repo: ["/data/backups/my_backup"]

2.重启elasticsearch

3.注册仓库:curl -XPUT ‘http://localhost:9200/_snapshot/my_backup‘ -d ‘{

"type":"fs",

"settings":{

"location":"/data/backups/my_backup",

"compress":"true"

}

}‘

4.查看仓库信息

curl -XGET ‘http://localhost:9200/_snapshot/my_backup?pretty

输出:

{

"my_backup" : {

"type" : "fs",

"settings" : {

"compress" : "true",    # 指定是否对快照文件进行压缩. 默认是 true.

"location" : "/data/backups/my_backup" #指定快照的存储位置。必须要有

}

}

}

5.删除一个仓库

curl -XDELETE ‘localhost:9200/_snapshot/my_backup‘

6.创建快照

同一个集群中,一个仓库中可以存放多个快照。快照在集群中的名称是唯一的。使用下面命令创建快照名为snapshot_1的快照:

      所有索引进行快照:

    curl -XPUT "localhost:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true?pretty"

   某个索引进行快照:

      curl -XPUT "localhost:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true?pretty" -d ‘{"indices":"customer"}‘

7.查看快照

curl -XGET "localhost:9200/_snapshot/my_backup/snapshot_1?pretty"

查看所有索引:curl -XGET "localhost:9200/_snapshot/my_backup/_all?pretty"

8.删除一个快照

curl -XDELETE "localhost:9200/_snapshot/my_backup/snapshot_1"

9.恢复一个快照 (恢复的意思是通过接口删除节点中的索引,不是删除备份的快照)

    恢复所有索引:

    curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true"

   恢复某个索引:

     curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true" -d ‘{"indices":"customer","ignore_unavailable":"true"}‘

注意:

快照恢复前需要关掉索引

curl -XPOST "localhost:9200/my_index/_close"

curl -XPOST "localhost:9200/customer/_close"

开启索引

curl -XPOST "localhost:9200/my_index/_open"

查看索引状态

curl ‘localhost:9200/_cat/indices?v‘

curl -XGET "localhost:9200/_recovery/"

10.查看快照状态信息(比如正在创建或者创建完成等)

a.列出所有当前正在运行的快照以及显示他们的详细状态信息

curl -XGET ‘localhost:9200/_snapshot/_status?pretty‘

b.查看指定仓库正在运行的快照以及显示他们的详细状态信息

curl -XGET ‘localhost:9200/_snapshot/my_backup/_status?pretty‘

c.查看指定快照的详细状态信息即使不是正在运行

curl -XGET ‘localhost:9200/_snapshot/my_backup/snapshot_1/_status?pretty‘

d.支持同时指定多个快照ID查看多个快照的信息

curl -XGET ‘localhost:9200/_snapshot/my_backup/snapshot_1,snapshot_2/_status?pretty‘

时间: 2024-11-02 10:33:24

elasticsearch snapshot快照备份和恢复的相关文章

elasticsearch 索引数据快照备份和恢复

最近线上的ES集群埋点数据量暴涨,机器的内存磁盘空间眼看就要炸了.但这部分数据又是冷数据,现时不需要查询,但又不能直接delete,需保留日后数据分析.由于前期急于上线,业务代码没有合理分配索引按月切割,全年数据丢进单个索引,导致单索引数据暴涨到100G+为解决磁盘空间的瓶颈,针对不常用的分片数据,做快照冷存储.应用场景:三节点的ES集群:192.168.85.39 ,192.168.85.36,192.168.85.33 找一台有磁盘空间的服务器,搭建NFS,用于共享目录挂载.已192.168

kvm快照备份和恢复

查看磁盘格式: [[email protected]04 ehs-rac-01]# cd /var/lib/libvirt/images/ [[email protected]-as-04 images]# qemu-img info ehs-rac-01.qcow2 image: ehs-rac-01.qcow2 file format: qcow2 virtual size: 30G (32212254720 bytes) disk size: 34G cluster_size: 65536

大数据产品的备份及恢复

Hbase Distcp方式 整体下载上传方式 CopyTable备份 Export工具 elasticsearch 建立备份快照数据挂载点 建立快照仓储repository 建立snapshot快照备份 恢复snapshot快照数据 原集群恢复 新集群恢复 HDFS Hbase的备份恢复 hbase数据备份策略有两类: 离线备份(关闭Hbase集群进行全备份,包括distcp方式.整体下载上传) 在线备份(在线对集群进行备份,存在数据丢失的风险) 进行离线备份时,必须全部关闭Hbase集群,或

Elasticsearch:Cluster备份 Snapshot及Restore API

Elasticsearch提供了replica解决方案,它可以帮我们解决了如果有一个或多个node失败了,那么我们的数据还是可以保证完整的情况,并且搜索还可以继续进行.但是,有一种情况是我们的所有的node,或者有一部分node失败,可能会造成我们的数据的丢失.也就是说replca不能提供一种灾难性的保护机制.我们需要一种完整的备份机制. Snapshot及Restore 在Elastic里,我们提供了一个叫做snapshot及restore API的接口.使您可以使用数据和状态快照备份您的El

MySQL备份与恢复常用方法总结(mysqldump/xtrabackup/lvm快照备份/二进制日志及时点恢复)

MySQL备份与恢复常用方法总结 (mysqldump/xtrabackup/lvm快照备份/逻辑备份与恢复/二进制日志及时点恢复) 自言:学习在于总结,把所了解的类似东西放到一起更能加深记忆 一.了解备份相关知识 1)按服务器备份时状态可分为:     热备份:读.写不受影响:     温备份:仅可以执行读操作:     冷备份:离线备份:读.写操作均中止:2)按服务器备份数据集可分为:     物理备份:复制数据文件:     逻辑备份:将数据导出至文本文件中:3)按服务器备份数据量可分为:

lvm快照备份mysql

快照备份原理(从其他博客看的): 原理:通过lvm快照给lvm真身拍个照片,当lvm真身发送改变时,lvm快照把lvm真身改变之前的内容存放在快照上,这样在lvm快照有效的这段时间内,我们看到的lvm快照上的内容始终是lvm真身在创建lvm快照时内容,通过备份lvm快照即可达到在线备份lvm真身的目的.需要注意的是,当lvm快照比lvm真身小时,若lvm真身发生的改变大于lvm快照,则lvm快照将变得无法读取而失效; 若lvm快照大于等于lvm真身,则不会发生前面的情况.当一个snapshot创

[MySQL Reference Manual] 7 备份和恢复

7. 备份和恢复 本章主要会介绍: 1.备份的类型:逻辑备份,物理备份,全备和增量4种 2.创建备份的方法 3.还原方法,包括还原到时间点 4.备份计划,压缩和加密 5.表维护,恢复损坏的表 7. 备份和恢复... 1 7.1备份和还原类型... 1 7.1.1 物理备份VS逻辑备份... 1 7.1.2 Online VS OFFLINE. 1 7.1.3 本地VS远程... 1 7.1.4 快照备份... 1 7.1.5 全备VS增量备份... 1 7.1.6 完全恢复VS时间点(增量)恢复

第二天 实战KVM |kvm镜像格式转换|快照创建和恢复|时间配置

一.kvm虚拟机镜像格式转换 1.KVM中磁盘镜像有哪些格式? kvm从qemu继承了丰富的磁盘格式, 包括裸映象(raw images), 原始qemu格式(qcow), VMware格式和更多 2.KVM中raw格式和qcow2格式的比较? kvm虚拟机默认使用raw格式的镜像格式,性能最好,速度最快,它的缺点就是不支持一些新的功能,如支持镜像,zlib磁盘压缩,AES加密等.  要使用镜像功能,磁盘格式必须为qcow2 raw格式的话,速度稍微快点,在高版本的qemu-kvm中,几乎不比q

云与备份之(1):VMware虚机备份和恢复

本系列文章会介绍云与备份之间的关系,包括: (1)VMware 虚机备份和恢复 (2)KVM 虚机备份和恢复 (3)云与备份 (4)OpenStack 与备份 (5)公有云与备份 1. 与备份有关的VMWare基础知识 1.1 VMware 虚机磁盘在 ESXi 宿主机上的文件 简单来说,虚机的每个虚拟磁盘由ESXi 宿主机上的三个文件组成(这里的虚机名字是 sammy-target-win-small,下面是其第一个磁盘对应的三个文件): sammy-target-win-small.vmdk