四:HDFS Snapshots

1.介绍

HDFS快照保存某个时间点的文件系统快照,可以是部分的文件系统,也可以是全部的文件系统。快照用来做数据备份和灾备.有以下特点:

1.快照几乎是实时瞬间完成的

2.只有在做快照时文件系统有修改才需要额外的内存

3.datanode上的块不需要复制。快照文件记住块的列表和文件的大小

4.对HDFS没有不利的影响。在文件系统有更改时做快照,不影响数据的写入读出,快照会根据当前块的数据减去变化的数据来得到先前时间点的数据。

2.快照文件夹

允许做快照的文件夹称为snapshottable目录,HDFS中的任意目录都可以设置成snapshottable,一个snapshottable目录下可以存放65536个快照。在/foo/bar中,需要对foo做快照,路径如下:

/foo/.snapshot/s0/bar 即在当前目录下有有.snapshot目录。

3.HDFS升级时……略

4.快照的操作

1)允许目录创建快照

hdfs dfsadmin -allowSnapshot <path>

2)禁用快照.所有该文件夹的快照必须都要删除掉

hdfs dfsadmin -disallowSnapshot <path>

3)创建快照

hdfs dfs -createSnapshot <path> [<snapshotName>]  path指要创建的快照,创建完后就是path目录下有个.snapshot目录

4)重命名快照

hdfs dfs -renameSnapshot <path> <oldName> <newName>

5)列出当前用户可以创建的快照的目录

hdfs lsSnapshottableDir

6)找出两个快照之间的不同

hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

Arguments:

path The path of the snapshottable directory.

fromSnapshot The name of the starting snapshot.

toSnapshot The name of the ending snapshot.

Results:

+ The file/directory has been created.

- The file/directory has been deleted.

M The file/directory has been modified.

R The file/directory has been renamed.

参考:

http://debugo.com/hdfs-snapshot/

http://www.nosqlcn.com/ShowArticle/23

来自为知笔记(Wiz)

时间: 2024-10-11 07:10:46

四:HDFS Snapshots的相关文章

HDFS Snapshots

Overview HDFS Snapshots are read-only point-in-time copies of the file system. Snapshots can be taken on a subtree of the file system or the entire file system. Some common use cases of snapshots are data backup, protection against user errors and di

Hadoop学习&lt;四&gt;--HDFS的RPC通信原理总结

这里先写下自己学习RPC的笔记总结,下面将详细介绍学习过程: RPC(remote procedure call) 不同java进程间的对象方法的调用. 一方称作服务端(server),一方称作客户端(client). server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端. RPC是hadoop框架运行的基础. 通过rpc小例子获得的认识? 1. 服务端提供的对象必须是一个接口,接口extends VersioinedProtocal 2. 客户端能够的对象中的方

HDFS F ile System Shell Guide

Overview appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find get getfacl getfattr getmerge help ls lsr mkdir moveFromLocal moveToLocal mv put renameSnapshot rm rmdir rmr

HDFS快照管理

前言 之前的文章中谈论了几个最近几年HDFS中比较重要的特性(比如异构存储),本文继续探讨另一重大特性-Snapshot.Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是"瞬间映像". Snapshot快照概念 在进一步分析HDFS内部的快照管理之前,需要先了解Snapshot快照的概念.首先一个很根本的原则: 快照

HDFS 命令大全

目录 概要 用户命令 dfs 命令 追加文件内容 查看文件内容 得到文件的校验信息 修改用户组 修改文件权限 修改文件所属用户 本地拷贝到 hdfs hdfs 拷贝到本地 获取目录,文件数量及大小 hdfs 内拷贝 createSnapshot 创建快照 deleteSnapshot 删除快照 显示空闲空间 显示文件和目录大小 清空回收站 查找文件 显示目录或文件的访问控制列表 显示文件或目录的扩展信息 ls mkdir moveFromLocal moveToLocal mv rm test

HDFS 和 YARN 的 HA 故障切换【转】

来源:https://blog.csdn.net/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode 的 active 和 standby 状态切换3 HDFS HA自动切换比手工切换多出来的步骤三 ResourceManager 的 HA 自动切换命令1 获得当前 RM 的 active 和 sta

【源】从零自学Hadoop(11):Hadoop命令上

阅读目录 序 概述 Hadoop Common Commands User Commands Administration Commands File System Shell 引用 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用

Hadoop核心组件:四步通晓HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序,那么在实际应用中我们如何来操作使用呢? 一.HDFS操作方式: 1.  命令行操作 –FsShell:$ hdfs dfs 2. 其他的计算框架-如spark 通过URI,比如: hdfs://nnhost:port/file-,调用HDFS的协议.主机.端口或者对外提供的服务媒.以及文件,在spark的程序中实现对HDFS的访问. 3.  其

Hadoop HDFS编程 API入门系列之简单综合版本1(四)

不多说,直接上代码. 代码 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs4; import java.io.IOException; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus