HDFS快照

说明:由于近期正好在研究hadoop的快照机制.看官网上的文档讲的非常仔细.就顺手翻译了.也没有去深究一些名词的标准译法,所以可能有些翻译和使用方法不是非常正确,莫要介意~~ 原文地址:(Apache hadoop的官方文档) https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 1. 概述 快照snapshots是HDFS文件系统的仅仅读的基于某时间点的拷贝,能够针对某个

前言 之前的文章中谈论了几个最近几年HDFS中比较重要的特性(比如异构存储),本文继续探讨另一重大特性-Snapshot.Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是"瞬间映像". Snapshot快照概念 在进一步分析HDFS内部的快照管理之前,需要先了解Snapshot快照的概念.首先一个很根本的原则: 快照

1.介绍 HDFS快照保存某个时间点的文件系统快照,可以是部分的文件系统,也可以是全部的文件系统.快照用来做数据备份和灾备.有以下特点: 1.快照几乎是实时瞬间完成的 2.只有在做快照时文件系统有修改才需要额外的内存 3.datanode上的块不需要复制.快照文件记住块的列表和文件的大小 4.对HDFS没有不利的影响.在文件系统有更改时做快照,不影响数据的写入读出,快照会根据当前块的数据减去变化的数据来得到先前时间点的数据. 2.快照文件夹 允许做快照的文件夹称为snapshottable目录,

Overview HDFS Snapshots are read-only point-in-time copies of the file system. Snapshots can be taken on a subtree of the file system or the entire file system. Some common use cases of snapshots are data backup, protection against user errors and di

Hadoop 2.x HDFS新特性     HDFS联邦     HDFS HA(要用到zookeeper等,留在后面再讲)     HDFS快照 回顾: HDFS两层模型     Namespace: 包括目录.文件和块.它支持所有命名空间相关的文件操作,如创建.删除.修改,查看所有文件和目录.     Block Storage Service(块存储服务) 包括两部分: 1 在namenode中的块的管理:提供datanode集群的注册.心跳检测等功能.处理块的报告信息和维护块的位置信息

Hadoop分布式文件系统是设计初衷是可靠的存储大数据集,并且使应用程序高带宽的流式处理存储的大数据集.在一个成千个server的大集群中,每个server不仅要管理存储的这些数据,而且可以执行应用程序任务.通过分布式存储和在各个server间交叉运算,集群和存储可以按需动态经济增长.以下的设计原则和经验是根据yahoo通过HDFS管理的40PB得来的. 1. HDFS简介 HDFS是一个分布式文件系统,并且为MapReduce分布式算法提供了一分析和传输大数据的框架.HDFS使用java编写,

第六章的代码及命令的部分本人还未验证,先记录,验证后如有变动再更新. 一.是什么 1.是一个易于扩展的分布式文件系统 2.可以运行在大量普通廉价机器上,提供容错机制 3.可以为大量用户提供性能不错的文件存取服务 二.优点 高容错性:数据自动保存多个副本,副本丢失后,自动恢复 适合批处理:移动计算而非数据,数据位置暴露给计算框架 适合大数据处理:GB.TB.甚至PB级数据:百万规模以上的文件数量:10K+节点规模 流式文件访问:一次性写入,多次读取:保证数据一致性 可构建在廉价机器上:通过多副本提

原文链接:http://blog.csdn.net/ashic/article/details/47068183 官方文档链接:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 概述 HDFS快照是一个只读的基于时间点文件系统拷贝.可以为文件系统中的某个子目录或者整个文件系统拍摄快照.快照通常用来作为数据备份,防止用户错误和容灾. HDFS快照的创建是高效的: 快照的创建

在hadoop第前几个版本中是没有快照功能的,2.x中是有这个特性的 Hadoop 2.x HDFS新特性   HDFS快照 HDFS快照     在2.x终于实现了快照     设置一个目录为可快照:         hdfs dfsadmin -allowSnapshot <path>     取消目录可快照:         hdfs dfsadmin -disallowSnapshot <path>     生成快照:         hdfs dfs -createSna