Hadoop 2.x 快照

  • 在2.x 终于实现了快照
  • 设置一个目录为可快照:
hdfs dfsadmin -allowSnapshot <path>
  • 取消目录可快照
hdfs dfsadmin -disallowSnapshot <path>
  • 生成快照
hdfs dfs -createSnapshot <path> [<snapshotName>]
  • 删除快照
hdfs dfs -deleteSnapshot <path> <snapshotName>
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfsadmin -allowSnapshot /
Allowing snaphot on / succeeded
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -put ../test1.txt /test1.txt    
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -ls /
Found 1 items
-rw-r--r--   1 hadoop supergroup         12 2014-08-31 23:26 /test1.txt
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -createSnapshot / 
Created snapshot /.snapshot/s20140831-232654.464
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -ls /.snapshot  
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-08-31 23:24 /.snapshot/s20140831-232445.185
drwxr-xr-x   - hadoop supergroup          0 2014-08-31 23:26 /.snapshot/s20140831-232654.464

#恢复快照
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -mkdir /tmp
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -cp /.snapshot/s20140831-232654.464 /tmp
[[email protected] hadoop-2.5.0]$ ./bin/hdfs dfs -cat /tmp/s20140831-232654.464/test1.txt
hello world

其他快照操作

列出所有可快照目录

hdfs lsSnapshottableDir

比较快照直接的差异

hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>
时间: 2024-09-26 22:29:28

Hadoop 2.x 快照的相关文章

使用snapshot实现hdfs文件备份和恢复实战

通过snapshot实现 hdfs上文件的备份 api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html ========================================================================================== 1.允许创建快照 首先,在你想要

Hadoop的多节点集群启动,唯独没有namenode进程?(血淋淋教训,一定拍快照)

前言 大家在搭建hadoop集群时,第一次格式化后,一路要做好快照.别随便动不动缺少什么进程,就来个格式化. 问题描述:启动hadoop时报namenode未初始化:java.io.IOException: NameNode is not formatted. 同时,若单独启动namenode,则出现,启动后一会儿,自行又消失的情况. 2.访问HadoopMaster:50070失败,说明namenode启动失败 解决办法:初始化namenode 提示是否重新初始化namenode,于是输入Y.

学习笔记-hadoop的安全模式和目录快照

安全模式 1.namenode启动时,合并image和edit成新的image,并产生新的edit log 2.整个智能safe模式下,客户端只能读取 3.查看nameode是否位于安全模式 hdfs dfsadmin -safemode get    //查看安全模式 hdfs dfsadmin -safemode enter    //进入安全模式 hdfs dfsadmin -safemode leave    //离开安全模式 hdfs dfsadmin -safemode wait  

hadoop之快照

在hadoop第前几个版本中是没有快照功能的,2.x中是有这个特性的 Hadoop 2.x HDFS新特性   HDFS快照 HDFS快照     在2.x终于实现了快照     设置一个目录为可快照:         hdfs dfsadmin -allowSnapshot <path>     取消目录可快照:         hdfs dfsadmin -disallowSnapshot <path>     生成快照:         hdfs dfs -createSna

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink--容错机制(ACK,RDD,基于log和状态快照),消息处理at least once,exactly once两个是关键

分布式流处理是对无边界数据集进行连续不断的处理.聚合和分析.它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别.这类系统一般采用有向无环图(DAG). DAG是任务链的图形化表示,我们用它来描述流处理作业的拓扑.如下图,数据从sources流经处理任务链到sinks.单机可以运行DAG,但本篇文章主要聚焦在多台机器上运行DAG的情况. 关注点 当选择不同的流处理系统时,有以下几点需要注意的: 运行时和编程模型:平台框架提供的编程模型决定了许多特色功能,编程模型要足够处理各种

Hadoop hdfs&mapreduce核心概念

1.HDFS(分布式文件系统体系) 1.1.NameNode:(名称节点) Hdfs的守护程序 记录文件是如何分割成数据块的,以及这些数据块被存储到了哪些节点上 对内存和I/O进行集中管理 是个单点,发生故障将使集群崩溃 1.2.SecondaryNamenode(辅助名称节点):发生故障进行人工的设置才能实现集群崩溃的问题 监控HDFS状态的辅助后台程序 每个集群都有一个 与NameNode进行通讯,定期保存HDFS元数据快照 与NameNode故障可以作为备用NameNode使用 1.3.D

Hadoop化繁为简—hdfs的核心剖析

层层递进-解开hdfs的面纱 1.hdfs是什么?它与普通服务器的文件系统有什么区别?它的特性有什么? 2.hdfs的工作原理是怎样的? 3.每台机器都单独启动有什么弊端?假设有1000台机器需要启动?该怎么解决呢? 4.hdfs配置与使用 5.利用javaApi充当客户端访问hdfs hdfs简介 hdfs就是一个分布式文件系统.简单说,就是一个“分鱼展”的大硬盘,跟普通的文件系统没什么区别,只是它有多台机器共同承担存储任务. 分鱼展指的是hdfs的特性分别指分布式.冗余性.可拓展. 普通服务

Hadoop学习笔记(1):概念和整体架构

Hadoop简介和历史 Hadoop架构体系 Master和Slave节点 数据分析面临的问题和Hadoop思想 由于工作原因,必须学习和深入一下Hadoop,特此记录笔记. 什么是hadoop? Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架.它支持在商品硬件构建的大型集群上运行的应用程序.Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成. Hadoop框架透明地为应用提供可靠性和数据

hadoop+zookepper实现namenode的高可用

Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量 修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置 Ssh-keygen –t rsa 在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pub(公钥) cat id_rsa.pub > .ssh/authorized_keys scp authorize