学习笔记-hadoop的安全模式和目录快照

安全模式

1、namenode启动时,合并image和edit成新的image,并产生新的edit log

2、整个智能safe模式下,客户端只能读取

3、查看nameode是否位于安全模式

hdfs dfsadmin -safemode get    //查看安全模式

hdfs dfsadmin -safemode enter    //进入安全模式

hdfs dfsadmin -safemode leave    //离开安全模式

hdfs dfsadmin -safemode wait    //等待安全模式

4、手动保存名字空间:dfsadmin -saveNamespace

5、手动保存镜像文件:hdfs dfsadmin -fetchImage

6、保存元数据:(保存在hadoop_home下即:hadoop /logs/下)hdfs dfsadmin -metasave xxx.dsds

7、start-balancer.sh :启动均衡器,目的让集群数据存储上更加平均,提高整个集群的性能(一般我们在增加节

点的情况下才启动均衡器)

8、hadoop fs -count统计目录

--------------------------------------------------

Hadoop Snapshot快照:就是把当前的情况拍照保存起来。一般目录默认的情况是不能创建快照的。必须执行hdfs

dfsadmin -allowSnapshot /user/ubuntu/data。允许创建快照,后面跟的是你想创建快照的地址路径。在这里允许

创建快照后我们就可以执行adoop fs -createSnapshot /user/ubuntu/data snap-1创建快照了。snap-1是你创建快

照名。查看快照的话直接hadoop fs -ls -R /user/ubuntu/data/.snapshot/。还有你在创建快照的情况下是不能禁

用快照的

1、创建快照hadoop fs [-createSnapshot <snapshotDir> [<snapshotName>]]

2、删除快照hadoop fs [-deleteSnapshot<snapshotDir> <oldName> <newName>]

3、重命名快照hadoop fs [-renameSnappshot<snapshotDir> <oldName> <newName>]

4、允许目录快照hadoop dfsadmin [-allowSnapshot <snapshotDir>]

5、禁用目录快照hadoop dfsamdin[-disallowSnapshot<snapshotDir>]

时间: 2024-08-29 02:00:58

学习笔记-hadoop的安全模式和目录快照的相关文章

学习笔记--hadoop

Hadoop hadoop-1.2.1.tar.gz jdk-6u32-linux-x64.bin Useradd  -u 900 hadoop Mv jdk1.6.0_32  /home/hadoop Mv hadoop-1.2.1.tar.gz/home/hadoop Chown hadoop.hadoop /home/hadoop -R Su -hadoop Ln -s jdk1.6.0_32 java Tar zxf hadoop-1.2.1.tar.gz hadoop-1.2.1 Ln

Linux学习笔记(二)——文件/目录/VIM

文件和目录管理 及 VI编辑器的使用 文件和目录管理,刚开始学这块的时候感觉内容很多很杂,但是学完进行总结后,发现其实很有条理的而且没什么难度,只是熟练掌握这些常用的命令就行了.至于Vim编辑器,不得不说,用了这个编辑器之后,感觉windows的notepad很没有技术含量了. 先简单总结一下文件和目录常用到的命令,简单的用法就略过.      文件操作命令:touch.file.which.find.cp.rm.mv.ln      文件内容操作命令:cat.more.less,head.ta

java核心学习笔记(一) javaJDK目录阐述

本系列博客为原创博客,旨在学习整理之用,转载请注明出处,谢谢. java作为最成功的语言之一,有很多地方可以学习,不仅仅是语言的用法. 本次学习目标在于系统的从javaSE学起,学习java的理念思想,以及从代码层次直接学习javaSE和他的用法,以此来为将来学习java类库的编写.java开发框架以及javaEE.java虚拟机.javaWEB打下良好的基础,努力让编程成为一种思想,成为身体的一部分. 这次从头重新对java的学习,目的是要学习java的世界观和方法论,学习过程要符合哲学理论,

Python学习笔记-校验源与备份目录差异

校验源与备份目录差异 有时我们无法确认备份与源目录文件是否保持一致,包括源目录中的新文件或目录.更新文件或目录有无成功同步,定期进行校验,没有成功则希望有针对性地进行补备份. 本例使用了filecmp模块的left_only.diff_files方法递归获取源目录的更新项,再通过shutil.copyfile.os.makedirs方法对更新项进行复制,最终保持一致状态. #!/usr/bin/python3 # import os import sys import filecmp impor

Linux学习笔记6-Linux根目录下各个目录的作用

/bin:存放最常用命令:  /boot:启动Linux的核心文件: /dev:设备文件: /etc:存放各种配置文件: /home:用户主目录: /lib:系统最基本的动态链接共享库: /mnt:一般是空的,用来临时挂载别的文件系统: /proc:虚拟目录,是内存的映射: /sbin:系统管理员命令存放目录: /usr:最大的目录,存许应用程序和文件: /usr/X11R6:X-Window目录: /usr/src:Linux源代码: /usr/include:系统头文件: /usr/lib:

Nginx学习笔记01Nginx简要介绍与目录说明

1.1. Nginx简要介绍 (1)Nginx是Web服务器. Apache.IIS:经典的通用Web服务器. Lighttpd.Nginx:轻量级Web服务器. Tomcat.Jetty:面向Java的Web服务器. (2)Nginx的优点. Nginx最吸引人的优点在于以下三个方面: (a)支持高并发. 单机10万并发. (b)低内存消耗.10000个非活跃连接仅消耗2.5MB内存. (c)热部署.24x7不间断服务. (3)Nginx的架构特点. (a)多进程架构:1个Master进程+N

RMAN_学习笔记4_RMAN Catalog Script恢复目录脚本

待整理 --============================== -- 基于catalog 创建RMAN存储脚本 --============================== 简言之,将rman的备份恢复命令写成脚本并保存在恢复目录内,恢复目录内的脚本可用性及通用性高于基于文件系统的脚本. 客户端只要能够登录到RMAN恢复目录,则这些脚本可用,尤其对于global脚本,可以被任意注册的数据库调度. 一.脚本的分类 local : 在rman连接的目标数据库下创建的脚本,此类脚本仅仅适

PHP学习笔记:APACHE配置虚拟目录、一个站点使用多域名配置方式

我用的是xmapp lite2016的集成包,配置虚拟目录教程如下: 找到httpd-vhosts.conf这个文件,这个文件一般是在xampp\apache\conf\extra这个路径下面,找不到可以搜索下. 你会看到类似的界面: # # Use name-based virtual hosting. # ##NameVirtualHost *:80 # # VirtualHost example: # Almost any Apache directive may go into a Vi

Hadoop学习笔记——Hadoop经常使用命令

Hadoop下有一些经常使用的命令,通过这些命令能够非常方便操作Hadoop上的文件. 1.查看指定文件夹下的内容 语法: hadoop fs -ls 文件文件夹 2.打开某个已存在的文件 语法: hadoop fs -cat 文件地址 [ | more] []表示的是可选命令 3.将本地文件存到Hadoop 语法: hadoop fs -put 本地文件地址 Hadoop文件夹 4.将Hadoop上的文件下载到本地文件夹内 语法: hadoop fs -get Hadoop文件夹 本地文件文件