大数据技术之Hadoop(HDFS)

第1章 HDFS概述

1.1 HDFS产出背景及定义

1.2 HDFS优缺点

1.3 HDFS组成架构

1.4 HDFS文件块大小(面试重点)

第2章 HDFS的Shell操作(开发重点)

1.基本语法

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令

dfs是fs的实现类。

2.命令大全

[[email protected] hadoop-2.7.2]$ bin/hadoop fs

?

[-appendToFile <localsrc> ... <dst>]

[-cat [-ignoreCrc] <src> ...]

[-checksum <src> ...]

[-chgrp [-R] GROUP PATH...]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]

[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-count [-q] <path> ...]

[-cp [-f] [-p] <src> ... <dst>]

[-createSnapshot <snapshotDir> [<snapshotName>]]

[-deleteSnapshot <snapshotDir> <snapshotName>]

[-df [-h] [<path> ...]]

[-du [-s] [-h] <path> ...]

[-expunge]

[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-getfacl [-R] <path>]

[-getmerge [-nl] <src> <localdst>]

[-help [cmd ...]]

[-ls [-d] [-h] [-R] [<path> ...]]

[-mkdir [-p] <path> ...]

[-moveFromLocal <localsrc> ... <dst>]

[-moveToLocal <src> <localdst>]

[-mv <src> ... <dst>]

[-put [-f] [-p] <localsrc> ... <dst>]

[-renameSnapshot <snapshotDir> <oldName> <newName>]

[-rm [-f] [-r|-R] [-skipTrash] <src> ...]

[-rmdir [--ignore-fail-on-non-empty] <dir> ...]

[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

[-setrep [-R] [-w] <rep> <path> ...]

[-stat [format] <path> ...]

[-tail [-f] <file>]

[-test -[defsz] <path>]

[-text [-ignoreCrc] <src> ...]

[-touchz <path> ...]

[-usage [cmd ...]]

3.常用命令实操

(0)启动Hadoop集群(方便后续的测试)

[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh

[[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh

(1)-help:输出这个命令参数

[[email protected] hadoop-2.7.2]$ hadoop fs -help rm

(2)-ls: 显示目录信息

[[email protected] hadoop-2.7.2]$ hadoop fs -ls /

(3)-mkdir:在HDFS上创建目录

[[email protected] hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo

(4)-moveFromLocal:从本地剪切粘贴到HDFS

[[email protected] hadoop-2.7.2]$ touch kongming.txt

[[email protected] hadoop-2.7.2]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo

(5)-appendToFile:追加一个文件到已经存在的文件末尾

[[email protected] hadoop-2.7.2]$ touch liubei.txt

[[email protected] hadoop-2.7.2]$ vi liubei.txt

输入

san gu mao lu

[[email protected] hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

(6)-cat:显示文件内容

[[email protected] hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

(7)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

[[email protected] hadoop-2.7.2]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt

[[email protected] hadoop-2.7.2]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt

(8)-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去

[[email protected] hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

(9)-copyToLocal:从HDFS拷贝到本地

[[email protected] hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

(10)-cp :从HDFS的一个路径拷贝到HDFS的另一个路径

[[email protected] hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

(11)-mv:在HDFS目录中移动文件

[[email protected] hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

(12)-get:等同于copyToLocal,就是从HDFS下载文件到本地

[[email protected] hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

(13)-getmerge:合并下载多个文件,比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...

[[email protected] hadoop-2.7.2]$ hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

(14)-put:等同于copyFromLocal

[[email protected] hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

(15)-tail:显示一个文件的末尾

[[email protected] hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

(16)-rm:删除文件或文件夹

[[email protected] hadoop-2.7.2]$ hadoop fs -rm /user/atguigu/test/jinlian2.txt

(17)-rmdir:删除空目录

[[email protected] hadoop-2.7.2]$ hadoop fs -mkdir /test

[[email protected] hadoop-2.7.2]$ hadoop fs -rmdir /test

(18)-du统计文件夹的大小信息

[[email protected] hadoop-2.7.2]$ hadoop fs -du -s -h /user/atguigu/test

2.7 K /user/atguigu/test

?

[[email protected] hadoop-2.7.2]$ hadoop fs -du -h /user/atguigu/test

1.3 K /user/atguigu/test/README.txt

15 /user/atguigu/test/jinlian.txt

1.4 K /user/atguigu/test/zaiyiqi.txt

(19)-setrep:设置HDFS中文件的副本数量

[[email protected] hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

图3-3 HDFS副本数量

这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

第3章 HDFS客户端操作(开发重点)

3.1 HDFS客户端环境准备

1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2),如图3-4所示。

图3-4 编译后的hadoop jar包

2.配置HADOOP_HOME环境变量,如图3-5所示。

图3-5 配置HADOOP_HOME环境变量

3. 配置Path环境变量,如图3-6所示。

图3-6 配置Path环境变量

4.创建一个Maven工程HdfsClientDemo

5.导入相应的依赖坐标+日志添加

?

<configuration>

????<property>

????????<name>dfs.replication</name>

<value>1</value>

????</property>

</configuration>

3.参数优先级

参数优先级排序:(1)客户端代码中设置的值 >(2)ClassPath下的用户自定义配置文件 >(3)然后是服务器的默认配置

3.2.2 HDFS文件下载

@Test

public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

?

????????// 1 获取文件系统

????????Configuration configuration = new Configuration();

????????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????????// 2 执行下载操作

????????// boolean delSrc 指是否将原文件删除

????????// Path src 指要下载的文件路径

????????// Path dst 指将文件下载到的路径

????????// boolean useRawLocalFileSystem 是否开启文件校验

????????fs.copyToLocalFile(false, new Path("/banzhang.txt"), new Path("e:/banhua.txt"), true);

????????

????????// 3 关闭资源

????????fs.close();

}

3.2.3 HDFS文件夹删除

@Test

public void testDelete() throws IOException, InterruptedException, URISyntaxException{

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 执行删除

????fs.delete(new Path("/0508/"), true);

????????

????// 3 关闭资源

????fs.close();

}

3.2.4 HDFS文件名更改

@Test

public void testRename() throws IOException, InterruptedException, URISyntaxException{

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 修改文件名称

????fs.rename(new Path("/banzhang.txt"), new Path("/banhua.txt"));

????????

????// 3 关闭资源

????fs.close();

}

3.2.5 HDFS文件详情查看

查看文件名称、权限、长度、块信息

@Test

public void testListFiles() throws IOException, InterruptedException, URISyntaxException{

?

????// 1获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 获取文件详情

????RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

????????

????while(listFiles.hasNext()){

????????LocatedFileStatus status = listFiles.next();

????????????

????????// 输出详情

????????// 文件名称

????????System.out.println(status.getPath().getName());

????????// 长度

????????System.out.println(status.getLen());

????????// 权限

????????System.out.println(status.getPermission());

????????// 分组

????????System.out.println(status.getGroup());

????????????

????????// 获取存储的块信息

????????BlockLocation[] blockLocations = status.getBlockLocations();

????????????

????????for (BlockLocation blockLocation : blockLocations) {

????????????????

????????????// 获取块存储的主机节点

????????????String[] hosts = blockLocation.getHosts();

????????????????

????????????for (String host : hosts) {

????????????????System.out.println(host);

????????????}

????????}

????????????

????????System.out.println("-----------班长的分割线----------");

????}

?

// 3 关闭资源

fs.close();

}

3.2.6 HDFS文件和文件夹判断

@Test

public void testListStatus() throws IOException, InterruptedException, URISyntaxException{

????????

????// 1 获取文件配置信息

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 判断是文件还是文件夹

????FileStatus[] listStatus = fs.listStatus(new Path("/"));

????????

????for (FileStatus fileStatus : listStatus) {

????????

????????// 如果是文件

????????if (fileStatus.isFile()) {

????????????????System.out.println("f:"+fileStatus.getPath().getName());

????????????}else {

????????????????System.out.println("d:"+fileStatus.getPath().getName());

????????????}

????????}

????????

????// 3 关闭资源

????fs.close();

}

3.3 HDFS的I/O流操作

上面我们学的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢?

我们可以采用IO流的方式实现数据的上传和下载。

3.3.1 HDFS文件上传

1.需求:把本地e盘上的banhua.txt文件上传到HDFS根目录

2.编写代码

@Test

public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException {

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

?

????// 2 创建输入流

????FileInputStream fis = new FileInputStream(new File("e:/banhua.txt"));

?

????// 3 获取输出流

????FSDataOutputStream fos = fs.create(new Path("/banhua.txt"));

?

????// 4 流对拷

????IOUtils.copyBytes(fis, fos, configuration);

?

????// 5 关闭资源

????IOUtils.closeStream(fos);

????IOUtils.closeStream(fis);

fs.close();

}

3.3.2 HDFS文件下载

1.需求:从HDFS上下载banhua.txt文件到本地e盘上

2.编写代码

// 文件下载

@Test

public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException{

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 获取输入流

????FSDataInputStream fis = fs.open(new Path("/banhua.txt"));

????????

????// 3 获取输出流

????FileOutputStream fos = new FileOutputStream(new File("e:/banhua.txt"));

????????

????// 4 流的对拷

????IOUtils.copyBytes(fis, fos, configuration);

????????

????// 5 关闭资源

????IOUtils.closeStream(fos);

????IOUtils.closeStream(fis);

????fs.close();

}

3.3.3 定位文件读取

1.需求:分块读取HDFS上的大文件,比如根目录下的/hadoop-2.7.2.tar.gz

2.编写代码

(1)下载第一块

@Test

public void readFileSeek1() throws IOException, InterruptedException, URISyntaxException{

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 获取输入流

????FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));

????????

????// 3 创建输出流

????FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part1"));

????????

????// 4 流的拷贝

????byte[] buf = new byte[1024];

????????

????for(int i =0 ; i < 1024 * 128; i++){

????????fis.read(buf);

????????fos.write(buf);

????}

????????

????// 5关闭资源

????IOUtils.closeStream(fis);

????IOUtils.closeStream(fos);

fs.close();

}

(2)下载第二块

@Test

public void readFileSeek2() throws IOException, InterruptedException, URISyntaxException{

?

????// 1 获取文件系统

????Configuration configuration = new Configuration();

????FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

????????

????// 2 打开输入流

????FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));

????????

????// 3 定位输入数据位置

????fis.seek(1024*1024*128);

????????

????// 4 创建输出流

????FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part2"));

????????

????// 5 流的对拷

????IOUtils.copyBytes(fis, fos, configuration);

????????

????// 6 关闭资源

????IOUtils.closeStream(fis);

????IOUtils.closeStream(fos);

}

(3)合并文件

在Window命令窗口中进入到目录E:\,然后执行如下命令,对数据进行合并

type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1

合并完成后,将hadoop-2.7.2.tar.gz.part1重新命名为hadoop-2.7.2.tar.gz。解压发现该tar包非常完整。

第4章 HDFS的数据流(面试重点)

4.1 HDFS写数据流程

4.1.1 剖析文件写入

HDFS写数据流程,如图3-8所示。

图3-8 配置用户名称

1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。

2)NameNode返回是否可以上传。

3)客户端请求第一个 Block上传到哪几个DataNode服务器上。

4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。

5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。

6)dn1、dn2、dn3逐级应答客户端。

7)客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。

8)当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。(重复执行3-7步)。

4.1.2 网络拓扑-节点距离计算

????在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?

????节点距离:两个节点到达最近的共同祖先的距离总和。

图3-9 网络拓扑概念

例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述,如图3-9所示。

大家算一算每两个节点之间的距离,如图3-10所示。

图3-10 网络拓扑

4.1.3 机架感知(副本存储节点选择)

1. 官方ip地址

机架感知说明

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

For the common case, when the replication factor is three, HDFS‘s placement policy is to put one replica on one node in the local rack, another on a different node in the local rack, and the last on a different node in a different rack.

2. Hadoop2.7.2副本节点选择

4.2 HDFS读数据流程

HDFS的读数据流程,如图3-13所示。

图3-13 HDFS读数据流程

1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。

2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。

3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。

4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。

第5章 NameNode和SecondaryNameNode(面试开发重点)

5.1 NN和2NN工作机制

思考:NameNode中的元数据是存储在哪里的?

首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。因此,引入Edits文件(只进行追加操作,效率很高)。每当元数据有更新或者添加元数据时,修改内存中的元数据并追加到Edits中。这样,一旦NameNode节点断电,可以通过FsImage和Edits的合并,合成元数据。

但是,如果长时间添加数据到Edits中,会导致该文件数据过大,效率降低,而且一旦断电,恢复元数据需要的时间过长。因此,需要定期进行FsImage和Edits的合并,如果这个操作由NameNode节点完成,又会效率过低。因此,引入一个新的节点SecondaryNamenode,专门用于FsImage和Edits的合并。

NN和2NN工作机制,如图3-14所示。

图3-14 NN和2NN工作机制

1. 第一阶段:NameNode启动

(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。

(2)客户端对元数据进行增删改的请求。

(3)NameNode记录操作日志,更新滚动日志。

(4)NameNode在内存中对数据进行增删改。

2. 第二阶段:Secondary NameNode工作

????(1)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

????(2)Secondary NameNode请求执行CheckPoint。

????(3)NameNode滚动正在写的Edits日志。

????(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

????(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

????(6)生成新的镜像文件fsimage.chkpoint。

????(7)拷贝fsimage.chkpoint到NameNode。

????(8)NameNode将fsimage.chkpoint重新命名成fsimage。


NN和2NN工作机制详解:

Fsimage:NameNode内存中元数据序列化后形成的文件。

Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。

NameNode启动时,先滚动Edits并生成一个空的edits.inprogress,然后加载Edits和Fsimage到内存中,此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求,这些请求的操作首先会被记录到edits.inprogress中(查询元数据的操作不会被记录在Edits中,因为查询操作不会更改元数据信息),如果此时NameNode挂掉,重启后会从Edits中读取元数据的信息。然后,NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多,Edits文件会越来越大,导致NameNode在启动加载Edits时会很慢,所以需要对Edits和Fsimage进行合并(所谓合并,就是将Edits和Fsimage加载到内存中,照着Edits中的操作一步步执行,最终形成新的Fsimage)。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint(触发CheckPoint需要满足两个条件中的任意一个,定时时间到和Edits中数据写满了)。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作,首先会让NameNode滚动Edits并生成一个空的edits.inprogress,滚动Edits的目的是给Edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地,然后将拷贝的Edits和Fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给NameNode,重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

5.2 Fsimage和Edits解析

1. 概念

2. oiv查看Fsimage文件

(1)查看oiv和oev命令

[[email protected] current]$ hdfs

oiv apply the offline fsimage viewer to an fsimage

oev apply the offline edits viewer to an edits file

(2)基本语法

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

(3)案例实操

[[email protected] current]$ pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current

?

[[email protected] current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml

?

[[email protected] current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml

将显示的xml文件内容拷贝到Eclipse中创建的xml文件中,并格式化。部分显示结果如下。

<inode>

????<id>16386</id>

????<type>DIRECTORY</type>

????<name>user</name>

????<mtime>1512722284477</mtime>

????<permission>atguigu:supergroup:rwxr-xr-x</permission>

????<nsquota>-1</nsquota>

????<dsquota>-1</dsquota>

</inode>

<inode>

????<id>16387</id>

????<type>DIRECTORY</type>

????<name>atguigu</name>

????<mtime>1512790549080</mtime>

????<permission>atguigu:supergroup:rwxr-xr-x</permission>

????<nsquota>-1</nsquota>

????<dsquota>-1</dsquota>

</inode>

<inode>

????<id>16389</id>

????<type>FILE</type>

????<name>wc.input</name>

????<replication>3</replication>

????<mtime>1512722322219</mtime>

????<atime>1512722321610</atime>

????<perferredBlockSize>134217728</perferredBlockSize>

????<permission>atguigu:supergroup:rw-r--r--</permission>

????<blocks>

????????<block>

????????????<id>1073741825</id>

????????????<genstamp>1001</genstamp>

????????????<numBytes>59</numBytes>

????????</block>

????</blocks>

</inode >

思考:可以看出,Fsimage中没有记录块所对应DataNode,为什么?

在集群启动后,要求DataNode上报数据块信息,并间隔一段时间后再次上报。

3. oev查看Edits文件

(1)基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

(2)案例实操

[[email protected] current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml

?

[[email protected] current]$ cat /opt/module/hadoop-2.7.2/edits.xml

将显示的xml文件内容拷贝到Eclipse中创建的xml文件中,并格式化。显示结果如下。

<?xml version="1.0" encoding="UTF-8"?>

<EDITS>

????<EDITS_VERSION>-63</EDITS_VERSION>

????<RECORD>

????????<OPCODE>OP_START_LOG_SEGMENT</OPCODE>

????????<DATA>

????????????<TXID>129</TXID>

????????</DATA>

????</RECORD>

????<RECORD>

????????<OPCODE>OP_ADD</OPCODE>

????????<DATA>

????????????<TXID>130</TXID>

????????????<LENGTH>0</LENGTH>

????????????<INODEID>16407</INODEID>

????????????<PATH>/hello7.txt</PATH>

????????????<REPLICATION>2</REPLICATION>

????????????<MTIME>1512943607866</MTIME>

????????????<ATIME>1512943607866</ATIME>

????????????<BLOCKSIZE>134217728</BLOCKSIZE>

????????????<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>

????????????<CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>

????????????<OVERWRITE>true</OVERWRITE>

????????????<PERMISSION_STATUS>

????????????????<USERNAME>atguigu</USERNAME>

????????????????<GROUPNAME>supergroup</GROUPNAME>

????????????????<MODE>420</MODE>

????????????</PERMISSION_STATUS>

????????????<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>

????????????<RPC_CALLID>0</RPC_CALLID>

????????</DATA>

????</RECORD>

????<RECORD>

????????<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>

????????<DATA>

????????????<TXID>131</TXID>

????????????<BLOCK_ID>1073741839</BLOCK_ID>

????????</DATA>

????</RECORD>

????<RECORD>

????????<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>

????????<DATA>

????????????<TXID>132</TXID>

????????????<GENSTAMPV2>1016</GENSTAMPV2>

????????</DATA>

????</RECORD>

????<RECORD>

????????<OPCODE>OP_ADD_BLOCK</OPCODE>

????????<DATA>

????????????<TXID>133</TXID>

????????????<PATH>/hello7.txt</PATH>

????????????<BLOCK>

????????????????<BLOCK_ID>1073741839</BLOCK_ID>

????????????????<NUM_BYTES>0</NUM_BYTES>

????????????????<GENSTAMP>1016</GENSTAMP>

????????????</BLOCK>

????????????<RPC_CLIENTID></RPC_CLIENTID>

????????????<RPC_CALLID>-2</RPC_CALLID>

????????</DATA>

????</RECORD>

????<RECORD>

????????<OPCODE>OP_CLOSE</OPCODE>

????????<DATA>

????????????<TXID>134</TXID>

????????????<LENGTH>0</LENGTH>

????????????<INODEID>0</INODEID>

????????????<PATH>/hello7.txt</PATH>

????????????<REPLICATION>2</REPLICATION>

????????????<MTIME>1512943608761</MTIME>

????????????<ATIME>1512943607866</ATIME>

????????????<BLOCKSIZE>134217728</BLOCKSIZE>

????????????<CLIENT_NAME></CLIENT_NAME>

????????????<CLIENT_MACHINE></CLIENT_MACHINE>

????????????<OVERWRITE>false</OVERWRITE>

????????????<BLOCK>

????????????????<BLOCK_ID>1073741839</BLOCK_ID>

????????????????<NUM_BYTES>25</NUM_BYTES>

????????????????<GENSTAMP>1016</GENSTAMP>

????????????</BLOCK>

????????????<PERMISSION_STATUS>

????????????????<USERNAME>atguigu</USERNAME>

????????????????<GROUPNAME>supergroup</GROUPNAME>

????????????????<MODE>420</MODE>

????????????</PERMISSION_STATUS>

????????</DATA>

????</RECORD>

</EDITS >

思考:NameNode如何确定下次开机启动的时候合并哪些Edits?

5.3 CheckPoint时间设置

(1)通常情况下,SecondaryNameNode每隔一小时执行一次。

????[hdfs-default.xml]

<property>

<name>dfs.namenode.checkpoint.period</name>

<value>3600</value>

</property>

(2)一分钟检查一次操作次数,3当操作次数达到1百万时,SecondaryNameNode执行一次。

<property>

<name>dfs.namenode.checkpoint.txns</name>

<value>1000000</value>

<description>操作动作次数</description>

</property>

?

<property>

<name>dfs.namenode.checkpoint.check.period</name>

<value>60</value>

<description> 1分钟检查一次操作次数</description>

</property >

5.4 NameNode故障处理

NameNode故障后,可以采用如下两种方法恢复数据。

方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;

1. kill -9 NameNode进程

2. 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

[[email protected] hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

[[email protected] dfs]$ scp -r [email protected]:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

4. 重新启动NameNode

[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml中的

[email protected]:/user/atguigu/hello.txt????????// 推 push

????scp -r [email protected]:/user/atguigu/hello.txt hello.txt????????// 拉 pull

????scp -r [email protected]:/user/atguigu/hello.txt [email protected]:/user/atguigu //是通过本地主机中转实现两个远程主机的文件复制;如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

2.采用distcp命令实现两个Hadoop集群之间的递归数据复制

[[email protected] hadoop-2.7.2]$ bin/hadoop distcp

hdfs://haoop102:9000/user/atguigu/hello.txt hdfs://hadoop103:9000/user/atguigu/hello.txt

7.2 小文件存档

3.案例实操

(1)需要启动YARN进程

[[email protected] hadoop-2.7.2]$ start-yarn.sh

(2)归档文件

????把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/atguigu/output路径下。

[[email protected] hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p /user/atguigu/input /user/atguigu/output

(3)查看归档

[[email protected] hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har

[[email protected] hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

(4)解归档文件

[[email protected] hadoop-2.7.2]$ hadoop fs -cp har:/// user/atguigu/output/input.har/* /user/atguigu

7.3 回收站

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。

1.回收站参数设置及工作机制

图3-19 回收站

2.启用回收站

修改core-site.xml,配置垃圾回收时间为1分钟。

<property>

<name>fs.trash.interval</name>

<value>1</value>

</property>

3.查看回收站

回收站在集群中的路径:/user/atguigu/.Trash/….

4.修改访问垃圾回收站用户名称

????进入垃圾回收站用户名称,默认是dr.who,修改为atguigu用户

????[core-site.xml]

[email protected]:/opt/app/

scp -r zookeeper-3.4.10/ [email protected]:/opt/app/

????并分别修改myid文件中内容为3、4

(4)分别启动zookeeper

[[email protected] zookeeper-3.4.10]# bin/zkServer.sh start

[[email protected] zookeeper-3.4.10]# bin/zkServer.sh start

[[email protected] zookeeper-3.4.10]# bin/zkServer.sh start

(5)查看状态

[[email protected] zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

[[email protected] zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: leader

[[email protected] zookeeper-3.4.5]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

8.3.4 配置HDFS-HA集群

1.????官方地址:http://hadoop.apache.org/

2.????在opt目录下创建一个ha文件夹

mkdir ha

3.????将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下

cp -r hadoop-2.7.2/ /opt/ha/

4.????配置hadoop-env.sh


export JAVA_HOME=/opt/module/jdk1.8.0_144

5.????配置core-site.xml


<configuration>

<!-- 把两个NameNode)的地址组装成一个集群mycluster -->

????????<property>

????????????<name>fs.defaultFS</name>

????<value>hdfs://mycluster</value>

????????</property>

?

????????<!-- 指定hadoop运行时产生文件的存储目录 -->

????????<property>

????????????<name>hadoop.tmp.dir</name>

????????????<value>/opt/ha/hadoop-2.7.2/data/tmp</value>

????????</property>

</configuration>

6.????配置hdfs-site.xml


<configuration>

????<!-- 完全分布式集群名称 -->

????<property>

????????<name>dfs.nameservices</name>

????????<value>mycluster</value>

????</property>

?

????<!-- 集群中NameNode节点都有哪些 -->

????<property>

????????<name>dfs.ha.namenodes.mycluster</name>

????????<value>nn1,nn2</value>

????</property>

?

????<!-- nn1的RPC通信地址 -->

????<property>

????????<name>dfs.namenode.rpc-address.mycluster.nn1</name>

????????<value>hadoop102:9000</value>

????</property>

?

????<!-- nn2的RPC通信地址 -->

????<property>

????????<name>dfs.namenode.rpc-address.mycluster.nn2</name>

????????<value>hadoop103:9000</value>

????</property>

?

????<!-- nn1的http通信地址 -->

????<property>

????????<name>dfs.namenode.http-address.mycluster.nn1</name>

????????<value>hadoop102:50070</value>

????</property>

?

????<!-- nn2的http通信地址 -->

????<property>

????????<name>dfs.namenode.http-address.mycluster.nn2</name>

????????<value>hadoop103:50070</value>

????</property>

?

????<!-- 指定NameNode元数据在JournalNode上的存放位置 -->

????<property>

????????<name>dfs.namenode.shared.edits.dir</name>

????<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>

????</property>

?

????<!-- 配置隔离机制,即同一时刻只能有一台服务器对外响应 -->

????<property>

????????<name>dfs.ha.fencing.methods</name>

????????<value>sshfence</value>

????</property>

?

????<!-- 使用隔离机制时需要ssh无秘钥登录-->

????<property>

????????<name>dfs.ha.fencing.ssh.private-key-files</name>

????????<value>/home/atguigu/.ssh/id_rsa</value>

????</property>

?

????<!-- 声明journalnode服务器存储目录-->

????<property>

????????<name>dfs.journalnode.edits.dir</name>

????????<value>/opt/ha/hadoop-2.7.2/data/jn</value>

????</property>

?

????<!-- 关闭权限检查-->

????<property>

????????<name>dfs.permissions.enable</name>

????????<value>false</value>

????</property>

?

????<!-- 访问代理类:client,mycluster,active配置失败自动切换实现方式-->

????<property>

????????<name>dfs.client.failover.proxy.provider.mycluster</name>

????<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

????</property>

</configuration>

7.????拷贝配置好的hadoop环境到其他节点

8.3.5 启动HDFS-HA集群

1.????在各个JournalNode节点上,输入以下命令启动journalnode服务

????sbin/hadoop-daemon.sh start journalnode

2.????在[nn1]上,对其进行格式化,并启动

????bin/hdfs namenode -format

????sbin/hadoop-daemon.sh start namenode

3.????在[nn2]上,同步nn1的元数据信息

????bin/hdfs namenode -bootstrapStandby

4.????启动[nn2]

????sbin/hadoop-daemon.sh start namenode

5.????查看web页面显示,如图3-21,3-22所示

图3-21 hadoop102(standby)

图3-22 hadoop103(standby)

6.????在[nn1]上,启动所有datanode

????sbin/hadoop-daemons.sh start datanode

7.????将[nn1]切换为Active

????bin/hdfs haadmin -transitionToActive nn1

  1. 查看是否Active

????bin/hdfs haadmin -getServiceState nn1

8.3.6 配置HDFS-HA自动故障转移

1.????具体配置

????(1)在hdfs-site.xml中增加

<property>

????<name>dfs.ha.automatic-failover.enabled</name>

????<value>true</value>

</property>

????(2)在core-site.xml文件中增加

<property>

????<name>ha.zookeeper.quorum</name>

????<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>

</property>

2.????启动

????(1)关闭所有HDFS服务:

sbin/stop-dfs.sh

????(2)启动Zookeeper集群:

bin/zkServer.sh start

????(3)初始化HA在Zookeeper中状态:

bin/hdfs zkfc -formatZK

????(4)启动HDFS服务:

sbin/start-dfs.sh

????(5)在各个NameNode节点上启动DFSZK Failover Controller,先在哪台机器启动,哪个机器的NameNode就是Active NameNode

sbin/hadoop-daemin.sh start zkfc

3.????验证

????(1)将Active NameNode进程kill

kill -9 namenode的进程id

????(2)将Active NameNode机器断开网络

service network stop

8.4 YARN-HA配置

8.4.1 YARN-HA工作机制

1.????官方文档:

http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

2.????YARN-HA工作机制,如图3-23所示

图3-22 YARN-HA工作机制

8.4.2 配置YARN-HA集群

1.????环境准备

(1)修改IP

(2)修改主机名及主机名和IP地址的映射

(3)关闭防火墙

(4)ssh免密登录

(5)安装JDK,配置环境变量等

????(6)配置Zookeeper集群

2.????规划集群

表3-2


hadoop102


hadoop103


hadoop104


NameNode????


NameNode

?

JournalNode????


JournalNode????


JournalNode????


DataNode


DataNode


DataNode


ZK


ZK


ZK


ResourceManager????


ResourceManager????

?

NodeManager????


NodeManager????


NodeManager????

3.????具体配置

(1)yarn-site.xml


<configuration>

?

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

?

<!--启用resourcemanager ha-->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

?

<!--声明两台resourcemanager的地址-->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>cluster-yarn1</value>

</property>

?

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

?

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>hadoop102</value>

</property>

?

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>hadoop103</value>

</property>

?

<!--指定zookeeper集群的地址-->

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>

</property>

?

<!--启用自动恢复-->

<property>

<name>yarn.resourcemanager.recovery.enabled</name>

<value>true</value>

</property>

?

<!--指定resourcemanager的状态信息存储在zookeeper集群-->

<property>

<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

?

</configuration>

????(2)同步更新其他节点的配置信息

4.????启动hdfs

(1)在各个JournalNode节点上,输入以下命令启动journalnode服务:

sbin/hadoop-daemon.sh start journalnode

(2)在[nn1]上,对其进行格式化,并启动:

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

(3)在[nn2]上,同步nn1的元数据信息:

bin/hdfs namenode -bootstrapStandby

(4)启动[nn2]:

sbin/hadoop-daemon.sh start namenode

(5)启动所有DataNode

sbin/hadoop-daemons.sh start datanode

(6)将[nn1]切换为Active

bin/hdfs haadmin -transitionToActive nn1

5.????启动YARN

(1)在hadoop102中执行:

sbin/start-yarn.sh

(2)在hadoop103中执行:

sbin/yarn-daemon.sh start resourcemanager

(3)查看服务状态,如图3-24所示

bin/yarn rmadmin -getServiceState rm1

图3-24 YARN的服务状态

8.5 HDFS Federation架构设计

1.????NameNode架构的局限性

(1)Namespace(命名空间)的限制

由于NameNode在内存中存储所有的元数据(metadata),因此单个NameNode所能存储的对象(文件+块)数目受到NameNode所在JVM的heap size的限制。50G的heap能够存储20亿(200million)个对象,这20亿个对象支持4000个DataNode,12PB的存储(假设文件平均大小为40MB)。随着数据的飞速增长,存储的需求也随之增长。单个DataNode从4T增长到36T,集群的尺寸增长到8000个DataNode。存储的需求从12PB增长到大于100PB。

(2)隔离问题

由于HDFS仅有一个NameNode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。

????(3)性能的瓶颈

????由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。

2.????HDFS Federation架构设计,如图3-25所示

能不能有多个NameNode

表3-3


NameNode????


NameNode????


NameNode????


元数据


元数据


元数据


Log????


machine


电商数据/话单数据

图3-25 HDFS Federation架构设计

3.????HDFS Federation应用思考

不同应用可以使用不同NameNode进行数据管理

????????图片业务、爬虫业务、日志审计业务

Hadoop生态系统中,不同的框架使用不同的NameNode进行管理NameSpace。(隔离性)

原文地址:https://www.cnblogs.com/songdanlee/p/10640453.html

时间: 2024-11-09 03:45:12

大数据技术之Hadoop(HDFS)的相关文章

大数据技术之Hadoop入门

? 第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示. 图2-1 大数据概念 1.2 大数据特点(4V) 大数据特点如图2-2,2-3,2-4,2-5所示 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 1.3 大数据应用场景 大数据应用场景如图2-6,2-7,2-8,2-9,2-10,2-11所示 图2-6 大数据应用场景之物流仓储 图2-7 大数据应用场景之零售 图2-8 大数据应用场景之旅游 图2-9

大数据技术分析:HDFS分布式系统介绍!

HDFS主要用于最初由Yahoo提出的分布式文件系统,以下它的主要用途: 1.保存大数据 2.提供快速读取大数据的能力 Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的.在计算逻辑和所需数据接近这一点上,并行计算分区后进行汇总. 基本模块 HDFS:分布式文件系统(by Yahoo) Mpredues:分布式计算帧(by Google) HBCD:分布式.非关系型数据库(by Poerset ->Microsoft) Pig:HDoop的大规模数据分析工

大数据技术栈

大数据技术栈 Hadoop 历史: https://www.jikexueyuan.com/course/677_1.html?ss=1 1. Google大数据与Hadoop对比 功能 Google Hadoop 存储 GFS HDFS 计算 MapReduce MapReduce 查询 BigTable HBase 2. 大数据分类 2.1 根据数据类型分类 2.1.1 结构化数据 能够用数据或统一的结构加以表示,人们称之为结构化数据,如数字.符号.传统的关系数据模型,行数据,存储于数据库,

基于大数据技术之电视收视率企业项目实战(hadoop+Spark)张长志(项目实战)

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

大数据技术原理与应用——大数据处理架构Hadoop

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构. Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中. Hadoop的核心是分布式文件系统(Hadoop Distributed File System,HDFS)和MapReduce. Hadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力. Hadoop的特性 Hadoop是一个能够对大量数据进

《Hadoop大数据技术开发实战》新书上线

当今互联网已进入大数据时代,大数据技术已广泛应用于金融.医疗.教育.电信.政府等领域.各行各业每天都在产生大量的数据,数据计量单位已从B.KB.MB.GB.TB发展到PB.EB.ZB.YB甚至BB.NB.DB.预计未来几年,全球数据将呈爆炸式增长.谷歌.阿里巴巴.百度.京东等互联网公司都急需掌握大数据技术的人才,而大数据相关人才却出现了供不应求的状况. Hadoop作为大数据生态系统中的核心框架,专为离线和大规模数据处理而设计.Hadoop的核心组成HDFS为海量数据提供了分布式存储:MapRe

下载基于大数据技术推荐系统实战教程(Spark ML Spark Streaming Kafka Hadoop Mahout Flume Sqoop Redis)

地址:http://pan.baidu.com/s/1c2tOtwc  密码:yn2r 82课高清完整版,转一播放码. 互联网行业是大数据应用最前沿的阵地,目前主流的大数据技术,包括 hadoop,spark等,全部来自于一线互联网公司.从应用角度讲,大数据在互联网领域主要有三类应用:搜索引擎(比如百度,谷歌等),广告系统(比如百度凤巢,阿里妈妈等)和推荐系统(比如阿里巴巴天猫推荐,优酷视频推荐等). 本次培训以商业实战项目作为驱动来学习大数据技术在推荐系统项目中的应用.使得学员能够亲身体会大数

超人学院Hadoop大数据技术分享

超人学院Hadoop大数据技术分享 Docker从入门到实践 http://yunpan.cn/cQJeEIPQxDzh5 (提取码:a4e9) 更多精彩内容请关注:http://bbs.superwu.cn 关注超人学院微信二维码:

除Hadoop大数据技术外,还需了解的九大技术

除Hadoop外的9个大数据技术: 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Microsoft Cognitive Services Hadoop是大数据领域最流行的技术,但并非唯一.还有很多其他技术可用于解决大数据问题.除了Apache Hadoop外,另外9个大数据技术也是必须要了