hdfs的基本原理和基本操作总结

hdfs基本原理

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache
Hadoop Core项目的一部分。

HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

HDFS的主要组成:NameNode,SecondaryNameNode,DataNonde;

HDFS的基本操作:读、写、均衡;

图1,NameNode

图2,SecondaryNameNode

图3,客户端的读请求

图4,读取DataNode上的块

图5,写文件请求

图6,准备写

图7,单块的管线式写入数据节点

图8,多块的管线式写入数据节点

图9 重写损坏的数据块副本

图10 不均衡的集群

图11 均衡的集群

运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以,HDFS被调整成支持大文件。它应 该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持千万级别的文件。

大部分的HDFS程序对文件操作需要的是一次写多次读取的操作模式。一个文件一旦创建、写入、关闭之后就不需要修改了。这个假定简单化了数据一致的问题和并使高吞吐量的数据访问变得可能。一个Map-Reduce程序或者网络爬虫程序都可以完美地适合这个模型。

HDFS是一个主从结构,一个HDFS集群是由一个名字节点,它是一个管理文件命名空间和调节客户端访问文件的主服务器,当然还有一些数据节点,通常是一个节点一个机器,它来管理对应节点的存储。HDFS对外开放文件命名空间并允许用户数据以文件形式存储。内部机制是将一个文件分割成一个或多个块,这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或目录操作,如打开,关闭,重命名等等。它同时确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建,删除,和来自名字节点的块复制指令。

名字节点和数据节点都是运行在普通的机器之上的软件,机器典型的都是GNU/Linux,HDFS是用java编写的,任何支持java的机器都可以运行名字节点或数据节点,利用java语言的超轻便型,很容易将HDFS部署到大范围的机器上。典型的部署是由一个专门的机器来运行名字节点软件,集群中的其他每台机器运行一个数据节点实例。体系结构不排斥在一个机器上运行多个数据节点的实例,但是实际的部署不会有这种情况。集群中只有一个名字节点极大地简单化了系统的体系结构。名字节点是仲裁者和所有HDFS元数据的仓库,用户的实际数据不经过名字节点。

HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

HDFS 常用的基本操作命令

1,HDFS  Shell

查看 hadoop fs

2, 常见命令

-ls 显示当前目录结构

该命令选项表示查看指定路径的当前目录结构,后面跟hdfs 路径,如图所示。    上图中的路径是hdfs 根目录,显示的内容格式与linux 的命令ls –l 显示的内容格式非常相似,解析每一行的内容格式:

1. 首字母表示文件夹(如果是“d”)还是文件(如果是“-”);                                                                                                                       2. 后面的9
位字符表示权限;

3. 后面的数字或者“-”表示副本数。如果是文件,使用数字表示副本数;文件夹没有副本;

4. 后面的“root”表示属主;

5. 后面的“supergroup”表示属组 ;

6. 后面的“0”、“6176”、“37645”表示文件大小,单位是字节 ;

7. 后面的时间表示修改时间,格式是年月日时分;

8. 最后一项表示文件路径。

-du 统计目录下各文件大小

-mv 移动

该命令选项表示移动hdfs 的文件到指定的hdfs 目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录。

-cp 复制

该命令选项表示复制hdfs 指定的文件到指定的hdfs 目录中。后面跟两个路径,第一个是被复制的文件,第二个是目的地

-rm 删除文件/空白文件夹

该命令选项表示删除指定的文件或者空目录

-rmr 递归删除

该命令选项表示递归删除指定目录下的所有子目录和文件

-put 上传文件

该命令选项表示把linux 上的文件复制到hdfs 中

-copyFromLocal 从本地复制

操作与-put 一致

-moveFromLocal 从本地移动

该命令表示把文件从linux 上移动到hdfs 中

getmerge 合并到本地

该命令选项的含义是把hdfs 指定目录下的所有文件内容合并到本地linux 的文件中

-cat 查看文件内容

该命令选项是查看文件内容

-text 查看文件内容

该命令选项可以认为作用和用法与-cat 相同,此处略。

-mkdir 创建空白文件夹

该命令选项表示创建文件夹,后面跟的路径是在hdfs 将要创建的文件夹

-setrep 设置副本数量

该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径

-touchz 创建空白文件

该命令选项是在hdfs 中创建空白文件

-stat 显示文件的统计信息

该命令选项显示文件的一些统计信息

-tail 查看文件尾部内容

该命令选项显示文件最后1K 字节的内容。一般用于查看日志。如果带有选项-f,那么当文件内容变化时,也会自动显示

-chmod 修改文件权限

该命令选项的使用类似于linux 的shell 中的chmod 用法,作用是修改文件的权限

-chown 修改属主

该命令选项表示修改文件的属主

-help 帮助

该命令选项会显示帮助信息,后面跟上需要查询的命令选项即可

3,数据的读写过程

管线式(PipeLine)写入:当客户端写数据到HDFS文件中时,数据首先被写入本地文件中,假设HDFS文件的复制因子是3,当本地文件堆积到一块大小的数据,客户端从名字节点获得一个数据节点的列表。这个列表也包含存放数据块副本的数据节点。当客户端刷新数据块到第一个数据节点。第一个数据节点开始以4kb为单元接收数据,将每一小块都写到本地库中,同时将每一小块都传送到列表中的第二个数据节点。同理,第二个数据节点将小块数据写入本地库中同时传给第三个数据节点,第三个数据节点直接写到本地库中。一个数据节点在接前一个节点数据的同时,还可以将数据流水式传递给下一个节点,所以,数据是流水式地从一个数据节点传递到下一个。
因此,三个节点的写数据完成的时间相差不多。

时间: 2024-10-10 07:18:10

hdfs的基本原理和基本操作总结的相关文章

初学HDFS的读过程和写过程的分析

刚刚接触HDFS,感觉HDFS的数据可靠性非常高,记录一下.. 一HDFS的基本原理 HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点(NameNode)和若干个数据节点(DataNode).名称节点作为中心服务器,负责管理文件系统的命名空间及客户端对文件的访问.集群中的数据节点一般是一个节点运行一个数据节点进程,负责处理文件系统客户端的读/写请求,在名称节点的统一调度下进行数据块的创建.删除和复制等操作.每个数据节点的数据实际上是保存在本地Linux文件

spark必知必会的基本概念

首先我们从宏观的视角来窥视下大数据技术框架: 图1 大数据技术框架 从图1可以看出,数据源-数据收集-数据存储-资源管理,这是我们进行数据分析和处理的基本;图中的计算框架包括批处理.交互式分析和流处理: 批处理计算:对时间没有严格要求,吞吐率要高 交互式计算:支持类SQL语言,快速进行数据分析 流式计算:数据像流水一样进入系统,需实时对其处理和分析 不同的计算框架的实时性要求是逐渐增强的,spark在整个大数据技术框架中属于第4层计算框架,spark能很好地满足这三种计算要求,这也是spark这

基于 SWTBot 进行 Eclipse GUI 自动化测试

背景简介 在软件开发领域,持续集成和部署对于软件测试自动化提出了越来越高的要求,基于 Eclipse 应用在这一需求中仍然占据重要的组成部分.目前主流的测试自动化工具主要以录制回放的功能为主,辅助以脚本的方式实现.然而,基于此的测试方法往往具有测试用例维护复杂,测试过程容易失败的问题,这直接影响了测试效率.SWTBot 作为 Eclipse 官网推荐的自动化测试工具,提供了专业的类库以及扩展点,在 Eclipse 应用的自动化测试中具有先天的优势. SWTBot 是基于 Eclipse SWT

先看本目录

一.分布式存储HDFS 1.1 HDFS的基本原理 1.2 HDFS的部署安装 1.3 HDFS高可用详解 1.4 HDFS联邦 原文地址:https://www.cnblogs.com/wangxiaofan/p/9497037.html

如何快速掌握大数据知识,按照学习路线来

第一阶段:linux 系统 这章是基础课程,帮大家进入大数据领域打好 Linux 基础,以便更好地学习 Hadoop, NOSQL, Oracle, MYSQL, Spark, Storm 等众多课程.因为企业中 无一例外的是使用 Linux 来搭建或部署项目. 第二阶段:大型网站高并发处理 通过本章的学习大家将会了解大数据的源头,数据从何而来,继而更好的了解大数据.并且通过学习如果处理大型网站高并发问题反向更深入的学习了 Linux 同时站在了更高的角度去触探了架构. 第三阶段:Hadoop

IT大佬总结大数据个学习阶段,每天两小时,年薪百万不是梦

本阶段不需要编程,很多人听过大数据,听过人工智能,听过数据挖掘.但是几乎都有疑问:什么是大数据?什么是人工智能?大数据和人工智能能做什么?等等.这一阶段主要是答疑解惑,让大家明白这些概念,至少在和高端人士茶余饭后谈论大数据和人工智能的时候可以不需要"一脸懵逼". 如果已经对大数据和人工智能了解很透彻,可以跳过直接进入第一阶段. 第一阶段:linux 系统这章是基础课程,帮大家进入大数据领域打好 Linux 基础,以便更好地学习 Hadoop, NOSQL, Oracle, MYSQL,

HDFS API基本操作

对HDFS API基本操作都是通过 org.apache.hadoop.fs.FileSystem类进行的,以下是一些常见的操作: package HdfsAPI; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI; i

大数据之HDFS命令行基本操作

1. 课程简介 HDFS是Hadoop大数据平台中的分布式文件系统,为上层应用或其他大数据组件提供数据存储,如Hive,Mapreduce,Spark,HBase等. 本文章中所有命令均在CentOS-6.4-x86_64,hadoop-2.5.2,jdk1.8.0_152,zookeeper-3.4.11中运行通过,为减少linux权限对初学者造成影响,所有命令均在linux的root权限下进行操作. 2.理论回顾 Hadoop技术本身包含HDFS.Map/Reduce.HDFS作海量数据存储

HDFS 入门和基本操作

1.HDFS 是做什么的 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,hdfs是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上.它所具有的高容错.高可靠性.高可扩展性.高获得性.高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利. 2.为什么选择 HDFS 存储数据 之所以选择 HDFS 存储数据,