hdfs结构

hdfs文件系统主要由四部分组成:client客户端、namenode、datanode、secondary namenode.

client:1.分割文件成block.

     2.与namenode交互,获取文件的位置信息。

    3.与datanode交互,读取和写入数据。

namenode:1.接收客户端的请求。

      2.管理block数据块的映射信息。

      3.管理副本信息。

datanode:接收namenode的请求,进行数据的读取和写入。

secondary namenode:辅助namenode的工作,进行元数据文件的合并,namenode挂掉后,协助元数据文件的还原。

时间: 2024-10-17 04:42:35

hdfs结构的相关文章

HADOOP docker(十):hdfs 结构体系

1.简介2.namenode和datanode3.The File System Namespace 文件系统命名空间4.Data Replication 数据复制5.Replica Placement: The First Baby Steps 复制块放置:初步的想法6.Replica Selection 复制块的选择7.Safemode 安全模式8.The Persistence of File System Metadata 文件系统元数据的一致性9.The Communication P

HDFS简介

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; text-align: center; font: 12.0px Helvetica; color: #454545 } p.p2 { margin: 0.0px 0.0px 2.0px 0.0px; text-align: justify; font: 14.0px Helvetica; color: #454545 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; text-al

hbase官方文档(转)

Apache HBase™ 参考指南  HBase 官方文档中文版 Copyright © 2012 Apache Software Foundation.保留所有权利. Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 HBase项目 logo 是Apache Software Foundation的商标. Revision History Revision 0.95-SNAPSHOT 2012-12-03T13:38 中文版

hadoop核心组件(一)

hadoop的核心组件:hdfs(分布式文件系统).mapreduce(分布式计算框架).Hive(基于hadoop的数据仓库).HBase(分布式列存数据库).Zookeeper(分布式协作服务).Sqoop(数据同步工具)和Flume(日志手机工具) hdfs(分布式文件系统): 由client.NameNode.DataNode组成 client负责切分文件,并与NameNode交互,获取文件位置:与DataNode交互,读取和写入数据 NameNode是Master节点,管理HDFS的名

spark成长之路(1)spark究竟是什么?

今年6月毕业,来到公司前前后后各种事情折腾下来,8月中旬才入职.本以为终于可以静下心来研究技术了,但是又把我分配到了一个几乎不做技术的解决方案部门,导致现在写代码的时间都几乎没有了,所以只能在每天下班后留在公司研究一下自己喜欢的技术,搞得特别晚才回,身心俱疲. 唉~以前天天写代码时觉得苦逼,现在没得代码写了,反而更累了... 言归正传,这次准备利用空余的时间,好好研究下大数据相关的技术,也算是弥补下自己的技术短板吧.这一个系列的文章是我从一个大数据小白开始学习的过程,不知道我究竟能学到哪个程度,

linux之hadoop

hadoop架构 MapReduce:分布式计算架构 HDFS:分布式文件系统 YARN:集群资源管理系统 HDFS结构: hadoop单机模式 搭建步骤: 搭建四台服务器,分别为:server.node1.node2.node3 1.关闭防火墙和selinux 2.保证server到每一个node节点可以免密码登陆,配置无密码登陆 [[email protected] ~]# vim /etc/ssh/ssh_config 2.配置本地域名解析,每一台都需要配置 59  ssh [email 

HDFS源代码结构

了解了HDFS体系结构中的名字节点.数据节点和客户端以后,我们来分析HDFS实现的源代码结构.HDFS源代码都在org.apache.hadoop.hdfs包下,其结构如图6-3所示. HDFS的源代码分布在I6个目录下,它们可以分为如下四类. 1.基础包 包括工具和安全包.其中,hdfs.util包含了一些HDFS实现需要的辅助数据结构:hdfs.security.token.hlock和hdfs.security.token.delegation结合Hadaop的安全框架,提供了安全访问HD

HDFS源码分析(三)-----数据块关系基本结构

前言 正如我在前面的文章中曾经写过,在HDFS中存在着两大关系模块,一个是文件与block数据块的关系,简称为第一关系,但是相比于第一个关系清晰的结构关系,HDFS的第二关系就没有这么简单了,第二关系自然是与数据节点相关,就是数据块与数据节点的映射关系,里面的有些过程的确是错综复杂的,这个也很好理解嘛,本身block块就很多,而且还有副本设置,然后一旦集群规模扩大,数据节点的数量也将会变大,如何处理此时的数据块与对应数据节点的映射就必然不是简单的事情了,所以这里有一点是比较特别的,随着系统的运行

HDFS的结构

HDFS的体系框架是Master/Slave结构,一个典型的HDFS通常由单个NameNode和多个DataNode组成.NameNode是一个中心服务器,负责文件系统的名字空间的操作,比如打开.关闭.重命名文件或目录,它负责维护文件路径到数据块的映射,数据块到DataNode的映射,以及监控DataNode的心跳和维护数据块副本的个数.集群中的DataNode一般是一个节点一个,负责管理它所在节点上的存储.HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据.从内部看,一个文件