Hadoop之 hdfs 系统

一、NameNode维护着2张表:

1.文件系统的目录结构,以及元数据信息

2.文件与数据块列表的对应关系

存放在fsimage中,在运行的时候加载到内存中的。

操作日志写到edits中

?

二、DataNode

使用block形式存储。在hadoop2中,默认的大小是128MB。

使用副本形式保存数据的安全,默认的数量是3个。

?

使用shell访问hdfs

bin/hdfs dfs –xxx

?

三、RPC(remote procedure call)

远程过程调用要有一个服务端(对外暴露方法供调用者使用),要有一个客户端(主动调用方法)。

时间: 2024-12-25 19:44:47

Hadoop之 hdfs 系统的相关文章

【Hadoop】HDFS - 创建文件流程详解

1.本文目的 通过解析客户端创建文件流程,认知hadoop的HDFS系统的一些功能和概念. 2.主要概念 2.1 NameNode(NN): HDFS系统核心组件,负责分布式文件系统的名字空间管理.INode表的文件映射管理.如果不开启备份/故障恢复/Federation模式,一般的HDFS系统就只有1个NameNode,当然这样是存在单点故障隐患的. NN管理两个核心的表:文件到块序列的映射.块到机器序列的映射. 第一个表存储在磁盘中,第二表在NN每次启动后重建. 2.2 NameNodeSe

Hadoop之——重新格式化hdfs系统的方法

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352939 重新格式化hdfs系统的方法: (1)查看hdfs-ste.xml: <property> <name>dfs.name.dir</name> <value>/home/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据</des

Hadoop化繁为简—hdfs的核心剖析

层层递进-解开hdfs的面纱 1.hdfs是什么?它与普通服务器的文件系统有什么区别?它的特性有什么? 2.hdfs的工作原理是怎样的? 3.每台机器都单独启动有什么弊端?假设有1000台机器需要启动?该怎么解决呢? 4.hdfs配置与使用 5.利用javaApi充当客户端访问hdfs hdfs简介 hdfs就是一个分布式文件系统.简单说,就是一个“分鱼展”的大硬盘,跟普通的文件系统没什么区别,只是它有多台机器共同承担存储任务. 分鱼展指的是hdfs的特性分别指分布式.冗余性.可拓展. 普通服务

hadoop之 HDFS fs 命令总结

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[[email protected] sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] &l

HDFS是什么?HDFS适合做什么?我们应该怎样操作HDFS系统?(第3篇)

第四章  HDFS文件系统 Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务. 本章内容: 1) HDFS文件系统的特点,以及不适用的场景 2) HDFS文件系统重点知识点:体系架构和数据读写流程 3) 关于操作HDFS文件系统的一些基本用户命令 1. HDFS特点: HDFS专为解决大数据存储问题而产生的,其具备了以下特点: 1) HDFS文件系统可存储超大文件 每个磁盘都有默认的数据块大小

Hadoop之HDFS

摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么.HDFS的设计思想和HDFS的体系结构三方面来介绍. 关键词:Hadoop  HDFS   分布式存储系统 HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File System),摘录Apache 组织关于HDFS的介绍"The Hadoop Distributed File System (HDFS) is a distributed file syst

hadoop和hdfs环境搭建

参考链接:http://blog.csdn.net/zolalad/article/details/11470449 环境:ubuntu14.04 hadoop1.0.1 下面以3台机器为例,讲解安装过程 1) 准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为slave01, slave02.强调命名是为了方便管理,其实命名无所谓.如果已命名为其它名称,可通过编辑/etc/hostname进行更改. 2) 为所有主从节点配置静态ip,因为主从节点间需要

浅谈Hadoop下HDFS文件系统

Hadoop下HDFS文件系统 在这里我们对Hadoop的基本概念,历史功能就不做过多的阐述,重点在对于他的文件系统做一些了解和阐述. HDFS(Hadoop distributed file system)是一个分布式文件系统.具有高容错性(fault-tolerant),使得他能够部署在低廉的硬件上.他可以提供高吞吐率来访问应用程序的数据.HDFS放宽了可移植操作系统接口的要求.这样就可以实现以流式的形式来访问文件系统的数据. HDFS的设计目标: 检测和快速回复硬件故障 流式的数据访问 简

Hadoop1.x HDFS系统架构

HDFS系统架构 HDFS以流式数据访问(一次写入,多次读取)模式来存储超大文件,运行于商用硬件集群上.超大文件是指GB,TB,PB的文件.目前已经有存储到PB级别的Hadoop集群了. 计算机字节关系 Hadoop1.x HDFS官方架构图 HDFS中的概念 针对上图来分析HDFS中的各个概念. 数据块 每个磁盘都有数据块的概念,在HDFS中也有数据块的概念,HDFS中的所有文件都是分割成块存储在Datanode上的,每个块默认64M..每个块都有多个副本存储在不同的机器上:默认有3个副本(存