Hadoop2.x与hadoop的区别

NameNode在启动的时候,需要将Mettadata加载到内存中去,随着集群扩大,元数据的量也随之增加,内存压力过大。

Hadoop1.x的缺点和解决办法:

  1. 单点故障------à HA  一主多备
  2. 内存受限 -----àNN Federation

  1. Hadoop节点之间的通信都是采用心跳机制。
  2. 元数据放在一片共享区(主NN和备NN共享)称为Journal Node 集群
  3. 所有DN节点都要实时向主NN或备NN通信,告知NN自己有哪么些block等信息。
  4. 至于DN具体要向NN(主)还是NN(备),它会向zookeeper请示,zookeer知道那个节点是主,并知道它的状态。
  5. 当主NN的状态由FailoverControllerActive进行心跳检测,通知zookeeper,并在它发生故障时,做切换,同样备NN也有相应的FailoverControllerStandby   。
  6. 通过命令可手动停止主NN启动备NN,甚至调换角色,用于HDFS升级等场合

NN Fderation:将HDFS分成多个完全独立的NN的运行,彼此互不干扰,但是集群共享DN

  1. 多个NN共用一个集群里DN上的存储资源,每个NN都可以单独对外提供服务
  2. 每个NN都会定义一个存储池,有单独的id,每个DN都为所有存储池提供存储
  3. DN会按照存储池id向其对应的NN汇报块信息,同时,DN会向所有NN汇报本地存储可用资源情况
  4. 如果需要在客户端方便的访问若干个NN上的资源,可以使用客户端挂载表,把不同的目录映射到不同的NN,但NN上必须存在相应的目录

Yarn主要功能:

  1. 负责资源管理,任务调度
  2. 支持多种第三方计算框架

时间: 2024-10-11 16:44:03

Hadoop2.x与hadoop的区别的相关文章

Cloudera的CDH和Apache的Hadoop的区别

Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进).Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH).Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

传统数据仓库架构与Hadoop的区别

很多人不明白传统架构和Hadoop的区别,下面一张图让你清晰的了解传统架构和Hadoop的区别. 上图已经表达的很清楚了我就不再一一讲解,主要讲以下横向扩展和扩展.横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力.Hadoop中系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据.纵向扩展:(oracle两个节点)向上扩展,指的是替换掉已经不能满足需求的硬件设备.采购更高性能的硬件设备,从而提升系统的负载能力. 原文地址:https://w

Spark与Hadoop的区别

[适用场景不同] ? ? Hadoop:分布式批处理计算,强调批处理,常用于数据挖掘.分析 ? ? Spark:是一个基于内存计算的开源的集群计算系统,那些在并行操作之间重用工作数据集(比如机器学习算法)的工作负载.为了优化这些类型的工作负载,Spark 引进了内存集群计算的概念,可在内存集群计算中将数据集缓存在内存中,以缩短访问延迟, 目的是让数据分析更加快速 ? ? 除了能够提供交互式查询外,它还可以优化迭代工作负载 ? ? [语言支持不同] ? ? Spark 是在 Scala 语言中实现

OpenStack与Hadoop的区别与联系

Openstack是云操作系统,是将物理机虚拟化的云服务平台,包含各种管理组件及API.Hadoop则是“云计算”中分布式计算核心:存储与计算.但其两者面向是不同层面的.举个例子:比如现有多台底层的物理机(服务器,PC等),Openstack是将物理机进行虚拟化,一台物理机可以虚拟出多个虚拟机(其实也可以把Openstack的工作的一部分想象为VMware),然后对虚拟机进行各种管理,只是VMware面向的是单台PC,而Openstack面向的是很多狠多台的群集管理,然后在部分的虚拟机中安装操作

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoop教程. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.7.1, Hadoop 2.4.1等. Hadoop版本 Hadoop 有两个主要版本,

Hadoop第3周练习--Hadoop2.X编译安装和实验

1    练习题目 2    编译Hadoop2.X 64bit 2.1  运行环境说明 2.1.1   硬软件环境 2.1.2   集群网络环境 2.2  环境搭建 2.2.1   JDK安装和Java环境变量配置 2.2.2   安装并设置maven 2.2.3   以root用户使用yum安装svn 2.2.4   以root用户使用yum安装autoconf automake libtool cmake 2.2.5   以root用户使用yum安装ncurses-devel 2.2.6 

hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档

问题导读:1.如何配置各个节点之间无密码互通?2.启动hadoop,看不到进程的原因是什么?3.配置hadoop的步骤是什么? 4.有哪些配置文件需要修改?5.如果没有配置文件,该如何找到该配置文件?6.环境变量配置了,但是不生效的原因是什么?7.如何查看hadoop2监控页面 首先说一下这个安装过程需要注意的地方 一.使用新建用户可能会遇到的问题 (1)权限问题:对于新手经常使用root,刚开始可以使用,但是如果想真正的学习,必须学会使用其他用户.也就是你需要学会新建用户,但是新建用户,并不是

Ant构建Hadoop程序(Hadoop-2.7.1)

1.环境描述 Hadoop环境:VirtualBox5(三台),CentOS7,Hadoop2.7.1 开发环境:Windows7 2.详细配置 2.1.project结构一览 2.2.build.xml <?xml version="1.0" encoding="UTF-8"?> <project name="wukong-practice-hadoop2" default="package" basedi

Ubuntu下配置安装Hadoop 2.2

---恢复内容开始--- 这两天玩Hadoop,之前在我的Mac上配置了好长时间都没成功的Hadoop环境,今天想在win7 虚拟机下的Ubuntu12.04 64位机下配置, 然后再建一个组群看一看. 参考资料: 1. Installing single node Hadoop 2.2.0 on Ubuntu: http://bigdatahandler.com/hadoop-hdfs/installing-single-node-hadoop-2-2-0-on-ubuntu/ 配置过程如下: