Why Hadoop2

自从Hadoop2出现之后，其迅速取代了Hadoop1的地位，并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话，往往直接采用Hadoop2了。

Hadoop2能被如此广泛的使用，肯定有其自身的优势，本文将对其进行梳理

支持更多的计算框架

Hadoop1采用的计算框架是MapReduce，MapReduce是批处理计算框架，适合做海量数据的离线处理。为了让Hadoop能支持到更多的应用场合，更多的计算框架，YARN应运而生，它极大的拓展了Hadoop的使用场合。

采用YARN框架后，会带来另外一个好处。为了让集群能满足企业的需求，企业往往将不同的计算框架部署到不同的集群上，在采用YARN后，企业可以将这些计算框架部署在一个集群上，极大的提升了集群的利用率，并且减少了运维成本

集群拓展性更强

Hadoop1只能支持数千台计算机的容量，这是因为NameNode和JobTracker的内存容量有限导致的。在HDFS2采用Federation，Hadoop将jobtracker的逻辑拆分后，Hadoop集群的拓展性得到了质的提升。

集群资源利用率更高

下面两张图是twitter分别采用Hadoop1和Hadoop2时，集群资源利用率的对比

HDFS和RM单点故障的解决

在Hadoop1上，HDFS和JobTracker是存在单点故障的，主节点崩溃后，集群也随之崩溃，而在Hadoop2上，当采用HA机制后，单点故障解决了。

Why Hadoop2

时间： 2024-10-10 05:25:24

Why Hadoop2的相关文章

windows下eclipse+hadoop2

windows下eclipse+hadoop2.4开发手册 1.解压下载的hadoop2.4,到任意盘符,例如D:\hadoop-2.4.0. 2.设置环境变量 ①新建系统变量,如下所示. ②将新建的HADOOP_HOME变量"%HADOOP_HOME%\bin;"加入到PATH变量里,如下图. 3.将hadoop服务器下的hadoop目录下etc/hadoop目录下的以下四个文件拷贝到自己开发的电脑相应目录下,如下图所示. 4.如果hadoop服务器中上述四个文件配置的是机器名,请在

Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

目的 使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群,不需要设置任何环境变量或管理配置文件. CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群. 这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用. Hadoop Tarball 你需要从发布页获取tar包.或者,你可以从源码中自己编译. $ mvn clean install -

【甘道夫】Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录

第一步.下载.解压.配置环境变量: 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹,我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量: export SQOOP_HOME=/home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 export PATH=$PATH:$SQOOP_HOME/bin

Hadoop1.X 与 Hadoop2.X区别及改进

一:Haddop版本介绍 0.20.x版本最后演化成了现在的1.0.x版本 0.23.x版本最后演化成了现在的2.x版本 hadoop 1.0 指的是1.x(0.20.x),0.21,0.22 hadoop 2.0 指的是2.x,0.23.x CDH3,CDH4分别对应了hadoop1.0 hadoop2.0 二.Hadoop1.X与Hadoop2.X区别 1.HDFS的改进 1.1 Hadoop1.x时代的HDFS架构 在Hadoop1.x中的NameNode只可能有一个,虽然可以通过Seco

hadoop2.6.0实践：002 检查伪分布式环境搭建

1.检查网络配置[[email protected] ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-masterGATEWAY=192.168.126.2 [[email protected] ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhos

hadoop2.6.0实践：A02 问题处理 util.NativeCodeLoader: Unable to load native-hadoop library for your platform

############################################################# hadoop "util.NativeCodeLoader: Unable to load native-hadoop library for your platform" hadoop安装完以后,经常会提示以下警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your

Hadoop2.6.0实践：000 环境搭建

##################### Centos6.4VM_01_os.rar ################################################准备工作/opt /opt/modules 软件安装目录 /opt/softwares 软件包(tar.bin.zip) /opt/tools(eclipse等) /opt/data(测试数据)/home/hadoop(工具和数据) ##################### Centos6.4VM_01_os.r

CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装

1       VM网络配置... 3 2       CentOS配置... 5 2.1             下载地址... 5 2.2             激活网卡... 5 2.3             SecureCRT. 5 2.4             修改主机名... 6 2.5             yum代理上网... 7 2.6             安装ifconfig. 8 2.7             wget安装与代理... 8 2.8       

大话Hadoop1.0、Hadoop2.0与Yarn平台

2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012 近来这几天一直在忙于Hbase的实验,也没有太静下心来沉淀自己,今天打算写一篇关于Hadoop1.0.Hadoop2.0与Yarn的博文,从整体上把握三者之间的联系,博客内容如有问题,欢迎留言指正!OK,进入本文正题-- 在开始接触Hadoop的时候,也许大家对于Hadoop是下面的一个概念:Hadoop由两部

hadoop2.7.3

环境:centos6.7,hadoop2.7.3,虚拟机VMware 下载hadoop:http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz namendoe 192.168.137.9 ; secondnode 192.168.137.15 ; datanode 192.168.137.16 修改三台主机的/etc/hosts,将namenode,secondnode,datanode信息分别加入 [[em