OpenStack与Hadoop的区别与联系

Openstack是云操作系统，是将物理机虚拟化的云服务平台，包含各种管理组件及API。
Hadoop则是“云计算”中分布式计算核心：存储与计算。
但其两者面向是不同层面的。
举个例子：比如现有多台底层的物理机（服务器，PC等），Openstack是将物理机进行虚拟化，一台物理机可以虚拟出多个虚拟机（其实也可以把Openstack的工作的一部分想象为VMware），然后对虚拟机进行各种管理，只是VMware面向的是单台PC，而Openstack面向的是很多狠多台的群集管理，然后在部分的虚拟机中安装操作系统，例如linux，OSX，Windows等等。最后在这个云平台的系统中，再次建立集群化的Hadoop计算框架，用来分布式存储与计算。
还可以把Hadoop理解为，利用一堆廉价的小型机甚至PC组成一个集群，来实现超级计算机才能达到的计算和存储的目的，再加上其随意的可扩展性，计算能力是超乎想像的。

Apache Hadoop: The killer app for OpenStack.

时间： 2024-12-29 12:15:41

OpenStack与Hadoop的区别与联系的相关文章

Cloudera的CDH和Apache的Hadoop的区别

Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进).Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH).Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

《openstack 和hadoop的区别是什么？》

openstack 和hadoop的区别是什么? (一) openstack仿照的Amazon的云,hadoop仿照的是Google的云 openstack注重的是虚拟化/虚拟机及其配套的服务,hadoop注重的是海量的数据分析和处理. (二) 2OpenStack 主要目的是做一整套的云计算基础构架.包括 云计算(Compute), 网络(Network),对象存贮(Object Store),镜像文件存储 (Image),身份认证(Authentication),BlockStorage 以

传统数据仓库架构与Hadoop的区别

很多人不明白传统架构和Hadoop的区别,下面一张图让你清晰的了解传统架构和Hadoop的区别. 上图已经表达的很清楚了我就不再一一讲解,主要讲以下横向扩展和扩展.横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力.Hadoop中系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据.纵向扩展:(oracle两个节点)向上扩展,指的是替换掉已经不能满足需求的硬件设备.采购更高性能的硬件设备,从而提升系统的负载能力. 原文地址:https://w

openstack和Hadoop区别

openstack是一个开源的云计算框架,而Hadoop是一个开源的大数据框架,二者的侧重点不同. 区别: 云计算是在云平台上提供存储和计算资源. 而以Hadoop为模型的大数据是提供了一种分布式的存储(HDFS)和计算模型(Map/Reduce),可以自己使用多台计算机搭建Hadoop平台,也可以在一台计算机上通过虚拟机搭建Hadoop平台,甚至可以在云平台上搭建Hadoop平台. 原文地址:http://blog.51cto.com/57388/2107303

Openstack & Hadoop结合项目Sahara

Openstack 项目Sahara,主要是用来搭建Hadoop集群,利用虚拟出来的计算资源,高速搭建Hadoop集群. Sahara项目与OPenstack其它项目的关系: 图片转自:http://docs.openstack.org/developer/sahara/overview.html Sahara有两种基本使用流程: 1.高速布署,用户能够添加降低Hadoop节点,,,, 2.分析即服务,依据用户设定的模板创建Hadoop集群,跟计算,然后干掉集群,之后把结果放在(比方Swift容

浅谈OpenStack与虚拟机的区别与联系

很多不太明白OpenStack与虚拟机之间的区别,下面以KVM为例,给大家讲一下他们的区别和联系 OpenStack:开源管理项目OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目.它不是一个软件,而是由几个主要的组件组合起来完成一些具体的工作.OpenStack由以下五个相对独立的组件构成: - OpenStack Compute(Nova)是一套控制器,用于虚拟机计算或使用群组启动虚拟机实例; - OpenStack镜像服务(Glance)是一套虚拟机镜像查找及检索系统

Spark与Hadoop的区别

[适用场景不同] ? ? Hadoop:分布式批处理计算,强调批处理,常用于数据挖掘.分析 ? ? Spark:是一个基于内存计算的开源的集群计算系统,那些在并行操作之间重用工作数据集(比如机器学习算法)的工作负载.为了优化这些类型的工作负载,Spark 引进了内存集群计算的概念,可在内存集群计算中将数据集缓存在内存中,以缩短访问延迟, 目的是让数据分析更加快速 ? ? 除了能够提供交互式查询外,它还可以优化迭代工作负载 ? ? [语言支持不同] ? ? Spark 是在 Scala 语言中实现

Hadoop2.x与hadoop的区别

NameNode在启动的时候,需要将Mettadata加载到内存中去,随着集群扩大,元数据的量也随之增加,内存压力过大. Hadoop1.x的缺点和解决办法: 单点故障------à HA  一主多备 内存受限 -----àNN Federation Hadoop节点之间的通信都是采用心跳机制. 元数据放在一片共享区(主NN和备NN共享)称为Journal Node 集群 所有DN节点都要实时向主NN或备NN通信,告知NN自己有哪么些block等信息. 至于DN具体要向NN(主)还是NN(备),

openstack学习线路指导

首先我们想学习openstack,那么openstack是什么?能干什么?涉及的初衷是什么?由什么来组成?刚接触openstack,说openstack不是一个软件,而是由多个组件进行组合,这是一个更深层次的理解,当我们看到dashboard的时候,我们或许对openstack感觉有一点感性认识了.dashboard可以理解为openstack与用户交流的一个窗口,而dashboard对于真正的使用者来讲,它的功能上面有一定的局限性.而对于初学者通过它,可能会对openstack有一定的了解.o