Google的云计算

Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点,Google提出了一整套基于分布式并行集群方式的基础架构,利用软件的能力来处理集群中经常发生的节点失效问题。

从2003年开始,Google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文,揭示其内部的分布式数据处理方法,向外界展示其使用的云计算核心技术。从其近几年发表的论文来看,Google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括Google建立在集群之上的文件系统Google File System,针对Google应用程序的特点提出的Map/Reduce编程模式,分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。

Google File System 文件系统
为了满足Google迅速增长的数据处理需求,Google设计并实现了Google文件系统(GFS,Google File System)。GFS与过去的分布式文件系统拥有许多相同的目标,例如性能、可伸缩性、可靠性以及可用性。

MapReduce分布式编程环境
为了让内部非分布式系统方向背景的员工能够有机会将应用程序建立在大规模的集群基础之上,Google还设计并实现了一套大规模数据处理的编程规范Map/Reduce系统。这样,非分布式专业的程序编写人员也能够为大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身,而关于集群的处理问题则交由平台来处理。
Map/Reduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来参加运算,用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。

分布式大规模数据库管理系统BigTable

构建于上述两项基础之上的第三个云计算平台就是Google关于将数据库系统扩展到分布式平台上的BigTable系统。很多应用程序对于数据的组织还是非常有规则的。一般来说,数据库对于处理格式化的数据还是非常方便的,但是由于关系数据库很强的一致性要求,很难将其扩展到很大的规模。为了处理Google内部大量的格式化以及半格式化数据,Google构建了弱一致性要求的大规模数据库系统BigTable。据称,现在有很多Google的应用程序建立在BigTable之上,例如Search History、Maps、Orkut和RSS阅读器等。BigTable中最重要的选择是将数据存储分为两部分,主体部分是不可变的,以SSTable的格式存储在GFS中,最近的更新则存储在内存(称为memtable)中。读操作需要根据SSTable和memtable还综合决定要读取的数据的值。第二个重要的决定是不支持事务,只保证对单条记录的原子性。

分布式的锁机制Chubby

Chubby是Google设计的提供粗粒度锁服务的一个文件系统,它基于松耦合分布式系统,解决了分布的一致性问题。通过使用Chubby的锁服务,用户可以确保数据操作过程中的一致性。

时间: 2024-07-29 18:03:56

Google的云计算的相关文章

Google 云计算中的 GFS 体系结构(整理分析)

      google 公司的很多业务具有数据量巨大的特点,为此,google 公司研发了云计算技术.google 云计 算结构中的 google 文件系统是其云计算技术中的三大法宝之一.本文主要介绍了 google 公司根据自己公司应 用对文件系统的要求设计的 GFS 的体系结构,首先简单介绍了 google 云计算平台,然后介绍了 google 公司 设计的 GFS 框架,对其中的三类组件的功能.组件之间的交互和框架的特点进行了说明,接着通过介绍基于 GFS 框架构建的 google 文件

云计算技术的产生、概念、原理、应用和前景

006年谷歌推出了“Google 101计划”,并正式提出“云”的概念和理论.随后亚马逊.微软.惠普.雅虎.英特尔.IBM等公司都宣布了自己的“云计划”,云安全.云存储.内部云.外部云.公共云.私有云……一堆让人眼花缭乱的概念在不断冲击人们的神经.那么到底什么是云计算技术呢?对云计算技术的产生.概念.原理.应用和前景又在哪里? 一.云计算思想的产生 传统模式下,企业建立一套IT系统不仅仅需要购买硬件等基础设施,还有买软件的许可证,需要专门的人员维护.当企业的规模扩大时还要继续升级各种软硬件设施以

云计算平台简介(App Engine)

云计算平台简介(App Engine) 1   简介 App Engine: 应用程序引擎,是托管网络应用程序的云计算平台. 1.1  什么是云 云计算通常简称为“云”,是一种通过 Internet 按需交付计算资源(从应用到数据中心都属于计算资源)和按使用付费的基础架构. 富有弹性的资源:能快速轻松地扩大或缩小规模,以满足您的需求 按使用付费:计量服务的使用情况,只需为所用的服务付费 自助服务:使用自助服务可访问您需要的所有 IT 资源 1.2  云计算部署模型 1.2.1 公共云 公共云由一

TOP10!全球顶级云计算公司战斗力排行榜

TOP10!全球顶级云计算公司战斗力排行榜 1亚马逊\VMware.微软 [PConline 资讯]现如今,不谈"云",似乎会与这个时代格格不入.无论是企业还是个人,都会与"云"扯上关系.可以说,云计算已经在全球范围内掀起了新的热潮,而这也必将成为未来的主流.藉此,美国科技网站Business Insider做出了总结,将云计算领域最具影响力的10家公司进行了点评. No1. 亚马逊 毫无疑问,亚马逊是云计算领域当仁不让的顶级厂商,因为它从根本上发明了laaS(基础

第8章 云计算

8.1云计算是物联网发展的基石 8.1.1云计算是物联网的基石   2011年1月18日,“打造中国云—云计算促进产业转型升级” 研讨会在南京雨花软件园管委会多功能厅举行.中国工程院院士李德毅,南京市副市长.雨花台区委书记李侃桢,南京邮电大学副校长朱洪波,雨花台区副区长薛国安,以及来自赛迪集团.微软中国.中兴通讯.区科技局.区商务局.雨花软件园等企事业单位的领导.专家六十余人参加了本次会议,就云计算产业发展及促进产 业转型升级展开了研讨. 在研讨会上中国工程院院士李德毅的演讲将大家带入了云计算的

Google为什么要把最重要的秘密开源?

百万红包.火热开启!!!有你更精彩! Google的技术是云计算开源化的主要推动力之一,Hadoop.NoSQL类数据库等开源软件都源于Google的技术.但搜索巨头本身对于自身技术的开源态度却有点纠结.这种纠结主要源于不想放弃自身的这一竞争优势,但是在微软.VMware.EMC等纷纷拥抱开源的大趋势下,Google终于意识到在开源的环境下推进自己云战略的重要性,哪怕把它最大的秘密部分开源化也在所不惜,现在这一战略已经初见成效. Craig McLuckie把想法告诉了Urs Hölzle,这位

云计算从零开始学,云计算的应用领域

云计算这个名词来自于Google,而最早的云计算产品来自于Amazon.有意思的是,Google在2006年正式提出云计算这个名词的时候,Amazon的云计算产品AWS(Amazon Web Service)已经正式运作差不多4年了.因此,有人认为,Google对云计算的最大贡献是为它起了个好名字,Amazon才是云计算的真正开拓者. 云计算是一个新名词,却不是一个新概念.云计算这个概念从互联网诞生以来就一直存在.很久以前,人们就开始购买服务器存储空间,然后把文件上传到服务器存储空间里保存,需要

如何判断云计算认知的误区?

现如今这个大数据时代,我们常会听闻到云计算的信息,也正是因此导致了很多人都对云计算认知有了不少的误区,那么我们该如何判断云计算认知误区呢? 云计算存在为了降低成本 虽然云计算价格在不断下降,尤其是AWS.微软.Google等云计算巨头的价格大战导致IaaS等云计算服务价格不断降低,但是并非所有云计算的价格都必然下降,例如SaaS.将云计算与降低成本之间划等号是狭隘而短视的,而且也不是必然的. 云计算,指的是计算 这是典型的"云洗脑","没上云计算你的IT就落伍了"之

每天收获一点点------Hadoop基本介绍与安装配置

一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代.除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许多互联网公司能够从IOE(IBM小型机.Oracle数据库以及EMC存储)中