一张图告诉你是需要 SQL 还是 Hadoop

译序

很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL,什么时候用 Hadoop,它们之间如何取舍?Aaron Cordova 用一张图来回答你这个问题,对于不同的数据场景,如何选取正确的数据存储处理工具进行了详细描述。Aaron Cordova 是美国大数据分析及架构专家,Koverse CTO 及联合创始人。

原文正文

Twitter 上的 @merv 转发了一篇博客《三角形的统计》。
这是一篇关于如何统计一张图形里的三角形的博客,并将使用 Vertica 和 Hadoop 的 MapReduce 的结果进行了对比。在 1.3 GB 的数据之上,Vertica 比 Hadoop 快了 22-40x 倍。而且它只用了三行 SQL。统计表明,在 1.3 GB 数据之上,Vertica 更简单更快速。但这个结果不是太那么有意思。
对于写入任务的结果将会截然不同 - 是,SQL 在这个案例里确实非常简单,大家都知道。SQL 是比 MapReduce 简单得多,但在分布式计算的场合 MapReduce 却又比 SQL 简单的多。而且 MapReduce 还能做 SQL 做不到的事情,比如图像处理。
以 1.3 GB 的数据作为 Vertica 或者 Hadoop 的衡量基准,就像说"我们将要在波音 737 和 DC10 之间进行一场 50 米赛跑比赛"一样。这样的一场比赛甚至都无须起飞。上面博客的对比也是一样的道理。这些技术显然都不是设计用来处理这种级别的数据集。
如果有一个可伸缩的系统即使在小规模数据仍然很快的话当然更好,但这不是本文所讨论的。在大规模数据时的性能结果是否还是这么明显,这个问题就不是那么显而易见的了,确实值得证明。
为了帮大家如何基于自己的实际情况选取哪种技术,我画了这个流程图:

原文链接:http://aaroncordova.com/blog2/roncordova.com/2012/01/do-i-need-sql-or-hadoop-flowchart.html

时间: 2024-10-09 21:02:02

一张图告诉你是需要 SQL 还是 Hadoop的相关文章

一张图告诉你是须要 SQL 还是 Hadoop

译序 非常多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL.什么时候用 Hadoop,它们之间怎样取舍?Aaron Cordova 用一张图来回答你这个问题,对于不同的数据场景,怎样选取正确的数据存储处理工具进行了具体描写叙述.Aaron Cordova 是美国大数据分析及架构专家.Koverse CTO 及联合创始人. 原文正文 Twitter 上的 @merv 转发了一篇博客<三角形的统计>.这是一篇关于怎样统计一张图形里的三角形的博客.并将使用 Ver

一张图告诉你php的命名空间和自动加载

一张图告诉你php的命名空间,及如何自动加载 PHP的命名空间,这一张图就足够了PHP命名空间和文件的自动加载简单代码,简单几行,就将核心告诉给你! 四哥许坤原创教程,转载请注明出处! 联系方式:[email protected] http://weibo.com/sigexukun

胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计

一.引言: 最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧.项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了.所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家. 二.安全架构 大数据安全架构主要从六个方面考虑,包括物理安全.系统安全.网络安全.应用安全.数据安全和管理安全六个维度.物理安全强调物理硬件的国产化,避免类似美国轰炸伊拉克悲剧的重演,这也算是一个国家战略的产物,虽未正式

一张图告诉你广电总局这些年都做了些什么~

广电总局,那些年的禁令!国家新闻出版广电总局是国务院直属机构,我们最熟悉的莫过于电影开场时必然会出现的金色龙形长城标志.那么,一张图,让你看清广电总局这些年做了什么事…… 一张图告诉你广电总局这些年都做了些什么-,布布扣,bubuko.com

JavaScript实现简单图片滚动 --9张图告诉你,C罗欲哭无泪

源码下载:http://download.csdn.net/detail/u011043843/7510425 昨晚德国和葡萄牙的焦点之战你看了吗?北京时间凌晨的比赛中,C罗领衔的葡萄牙0-4德国被完灭--他是金球奖得主.欧洲金靴.欧冠冠军核心,在葡萄牙队--9张图 C罗告诉你什么叫欲哭无泪 <span style="font-size:14px;"><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitio

一张图告诉你为什么 Gmail 是最好的邮箱,以及大量私货

今天早上,我的同事详细介绍了 Gmail 相比其他邮箱的优势,比如强大的垃圾邮件过滤.简单的使用界面.强大的功能设置等等.但是对我来说,这些并不是我使用 Gmail 的最重要原因. 我第一个正式的邮箱是 Hotmail,大概在2年后换成了 Gmail.当时 Gmail 最吸引我的一点是对话式的呈现同一主题的邮件,可以很方便的看到关于这个主题的所有会话.但除了这一点,以及界面比 Hotmail 更好看一些之外,我并不觉得 Gmail 比 Hotmail 有多好. 但我的主力邮箱还是很快从 Hotm

7张图告诉你成功者与失败者的行为差别

7张图告诉你成功者与失败者的行为差别 创富邦2015-06-08 11:22 经历了那么些美好与险恶,读了那么些鸡汤和毒舌,你应该已经知道:成功与失败再也不是非黑即白的区别,而是如何用智慧经营人生. 真正的聪明不是投机取巧,真正的笨蛋也不是吃亏忍让:敢于承担.乐于赞美.善于学习的人才是真正的聪明人,拥有大智慧:怕吃亏.loser心态.对自己不诚实的人,才是真正的大笨蛋咯,最终会被世界抛弃哦! 看看以下这7种心态对比,拿出你的高EQ,成功与失败的确有运气成分,但自己不选择对错,那么运气又谈何而来呢

一张图告诉你,只会这些HTML还远远不够!!!!!

不知道自己HTML水平如何,不知道HTML5如何进化?看这张图 如果一半以上的你都不会,必须看这本书,阿里一线工程师用代码和功能页面来告诉你每一个技术点. 都会一点,但不知道如何检验自己,看看本书提供的面试题: Doctype? 严格模式与混杂模式,如何触发这两种模式? 什么是Semantic HTML(语义HTML)? 表格的的语义化可以用哪个标签? <img>标签上title与alt属性的区别是什么? 你如何对网站的文件和资源进行优化? 在网页中的应该使用奇数还是偶数的字体? 什么是HTM

一张图告诉你,只会JavaScript还不够!

会了JavaScript语法,你就真的会了JavaScript吗,来看这张图!是超实用的JavaScript代码段一书的导览!熊孩子们,赶紧学习去吧!