一张图告诉你是须要 SQL 还是 Hadoop

译序

非常多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL。什么时候用 Hadoop,它们之间怎样取舍?Aaron Cordova 用一张图来回答你这个问题,对于不同的数据场景,怎样选取正确的数据存储处理工具进行了具体描写叙述。Aaron Cordova 是美国大数据分析及架构专家。Koverse CTO 及联合创始人。

原文正文

Twitter 上的 @merv 转发了一篇博客《三角形的统计》。
这是一篇关于怎样统计一张图形里的三角形的博客。并将使用 Vertica 和 Hadoop 的 MapReduce 的结果进行了对照。

在 1.3 GB 的数据之上,Vertica 比 Hadoop 快了 22-40x 倍。并且它仅仅用了三行 SQL。

统计表明,在 1.3 GB 数据之上,Vertica 更简单更高速。但这个结果不是太那么有意思。
对于写入任务的结果将会截然不同 - 是,SQL 在这个案例里确实非常easy。大家都知道。SQL 是比 MapReduce 简单得多。但在分布式计算的场合 MapReduce 却又比 SQL 简单的多。并且 MapReduce 还能做 SQL 做不到的事情。比方图像处理。
以 1.3 GB 的数据作为 Vertica 或者 Hadoop 的衡量基准。就像说"我们将要在波音 737 和 DC10 之间进行一场 50 米赛跑比赛"一样。

这种一场比赛甚至都无须起飞。

上面博客的对照也是一样的道理。这些技术显然都不是设计用来处理这种级别的数据集。
假设有一个可伸缩的系统即使在小规模数据仍然非常快的话当然更好,但这不是本文所讨论的。在大规模数据时的性能结果是否还是这么明显,这个问题就不是那么显而易见的了,确实值得证明。
为了帮大家怎样基于自己的实际情况选取哪种技术。我画了这个流程图:

原文链接:http://aaroncordova.com/blog2/roncordova.com/2012/01/do-i-need-sql-or-hadoop-flowchart.html

时间: 2024-10-05 12:12:47

一张图告诉你是须要 SQL 还是 Hadoop的相关文章

一张图告诉你是需要 SQL 还是 Hadoop

译序 很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL,什么时候用 Hadoop,它们之间如何取舍?Aaron Cordova 用一张图来回答你这个问题,对于不同的数据场景,如何选取正确的数据存储处理工具进行了详细描述.Aaron Cordova 是美国大数据分析及架构专家,Koverse CTO 及联合创始人. 原文正文 Twitter 上的 @merv 转发了一篇博客<三角形的统计>.这是一篇关于如何统计一张图形里的三角形的博客,并将使用 Vertic

一张图告诉你php的命名空间和自动加载

一张图告诉你php的命名空间,及如何自动加载 PHP的命名空间,这一张图就足够了PHP命名空间和文件的自动加载简单代码,简单几行,就将核心告诉给你! 四哥许坤原创教程,转载请注明出处! 联系方式:[email protected] http://weibo.com/sigexukun

胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计

一.引言: 最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧.项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了.所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家. 二.安全架构 大数据安全架构主要从六个方面考虑,包括物理安全.系统安全.网络安全.应用安全.数据安全和管理安全六个维度.物理安全强调物理硬件的国产化,避免类似美国轰炸伊拉克悲剧的重演,这也算是一个国家战略的产物,虽未正式

一张图告诉你广电总局这些年都做了些什么~

广电总局,那些年的禁令!国家新闻出版广电总局是国务院直属机构,我们最熟悉的莫过于电影开场时必然会出现的金色龙形长城标志.那么,一张图,让你看清广电总局这些年做了什么事…… 一张图告诉你广电总局这些年都做了些什么-,布布扣,bubuko.com

JavaScript实现简单图片滚动 --9张图告诉你,C罗欲哭无泪

源码下载:http://download.csdn.net/detail/u011043843/7510425 昨晚德国和葡萄牙的焦点之战你看了吗?北京时间凌晨的比赛中,C罗领衔的葡萄牙0-4德国被完灭--他是金球奖得主.欧洲金靴.欧冠冠军核心,在葡萄牙队--9张图 C罗告诉你什么叫欲哭无泪 <span style="font-size:14px;"><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitio

一张图告诉你为什么 Gmail 是最好的邮箱,以及大量私货

今天早上,我的同事详细介绍了 Gmail 相比其他邮箱的优势,比如强大的垃圾邮件过滤.简单的使用界面.强大的功能设置等等.但是对我来说,这些并不是我使用 Gmail 的最重要原因. 我第一个正式的邮箱是 Hotmail,大概在2年后换成了 Gmail.当时 Gmail 最吸引我的一点是对话式的呈现同一主题的邮件,可以很方便的看到关于这个主题的所有会话.但除了这一点,以及界面比 Hotmail 更好看一些之外,我并不觉得 Gmail 比 Hotmail 有多好. 但我的主力邮箱还是很快从 Hotm

7张图告诉你成功者与失败者的行为差别

7张图告诉你成功者与失败者的行为差别 创富邦2015-06-08 11:22 经历了那么些美好与险恶,读了那么些鸡汤和毒舌,你应该已经知道:成功与失败再也不是非黑即白的区别,而是如何用智慧经营人生. 真正的聪明不是投机取巧,真正的笨蛋也不是吃亏忍让:敢于承担.乐于赞美.善于学习的人才是真正的聪明人,拥有大智慧:怕吃亏.loser心态.对自己不诚实的人,才是真正的大笨蛋咯,最终会被世界抛弃哦! 看看以下这7种心态对比,拿出你的高EQ,成功与失败的确有运气成分,但自己不选择对错,那么运气又谈何而来呢

一张图告诉你,只会这些HTML还远远不够!!!!!

不知道自己HTML水平如何,不知道HTML5如何进化?看这张图 如果一半以上的你都不会,必须看这本书,阿里一线工程师用代码和功能页面来告诉你每一个技术点. 都会一点,但不知道如何检验自己,看看本书提供的面试题: Doctype? 严格模式与混杂模式,如何触发这两种模式? 什么是Semantic HTML(语义HTML)? 表格的的语义化可以用哪个标签? <img>标签上title与alt属性的区别是什么? 你如何对网站的文件和资源进行优化? 在网页中的应该使用奇数还是偶数的字体? 什么是HTM

一张图告诉你,只会JavaScript还不够!

会了JavaScript语法,你就真的会了JavaScript吗,来看这张图!是超实用的JavaScript代码段一书的导览!熊孩子们,赶紧学习去吧!