Druid对比Hadoop

Hadoop 向世界证明， 花费很少的钱实现典型的解决方案, 将数据保存在一般的商用机器的数据仓库里是可行的. 当人们将自己的数据保存在Hadoop， 他们发现两个问题
    
    他们能够用一种相当灵活的方式查询数据来解答任何问题。
    这个查询花费很多时间

第一次运行Hadoop, 每个人都会感到高兴。 后面使用Hadoop进行交互性查询后， 他们意识到Hadoop只优化了吞吐量， 没有优化延时。

Druid完全是Hadoop的一个补充。 Hadoop精于存储和查询的大量的低价值个体数据.  不幸的是Hadoop不精于保证这些数据的查询时间, 也不善于提供为客户操作的特征。 相反Druid， 善于处理hadoop 只中低价值数据的汇总数据， 是查询汇总数据高效和高可用， 能够直接暴漏给客户使用。

Druid 需要基础设施提供深存储. HDFS 可以作为深存储的一种。

时间： 2024-10-03 04:21:14

Druid对比Hadoop的相关文章

Druid对比Redshift

Redshift 内部使用了亚马逊取得了授权的ParAccel 实时注入数据 抛开可能的性能不同, 有功能性的不同 Druid 适合分析大数据量的流式数据, 也能够实时加载和聚合数据一般来讲, 传统的数据仓库包括列式存储只摄入批量数据, 没有对流式数据做优化 Druid 是只读分析型数据仓库 Druid支持写语句, 但是数据是不变的, 也不支持join. ParAccel 是完全数据库, 支持SQL语法包括join, insert, update 分发数据 Druid的数据分发的单位是segme

Druid对比Cassandra

不是Cassandra专家, 如果描绘有错误, 请通过邮件列表或者其他方式告知, 我们会修正. Druid对扫描和聚合做了很大程度的优化, 不用提前计算就支持任意的向下钻取, 还可以实时摄入流式数据并实时查询这些进入的数据. Cassandra是很好的名值对数据仓库, 相对于纯粹的key-value数据仓库可以让你做跟多的感兴趣的事情.它的使用方法和druid不同, druid经常为一次查询扫描数以十亿的记录. 还有, Druid是完全的读一致性的. Druid将数据分成叫做segment的不变

Druid对比Elasticsearch

我们不是Elasticsearch的专家, 如果描绘有误, 请通过邮件列表或者其他途径告知我们. Elasticsearch 是基于Apache Lucene搜索服务器.  提供了对无模式文档的全文检索, 提供了存取未加工的事件记录功能.Elasticsearch也提供了分析和聚合功能. 据用户证明, 数据注入和数据聚合需要比druid大得多的资源. Druid 支持OLAP数据流程. Druid在低成本的情况下做了优化以达到高性能(快速的聚合和注入数据), 支持很大范围的分析操作. Druid

Druid对比Vertica

怎么比较Druid和Vertica? Vertica 类似与之前介绍的ParAccel/Redshift(Druid-vs-Redshift). 不是实时注入数据: 提供SQL的全部语法支持 另外一个很大不同是: Vertica 不适用index, 尝试利用run-length encoding和其他的压缩技术和产生不同排序的实体化副本投射系统(最大化利用run-length encoding) 不太清除Vertica如何分发和复制数据, 所以很难说两者有什么不同

PageRank在Hadoop和spark下的实现以及对比

关于PageRank的地位,不必多说. 主要思想:对于每个网页,用户都有可能点击网页上的某个链接,例如 A:B,C,D B:A,D C:AD:B,C 由这个我们可以得到网页的转移矩阵 A    B    C    D A  0    1/2  1    0 B 1/3   0    0    0 C 1/3  1/2  0    0 D 1/3  0     0    1/2 Aij表示网页j到网页i的转移概率.假设起始状态每个用户对ABCD四个网站的点击概率相同都是0.25,那么各个网站第一次

Hadoop新MapReduce框架Yarn详解

简介 本文介绍了Hadoop自0.23.0版本后新的MapReduce框架(Yarn)原理,优势,运行机制和配置方法等,着重介绍新的yarn框架相对于原框架的差异及改进,并通过Demo示例详细介绍了在新的Yarn框架下搭建和开发Hadoop程序的方法.读者通过本文中新旧Hadoop MapReduce框架的对比,更深刻理解新的yarn框架技术与那里和设计思想,文中的Demo代码经过微小修改既可用于用户基于Hadoop新框架的实际生产环境. Hadoop MapReduceV2(Yarn)框架简介

Druid缓存

连接Oracle数据库,打开PSCache,在其他的数据库连接池都会存在内存占用过多的问题,Druid是唯一解决这个问题的连接池. oracle数据库下PreparedStatementCache内存问题解决方案: Oracle支持游标,一个PreparedStatement对应服务器一个游标,如果PreparedStatement被缓存起来重复执行,PreparedStatement没有被关闭,服务器端的游标就不会被关闭,性能提高非常显著.在类似SELECT * FROM T WHERE ID

XI hadoop

XIhadoop 文本文件(索引): structured data ,RDBMS(表,字段,数据类型,约束): semi-structured data,半结构化数据(xml,json): google(网络爬虫.网络蜘蛛.网络机器人,20亿个页面,unstructureddata,pagerand页面排序算法): facebook,pv 500亿,化整为零(500G-->500*1G-->筛出50*100M数据),并行处理(将一个大问题切割成多个小问题,OLAP在线分析处理(数据挖掘):

HADOOP与HDFS数据压缩格式

1.cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响.在数据压缩上,需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据.在大多数情况下,每个的原则都类似. 您需要平衡压缩和解压缩数据所需的能力.读写数据所需的磁盘 IO,以及在网络中发送数据所需的网络带宽.正确平衡这些因素有赖于集群和数据的特征,以及您的 使用模式. 如果数据已压缩(例如 JPEG 格式的图像),则不建议进行压缩.事实上,结果文件实际上可能大于原