Druid对比Redshift

Redshift 内部使用了亚马逊取得了授权的ParAccel

实时注入数据

抛开可能的性能不同, 有功能性的不同

Druid 适合分析大数据量的流式数据, 也能够实时加载和聚合数据
一般来讲， 传统的数据仓库包括列式存储只摄入批量数据， 没有对流式数据做优化

Druid 是只读分析型数据仓库

Druid支持写语句， 但是数据是不变的， 也不支持join. ParAccel 是完全数据库， 支持SQL语法包括join, insert, update

分发数据

Druid的数据分发的单位是segment, segment的数据在高可用的深存储之中， 例如S3和HDFS. 扩展和收缩不会导致大量的复制工作和不可用. 实际上， 一些历史节点失效不会导致数据丢失，因为当历史节点启动的时候会从深存储中拉取数据

想反， ParAccel数据分发是基于hash算法的。 扩展集群会导致在所有节点上重新计算hash， 这就比较难控制可用性。亚马逊的redshif解决问题的变通方案使用多步操作
    设置集群只读
    扩集群并行复制数据
    重定向查询到新的集群

复制策略

Druid使用segment做数据分发， 使更多的节点可以加入和重新平衡数据而不用分步骤交换。 复制策略也是所有副本可以被用来查询。

ParAccel’s hash-based distribution generally means that replication is conducted via hot spares. This puts a numerical limit on the number of nodes you can lose without losing data, and this

replication strategy often does not allow the hot spare to help share query load.
[注：这段不是太懂]

索引策略

和列式存储一起， Druid用索引来提高带过滤查询的速度。索引结构会增加存储负担（使修改更难）， 但是显著的增加速度。

ParAccel 没有使用索引

时间： 2024-10-06 07:00:36

Druid对比Redshift的相关文章

Druid对比Vertica

怎么比较Druid和Vertica? Vertica 类似与之前介绍的ParAccel/Redshift(Druid-vs-Redshift). 不是实时注入数据: 提供SQL的全部语法支持 另外一个很大不同是: Vertica 不适用index, 尝试利用run-length encoding和其他的压缩技术和产生不同排序的实体化副本投射系统(最大化利用run-length encoding) 不太清除Vertica如何分发和复制数据, 所以很难说两者有什么不同

Druid对比Cassandra

不是Cassandra专家, 如果描绘有错误, 请通过邮件列表或者其他方式告知, 我们会修正. Druid对扫描和聚合做了很大程度的优化, 不用提前计算就支持任意的向下钻取, 还可以实时摄入流式数据并实时查询这些进入的数据. Cassandra是很好的名值对数据仓库, 相对于纯粹的key-value数据仓库可以让你做跟多的感兴趣的事情.它的使用方法和druid不同, druid经常为一次查询扫描数以十亿的记录. 还有, Druid是完全的读一致性的. Druid将数据分成叫做segment的不变

Druid对比Elasticsearch

我们不是Elasticsearch的专家, 如果描绘有误, 请通过邮件列表或者其他途径告知我们. Elasticsearch 是基于Apache Lucene搜索服务器.  提供了对无模式文档的全文检索, 提供了存取未加工的事件记录功能.Elasticsearch也提供了分析和聚合功能. 据用户证明, 数据注入和数据聚合需要比druid大得多的资源. Druid 支持OLAP数据流程. Druid在低成本的情况下做了优化以达到高性能(快速的聚合和注入数据), 支持很大范围的分析操作. Druid

Druid对比Hadoop

Hadoop 向世界证明, 花费很少的钱实现典型的解决方案, 将数据保存在一般的商用机器的数据仓库里是可行的. 当人们将自己的数据保存在Hadoop, 他们发现两个问题        他们能够用一种相当灵活的方式查询数据来解答任何问题.    这个查询花费很多时间 第一次运行Hadoop, 每个人都会感到高兴. 后面使用Hadoop进行交互性查询后, 他们意识到Hadoop只优化了吞吐量, 没有优化延时. Druid完全是Hadoop的一个补充. Hadoop精于存储和查询的大量的低价值个体数据

Druid介绍2

Druid的发送数据和查询数据 Druid 开篇 - 大数据实时探索性分析平台 官网 Druid 一次海量数据实时处理的实践 使用HDFS作为Druid的deepStorage 在哪里下载druid 正式版本下载:maven中央仓库: http://central.maven.org/maven2/com/alibaba/druid/ 怎么获取Druid的源码 Druid是一个开源项目,源码托管在github上,源代码仓库地址是 https://github.com/alibaba/druid.

Druid缓存

连接Oracle数据库,打开PSCache,在其他的数据库连接池都会存在内存占用过多的问题,Druid是唯一解决这个问题的连接池. oracle数据库下PreparedStatementCache内存问题解决方案: Oracle支持游标,一个PreparedStatement对应服务器一个游标,如果PreparedStatement被缓存起来重复执行,PreparedStatement没有被关闭,服务器端的游标就不会被关闭,性能提高非常显著.在类似SELECT * FROM T WHERE ID

【大数据】大数据-实时统计分析-方案选型

大数据-实时统计分析-方案选型 image2017-10-27_11-10-53.png (1067×738) elasticsearch-head Elasticsearch-sql client spark streaming reload_百度搜索 基于spark streaming的网管系统告警过滤算法的设计与实现 - 其它论文 - 道客巴巴 scala - Spark Streaming into HBase with filtering logic - Stack Overflow

【Spark】SparkStreaming-流处理-规则动态更新-解决方案

SparkStreaming-流处理-规则动态更新-解决方案 image2017-10-27_11-10-53.png (1067×738) elasticsearch-head Elasticsearch-sql client spark streaming reload_百度搜索 基于spark streaming的网管系统告警过滤算法的设计与实现 - 其它论文 - 道客巴巴 scala - Spark Streaming into HBase with filtering logic -

c3p0、dbcp、druid三大连接池对比

转: c3p0.dbcp.druid三大连接池对比 原文地址:https://www.cnblogs.com/littlelazy/p/10480552.html