重新定义数据库历史的时刻——时间序列数据库Schwartz认为InfluxDB最有前途,Elasticsearch也不错

转自:http://www.infoq.com/cn/news/2017/04/redefine-database-history

提起VividCortex公司的创建者兼CEO Baron Schwartz,大家可能会比较陌生,但读过他的著作《高性能MySQL》的一定大有人在。他同时也做过许多开源软件的性能分析、监控和管理工作。同时他还对许多不同的数据库社区有所贡献,包括Oracle、PostgreSQL、Redis和MongoDB等。最近他在博客上分享了一些关于数据库的想法。从2000年左右LAMP组合引起的互联网大潮开始,到后来竞争者的出现,从其现象展示出来的一些关键因素,他谈到了我们可以从中得到的收获,以及对未来的展望。

为什么LAMP组合可以获得这么大的成功呢?其实它的每个组成部分都有很多东西可以讲,而且反应了技术架构上的变化,或者说是架构变化的产物。但我觉得其中的MySQL则是今天数据库趋势的领头羊。

MySQL的成功与互联网的繁荣相辅相成,它成功的因素有很多,很难下定论,但很明确的一点就是它“足够好”。MySQL的巨大成功也造就了后来的NoSQL大潮,但随着NoSQL的定义由“不要SQL”慢慢冷却退化成“不只是SQL”,并且慢慢地都支持了类SQL的语言,在这一切发生之后,Baron Schwartz相信关系型数据库仍将持续发展并长久不衰,但它的统治地位已经被动摇,新兴的技术中必然有些会发展得可以与之平起平坐。他认为现在已经可以看出数据库技术发生了一些历史性的转变。

下一代通用型数据库

关系型数据库和SQL使用起来都是比较痛苦的。SQL并不能非常直观地反映出写SQL的人的真实意图。而且在一条SQL执行的时候,如果不是一个数据库专家,你并不了解数据库在背后到底做了多少事情,由此会产生多少副作用。而且将SQL写到程序代码里时也是非常痛苦的,因为现代编辑器可以在写代码的同时就帮你解决许多编程语言的问题,但对于程序代码中的SQL语言块它们却无能为力。在编辑器看来它们就是一个个无意义的字符串,没办法进行编译、语法检查、甚至类型检查等等。一直到程序运行起来,你才能得到一些晦涩的执行返回。

因此SQL是有许多方面可以改进的,比如让程序代码和数据库使用相同的语言和工具集;设计一种数据库查询语言,让它与编程语言的工作方法类似;将数据库与程序的内存空间映射起来……等等。当然由此会引入许多新问题,毕竟当初SQL被发明出来时就是解决了一批旧问题,又引入了许多新问题。历史总是惊人的相似。

事实上正是这些原因引发了2009年左右出现的一代新型数据库,比如map-reduce数据库、键值型数据库、Javascript数据库等。它们都有着各自美好的初衷,在某些领域做得非常出色,也在某些方面饱受诟病。作为新兴数据库技术的密切观察者,Baron Schwartz曾经非常看好MongoDB、Redis和Riak。现在事实也证明MongoDB和Redis使用的广泛性。虽然Schwartz不敢断言这两种数据库胜出的绝对原因,但肯定有部分原因是在于使用它们时是非常愉悦的:

Redis的设计理念很简单:为一条数据打上标签,然后就可以用这个标签去获取并操作数据了。数据结构非常丰富,而且数据结构的设计也和程序员们的习惯非常吻合,处理数据的操作正是构建应用程序的基础操作。而且,Redis非常专注于把这些事情做好,并且不会分心去解决别的问题。

MongoDB的概念也类似,基本就是数据库应该可以存储嵌套的、结构化的文档,并且可以直接映射为编程语言中使用的数据结构或对象。并且在此之上MongoDB还有另外一个强大的工具:可以直接使用应用得非常广泛的JavaScript来查询数据库。还有,它内置分布式的特性,因此你的业务程序就不必再考虑分片细节了。

同时代出现的其它NoSQL型数据库由于没有用类似思路去解决相似问题,所以在大潮过后,它们也就慢慢退出历史舞台了。比如Cassandra解决了分布式问题,但给程序员们的表现手段实在有限,最终成了一个非常高可用却不怎么强大的数据库,因此没有什么吸引力。

Baron Schwartz认为:

人们将来创造出来的更加现代的数据库必将是非常实用而且好用的。

时间序列数据库

时间序列数据库会把事件带上时间戳保存起来,并将时间戳作为数据模型的一个非常天然而基本的组成部分。它们支持做基于时间的分析,以支持基于时间的查询为第一要务。许多时间序列数据库甚至强制要求任何查询都必须将时间作为一个维度。

Baron Schwartz曾细致地讨论过时间序列数据库,曾经论证世界就是时间序列,而且分享过他认为的时间序列数据库应该满足的需求(尽管针对需求这一部分,他的有些观点已经发生了改变)。在现有的这个类型的数据库产品中,Schwartz认为InfluxDB最有前途,Elasticsearch也不错。

InfluxDB最近的受关注度在急剧上升,因为它在试图定义“一个原生的基于时间的数据库到底是怎样的”,并试图回答作为一个数据库满足这样的特性是否已经足够,以及在有了这样的特性之后,用户还可能希望再添加些什么功能。定义一款数据库的功能边界很难,但现在看起来InfluxDB做得相当不错。

ElasticSearch在某些方面提供了时间序列的功能,但它的核心并不在此。它实际上是一个有时间概念的分布式查询引擎。这样做很自然,人们也会相应的有疑问:如果你准备使用一个有时间的非时间序列数据库,那为什么你不干脆使用一个有时间序列功能的关系型数据库?

Baron Schwartz认为不管怎样,有一件事情非常确定:

时间序列非常重要,一定会有非常棒的专用的时间序列数据库来满足这个需求。绝对不能只是满足于某种其它类型的数据库声称:“哦,我们也支持那个功能!”

xxx

时间: 2024-10-05 09:44:39

重新定义数据库历史的时刻——时间序列数据库Schwartz认为InfluxDB最有前途,Elasticsearch也不错的相关文章

时间序列数据库(TSDB)初识与选择

背景 这两年互联网行业掀着一股新风,总是听着各种高大上的新名词.大数据.人工智能.物联网.机器学习.商业智能.智能预警啊等等. 以前的系统,做数据可视化,信息管理,流程控制.现在业务已经不仅仅满足于这种简单的管理和控制了.数据可视化分析,大数据信息挖掘,统计预测,建模仿真,智能控制成了各种业务的追求. "所有一切如泪水般消失在时间之中,时间正在死去",以前我们利用互联网解决现实的问题.现在我们已经不满足于现实,数据将连接成时间序列,可以往前可以观其历史,揭示其规律性,往后可以把握其趋势

时间序列数据库(TSDB)初识与选择(InfluxDB、OpenTSDB、Druid、Elastic

背景 这两年互联网行业掀着一股新风,总是听着各种高大上的新名词.大数据.人工智能.物联网.机器学习.商业智能.智能预警啊等等. 以前的系统,做数据可视化,信息管理,流程控制.现在业务已经不仅仅满足于这种简单的管理和控制了.数据可视化分析,大数据信息挖掘,统计预测,建模仿真,智能控制成了各种业务的追求. "所有一切如泪水般消失在时间之中,时间正在死去",以前我们利用互联网解决现实的问题.现在我们已经不满足于现实,数据将连接成时间序列,可以往前可以观其历史,揭示其规律性,往后可以把握其趋势

时间序列数据库(TSDB)初识与选择(InfluxDB,OpenTSDB,Druid)

背景 这两年互联网行业掀着一股新风,总是听着各种高大上的新名词.大数据.人工智能.物联网.机器学习.商业智能.智能预警啊等等. 以前的系统,做数据可视化,信息管理,流程控制.现在业务已经不仅仅满足于这种简单的管理和控制了.数据可视化分析,大数据信息挖掘,统计预测,建模仿真,智能控制成了各种业务的追求. "所有一切如泪水般消失在时间之中,时间正在死去",以前我们利用互联网解决现实的问题.现在我们已经不满足于现实,数据将连接成时间序列,可以往前可以观其历史,揭示其规律性,往后可以把握其趋势

阿里云发布时间序列数据库TSDB,关于时序你了解多少?

摘要: 阿里云发布时间序列数据库TSDB,专家帮你解答时序那些事. 概要介绍时间序列数据是一种表示物理设备,系统.应用过程或行为随时间变化的数据,广泛应用于物联网,工业物联网,基础运维系统等场景.阿里云TSDB 时间序列数据库可以解决大规模时序数据的可靠写入,降低数据存储成本,实时灵活的完成业务数据聚合分析. 什么是时序数据我们来看感受一下平时自己特别熟悉的场景,就会发现时序和每个人都存在非常紧密的关系:电商系统获取每笔订单交易金额和支付金额数据以及商品库存和物流数据:智能电表,会实时记录每个小

试用时间序列数据库InfluxDB

Hadoop集群监控需要使用时间序列数据库,今天花了半天时间调研使用了一下最近比较火的InfluxDB,发现还真是不错,记录一下学习心得. Influx是用Go语言写的,专为时间序列数据持久化所开发的,由于使用Go语言,所以各平台基本都支持.类似的时间序列数据库还有OpenTSDB,Prometheus等. OpenTSDB很有名,性能也不错,但是基于HBase,要用那个还得先搭一套HBase,有点为了吃红烧肉自己得先去杀猪,烫皮,拔毛的感觉.Prometheus相关文档和讨论太少,而Influ

时间序列数据库选型——本质是列存储,B-tree索引,抑或是搜索引擎中的倒排索引

时间序列数据库最多,使用也最广泛.一般人们谈论时间序列数据库的时候指代的就是这一类存储.按照底层技术不同可以划分为三类. 直接基于文件的简单存储:RRD Tool,Graphite Whisper.这类工具附属于监控告警工具,底层没有一个正规的数据库引擎.只是简单的有一个二进制的文件结构. 基于K/V数据库构建:opentsdb(基于hbase),blueflood,kairosDB(基于cassandra),influxdb,prometheus(基于leveldb) 基于关系型数据库构建:m

OpenTSDB介绍——基于Hbase的分布式的,可伸缩的时间序列数据库,而Hbase本质是列存储

原文链接:http://www.jianshu.com/p/0bafd0168647 OpenTSDB介绍 1.1.OpenTSDB是什么?主要用途是什么? 官方文档这样描述:OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase: 翻译过来就是,基于Hbase的分布式的,可伸缩的时间序列数据库. 主要用途,就是做监控系统:譬如收集大规模集群(包括网络设备.操作系统.应用程序)

时间序列数据库的秘密(3)——加载和分布式计算

时间序列数据库的秘密(3)——加载和分布式计算 加载 如何利用索引和主存储,是一种两难的选择. 选择不使用索引,只使用主存储:除非查询的字段就是主存储的排序字段,否则就需要顺序扫描整个主存储. 选择使用索引,然后用找到的row id去主存储加载数据:这样会导致很多碎片化的随机读操作. 没有所谓完美的解决方案.MySQL支持索引,一般索引检索出来的行数也就是在1~100条之间.如果索引检索出来很多行,很有可能MySQL会选择不使用索引而直接扫描主存储,这就是因为用row id去主存储里读取行的内容

时间序列数据库的秘密(1)—— 介绍

什么是时间序列数据?最简单的定义就是数据格式里包含timestamp字段的数据.比如股票市场的价格,环境中的温度,主机的CPU使用率等.但是又有什么数据是不包含timestamp的呢?几乎所有的数据都可以打上一个timestamp字段.时间序列数据更重要的一个属性是如何去查询它.在查询的时候,对于时间序列我们总是会带上一个时间范围去过滤数据.同时查询的结果里也总是会包含timestamp字段. 选择什么样的时间序列数据库 时间序列数据无处不在.而几乎任意数据库都可以存时间序列数据.但是不同的数据