面向物联网,UCloud 推出高性能时序数据库 UTSDB-InfluxDB

你应该敬畏时间,因为那是一切的密码。

—— 电影《星际穿越》

近日,UCloud 新发布了一款时间序列数据库 UTSDB (UCloud TimeSeries Database) ,此次上线的 UTSDB-InfluxDB 版基于 InfluxDB v.1.7,完全兼容原生 InfluxDB 协议。后端存储接入 UCloud 自研的 Manul 统一存储,容量可动态扩充,最高可至数百 TB,并通过高效压缩节省 80% 存储成本。支持高并发写入,QPS 最高可达 350 万,为物联网等领域的亿级设备提供实时监控生产数据、全局掌握数据趋势等能力。

时序数据库对 IoT 的价值

时序数据是指基于时间的一系列数据,随着 IoT、5G 等技术的发展,工业物联网、智能家居、监控等行业对时序数据的需求呈现爆发式的增长,而传统关系型数据库难以对此进行有效的处理。不仅因为数据量比之前可能要多数万倍,实时采集、高频度、高密度的动态数据也导致模型随时可变。

为了更好的支持时序数据的存储分析,各种时序数据库(TimeSeries Database)应运而生,时序数据库可以基于时间区间进行聚合分析和高效检索,实现对时序数据的快速写入、持久化、多纬度的查询等功能。据 DB-Engines 2019 年 12 月的最新报告显示,近一年内时序数据库的受欢迎程度稳居前列。

InfluxDB 的优势

在最新的 DB-Engines 时间序列数据库的排名中,InfluxDB 超越了 Kdb+、Prometheus、OpenTSDB 等时序数据库排名第一位。InfluxDB 是一个用于存储和分析时间序列数据的开源数据库,无需特殊的环境依赖,使用简单方便,且底层采用了 TSMT 结构实现高性能读写。

相比其他类型的时序数据库,InfluxDB 的主要优势在于:

内置 HTTP 接口,使用起来更方便;
数据可以打标记,查询更灵活;
类 SQL 的查询语句;
安装管理简单,且读写数据高效;
实时查询,数据在写入时被索引后就能够被立即查出;
灵活的数据保留策略,可以定义到 Database 级别;
支持自定义插件,能够扩展到兼容多种协议,如 Graphite、collectd 和 OpenTSDB。
InfluxDB 特别适用于存储大规模的时序数据并进行实时分析,包括来自 DevOps 监控、应用指标和 IoT 传感器上的数据。

为什么选择 UTSDB-InfluxDB

InfluxDB 作为一款开源的数据库软件,用户可以选择自行购买服务器进行安装使用,但由于 InfluxDB 分布式集群版本闭源,每次版本变动都较大,尤其是在存储和集群方面。因此自建整个部署流程和后续的数据库维护,例如版本升级、漏洞修复、服务器故障处理等工作需要耗费不少时间精力,且前期硬件成本投入大、部署周期长。

而 UCloud 此次上线的 UTSDB-InfluxDB 在完全兼容开源 InfluxDB 版本的基础上,后端存储还接入 UCloud 自研的分布式 Manul 统一存储,提供了动态可扩充的存储容量。通过 UCloud 控制台界面创建实例,用户可根据业务的实际需求情况按需选择时序数据库实例 CPU 和内存规格大小,从而实现业务的快速灵活可拓展。

相比自建 InfluxDB, UTSDB-InfluxDB 还具备以下优势:

数据高效读写

提供高并发、平稳、持续、实时写入数据,QPS(每秒数据点写入)最高可达 350W。HTTP API 使用简单,且支持高效的写入和查询。

数据写入:支持通过 API 方式和 InfluxDB 语法写入协议;类 SQL 的查询语句,可轻松查询聚合数据;

数据查询:支持通过 API 访问和控制台查询两种方式;支持对标签(tag)建索引,以实现快速有效的查询。

高效压缩存储

UTSDB-InfluxDB 版专为时间序列数据定制的高性能数据存储,TSM 引擎支持数据高效写入和数据压缩;可以降低 80% 存储使用空间,同时加快数据写入的速度,降低存储空间成本。

时序数据计算能力

提供专业全面的时序数据计算函数,支持数据多维度(降采样、插值、多种聚合计算)查询分析;连续查询(CQ)自动计算聚合数据,以提高频繁查询的效率;保留策略(RP)有效地自动使过时数据过期。

计算与存储分离

UTSDB-InfluxDB 采用计算与存储分离架构,支持三副本存储确保数据安全可靠;支持 Manul 统一存储技术,IO 性能强大;数据库宕机时支持秒级迁移、业务层几乎无影响;提供最高数百 TB 的存储空间,支持存储空间动态扩缩容,根据实际使用量计费,有效节省存储成本。

简单易用

支持使用 InfluxQL 方式对时序数据库进行访问和管理,完全兼容 InfluxDB 的读写协议;

通过控制台即可一键部署 InfluxDB,实现对实例及时序数据库进行管理,并提供监控功能,高效便捷,实时发现实例瓶颈。

UTSDB-InfluxDB 存储计算分离架构

UTSDB-InfluxDB 采用存储与计算分离架构,由存储层 + 计算层构成,存储层基于 Manul 统一存储,简要框架如下:

通过 UTSDB-InfluxDB 写入的数据都将写入 Manul 统一存储中,Manul 统一存储提供数据可靠性保证。如果物理机出现问题,调度系统可以随时在另一台机器上重启 UTSDB,无需再做数据的迁移,从而大幅度降低运维成本并提高服务可用性。

UTSDB-InfluxDB 应用场景

可以说,绝大部分数据的产生都与时间有着密不可分的联系,时序数据的处理分析在越来越多的场景中出现,例如物联网传感器、移动互联网、工业生产等。UTSDB-InfluxDB 因其高效的数据读写、存储计算分离、简单易用等特性,可以充分解决以下应用场景中时序数据的处理难题。

IoT 平台企业

IoT 物联网企业通过将设备接入云端,实现设备云端监控、设备能源管理、设备预测性维护、设备租赁等功能,服务平台将设备的状态及记录的数据高并发实时写入到时序数据库 UTSDB-InfluxDB 中,通过 UCloud 控制台及客户端工具等多种查询方式来访问时序数据并进行数据分析。

互联网运维及业务监控

互联网行业也有大量的时序数据,例如用户访问网站的行为轨迹,业务运维监控系统分析,应用程序产生的日志数据等,将这些数据写入 UTSDB-InfluxDB 中可以做监控数据展示,并进行多维聚合计算查询。

工业制造行业

传统制造业的生产安全监控需要通过产品智能化实现设备自诊断、自调整、自适应,降低设备运维成本,提高设备利用率。UTSDB-InfluxDB 可帮助制造商创造新的商业模式,将产品转化成服务、数据转化成价值,提供多种查询方式,能够从整体大局上查看数据趋势及平均数值,从多维度进行数据分析、成本预算、资源规划等。

此外,UTSDB-InfluxDB 还可结合 UCloud-IoT 平台,通过工业设备实时采集数据点、云平台时序数据库存储、进行海量数据分析处理,实现对制造业的生产设备的预测及维护、来改善生产制造系统,提高生产效率及质量,推动智能制造落地

目前 UTSDB-InfluxDB 正处于免费公测阶段,欢迎体验~

原文地址:https://blog.51cto.com/13832960/2463850

时间: 2024-07-29 10:13:28

面向物联网,UCloud 推出高性能时序数据库 UTSDB-InfluxDB的相关文章

互联网级监控系统必备-时序数据库之Influxdb技术

时间序列数据库,简称时序数据库,Time Series Database,一个全新的领域,最大的特点就是每个条数据都带有Time列. 时序数据库到底能用到什么业务场景,答案是:监控系统. Baidu一下,互联网监控系统,大家会发现小米.饿了吗等互联网巨头都在用时序数据库实现企业级的互联网监控系统. 很多人会说,用Zabbix不就搞定了,其实不是这样的,简单的主机资源监控.网络监控.小规模的部署环境,Zabbix能搞定. 如果在IDC 上千台服务器环境下,分布式应用架构.各种中间件,这种情况下我们

互联网级监控系统必备-时序数据库之Influxdb集群及踩过的坑

上篇博文中,我们介绍了做互联网级监控系统的必备-Influxdb的关键特性.数据读写.应用场景: 互联网级监控系统必备-时序数据库之Influxdb 本文中,我们介绍Influxdb数据库集群的搭建,同时分享一下我们使用集群遇到的坑! 一.环境准备 同一网段内,3个CentOS 节点,相互可以ping通 3个节点CentOS配置Hosts文件,相互可以解析主机名 Azure 虚拟机启用root用户 influxdb-0.10.3-1.x86_64.rpm 设置端口8083 8086 8088 8

时序数据库连载系列: 时序数据库一哥InfluxDB之存储机制解析

InfluxDB 的存储机制解析 本文介绍了InfluxDB对于时序数据的存储/索引的设计.由于InfluxDB的集群版已在0.12版就不再开源,因此如无特殊说明,本文的介绍对象都是指 InfluxDB 单机版 1. InfluxDB 的存储引擎演进 尽管InfluxDB自发布以来历时三年多,其存储引擎的技术架构已经做过几次重大的改动, 以下将简要介绍一下InfluxDB的存储引擎演进的过程. 1.1 演进简史 版本0.9.0之前 **基于 LevelDB的LSMTree方案** 版本0.9.0

物联网系统开发如何选择时序数据库

在很多物联网系统中,都需要对联网的设备进行监控,并对监控采样到的数据进行持久化.对采样数据进行持久化,其实很多年前在工业领域已经有专门的数据库来完成这个任务了.在工业领域,这个叫实时数据库. 工业领域的实时数据库具有数据采集.实时数据缓存.数据回写(向设备发送指令).采样数据归档存盘等主要功能.目前工业领域实时数据库基本上被国外厂家所垄断,价格昂贵.以PI数据库为例,基础版本(只有5000个测点)就需要大约10万美元,每个数据采集接口需要6000美元.这个价格对新兴的物联网公司来说代价太大了.

时序数据库连载系列:时序数据库那些事

正如<银翼杀手>中那句在影史流传经典的台词:"I've seen things you people wouldn't believe... All those ... moments will be lost in time, like tears...in rain." 时间浩瀚的人类历史长河中总是一个耀眼的词汇,当科技的年轮划到数据时代,时间与数据库碰到一起,把数据库内建时间属性后,产生了时序数据库.时序数据库是一种带有时间戳业务属性的垂直型数据库.自从2014年开始

【转载】工业大数据漫谈12:实时数据库与时序数据库

转自:http://blog.csdn.net/guanhui1997/article/details/72840769 工业大数据漫谈12:实时数据库与时序数据库 在工业大数据数据库存储领域,除了传统的关系型数据库和分布式数据库以外,还有一种类型的数据库是非常常用,而且是非常有必要的,就是实时数据库和时序数据库. 实时数据库诞生于美国,主要是因为现代工业制造流程及大规模工业自动化的发展,导致大量的测量数据需要集成和存储,而采用关系数据库难以满足速度和容量的要求,因此在80年代中期,开始诞生了适

时序数据库连载系列:指标届的独角兽Prometheus

简介Prometheus是SoundCloud公司开发的一站式监控告警平台,依赖少,功能齐全.于2016年加入CNCF,广泛用于 Kubernetes集群的监控系统中,2018.8月成为继K8S之后第二个毕业的项目.Prometheus作为CNCF生态圈中的重要一员,其活跃度仅次于 Kubernetes. 关键功能包括:多维数据模型:metric,labels灵活的查询语言:PromQL, 在同一个查询语句,可以对多个 metrics 进行乘法.加法.连接.取分数位等操作.可独立部署,拆箱即用,

未来会是时序数据库的天下吗?

时序数据简介 时序数据库最近正在爆发,各搜索引擎的搜索指数也都是呈上升趋势的. DB-Engine 上的排名: 这份排行榜,都是时序数据库. 时序数据库的兴起是有原因的.就拿无人驾驶来说,无人车在运行时需要监控各种状态,包括坐标,速度,方向,温度,湿度等等,并且需要把每时每刻监控的数据记录下来,用来做大数据分析.每辆车每天就会采集将近8T的数据.如果只是存储下来不查询也还好(虽然已经是不小的成本),但如果需要快速查询"今天下午两点在北京路,速度超过60km/h的无人车有哪些"这样的多纬

[转]面向物联网的21个开源软件项目

原文链接:https://my.oschina.net/RainyZou/blog/1605337 物联网市场呈现碎片化.无定形.不断变化的特点,其性质需要不仅仅像平常那样关注互操作性.开源在这方面表现不俗也就不足为奇了——客户犹豫不决,不敢将物联网的未来寄托在一种可能销声匿迹或变得难以定制.互联的专有平台上. 我在本文中介绍了主要的开源软件项目,专注于面向家庭和工业自动化的开源技术.我忽略了侧重垂直领域的与物联网有关的项目,比如Automotive Grade Linux和Dronecode,