冷数据“热”起来

HGST(西部数据集团旗下子公司昱科环球存储科技公司)针对中国数据中心决策者的一项调查显示,98%的受访者相信,如果数据能够被有效存储,那么所有数据都有价值。企业信息化所做的所有工作、企业向云计算的转型、大数据的应用等,无非都是为了更好地利用数据,并从中获取价值。HGST亚太区副总裁James Ho十分肯定地表示,数据是一项非常独特且有价值的资产。

  与企业生产密切相关的在线数据,也就是俗称的热数据,一直是数据存储的重点。为了更好地处理和保存热数据,人们想了很多办法,相关的技术创新层出不穷。最近比较热门的闪存技术就大大提升了对热数据的访问性能。一直坚持在机械式硬盘方面推陈出新的HGST,也在持续关注闪存技术的进展,并推出了新一代的产品。

  举例来说,今年9月HGST推出了全新的兼容NVMe标准的Ultrastar SN100 PCIe SSD。该产品系列集成了东芝的MLC NAND闪存,配以简化的PCIe SSD系统,具有HGST一贯的高品质和高可靠性。主要面向数据库加速、虚拟化和大数据分析的Ultrastar SN100 SSD,采用了半高半长的插卡形式,基于标准的2.5英寸硬盘规格,容量高达3.2TB。为提升NAND闪存的耐久性和可靠性,Ultrastar SN100 SSD系列使用了专门针对东芝MLC NAND闪存进行优化的HGST CellCare NAND管理技术。

  虽然人们对于热数据的热情不减,但数据本身有固有的生命周期,一定会经历从热到冷、从在线到离线直到被删除的过程。随着数据量的增加和时间的推移,企业中大量的数据由在线存储逐渐转为长期保留和归档,也就是进入“冷处理”的环节。其实,随着用户对数据可访问性要求的逐步提高,在一些行业中已经没有完全意义上的冷数据,因为即使是归档的数据,也可能会在某些特殊情况下要求被快速访问,比如话费账单的查询等。

  所谓“冷数据”就是大量的需要被长久、安全地保留或归档的数据。相对于在线的热数据来说,这些冷数据的被访问频率可能会大大降低,但是这些数据并不是无用的数据,而是需要时刻准备被查询。

  HGST认为,在数据量快速增长的今天,“冷数据”市场也会很快热起来。为此,HGST意欲进军与冷数据相关的数据归档市场。作为一个传统的硬盘制造商,HGST原来的技术特长是制造存储用的零部件,而进军数据归档市场,研发一个完整的归档系统对HSGT来说也是一次全新的挑战。

  James Ho表示,HGST瞄准的是新兴的蓝海存储市场——动态归档。虽然深度归档依然是一种“一次写入”并希望“永不读取”的运作方式,但高速增长的应用和数据正在催生各种新型的长期数据存储模式。除了可扩展性以外,动态归档系统还要求低成本和高效率。过去,磁带提供了一种低成本、大容量的数据归档方式,但无法让用户快速访问随机数据。现今主流的磁盘存储方式能够满足用户对数据访问性能的要求,但无法满足PB级存储环境对低成本的要求。

  HGST尝试通过创新的技术打造可以满足成本、性能、效率和可靠性要求的动态归档平台。HGST的动态归档平台旨在实现10倍于传统企业数据中心解决方案的存储密度和功率效率,以及5倍于常用可扩展型云计算数据中心解决方案的存储密度和功率效率。

  James Ho介绍说,HGST的动态归档平台的目标是在单个数据中心机架中实现超过10PB的容量。基于HGST的解决方案,用户可以针对不同存储架构配置动态归档平台,包括面向公有云和私有云数据中心的可扩展型对象存储解决方案。

  HGST已开始向其战略合作伙伴交付动态归档平台的样品,并将于2015年初实现商用。

时间: 2024-10-10 14:11:56

冷数据“热”起来的相关文章

搭建高可用的Replication集群归档大量的冷数据

冷热数据分离 业务不断地在增长,集群分片中的数据也会随着时间的推移而增加,其中有相当一部分的数据是很少被使用的,例如几年前的订单记录.交易记录.商品评论等数据.这部分数据就称之为冷数据,与之相反经常被使用的数据则称之为热数据. 我们都知道当MySQL的单表数据量超过两千万时,读写性能就会急剧下降.如果其中存储的大部分都是高价值的热数据还好说,可以花费资金去扩展集群分片,因为这些数据可以带来收益.但如果是低价值的冷数据,就没必要去花这个钱了. 所以我们要将冷数据从集群分片中剥离出来,存储至专门的归

[No000060]冷读热读:读书九问

兵无常势,水无常形,读书亦无法.彼之砒霜,我之佳肴.然读书无法却有道.你我都是使用同一颗大脑在读书.这颗大脑受制于那千千万万年以来,星辰起落,狩猎采集,演化大道. Q1:读物如何分级? 坏书.可用的书.力作.杰作与神作. 世人皆知精读略读,却不知冷读热读.你的大脑习惯用数字来锚定一切.既然都是书这种载体,价格.页数成了你的挑选标准.你总是习惯赋予神作与垃圾读物一样的阅读时间.须不知,人有好坏,书有高下.因此爱书之人均有自己的读物分级系统.我将图书分为:坏书.可用的书.力作.杰作与神作.多数图书,

大数据热词科普(二)

在上一篇文章中我们给大家介绍了大数据的部分热词科普--人工智能.区块链.图灵测试.在这篇文章中我们给大家介绍一下涉及到大数据的回归分析.贪婪算法.MapReduce.数据挖掘.希望这些知识能够给大家带来帮助. 首先我们说的是回归分析,回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法.运用十分广泛,回归分析按照涉及的变量的多少,分为一元回归和多元回归分析:按照因变量的多少,可分为简单回归分析和多重回归分析:按照自变量和因变量之间的关系类型,可分为线性回归分析和非线性回归分析.

大数据热词科普(六)

在前面的文章中我们给大家介绍了不少关于大数据热词的科普知识,从中我们可以发现大数据中的热词之间都是有一些联系的,如果我们学习大数据的话了解这些词汇以后就会不断地激发灵感,下面我们继续给大家介绍一下大数据的热词,希望能够给大家带来帮助. 首先我们给大家介绍的就是随机森林,随机森林经常使用在机器学习中,在机器学习中,随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定.随机森林这个术语是1995年由贝尔实验室的所提出的随机决策森林而来的.而随机森林在大数据中的很多方

大数据热词科普(三)

在前面的文章中我们给大家科普了很多大数据的热词内容.当然,和大数据有关的热词有很多,我们在这篇文章中继续给大家讲述一下大数据的热词,希望这篇文章能够给大家带来帮助.好了,现在我们开始进入正题. 首先就是数据可视化,数据可视化,是关于数据视觉表现形式的科学技术研究.其中,这种数据的视觉表现形式被定义为,一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量.它是一个处于不断演变之中的概念,其边界在不断地扩大.主要指的是技术上较为高级的技术方法,而这些技术方法允许利用图形.图像处理.计算

大数据热词科普(五)

在前面的文章中我们给大家讲述了很多有关大数据的热词,我们在这篇文章中给大家介绍结构化数据.半结构化数据.非结构化数据.数据清洗.这些词汇都是和数据分析有关的,下面我们就给大家详细地介绍一下这些词的意思. 首先就是结构化数据,所谓结构化数据,简单来说就是数据库.结合到典型场景中更容易理解,比如财务系统.医疗HIS数据库..政府行政审批:其他核心数据库等.基本包括高速存储应用需求.数据备份需求.数据共享需求等等.由此可见结构化数据是十分常见的. 下面我们就给大家说一说半结构化数据,半结构化数据和普通

游戏设计模式——面向数据编程思想

前言:随着软件需求的日益复杂发展,远古时期面的向过程编程思想才渐渐萌生了面向对象编程思想. 当人们发现面向对象在应对高层软件的种种好处时,越来越沉醉于面向对象,热衷于研究如何更加优雅地抽象出对象. 然而现代开发中渐渐发现面向对象编程层层抽象造成臃肿,导致运行效率降低,而这是性能要求高的游戏编程领域不想看到的. 于是现代游戏编程中,面向数据编程的思想越来越被接受(例如Unity2018更新的ECS框架就是一种面向数据思想的框架). 面向数据编程是什么? 先来一个简单的比较: 面向过程思想:考虑解决

游戏设计模式——面向数据编程(新)

目录 面向数据编程是什么? 单指令流多数据流(SIMD) 什么是SIMD 为什么需要SIMD 支持SIMD技术的指令集 使用SIMD编程 使用汇编内联 使用指令集库 使用ISPC语言 并行循环 避免Gather行为 CPU缓存(CPU cache) 什么是CPU缓存 为什么需要CPU缓存 CPU缓存预先存的是什么 CPU缓存命中/未命中 提高CPU缓存命中率 使用连续数组存储要批处理的对象 避免无效数据夹杂在连续内存区域 冷数据/热数据分割 频繁调用的函数尽可能不要做成虚函数 重新认识C++ S

ElasticSearch5.X的冷热数据架构

转载:https://my.oschina.net/xiaomaijiang/blog/826701 当使用ElasticSearch做大规模的时序数据分析的时候,我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构(Master.Hot-Node.Warm-Node),也就是我们所说的"Hot-Warm"架构. Master Nodes 我们建议使用3个独立的主节点来提供足够的弹性,为了防止脑裂的问题,你应该把discovery.zen.minimum_master_no