2019年IT关注的重点:大数据分析的存储架构

存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析、人工智能和物联网。并指出,改进大数据分析、人工智能、机器学习、物联网的存储架构将成为2019年关注的重点领域。

行业媒体对2019年企业数据存储预测的存储技术专家和分析师小组进行了调查,许多人表示,企业IT组织将专注于更好的方法来分析、使用和管理数据湖中的所有信息。他们的努力将包括在越来越多的旨在集成、设计和编排数据的工具的帮助下调整大数据的存储架构。

这些存储技术专家和分析师对2019年预测的样本进行分析,这些预测主要关注大数据、存储系统和数据管理、安全性和其他常规存储趋势的存储架构。在此处可以了解关注云存储以及闪存和新兴内存技术的其他预测。

数据湖成为“沼泽”

Pure Storage公司产品和解决方案首席技术官兼副总裁Chadd Kenney:数据湖很快变成了数据沼泽。它最终成为大量数据的登陆区,而且实际上没有很多人利用该数据湖内的数据集。我预计组织将重点放在部署数据中心,将多个孤岛整合到一个基于闪存的平台中,该平台具有高并发性、高并行性和与横向扩展容量呈线性关系的性能。大数据将通过新的大规模数据中心架构重新焕发活力。

Hitachi Vantara公司首席技术官Hu Yoshida:很多数据具有甚至没有被查看或处理过的价值。到目前为止,人们已经将其摄入数据库或将其转储到数据湖中。但是他们意识到必须整合、清理、丰富和设计数据才能真正发挥作用。如今时机已经成熟。云计算和私营部门正在提供更多工具,我认为人们将开始使用这些工具。能够自定义丰富元数据的对象存储对于智能地集成数据非常重要。其过程就在那里,开放的API也在那里。所有这些都在协同工作,使用户能够更加智能地了解他们的存储和数据。它不仅仅是保护、复制、保护和存档数据。它将更多地关注数据对业务的意义。很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系。

Enterprise Strategy Group高级分析师Scott Sinclair:人们拥有大量的文件数据。它是在分解的基础设施中。找到所有数据正在成为一个真正的问题。人们认为元数据是解决问题的一种方法,但理想的元数据解决方案尚未浮出水面。

451 Research公司高级分析师Steven Hill:美国的公司只是刚开始感受到欧盟通用数据隐私法规(GDPR)等隐私倡议的影响。而且,随着加州消费者隐私法案计划于2020年生效,企业将需要将可见性和治理扩展到非结构化数据以及传统数据库信息。数据现在既是一种资产又是一种负债,企业确实需要更好地识别和自动化非结构化数据的管理,以保持行业标准,同时继续从其掌握的信息中获取持续价值。

调整大数据的存储架构

Moor Insights&Strategy高级分析师Steve McDowell:对边缘计算的关注主要集中在处理和网络上,边缘计算是IT扩展最热门的领域之一。这种情况在2019年发生了变化,因为部署这些边缘解决方案的人开始了解对托管存储的需求。毕竟,边缘计算只是一个微型数据中心。随着数据饥渴的人工智能应用程序部署到边缘架构中,以及随着5G网络在2019年开始得到认真部署,这种情况就会加速。这个领域的重要参与者必须在2019年拥有存储解决方案。

StorageIO公司高级顾问分析师Greg Schulz:2019年,企业数据存储重点从核心云计算和内部部署数据中心扩展到边缘,以支持传统和新兴工作负载,如物联网、人工智能、深度学习、机器学习和其他分析。边缘存储还意味着更多基于SSD硬盘的非易失性存储器(NVM)技术,包括四层NAND闪存,以及更多存储级存储器(SCM),例如3D XPoint。不同的IT组织可能会采用不同的方式。有些人会扩展他们的工作。其他人将开始寻找或进行概念验证测试。此外,需要关注AWS、Microsoft、Red Hat和VMware等公司的服务,以扩展其边缘存储解决方案和系统。

Western Bull公司数据中心系统高级副总裁兼总经理Phil Bullinger:边缘的无线、网络、存储和计算系统的交叉将加速新数据中心架构的创新和部署。包括NVMe、可开放标准的可组合基础设施和结构附加存储新技术,以及针对人工智能和机器学习工作负载量身定制的计算架构,将取代通用系统,因为更强大的端点设备推动了对分布式数据基础设施的新需求。

思科系统公司首席技术官办公室研发工程师J Michel Metz:我们正处于架构组件在数据中心相互关联的范式转变之中。存储和内存正在合并;计算和内存正在合并;计算和存储正在合并。与此同时,网络和互连已经达到了五年前被认为是科幻小说的水平。在2019年,我希望看到一些非常有趣的科学实验,这些实验来自初创公司,他们希望将原理图分解并将其改造成有趣的组合。例如,我们已经开始看到存储和计算的组合,称为计算存储、存储和网络,以及“可组合”架构变得更加现实。一旦开箱即用,就会有新方法来改变数据中心周围的存储功能。虽然2019年将不会推出现成的解决方案,但人们可以期待在2020年或2021年市场上取得许多突破。

存储管理趋势

IBM公司研究员,闪存首席技术官Andy Walls:在存储系统中使用人工智能将在2019年实现。这充分利用了IBM公司和戴尔公司及其他人收集的有关其存储系统的所有数据,并改进分析,以便能够在问题影响客户之前发现问题,并向他们提供信息。在2017年和2018年,对于所有供应商来说,它是早期的,比较简单的事情,例如配置不太正确或者此端口没有正确连接。现在,人们将开始看到有关偶尔发生的一些棘手问题的更多有用信息。

Dragon Slayer Consulting公司总裁Marc Staimer:能够无缝地将冷数据从高性能存储移动到云存储,从对象存储移动到文件存储,而不必为访问这些数据重新分层,这将成为许多存储供应商今年关注的重点。换句话说,它将来不会是分层存储管理(HSM)类型的分层。企业不必将数据重新读取或更改。

Red Hat公司存储副总裁兼总经理Ranga Rangachari:存储和超融合之间的界限越来越模糊。以前与存储的客户进行的对话最终成为关于超融合的对话。并不是说他们现在开始部署它,但是当看到他们在接下来的12个月、18个月、4个月需要做些什么时,建立超融合环境的需求和愿望变得更加明显。人们开始看到不必独立管理计算和存储的经济效益,并且采用超融合的方式将计算、存储和网络作为一个单独的实体进行管理。

思科系统公司首席技术官办公室研发工程师J Michel Metz:存储管理正朝着十字路口前进,不同的管理方式开始交叉重叠,包括存储管理计划规范(SMI-S)、NVM快速管理计划(NVMe-MI)、Redfish、Swordfish和一些供应商。2019年将是这些不同格式或者很好地协同工作,或者发生冲突的一年。预计到2019年底会听到关于管理层的斗争,这场斗争可能会变得很糟糕。

2019年重点关注存储安全

思科系统公司首席技术官办公室研发工程师J Michel Metz:欧洲、亚洲和北美地区出现的许多数据合规性规定最终将以开放和暴露最终用户的方式实施,而不是保护最终用户。随着物联网隐私成为更多监管和更安全的警报呼叫,存储公司可能会束手无策。物联网是数据安全和隐私的噩梦,最近的欧盟GDPR法规会产生重大意想不到的后果,因为供应商试图在2019年对所有的新威胁发挥重要的作用。

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系。

原文地址:https://blog.51cto.com/14217196/2367599

时间: 2024-11-05 18:29:40

2019年IT关注的重点:大数据分析的存储架构的相关文章

十大最值得关注的国内大数据分析厂商

随着互联网和IT技术的推进,大数据的应用逐渐渗透到各行各业.尤其是数据体量大的互联网.金融.银行.制造行业.大数据正逐渐改变企业的运营模式,市场导向,进而惠及人们的生活. "大数据"这一概念最早在国外被提及.之后国内外兴起了一系列大数据技术,包括大数据硬件类.大数据分析类.大数据数据处理类等等,也因此诞生了一批大数据厂商. 其中最为热门的是大数据分析技术,可以直接应用到企业生产经营,来带直接有效的帮助. 本文将对国内大数据分析厂商做一盘点.(排名不分先后) 分析解决方案类 平台解决方案

大数据分析的下一代架构--IOTA

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化. ▌Lambda架构 在过去Lambda数据架构成为每一个公司大数据平台必备的架构,它解决了一个公司大数据批量离线处理和实时数据处理的需求.一个典型的Lambda架构如下: 数据从底层的数据源开始,经过各种各样的格式进入大数据平台,在大数据平台中经过Kafka.Flu

【大数据分析】学习之路详解

以大数据分析师为目标,从数据分析基础.JAVA语言入门和linux操作系统入门知识学起,系统介绍Hadoop.HDFS.MapReduce和Hbase等理论知识和hadoop的生态环境 一.大数据分析的五个基本方面 1,可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了. 2,数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种

《云计算架构技术与实践》连载20:2.4.5 大数据分析云

2.4.5大数据分析云 基于云计算总体架构下的大数据分析云解决方案,如图2-33所示. 图2-33 大数据分析云解决方案架构子系统组合 大数据分析云解决方案为海量静态数据批处理以及大流量动态流数据处理为关键特征的企业及行业应用场景提供支撑,通过自动化提取与归纳价值信息实现业务增值.大数据分析云由云计算的并行数据分析与挖掘平台所支撑,可充分利用云计算底层能力创造最大价值. 在海量静态数据批处理的场景下,大数据分析平台需要充分分析经过相当长一段时间积累的,存储容量庞大的历史数据(如话单.日志.话统信

技术培训 | 大数据分析处理与用户画像实践

孔淼:大数据分析处理与用户画像实践 直播内容如下: 今天咱们就来闲聊下我过去接触过的数据分析领域,因为我是连续创业者,所以我更多的注意力还是聚焦在解决问题和业务场景上.如果把我在数据分析的经验进行划分的话,刚好就是我所经历的两次创业阶段,第一阶段是"第三方数据分析",第二阶段是"第一方数据分析".所以今天咱们就从这两点来谈谈数据分析. 第三方数据分析 先聊聊"第三方数据分析",这个主要结缘于我给开复做微博数据挖掘. 起因:给开复做"微博

案例解读|江苏银行—智多星大数据分析云平台实践

2014年10月,江苏银行夏平董事长确立了利用大数据实现弯道超车的发展战略,将大数据应用提升到全行发展的战略层面.2015年上半年,江苏银行完成了大数据平台选型和建设,选择发布版Hadoop进行底层数据存储加工.接着,进行内外部数据整合. 三个阶段的完成,意味着大数据基础设施建设工作已完成,如果把大数据建设工作看做一颗大树,前两个阶段完成意味着树干和树枝已长成,接下来的大数据应用像树枝上的树叶一样,热点频出,精彩纷呈.业务的创新带来大量新增的大数据分析需求,传统的数据库工具和报表工具遭遇瓶颈.

大数据分析,利用向外扩展技术深入挖掘商业价值

导语:大数据分析技术的价值在企业领域已经非常明确.充分利用良好信息的能力一直是摆在IT部门面前的重要难题与挑战.现在我们已经拥有了足以解决这一难题的工具,接下来要做的就是想办法使其为自己服务了. 方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能.以Hadoop为代表的新型解决方案在构建层面就充分考虑到了要如何适应跨商用服务器集群的分布式运行环境. 大数据:以需求为导向的审视角度 新型分析工具与极大丰富的处理能力为我们敞开了一道大门,如今企业已经能够借此对庞大的业务及外部数据加以审视

专家教你使用MaxCompute玩转大数据分析

摘要: 摘要传统的数据分析经常使用的工具是Hadoop或Spark在使用之前环境是需要用户自己去搭建的.随着业务逐渐向云迁移如何在云上进行大数据分析是需要解决的问题.为此阿里云提供了一项很重要的服务--大数据计算服务MaxCompute. 本次的分享主要分为三部分: 一.企业云上搭建的数据分析平台:该部分主要介绍阿里云搭建的数据分析平台整体架构和分析流程. 二.大数据计算服务MaxCompute:该部分主要介绍了大数据计算服务MaxCompute的具体情况,包括特点.使用场景.功能组成以及使用过

金融零售业务大数据分析解决方案

随着国内利率市场化加快推进.经济增速放缓.国民收入和财富逐步上升,零售业务对银行收入及利润的贡献日益见长,科学有效地引领零售业务持续增长已成为国内领先银行的首要任务.然而,零售客户的需求日趋复杂和个性化,市场竞争愈加激烈.在此背景下,应该有效利用大数据技术将决策方从"业务经验驱动"向"数据量化驱动"转型,决策模式的变化将成为各家银行互争雄长的制胜关键. 最近几年银行零售业务受到了多方面环境变化和监管调整带来的挑战,同时也带来了大量的发展机遇. 在利率市场化过程中,我