4大特点解析华为云数据湖“黑科技”

4大特点解析华为云数据湖“黑科技”
如果有人问数据湖是什么,我会告诉他们,是“桶装水”的集合。
随着企业业务的发展,数据出现井喷,数据量呈几何增长,数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”,已经承载不了全部水体,因此需要一个可以满足存储需求的,新的架构作为大数据的支撑。
这就是数据湖。它汇聚不同数据源的溪流,包括大量无序的非结构化数据(文本、图像、声音、网页等)。我们把它倒入数据湖,然后开始探索该数据。我们希望这是一个包含所有数据的,一个超快、易于访问的存储库,能解决集成难题的终极方法。
但实际上,存储库反而变成了一个缓慢、僵化的数据沼泽。大数据需要特殊的专长来分析数据。使用原始数据得出分析结论,将持续在数据质量和治理方面发出危险信号。业内给这种问题起了个名字,叫数据囤积障碍。
爆炸式增长的数据及数据孤岛
你应该明白了。只为了保存数据而存储数据,不是一个好主意。我们应该有一个明确的使用目的,然后只向数据供应链中导入相关的数据。当数据水库中的数据不再有用时,就直接丢弃它。没有必要把某个特别的应用程序生成的所有数据都存储下来。以物联网为例,传感器会产生奇大无比的数据量,但大多数时候其实我们只是在意一些极端值而已,比如温度超出了某个阈值范围。

首当其冲的挑战便是,数据存储、数据处理、AI组件众多。处理难度极大。

紧接着,数据孤岛问题接踵而至。

多种数据源,每种数据单独在一个库中,业务人员需要在应用层做数据集成/数据搬移,技能要求高,工程耗时长。
数据量日益增大,数据源日益增多,单个库扩容困难,性能下降,成本高,难以做跨市跨省等全量数据分析。
缺乏高级分析工具,前沿技术,如机器学习、图计算、深度学习等,未能充分利用多种数据深入挖掘价值。
用智能解决非智能
鉴于数据湖现状,我们如何利用它们为企业带来优势?这里是智能数据湖整体解决方案,包含四个关键的实践:融合,高效,易用,智能
融合——云化的hadoop

统一数据存储,再无数据孤岛;开放格式,丰富的数据类型:JSON, CSV, AVRO,图片,视频等;开放接口,兼容原生社区应用:100%兼容OBS和HDFS接口,总而言之,我们在数据湖中处理数据,试图找到新的洞察力。我们不会,任由数据处于最原始的格式,我们将优化数据。确保数据得到治理,确保数据在语义上一致,并满足业务的要求。
高效

一个字:快。实时数据实时分析, Apache CarbonData加速,万亿数据秒级响应
易用
做一个一站式、端到端开发工具,支持大数据+AI敏捷开发。可视化,代表丰富的可视化组件,图形化编辑界面,同时支持定制;而数据湖一站式开发工具,可管理多种大数据服务,实现跨服务作业编排调度;支持拖拉拽,预设10多种任务类型。
最后,对于数据标准,数据质量,数据安全的治理不可或缺。

数据湖治理:一站式治理平台(数据标准,数据质量,数据安全)
智能
重点绝不仅仅是数据,而是始终关于你要做什么工作。使用场合是什么,你可以运用什么应用程序来处理该数据以便从中受益——用智能实现高效。
智能元数据采集,统一数据视图
智能数据管理,无需人工拷贝
智能优化建议,免DBA

对数据进行“联系”,而不是“收集”。相比将数据转移到越来越大的集群或数据仓库,让数据待在数据湖进行智能化处理,来得更省钱、更容易也更高效。
如果想先试试效果,无论是企业用户,还是个人用户,华为云均提供了一组免费套餐,最高可免费试用60天,与此同时,华为云数据湖工厂(Data Lake Factory)2018年12月31日前提供免费试用,名额有限。
更多详细内容,欢迎访问:华为云学院基础课程( edu.huaweicloud.com/courses/ ),课程获取密钥:
搜索“数据湖”即可。

原文地址:http://blog.51cto.com/13988201/2334406

时间: 2024-10-27 07:06:16

4大特点解析华为云数据湖“黑科技”的相关文章

雷军曾定下目标,2017年将聚焦5大核心战略,分别是:黑科技、新零售、国际化、人工智能和互联网金融五大部分

集微网 4月8日综合报道 在今年初小米年会上,雷军曾定下目标,2017年将聚焦5大核心战略,分别是:黑科技.新零售.国际化.人工智能和互联网金融五大部分.2017年,小米整体收入破千亿元. 为了完成目标,雷军和小米高管团队马不停蹄的到处奔忙中.其中,“新零售”方面,今天小米又在北京开设了第4家线下自营门店,地点位于北京世贸天阶商业街. 世贸天阶商业街作为北京顶级商圈之一,小米之家落户于此也意味着小米开始进入核心商圈.据了解,小米今年还要再开5-6家自营小米之家,整体将在北京全市范围开到10家.

从量子加密到机器学习,盘点2015阿里云开放的黑科技

http://www.csdn.net/article/2015-12-18/2826512 摘要:因为云计算应用的不断深入.以及对大数据处理需求的不断扩大,用户要求功能丰富.性能强大.高可用性的产品,云计算厂商们也推陈出新,不断地推出新产品,本文就盘点了业内翘楚阿里云在2015年那些有价值的新产品. 作为云计算产业热土的中国.2015年产业规模依然保持快速增长.且国内的公有云服务领域有几十家企业在角逐.经过几年的发展,眼下市场逐渐明朗.有些公有云企业已经遥遥率先,而有些企业非常可惜,已经開始掉

“站在世界看世界” 差异化破局助力华为云扩张

2017年,华为在一年一度的生态合作伙伴大会上宣布,Cloud BU正式成立.2018年,华为云发展迅猛.不仅在全球范围内已为PSA集团,桑坦德银行,SONY,飞利浦等全球大型企业提供云服务,更收获了业界的广泛认可,俨然成为了主流分析师机构Forrester.IDC等报告中领导者象限的"常客".截止2018年6月,华为云收入同比增长7倍,合作伙伴数量增长45%.作为华为最年轻的BU,华为云是如何做到仅用一年多的时间就在全球范围内打下了实打实的战绩?近日,在今年的华为核心供应商大会中,华

华为云全球首发容器多云和混合云解决方案,实现容器应用轻松跨云

3月22日,在华为中国生态伙伴大会上,华为云全球首发商用级容器多云和混合云解决方案,为用户提供容器集群及云原生应用的跨云管理能力,解决云服务平台供应商锁定和单云场景的低可靠风险,让用户的选择更加灵活,云原生业务更加稳定可靠. 华为云BU PaaS产品部总经理廖振钦现场发布MCP 现场通过模拟网上购物过程中,某云上集群宕机的场景,完整的演示了从用户体验到服务异常检测.后台应用服务自动迁移的完整过程,让用户直观感受到,基于华为多云管理平台(MCP)即可快速实现业务的跨云容灾.现场听众纷纷表示这是在跨

华为云首批通过可信区块链评测

华为云首批通过可信区块链评测来源:互联网近年来,区块链技术正在被各行各业所认可,具有"降成本.提效率.优化产业诚信环境"的作用.基于区块链系统,数据可以被有效地确权,通过"可信数字化"的数据上链过程,有效地保障数据的真实性,实事求是地为产业解决过往难以解决的问题,从"降成本"和"提效率"两个方面推动各行业的转型升级. 日前,在2019华为中国生态合作伙伴大会上,华为云就发布了区块链+政务.区块链+公司间交易.区块链+供应链物流

我对华为云的理解

世界发展如滔滔江河之水,奔流不息.时代瞬息万变,但是以客户为中心的理念,在华为深入骨髓,从未改变. 华为云从诞生开始,就持续对数据库不惜投入重金,打造钻石级业务.仅在 2017 年的一年内,连上SQL Server.PostgreSQL 和 MongoDB 三大数据库服务,其发展势头强劲,用户数年增长超过10倍,业界震惊,无数有心上云的企业无不砰然心动. IT行业就像汹涌澎湃的大海,只有站在浪潮之巅,才会收益最大.华为云的发展就像一列呼啸的列车,早一步上车,就早一步掌握发展的关键契机:而客户应用

【华为云技术分享】大数据容器化,头部玩家尝到了甜头

[摘要] 大数据容器化,大势所趋.头部玩家在进行大数据容器化后,尝到了甜头? 大数据的需求热度,从来都是这个时代的浪尖.然而由于大数据系统的复杂性,一度导致业界大数据已死的各种声音不断.尤其是当MapR被HPE收购,Cloudera公司股票持续跌成狗,使得这种声音进一步放大.其实,大数据的需求一直在,只是传统的大数据实现系统需要考虑重新构建.而容器依靠其自身的标准化,一次构建,随处运行的能力,使得非常适合大数据系统的构建和管理.容器技术当前正是那只火遍全球的当红辣子鸡. 1 华为云BigData

大数据是什么?华为云学院带你探索大数据之旅

大数据是什么?华为云学院带你探索大数据之旅我们首先从大数据是什么开始讲起,!下面由我来带领大家!展开我们本次的大数据学习之旅!大数据是什么,内容将包括大数据的产生,发展大数据的基本概念.首先我们来追溯一下大数据的产生与发展,大数据的产生和发展主要经历了三个阶段. 第一个阶段,我们称为是萌芽期!自上世纪九十年代至本世纪初,随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识的管理技术也开始得到应用,比如数据仓库,专家系统知识管理系统等等.第二阶段我们称为是成熟期.本世纪的前十年Web2.

【华为云技术分享】基于小熊派STM32芯片的通过MQTT上报JSON数据到华为物联网平台的自动售货机Demo解析

[摘要] STM32的工程在文章末尾,可自行下载. 一.工程配置 1.MCU类型选择STM32L431RC 2.烧录器选择OpenOCD,参数 -f interface/stlink-v2-1.cfg -f target/stm32l4x.cfg 3.输出目录选择 LiteOS_Lab_STM32\targets\STM32L431_BearPi\GCC\appbuild 4.编译器Makefile选择 targets\STM32L431_BearPi\GCC\Makefile 5.平台参数配置