“NASA”计划背后_阿里巴巴大数据系统架构概述

DT时代,人们比以往任何时候都收集到更多的数据。据IDC报告,预计到2020年,全球数据总量将超过40ZB(相当于40万亿GB),这一数据量是2011年的22倍!正在“爆炸式”增长的数据,其潜在巨大价值有待发掘。它作为一种新的能源,正在发生聚变,变革着我们的生产和生活,催生了当下大数据行业的热火朝天。但是我们如果不能对这些数据进行有序、有结构的分类组织和存储,如果不能有效利用并发掘产生价值,那么它也是一个数据灾难,它犹如堆积如山的垃圾,给我们企业带来的是极大的成本。

现实情况是:阿里集团的数据存储已经逼近EB级别,部分单张表每天的数据记录数高达几千亿条;阿里内部,离线数据处理每天面对的是百万级规模的作业,每天有数千位活跃的工程师在进行数据处理工作,加上阿里大数据的井喷式爆发,给数模型、数据研发、数据质量和运维保障工作增加了更高的难度。

面对阿里内部成千上万对数据有着深刻需求的员工,以及外部千万级对数据有迫切渴望的商家和合作伙伴,如何有效满足他们的需求,提高他们对数据使用的满意度,是数据服务、数据产品面临的更大挑战。

注:阿里巴巴数据体系架构图

上图是阿里巴巴数据体系架构图,可以清晰地看到我们的数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。

1数据采集层

阿里巴巴是一家多业态的互联网公司,几亿规模的用户(如商家、消费者、商业组织等)在平台上从事商业、消费、娱乐等活动,每时每刻都在产生海量的数据,数据采集作为阿里数据体系第一环尤为重要。因此阿里巴巴建立了一套标准的数据采集体系方案,并致力全面、高性能、规范地完成海量数据的采集,并将其传输到大数据平台。

阿里巴巴的日志采集体系包括两大体系:Aplus.JS是Web端日志采集技术方案;UserTack是APP端日志采集技术方案。

在采集技术之上,阿里巴巴有面向各个场景的埋点规范,来满足通用浏览、点击、特殊交互、APP事件、H5及APP里的H5和Native日志数据打通等多种业务场景。同时,建立了一套高性能、高可靠性的数据传输体系完成数据从生产业务端到大数据系统的传输;在传输方面我们采用TimeTunnel(TT),它既包括数据库的增量数据传输,也包括日志数据的传输;TT作为数据传输服务的基础架构,既能支持实时流式计算、也能实时各种时间窗口的批量计算。另一方面,也通过数据同步工具(DataX和同步中心,其中同步中心是基于DataX易用性封装)直连异构数据库(备库)来抽取各种时间窗口的数据。

2数据计算层

从采集系统中收集了大量的原始数据后,数据只有被整合、计算才能洞察商业规律、挖掘潜在信息、实现大数据价值,达到赋能商业、创造商业的目的。面对海量的数据和复杂的计算,阿里巴巴的数据计算层包括两大体系:数据存储及计算云平台(离线计算平台MaxCompute和实时计算平台StreamCompute)和数据整合及管理体系(OneData)。MaxCompute是阿里巴巴自主研发的离线大数据平台,其丰富的功能和强大的存储及计算能力使得阿里巴巴的大数据有了强大的存储和计算引擎;StreamCompute是阿里巴巴自主研发的流式大数据平台,在内部较好的支持了阿里巴巴流式计算需求;OneData是数据整合及管理的方法体系和工具,阿里巴巴的大数据工程师在其体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致,充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。

借助OneData方法体系,我们构建了阿里巴巴的数据公共层,并可以帮助相似大数据项目快速落地实现。

从数据计算频率角度来看,阿里数据仓库可以分为离线数据仓库和实时数据仓库。离线数据仓库主要是传统的数据仓库概念,数据计算频率是主要是以天(包含小时、周和月)为单位;如T-1,则每天凌晨处理上一天的数据。但是随着业务的发展特别是交易过程的缩短,用户对数据产出的实时性要求逐渐提高,所以阿里的实时数据仓库应运而生。双11实时数据直播大屏,就是实时数据仓库的一种典型应用。

阿里数据仓库数据加工链路也是遵循业界的分层理念:包括操作数据层(ODS,Operational Data Store)、明细数据层(DWD,Data Warehouse Detail)、汇总数据层(DWS, Data Warehouse Summary)和应用数据层(ADS,Application Data Store)。通过数据仓库不同层次之间的加工过程实现从数据资产向信息资产的转化,并且对整个过程进行有效的元数据管理及数据质量处理。

在阿里大数据系统中,元数据模型整合及应用是一个重要的组成部分。主要包含数据源元数据、数据仓库元数据、数据链路元数据、工具类元数据、数据质量类元数据等。元数据应用主要面向数据发现、数据管理等,如用于存储、计算和成本管理等。

3数据服务层

当数据已被整合和计算好,需要提供给产品和应用进行数据消费,为了更好的性能和体验,阿里巴巴构建了自己的数据服务层,通过接口服务化方式对外提供数据服务。针对不同的需求,数据服务层的数据源架构在多种数据库之上,如Mysql和Hbase等。后续将逐渐迁移至阿里云云数据库ApsaraDB for RDS(简称RDS)和表格存储(Table Store)等。

数据服务可以使应用对底层数据存储透明,将海量数据方便高效地开放给集团内部各应用使用。现数据服务每天几十亿的数据调用量,如何在性能、稳定性、扩展性等多方面更好地服务用户;如何满足应用各种复杂的数据服务需求;如何保证双11媒体大屏的数据服务接口的高可用;随着业务的发展,数据服务也在不断前进。

数据服务层对外提供数据服务主要是通过OneService平台。OneService以数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务(类似用户画像(GProfile)等复杂数据查询服务)和实时数据推送服务等三大特色数据服务。

阅读全文:http://click.aliyun.com/m/14456/

时间: 2024-10-12 22:06:18

“NASA”计划背后_阿里巴巴大数据系统架构概述的相关文章

FunData — 电竞大数据系统架构演进

电竞出现在人们视野中的频率越来越高了,此次选取FunData作为电竞数据平台,v1.0 beta版本主要提供由Valve公司出品的顶级MOBA类游戏DOTA2相关数据接口(详情:open.varena.com). 本文将介绍FunData的架构演进中的设计思路及其涉及的相关技术,包括大数据流处理方案.结构化存储转非结构化存储方案和数据API服务设计等. 电竞数据的丰富性从受众角度来看,可分为赛事.战队和玩家数据:从游戏角度来看,维度可由英雄.战斗.道具以及技能等组成:电竞数据的实时性包括赛前两支

什么是大数据系统架构

大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及.现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码.算法封装为类库,降低大数据的学习门槛,降低开发难度,提高大数据项目的开发效率. 大数据在工作中的应用有三种:与业务相关,比如用户画像.风险控制等: 与决策相关,数据科学的领域,了解统计学.算法,这是数据科学家的范畴:与工程相关,如何实施.如何实现.解决什么业务问题,这是数据工程师的工作. 数据源的特点决定数据采集与数据存储的技术选型,我根据数据源

DKhadoop大数据系统架构设计方案

大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了.如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉.大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二! 现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些.我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也不是特别长.仅以我熟悉的DKhadoop为例给大家分享一些小知识,往对初学者有点小帮助就可以了.

数据系统架构——Lambda architecture(Lambda架构)

传统系统的问题 "我们正在从IT时代走向DT时代(数据时代).IT和DT之间,不仅仅是技术的变革,更是思想意识的变革,IT主要是为自我服务,用来更好地自我控制和管理,DT则是激活生产力,让别人活得比你好"--阿里巴巴董事局主席马云. 数据量从M的级别到G的级别到现在T的级.P的级别.数据量的变化数据管理系统(DBMS)和数仓系统(DW)也在悄然的变化着. 传统应用的数据系统架构设计时,应用直接访问数据库系统.当用户访问量增加时,数据库无法支撑日益增长的用户请求的负载时,从而导致数据库服

迈向大数据架构师 - 架构师转型方法与架构设计理论

迈向大数据架构师 - 架构师转型方法与架构设计理论课程学习地址:http://www.xuetuwuyou.com/course/233课程出自学途无忧网:http://www.xuetuwuyou.com课程摘自<大数据系统架构分析师成长之路>:http://www.xuetuwuyou.com/course/200 1.课程目标通过本课程的学习,让学员了解到什么是系统架构师,什么大数据系统架构师,两者的区别与联系,程序员与架构师的不同,程序员如何向架构师转型,一个架构师工作日常及必须修炼的

大数据系统和分析技术综述【程学旗】

本文结构 1 大数据处理与系统 1.1 批量数据处理系统 1.1.1 批量数据的特征与典型应用 1.1.2 代表性的处理系统 1.2 流式数据处理系统 1.2.1 流式数据的特征及典型应用 1.2.2 代表性的处理系统 1.3 交互式数据处理 1.3.1 交互式数据处理的特征与典型应用 1.3.2 代表性的处理系统 1.4 图数据处理系统 1.4.1 图数据的特征及典型应用 1.4.2 代表性图数据处理系统 1.5 小 结 2 大数据分析 2.1 深度学习 2.2 知识计算 2.3 社会计算 2

阿里巴巴:互联网架构逐渐成为企业新IT的首选方案

"以前,我们的能源是水电煤,而现在,数据成为人类自己创造的新能源.新资源."在刚结束不久的杭州云栖大会上,马云关于数据已经成为新能源的一番论调,引发了全行业对大数据背后价值蓝海的思考. 不可否认,数据正呈几何指数倍增长,但始终存在一种观点认为大数据并没有给企业带来什么大的变化,而阿里云中间件产品总监赵杰辉认为,要解决这个问题,传统企业IT架构必须为互联网架构让位. "IT架构长期以来被认为是企业IT支撑系统建设的重中之重,随着社会信息化的发展,数据逐渐成为生产资料的一种,传统

成为数据开发工程师?常用的几种大数据架构剖析你都掌握了吗?

数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策.业务发展有着举足轻重的作用.随着大数据技术的发展,数据挖掘.数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长足的发展,尤其是以BI系统为主的数据分析,已经有了非常成熟和稳定的技术方案和生态系统,对于BI系统来说,大概的架构图如下: 可以看到在BI系统里面,核心的模块是Cube,Cube是一个更高层的业务模型抽象,在Cube之上可以进行多种操作,例如

大数据架构-东方国信

mark: 新方向:原来我们讲的 Iaas/Paas/Saas 三层平台,未来运营商的大数据平台将向更深层次方向演进,如:Paas ( T-Paas.D-Paas) mark架构中的新技术:kudu.Ceph.OGG(Oralce GoldenGate).RHadoop.TiDB mark自主研发XCloud框架:分布式执行计划引擎.分布式调度引擎.查询引擎.集群状态管理服务 借签东方国信的hadoop发行版: HBase读写优化 + 二级索引.BEH-Manager 集 cluster 管理监