实时数据仓库

分享一个我们做的实时数据仓库的例子。

客户是地市级烟草公司,需要实时的卷烟销售数据分析,每天的数据量约10万条,集中在4个小时内发生。

我们的处理办法是:

1、维表信息每晚处理好(客户在当天定烟的过程中,是不会去维护基础档案的内容的);

2、历史事实表数据也是每晚处理好;

3、当天的定烟数据,做一个查询业务系统数据的视图,只查询当天的数据(查询一次的时间约2-3秒);

4、将历史数据和当天数据的视图再合成一个视图,用于展现数据;

5、某些需要计算的内容(例如销售毛利)在前端工具中实现。

实时数据仓库

时间: 2024-10-10 09:44:50

实时数据仓库的相关文章

淘宝实时数据传输平台: TimeTunnel介绍

作者在工作中遇到了类似流式数据实时接入的业务场景,所以对淘宝的实时数据仓库这一块做了一些调研和了解.本文从业务场景和设计上介绍了淘宝的TimeTunnel工具,文中的图片来自淘宝数据仓库团队交流过程中的sildes,也参考了一些相关文档. 业务背景 TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能.实时性.顺序性.高可靠性.高可用性.可扩展性等特点(基于Hbase). 目前TimeTunnel在阿里巴巴广泛的应用于日志收集.数据监控.广告反馈.量子

利用GoldenGate实现Oracle实时同步方案

利用GoldenGate实现Oracle实时同步方案 简介: OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.OracleGolden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移

数据仓库详细分析和说明

数据仓库是企业统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户.它帮助企业将纷繁浩杂的数据整合加工,并最终转换为关键流程上的KPI,从而为决策/管理等提供最准确的支持,并帮助预测发展趋势.因此,数据仓库是企业IT系统中非常核心的系统. 根据企业构建数据仓库的主要应用场景不同,我们可以将数据仓库分为以下四种类型,每一种类型的数据仓库系统都有不同的技术指标与要求. 传统数据仓库 图1:传统数据仓库的架构 企业会把数据分成内部数据和外部数据,内部数据通常

腾讯数十亿广告的秘密武器:利用大数据实时精准推荐

在过去几年,你在腾讯做了什么来推动大数据的应用? 过去三年,我一直在坚持一件事:推动大数据的实时应用.现在从国外数据中心的数据,一秒钟可以达到深圳数据中心,这就是腾讯具备的数据能力.有了这个能力,就可以做很多商业化行为的模式. 目前腾讯收集的数据已经超过了1万亿条, 计算机规模已经超过了8千8百台.这么庞大的数据如果能实时处理,就能发挥出巨大的商业价值.这个商业价值就是精准推荐. 每年腾讯几十亿的广告,其基础来自于数据的精准推荐.实时数据推荐还可以用于视频的推荐,腾讯音乐推荐,新闻客户端的推荐,

淘宝平台进行数据的实时传输: TimeTunnel介绍

在班级工作中遇到似业务场景中的实时流传输数据的访问,所以,淘宝实时数据仓库这个人做了一些研究和了解. 本文介绍的业务场景和淘宝的设计TimeTunnel工具,从淘宝数据仓库团队沟通过程中的图像文字sildes.也参考了一些相关文件. 业务背景 TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时传输数据平台,具有高性能.实时性.顺序性.高可靠性.高可用性.可扩展性等特点(基于Hbase). 眼下TimeTunnel在阿里巴巴广泛的应用于日志收集.数据监控.广告反馈.量子统计.

数据仓库知识与实战——电信运营商数仓建模

作者:网舟科技--王超 什么是数据仓库 数据仓库是为企业提供聚合,存储,投递,以及提供决策支持能提,数据仓库包含广泛数据并按照主题进行存储并且是在数据仓库流程过程中的一个部分.Willianm(Bill) H. Inmon提出过一个概念:"一个面向主题的,集成的,时间序列变化的以及不易更改的数据的集合为管理者们的决策过程提供支持". 总体架构上,数据仓库设计人,过程和技术去实现提供一致性,集成化,标准化以及易于理解的决策支持数据的目标. 数据仓库是什么,不是什么 一个数据仓库是一个数据

内附PPT下载 | 性能为MySQL10倍!阿里云重磅推出云原生数据仓库AnalyticDB基础版

发布会PPT资料放送 ADB基础版:云原生MySQL敏捷数仓ADB for MySQL 基础版技术解密基于ADB for MySQL基础版构建实时数据仓库实践 日前,阿里云正式发布云原生数据仓库AnalyticDB基础版,极大降低了用户构建数据仓库的门槛,每月可低至860元.高度兼容MySQL,极低的使用成本和极高的性能,使中小企业也可以轻松的搭建一套实时数据仓库,实现企业数据价值在线化. 据介绍,云原生数据仓库AnalyticDB基础版采用存储计算分离架构,行列混存技术.轻量的索引构建方式和分

Oracle 数据集成的实际解决方案

就针对市场与企业的发展的需求,Oracle公司提供了一个相对统一的关于企业级的实时数据解决方案,即Oracle数据集成的解决方案.以下的文章主要是对其解决方案的具体描述,望你会有所收获. Oracle 数据集成解决方案 Oracle数据集成解决方案用于在SOA.BI和数据仓库环境中构建.部署和管理以实时数据为中心的架构,包含了Oracle数据集成的所有要素--实时数据移动.转换.同步.数据质量.数据管理和数据服务--能确保各个复杂系统的信息及时.准确.一致. 通过使用Oracle数据集成,企业将

成都大数据Hadoop与Spark技术培训班

成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师.开发设计人员的工作水平,旨在培养专业的大数据Hadoop与Spark技术架构专家,更好地服务于各个行业的大数据项目开发和落地实施. 2015年近期公开课安排:(全国巡回开班) 08月21日——08月23日大连 09月23日——09月25日北京 10月16日——10月18日成都 11月27日——11月2