ODS与数据仓库

数据仓库是目前主要的数据存储体系。数据仓库之增W.H.Inmon认为,数据仓库是指支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据的集合。简单地说,一个数据仓库就一个自数据库的商业应用系统,该数据库的数据来自于其它的运作数据库,而不是来自于原始的输入。
    ODS(Operational Data Store)是数据仓库的一个扩展,它也是一个企业级的数据存储模式,它的构造也是面向主题的。ODS是企业中运行系统发布信息的地方,这些信息是实时或接近实时的,这些信息可以被企业中的其它系统使用,包括数据仓库。但ODS与数据仓库不完全一样,主要区别有四点:
    1.ODS存放的数据是实时的、可动态刷新的,而数据仓库存储的数据是非实时的、静态的;
    2.ODS主要保存当前运行系统的数据,而数据仓库除了保存当前数据,还需要保存大量的历史数据;
    3.ODS主要保存明细数据,而数据仓库需要同时保存明细和汇总数据;
    4.ODS中的数据可以用于日常分析,而数据仓库中的数据主要用于战略分析。
    数据仓库的主要特点是它的战略性,但它对于解决企业运行系统中存在的问题无能为力。目前许多企业,特别是大企业,拥有大量的“老”应用系统,它们是保证企业正常运转的基础。但由于种种原因,包括数据结构设计的陈旧,这些系统严重缺乏综合性。在这些“老”应用系统的基础上抽取、转换运行数据提供给数据仓库是非常困难的。而ODS能够在较短的时间内,以较少的代价,通过重新设计数据和处理模式,达到可以通过一个综合的全面的视角观察那些应用系统提供的数据。
   从某种意义上来说,ODS更接近于运行系统。ODS可谓帮助阐明那些产生数据和使用数据的应用系统的角色和任务:一些应用系统负责提供那些企业感兴趣的数据给ODS,另外一些系统通过ODS得到其它应用系统产生的数据。ODS提供了使运行系统在较短时间内实现数据综合的基础,甚至一些应用系统能够将自己的运行数据直接存放大ODS中。
   可以利用ODS中存放的数据进行一些日常分析。这些分析对运行系统本身没有压力,而且数据非常及时和精确。例如客户分析,利用ODS可以将某个客户分布在各个应用系统的数据综合起来,可以分析总结出企业与该客户的业务来往、所取得的收益及相关的费用情况。
  目前提供实现ODS的工具厂商有许多。如某公司提供的DateStage组件包括设计器、存储管理器、控制器、管理器、服务等等。

原文:http://blog.sina.com.cn/s/blog_53c53b7f0101caht.html

时间: 2024-09-26 23:53:35

ODS与数据仓库的相关文章

DW数据仓库与ODS的区别

这两天接触到ODS,开始很纳闷,有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store),于是不查不知道,一查吓一跳,这里面还有这么多道道,这里总结一下,当作学习了. 简单说:ODS 操作型数据存储,存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的.操作性的.集成的全体信息的需求.DW 数据仓库存储是一个面向主题的,反映历史变化数据,用于支撑管理决策. 参考一:http://www.cnblogs.com/liqiu/p/4947801.

数据仓库之ETL漫谈

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取.转换和加载. 大多数据仓库的数据架构可以概括为: 数据源-->ODS(操作型数据存储)-->DW-->DM(data mart) ETL贯穿其各个环节. ?一.数据抽取: 可以理解为是把源数据的数据抽取到ODS或者DW中. 1. 源数据类型: 关系型数据库,如Oracle,Mysql,Sqlserver等; 文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等: 其他外

OLAP -- ODS 项目总结 -- BI 中的关键

这个项目在年前已经完成,回顾起来小问题挺多.有点乱.还是从需求说起. 一.单纯讲需求每个行业的都不同.很难划一而论.总体来说也就是这几个方面 1.时间窗 常见的分类也就1类ODS ,II类ODS ,III类ODS I类ODS:与应用系统的数据延迟为1~2秒,实时或近似实时 II 类ODS:与应用系统的数据延迟为2~4小时 III类ODS:与应用系统的数据延迟为12~24小时 IV类ODS:数据仓库中部分决策分析数据回流至ODS中 数据实时性越高,越好CPU ,软件成本越高.在 选型时也不同, 如

ODS浅谈

ODS和DW 根据Bill.Inmon的定义,“数据仓库是面向主题的.集成的.稳定的.随时间变化的,主要用于决策支持的数据库系统”  : ODS (Operational Data Store)操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的.当前或接近当前的.不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分: ODS DW 主要是和源系统表结构相同,表结构随着源系统变化 面向主题的表模型,模型相对稳定 一般只保留最新数据或较短时间

费元星-关于百度在数据仓库-层级架构上的思考

目前在做的数据产品都是基于数据仓库上实现,主要的应用方式包括固定报表.数据查询.数据挖掘等. 在知识类相关的数据分析产品中,通常需要对多个业务系统的数据进行集成,更需要对数据分层进行科学的规划. 为什么分层 我们对数据进行分层的一个主要原因就是希望在管理数据的时候,能对数据有一个更加清晰的掌控,详细来讲,主要有下面几个原因: 清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解: 数据血缘追踪:简单来讲可以这样理解,我们最终给业务诚信的是一能直接使用的张业务表,

BI之路学习笔记3--olap cube理解实例

为什么会产生OLAP? 随着数据库技术的发展应用,数据库存储的数据量从M字节以及G(千兆)字节过渡到T字节和P字节,同时,用户的查询需求也越来越复杂,设计的已不仅是查询或者操纵一张关系表中的一条或几条记录,而且要对多张次奥中的千万条记录的数据进行数据分析和信息综合,关系数据库也已经不能全部满足这一要求. 决策数据就是多维数据,多维数据就是决策的主要内容,OLAP专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速.灵活地进行大数据量的复杂查询处理,并

InfoSphere CDC 实时同步本地数据到云端的BigInsights

IBM InfoSphere CDC 是一款功能强大的数据实时复制软件,不仅广泛应用于传统ODS.数据仓库.数据集市及BI系统的异构平台集成,同时也提供对Cloud的全面支持:对于各种 Cloud 应用场景,CDC 不仅能提供低影响.近实时的海量数据复制,同时还可确保数据在传输过程中的完整性和安全性. 作为IBM重金打造的旗舰品牌,Bluemix 公有云平台是一个基于 Cloud Foundry 开源项目的平台即服务(PaaS)产品,它使得组织和开发人员能够快速而又轻松地在云上创建.部署和管理应

实时数据集成

企业应用集成 面向服务的体系结构 (SOA) 目前应该是一个很受欢迎的名词,中间件技术人员几乎到了言必称SOA的程度,数据集成当然也不例外,在Oracle openworld2008大会上,就推出了一堆数据集成的专场演讲,其中和SOA结合最紧密的就是实时数据集成 real time data integration.我总结了一下,实时数据集成一般分为两个处理过程:一是对数据按照SOA架构的需要进行整合加工形成可用的信息,二是将信息以符 合SOA规范的方式发布出去.具体的实时数据集成模式可以按照对

DW-ODS

ODS (操作数据存储) 编辑 讨论 操作数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,也被称为贴源层.ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“面向主题的.集成的.当前或接近当前的.不断变化的”数据. 中文名 操作数据存储 外文名 Operational Data Store 用    途 业务系统 功    能 存储.查询以及形成隔离层 目录 1 作用 2 设计方法 3 设计指南 ? 数据调研 ? 数据范围 ? 主题元素