解决数据架构难点数据分布的六种策略

1.1. 解决数据架构难点数据分布的六种策略

from:PYY

数据分布的六种策略

1)       独立Schema(Separate-schema)

2)       集中(Centralized)

3)       分区(Partitioned)

4)       复制(Replicated)

5)       子集(Subset)

6)       重组(Recorganized)

1.1.1.   独立Schema(Separate-schema)

当一个大系统由相关的多个小系统组成,且不同小系统有不相同的数据库Schema定义,这种情况称为“独立Schema”。

1.1.2.   集中(Centralized)

指一个大系统必须支持来自不同地点的访问,或者该系统由相关的多个小系统组成,而持久集中化数据进行集中化的、统一格式的存储。

1.1.3.   分区(Partitioned)

分区方式包括水平分区和垂直分区两种类型,跨“地域”提供“相同的服务”常常采用水平分区,选点“两个相同、两个不同”——相同的应用程序、不同的应用程序部署实例,相同的数据模板,不同的数据值。

在实践中,水平分区的应用非常广泛,而垂直分区应用要小,特点:不同数据节点的Schema会有“部分字段(Field)”的差异,但可以从同一套总的数据Schema中抽取得到。

1.1.4.   复制(Replicated)两上两个

在整个分布式系统中,数据保存多个副本,并且以某种机制(实时或快照)保持多个数据副本之间的数据一致性。

1.1.5.   子集(Subset)

“子集”是“复制”的特殊方式,就是某节点因功能或非功能考虑而保存全体数据的一个相对固定的子集。

总体而言,子集方式和复制方式有关非常类似的优点:

通过数据“本地化”,提升了数据访问性能。

数据的专门副本,利于优化,便于提高可管理性、安全控制。

1.1.6.   重组(Recorganized)

  业务决定功能,功能决定模型。当遇到数据模型不同时,一般都能够从功能差异的角度找到答案。

  重组这种数据分布策略,就是不同数据节点因要运行的功能不同,而以不同的Schema保存数据——但本质上这些数据是同源的。于是,重组策略须要进行数据传递,但不是数据的“原样儿”复制,而是以“重新组织”的格式进行传递或保存。

应用:

  统计性性重组,例如,如果总公司只须要掌握各分公司的财务、生产等概况信息,那么就不须要把下面的数据原样复制到总公司节点,而是通过分公司应用对信息进行统计后上报。这叫“统计性重组”——数据的重新组织较多地借助了抽取、统计等操作,并形成新的数据格式。

  “结构性重组”的例子,最典型的就是BI系统。生产系统的数据被进行整体重组,增加各种利于查询的维度信息,并以新的数据Schema保存供BI应用使用。

1.1.7.   应用的3条原则

1)       把握系统特点,确定分布策略(合适原则)

2)       不同分布策略,可以综合运用(综合原则)

3)       从“对吗”、“好吗”两方面进行评估优化(优化原则)

1.1.8.   示例

1.1.8.1医疗信息化中心

1.1.8.2电信系统

  客户申请服务开通业务流程

  

   数据分布策略

1.1.8.3铃声下载

  

时间: 2024-08-26 18:04:37

解决数据架构难点数据分布的六种策略的相关文章

企业架构,业务架构,数据架构

我们将核心价值链上的端到端总结为两个核心,其一是供应链的端到端流程和业务:其二是产品研发的端到端和业务.各个企业由于类型不同往往对两条价值链各有 侧重.生产代工类企业没有自己的产品研发,那么只有供应链:高科技研发企业可以做到卖产品核心技术和专利,不做具体供应链方面事情.而更多的生产制造型企 业往往是1和2两者的一个有机结合. 再谈企业架构和业务架构: 企业架构本身强调的是业务驱动IT,业务和IT的匹配和融合而不是两张皮,在这里可以看到核心我们关注的点包括流程,活动,数据,组织,资源五个方面的内容

一种灵活的数据架构

一般来说,电商数据架构是比较复杂的,做过电商的同学都有深刻的体会.具体复杂在什么地方呢,举几个具体的例子:1  每种商品都有自己的独特属性.比如鞋子和电脑的属性是完全不一样的.如何对他们构造商品数据架构?2  如何维护它们.不至于因为业务的发展,使得数据结构变得异常复杂而无法拓展和维护?3  未来可能会卖更多种类的商品.我们人类也会发明出来更多新的商品.如何适应变化?4每秒钟的并发量十分巨大,数据架构在这方面如何考量?5商品数据配置错误,如果快速就地回滚,为线上快速止血?6如何为整个开发周期提供

大数据架构和模式(一)——大数据分类和架构简介

概述 大数据可通过许多方式来存储.获取.处理和分析.每个大数据来源都有不同的特征,包括数据的频率.量.速度.类型和真实性.处理并存储大数据时,会涉及到更多维度,比如治理.安全性和策略.选择一种架构并构建合适的大数据解决方案极具挑战,因为需要考虑非常多的因素. 这个 “大数据架构和模式” 系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务.因为评估一个业务场景是否存在大数据问题很重要,所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案. 从分类大数据到选择大数据解

大数据架构和模式(三)——理解大数据解决方案的架构层

摘要:大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件,大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求.这些逻辑层列出了大数据解决方案的关键组件,包括从各种数据源获取数据的位置,以及向需要洞察的流程.设备和人员提供业务洞察所需的分析. 概述 这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法.如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据解决方案,那么下一步就是

大数据架构和模式(四)——了解用于大数据解决方案的原子模式和复合模式

摘要:本文中介绍的模式有助于定义大数据解决方案的参数.本文将介绍最常见的和经常发生的大数据问题以及它们的解决方案.原子模式描述了使用.处理.访问和存储大数据的典型方法.复合模式由原子模式组成,并根据大数据解决方案的范围进行分类.由于每个复合模式都有若干个维度,所以每个模式都有许多变化.复合模式使得业务和技术用户可以应用一个结构化方法为大数据问题建立范围,并定义高级的解决方案. 简介 本系列的 第 3 部分 介绍了大数据解决方案的逻辑层.这些层定义了各种组件,并对它们进行分类,这些组件必须处理某个

大数据架构和模式(三)理解大数据解决方案的架构层

本文件收藏于:http://kb.cnblogs.com/page/510980/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:21   推荐: 0   原文链接   [收藏] 摘要:大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件,大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求.这些逻辑层列出了大数据解决方案的关键组件,包括从各种数据源获取数据的位置,以及向需要洞察的流程.设备和人员提供业务洞察所需的

大数据架构和模式(四)了解用于大数据解决方案的原子模式和复合模式

本文收藏于:http://kb.cnblogs.com/page/510982/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:21   推荐: 0   原文链接   [收藏] 摘要:本文中介绍的模式有助于定义大数据解决方案的参数.本文将介绍最常见的和经常发生的大数据问题以及它们的解决方案.原子模式描述了使用.处理.访问和存储大数据的典型方法.复合模式由原子模式组成,并根据大数据解决方案的范围进行分类.由于每个复合模式都有若干个维度,

大数据架构和模式(一)大数据分类和架构简介

本文收藏于:http://kb.cnblogs.com/page/510978/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:19  阅读: 3294 次  推荐: 8   原文链接   [收藏] 摘要:大数据问题的分析和解决通常很复杂.大数据的量.速度和种类使得提取信息和获得业务洞察变得很困难.以下操作是一个良好的开端:依据必须处理的数据的格式.要应用的分析类型.使用的处理技术,以及目标系统需要获取.加载.处理.分析和存储数据的数

以智能数据架构,挖掘增长金矿

对很多技术团队来说,在搭建智能数据架构的过程中,或多或少会遇到一些疑惑和挑战,经过多次实践后,有些团队已经破除疑惑,成功探索出一条搭建智能数据架构之路,那么他们是如何实现这一技术的呢?在近日的个推技术沙龙成都站,几位架构大师在现场开启了数据技术的"脑暴时间". 诺基亚网络成都研发中心研发经理 刘朋 <数据增长时代的研发管理> 企业在应对数据增长带来的巨大挑战时,需在研发和管理方面做好充足准备. 研发方面,提升数据存储的扩展性:管理方面,除了增加对人和设备的管理外,要努力打造