前言
此文节选自TMF Big Data Analytics Guidebook。
TMF文档版权信息
Copyright © TeleManagement Forum 2013. All Rights Reserved.
This document and translations of it may be copied and furnished to others, and derivative works that comment on or otherwise explain it or assist in its implementation may be prepared, copied, published, and distributed, in whole or in part, without restriction of any kind, provided that the above copyright notice and this section are included on all such copies and derivative works. However, this document itself may not be modified in any way, including by removing the copyright notice or references to TM FORUM, except as needed for the purpose of developing any document or deliverable produced by a TM FORUM Collaboration Project Team (in which case the rules applicable to copyrights, as set forth in the TM FORUM IPR Policy, must be followed) or as required to translate it into languages other than English.
数据存储
这层提供了大数据平台所有数据的存储，包括装载后的原始数据、中间数据以及参考模型中其它层处理后的数据。
数据存储层具备处理海量数据所需的可扩展性和灵活性，数据存储层可以位于：
- 本地，例如CSP的内部数据中心；
- 私有云或公有云。
数据存储层与其它层之间存在交互，可以视为“数据总线”。
数据存储层存储的数据有：
- 非结构化数据
- 结构化数据
- 半结构化数据
在大数据分析平台的部署场景中，数据存储很少只采用一种技术，大多数情况下会组合使用不同的存储和处理技术，从而完成业务实现和系统优化。例如，一些特定的技术用来缓存、汇总和优化数据，从而这些数据易于被其它层的功能模块有效地处理。
大数据存储的一个典型用法是采用NoSQL数据库和大规模并行处理技术（如MapReduce）实现大数据的快速存储，然后可以查询部分数据，或者将其导出至传统的关系型数据库（RDBMS），便于BI或者报表工具处理和呈现。
数据治理
大数据对于企业和政府部门的挑战不仅在于如何管理客户和公民数据，还在于如何应对安全领域的问题，因此，需要新的技术和方法解决这些新生的威胁。TMF研究报告表明，建立客户的信任是当前CSP通过大数据盈利时最关心的问题。为了建立客户的信任，CSP应该采取以下措施：
- 采取和遵守行业最佳实践和生产准则；
- 遵守法律法规
以上问题促使整个行业将隐私和安全作为大数据分析参考模型和最佳实践的组成部分。
为了使CSP、公共数据、CSP数据消费者和其它行业数据源形成的数据生态系统落实到位，数据交换非常重要，特别是负责客户数据的数据拥有者，在数据价值链中发挥着关键角色。
在CSP组织内部，数据治理是一个全局的业务流程。有些CSP的数据治理通过数据治理委员会管理。数据治理涵盖了安全、隐私和法律法规领域，定义了每类客户和网络数据的管理策略和实施。
数据治理是一个涵盖性术语，它包括多项参考模型的功能。
参考模型功能
数据治理层纳入了所有其它大数据分析平台的分层，并提供如下功能：
- 隐私：管理、保护和保存；
- 安全：加密、认证和访问控制；
- 法律法规：法律、法规的遵从。
情景维度
- 收集：用户个人数据的收集；
- 使用：用户个人数据的存储、操作和使用；
- 披露：用户个人数据的披露，包括任何可回溯至单个用户的汇总数据。
隐私管理
隐私管理是为了解决用户对数据透明、数据可选择性以及可视化设置隐私信息的需求。
隐私管理应用于个人身份信息PII（Personal Identification Information）。匿名化技术可以将带有个人身份信息PII的数据转换为不带个人身份信息PII的数据。
CSP管理的隐私策略
- 默认的隐私策略
- 收集、使用和披露用户个人信息的上下文
用户管理的隐私设置
- 选择加入和选择退出的隐私设置
- 收集、使用和披露用户个人信息的可视化
- 用户个人信息保存期限
隐私保护
隐私保护为每个用户数据提供了隐私保护策略：
- CSP管理的隐私策略
- 单个用户管理的隐私设置
隐私保护提供基于以上策略的用户数据收集、存储、使用和披露的控制功能。
隐私保存
隐私保存提供用户细节数据和汇总数据的披露功能。
匿名化技术
隐私保存涉及用户数据披露的匿名化技术，例如：
- K匿名模型（K-anonymity）
- 伪匿名
- 个人身份信息的修订（Redaction of Personally Identifiable Information）
微分隐私保护技术
近期在微分隐私保护技术领域的研究提供了已被数据证明的隐私保护技术。微分隐私保护技术旨在保护隐私的同时兼顾数据可用性。
安全
加密
加密能力提供数据的存储和传输安全。数据可能存储在大数据平台，或者数据装载和交换时的临时存储。
认证
基于上下文感知的认证服务用于从外部访问大数据平台的各层功能。上下文信息包括被访问的分层、被认证实体的角色和访问目的。
访问控制
访问控制提供基于角色和上下文感知的访问控制功能。
法律法规
法律法规的遵从包括根据区域、日期和时间收集、使用和披露数据的法律和法规，遵从可以是强制的，也可以是可选的（最佳实践、生产准则），包括下面3种类型：
- 法律遵从
- 法规遵从
- 最佳实践和生产准则
TMF大数据分析指南 Unleashing Business Value in Big Data（二）