大数据运营之数据治理

数据治理包括:隐私、安全、合规性3个方面。

大数据价值创造的前提和基础是企业自身的数据以及全社会开放的数据,当数据开放为社会带来好处的同时,也同时因此了隐私侵犯问题。隐私是社会赋予个人或者企业的权利,隐私权受到法律的保护,因此,企业在利用大数据的同时,要首先考虑大数据应用是否会侵犯他人或者组织的隐私。

企业可以多种方式来解决隐私触犯问题。

对于企业向内部人员提供的大数据服务,可以通过数据权限保证隐私数据不被非法获取,如果企业内部用户具有获取隐私数据的权限,要进行数据使用行为的记录和跟踪。例如,电信运营商拥有公众客户电话号码、银行卡号、家庭住址等隐私数据,可以采用授权的方式控制数据使用对象和数据使用范围,系统应当能够自动记录数据操作行为,实时进行数据使用行为审计,发现可疑数据使用行为后,计算采取措施,关闭或者暂停用户的数据访问权限。

企业对外提供大数据服务具有更大的风险,就如同覆水难收,因此,企业需要考虑更好的隐私保护方式。以电信运营商为例,用户的姓名和电话号码是不能泄露的,如果这些数据被营销机构所掌控,用户可能会经常骚扰电话或者短信,电信运营商可以为外部企业提供电话号码的伪码数据,企业在如果想与电信运营商提供的名单客户沟通,还需要借助电信运营商提供的伪码翻译服务,这样就解决了客户真实的电话号码外泄问题。

企业大数据治理的另一个难点是数据安全问题。应用分为事务型和分析型两种,大数据服务属于分析型应用,相对于事务型应用,大数据服务安全治理具有自身的特点。

可以将安全控制分为应用和网络传输两个层面。应用层安全控制包括用户安全管理和信息安全管理,用户安全管理的目标是让系统设定的用户访问应用,并对认证用户进行授权,保证用户访问所需资源。信息安全管理的目标是保证信息不被非法获取,通常采用对信息加密的方式实现。在网络传输层实施安全控制的目标是控制进入网络的通道,通过安全控制策略来阻止或者让行网络访问。

事务型应用是创造数据的源头,产生的数据可以分为基础数据和交易数据两类。交易数据是在每个事务处理之后产生的,比如网页浏览记录、订单数据。与交易数据相比,基础数据的内容变化频度要低,比如客户的姓名、年龄、身份号等数据,相比于订单数据,其生命周期要长,数据的安全性要求更高。许多企业的事务型应用暴露到互联网,因此网络安全风险高。

分析型应用的数据基础是事务型应用产生的数据,通常要经过采集、转换、装载、分析、展示或者对外提供的过程。根据大数据服务用途的不同,可以分为企业内部使用和对外提供两种类型。相比于对外提供的大数据服务,在企业内部范围使用的大数据服务风险要低得多。如果从数据的规模来看待数据风险,分析型应用要比事务型应用依赖的数据规模要大得多,因此,一旦出现数据泄露,数据风险要大的多。

从系统架构的角度看操作型数据和分析型数据,操作型数据通常以“主机+磁盘阵列”的集群方式存放在磁盘阵列中,而分析型数据则通常以“主机+磁盘”的集群方式分散存放数据仓库的磁盘上,由于采用批量处理方式,集群内部主机之间往往没有实施安全控制,同时,由于数据规模大,为了提高数据处理效率,一般不会对数据进行加密。

企业需要根据事务型应用和分析型应用的不同特点制定不同的数据安全管理机制。

(本文摘自:李福东《大数据运营-服务型企业架构新思维》,经作者授权转发,图片来自网络)

原文地址:https://blog.51cto.com/lifudong/2448819

时间: 2024-10-07 12:43:26

大数据运营之数据治理的相关文章

大数据运营之数据存储

大数据服务的数据源不但来自归属于不同行业的组织之中,而且其类型还具有多样性(Variety)特征. 多样性指的是大数据服务不仅包括例如姓名.年龄这样的结构化数据,还包括歌曲.电影这样的非结构化数据,此外网页.邮件这样的数据介于结构化和非结构化之间,属于半结构化数据,也是大数据服务的重要数据源. 结构化数据来源于业务需求,系统分析员将需求中静态的"名词"提取出来并进行抽象,作为数据库表结构设计的依据.比如我们设计一个学籍管理系统,通过分析发现"张三"."李四

《美团 R 语言数据运营实战》

美团 R 语言数据运营实战 2018年08月02日 作者: 喻灿 刘强 文章链接 3689字 8分钟阅读 一.引言 近年来,随着分布式数据处理技术的不断革新,Hive.Spark.Kylin.Impala.Presto 等工具不断推陈出新,对大数据集合的计算和存储成为现实,数据仓库/商业分析部门日益成为各类企业和机构的标配.在这种背景下,是否能探索和挖掘数据价值,具备精细化数据运营的能力,就成为判定一个数据团队成功与否的关键. 在数据从后台走向前台的过程中,数据展示是最后一步关键环节.与冰冷的表

大数据运营-服务型企业架构新思维

目前市面上关于大数据的图书主要分为两类:一类主要讲大数据对社会生活的影响,属于大数据科普书,读一读可以增强对大数据的感性认识:另一类则属于大数据专业技术书,主要讲大数据相关技术,可以帮助开发出大数据应用. 本书既不是泛泛的谈大数据的重要性,也不深入专业技术细节,而是从业务和企业发展战略出发,运用系统化和全生命周期管理思维,给出大数据从需求到落地的整体解决方案.犹如个人的修齐治平,在大数据时代,企业要想得以生存和发展,同样需要经历筑巢.联姻.孕育.分娩.培育以及腾飞的6个发展阶段. 在筑巢阶段,企

小数据大道理:新书《大数据运营》众筹启示

2015年7月,我的***作<大数据运营>在众筹网发起30天的图书预售活动,筹资金额5000元,从项目发起的两天半时间,即周五下午到周日晚上,就超额完成了预定目标,非常的震撼.最终,总共得到102名支持者的支持,除了两位无私支持者一位,恰好是100为获得实物回报的支持者,总筹资金额7999元,超额完成了预定目标. 通过众筹网的图书推广活动,也获取到支持者的订单数据,具体包括下单时间.配送地点.购书数量.购书金额.与笔者的社会关系等.由于只有102位支持者,所以订单数据量很小,所有就不能称之为&

《大数据运营》读书分享会活动

本周四(7.5)20:00-21:00,我与大家在线分享<大数据运营>图书的精要内容,同时植入区块链与大数据融合创新.互联网与区块链思维等新的知识点,欢迎大家关注.交流. 新增知识点之一:[区块链与大数据融合创新思考]大数据是生产资料,是新能源,但是大数据行业最大的问题和困难是:组织之间的数据难以流通和共享,如果这一问题得不到解决,数据就难以释放能量并创造更大的价值.数据难以流通和共享的主要原因是数据的开放可能会触犯个人隐私或者引发安全问题,也就是说当前还没有一种很好的办法解决由数据开放引起的

大数据运营之数据分析

数据分析过程包括:数据建模.大数据处理.告警与触发.报告等. 从数据处理的实时性要求角度看,大数据分析可以分为批量和流式两种数据处理方式.批量处理主要适合于实时性要求不高的分析型应用,而流式处理主要适用于实时性要求高的在线分析应用. 批量处理方式主要适用于大规模离线数据的分析处理,比如企业周期性统计报表,可以采样批量处理方式.对企业大规模历史生产经营数据进行批量处理,分析结果可以用于制定企业发展战略,对于分析结果的实时性要求不高. 流式处理方式有许多应用场景,比如客户浏览网页时,企业可以实施实时

大数据运营之渠道数据模型设计

渠道是企业将产品和服务交付给客户的一种手段.渠道可以整合各种产品和服务,在产品日益同质化的今天,渠道在社会中的重要性越来越突出. 渠道在产品和服务的提供方和消费方之间的作用如图3-4-5所示: 图3-4-5渠道是连接客户与产品/服务的桥梁和纽带 按产权归属,可以将渠道分为自有渠道和社会渠道:按照存在形态,可以将渠道分为实体渠道和电子渠道. 企业的渠道服务体系如图3-4-6所示: 图3-4-6企业渠道服务体系示例 电子渠道可以降低产品和服务交付成本,提供客户获取产品和服务的便捷性,在互联网发达的今

大数据运营之孕育:分析处理系统容量设计方法

[本文摘自:李福东<大数据运营>3.5.1.2,了解更多,请关注微信公号:李福东频道] 编者按 大数据服务通常要经过数据ETL.数据存储.数据分析.数据展示.数据开放的过程,因此在计算能力.存储能力以及网络能力的估算上也有自身的特点. 正文 与事务处理应用相比,大数据服务属于分析处理应用,由于两者的数据处理特点不同,因此容量估算方法也有一定的区别. 大数据服务通常要经过数据ETL.数据存储.数据分析.数据展示.数据开放的过程,因此在计算能力.存储能力以及网络能力的估算上也有自身的特点. 大数据

大数据运营之孕育:服务过程设计,卓有成效的管理者

[本文摘自:李福东<大数据运营>3.6?,了解更多请关注微信公号:李福东频道] 编制按 大数据服务过程包括:服务目录管理.容量管理.可用性管理.连续性管理.服务等级管理.信息安全管理.供应商管理等. 正文 在设计方法方面,大数据服务与支撑企业运营的服务既存在区别,又存在联系.不同之处是:大数据服务的设计主要以"数据"为参考点,"数据"类型越多.越丰富.越新鲜,则越有助于设计好的服务:两者的共同点是:大数据服务归根结底还是为企业运营服务的,是为了提升企业在