浅议大数据的分析价值

2015年,国务院颁布了大数据实施纲要通知《国务院关于印发促进大数据发展行动纲要的通知》,从国家层面上将大数据战略思想逐渐成型。随之,各行各业逐渐意识到海量数据的价值及重要性,分析数据并挖掘其潜在价值的需求不断加大。那么我们今天就来扒一扒:大数据能产生什么价值,值得我们去分析它?

一、什么是大数据

IDC以4V特征来定义大数据,即海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value);Amazon的John Rauser 将大数据定义为:任何超过了一台计算机处理能力的数据量。可见不同的主体对大数据的定义是不同,但有一个共同点,即数据必须是海量的。

一个人每天可以产生如下社保信息:身份、医保/养老/工伤/失业/生育等各险种的参保信息、财务、薪酬等敏感信息…….

一台工业设备每天可以产生的信息:第一、行为日志。访问信息、发送的控制指令等信息;第二、设备通信日志。包括数据连接建立时间、连接端口、访问外部节点信息、传输数据量等信息;第三、设备异常报警日志。如设备认证失败、异常行为类型等;第四、流量信息及阻断信息。

这些信息每天都在产生,久而久之汇聚成海量的数据,通过不同的终端以各种各样的形式存在。比如,存储于关系型数据库Oracle、PostgreSQL,数据文件XML,Hadoop数据源HDFS等。但是它们的价值密度较低,海量数据中只有小部分是有用的,其他大部分数据没有什么价值,必须进行分析才能发现价值。

二、大数据的价值

下面我们就从社保大数据和工业设备大数据这两个领域,来看看分析这些大数据能产生什么价值?

(一)分析社保大数据产生的价值

经过近三十年的发展,我国社会保险制度逐步趋于完善,社会保险覆盖范围不断扩大,社会保险基金征缴和管理不断加强,各项社会保险待遇水平进一步提高。与此同时,伴随着信息技术的进步,金保工程的实施,一个以信息网络三级互联、应用软件基本统一、数据资源集中管理为主要特征的、统一的金保工程支撑平台已在全国基本形成,全国所有地级城市和省级人社部门均已建立了数据中心,32个省级单位全部实现了与部中央数据中心的网络联结,90%以上的地市实现了与省级数据中心的联网,城域网已经联接到92.5%的社会保险经办机构和就业服务机构,并且延伸到街道、社区、乡镇和定点医疗服务机构,覆盖全国的人力资源社会保障信息网络架构初具规模。社保数据不断向上集中,参保人数几乎覆盖全国,历史数据不断积累,社会保障信息呈现出“大数据”的特性。

大数据系统可以将社保所有的经办点和服务机构联结起来,实现跨区域、跨险种社保数据的整合后进行分析,从而解决如下问题:

第一,可以防止以下冒领社保待遇的行为。防止居住本地但不具备在本市办理退休的外地参保人员,采取伪造转移信息表,虚构缴费年限,骗取社会保险关系转移接续的;防止参保人员与中介(或用人单位)虚构劳动关系,提供虚假证明材料,按照单位职工突发重大疾病特殊审批政策规定骗取医疗保险待遇;防止单位为自愿离岗的职工出具解除职工劳动关系证明,骗取失业保险待遇享受资格的;防止非工伤人员虚构、伪造受伤事实,骗取工伤保险待遇;防止工伤人员虚构、伪造、变造、非法更改工伤认定、劳动能力鉴定原始结论,隐瞒、编造病史骗取工伤保险待遇;防止工亡职工供养亲属虚构、伪造、变造、非法更改原始证明材料骗取供养亲属抚恤金待遇的。

第二,可以防止以下重复参保的行为。防止参保退休人员通过重复参保缴费,重复领取养老待遇;防止离退休人员死亡后,亲属不告知社会保险经办机构继续冒领养老金;防止享受失业保险待遇期间已重新就业,蓄意欺骗社会保险经办机构并继续享受失业保险待遇;防止享受失业保险待遇期间人员已经死亡或异地退休,不告知失业保险经办机构并继续享受失业保险待遇;防止享受工伤保险待遇的工伤人员、工亡职工供养亲属死亡后,亲属或所在单位不告知经办机构继续冒领工伤保险待遇。

第三,有利于社保基金的监管。社保基金安全有效运营和在动态经济环境中保值增值,是社保的关键所在。基于这样的认识,运用数据挖掘算法,在对社会保险基金运行状况进行统计分析的基础上,通过设计监测预警模型,确定预警线及警戒标志来进行社保基金的事前监管。改变以往事后审计、事中监督的监管模式,不仅有利于防止实践中社保基金被挪用、侵占现象屡禁不止,违规操作的事件层出不穷,威胁到保障广大劳动者切实利益的“养命钱”和“保命钱”安全的弊端。而且,有助于进一步规范和完善监管制度,增强基金投资和运营情况的透明度,建立信息化的基金监管体系。从而充分发挥社会保障制度的“减震器”、“安全网”作用和对经济持续增长的“助推器”功能。对于构建和谐社会和保持经济结构调整、经济体制转型时期的社会稳定具有积极的意义。

(二)分析工业设备大数据产生的价值

根据统计,大多数据的涉密犯罪来自于内部:应用单位未设立相应的安全管理系统、技术措施和制度。很多安全事故基本是因为内部人员和外部人员勾结所为,而且呈上升的趋势。因为内部人员比外部人员更加容易获得系统的权限,能够造成更大的威胁,而一般的安全防护系统对外部的防范比较多,而内部的防范和监控相对比较薄弱,造成内部人员的不合法操作很难被发现,具有威胁大、难防御、难发现的特点。

通过大数据分析,除能通过系统报警和统计发现违规操作行为和频次这些基础功能外,还能保证设备的深度安全运行,以及对内部人员的高危操作进行捕捉。

第一,保证设备的深度安全运行。可以直接利用工业控制网络中的隔离设备作为日志采集探针,将其采集的上位机、下位机、设备、主机和应用系统日志进行全面的标准化处理,及时发现各种安全威胁、异常行为事件,透过事件的表象真实地还原事件背后的信息,提供真正可信赖的事件追责依据和业务运行的深度安全。

第二,对内部人员的高危操作进行捕捉。轻松实现挖掘线索,追溯、定位到人,对犯罪行为起到足够的震慑,帮助工控企业最大程度规避内部人员违规操作的风险。强有力的防止内部人员滥用权利进行计算机犯罪,或者把特权转让给有恶意目的的用户,从其服务器中盗取重要生产控制数据。

时间: 2024-10-05 06:14:10

浅议大数据的分析价值的相关文章

浅谈大数据技术

忽如一夜春风来,无人不谈大数据.大数据就像前两年的云计算一样,是一个时下被炒得很火的概念.那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发表一点浅显的认识,理解肯定有不到位之处请大家批评指正. 无论是大数据技术还是云计算技术,其实这些技术都不是突然冒出来的,而是随着互联网技术的发展,人们把现有的技术加以整合,总结,概括出来并冠一个新名字

要将大数据和分析转变为竞争优势,实现业务转型,必须做到这三点!

所谓大数据(Big Data)是指不使用随机分析法(抽样调查)的捷径,而是采用对所有数据进行分析处理.它代表着需要新处理模式才能具有更强的决策力.洞察力和流程优化能力的海量.高增长率和多样化的信息资产.大数据的特点:4V Volume(大量).Velocity(高速).Variety(多样).Value(价值). 大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,通过提高对数据的"加工能力",来实现数据的"增值". 1.黑暗数据

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析 低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight.通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以 在Blob存储数据的直接操作.在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据. 在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据. 注意: 该ASV://语法中不支持

大数据的核心价值是什么?

下面是一些长篇的讨论,这里我把大数据的核心价值理解为核心商业价值. "很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了."--马云卸任演讲 本文尝试从三大产业的角度将大数据的核心商业价值分类讨论. 首先例举一些大数据的典型应用,然后解释大数据的定义,最后总结大数据的价值. 我们知道: 第一次工业革命以煤炭为基础,蒸汽机和印刷术为标志, 第二次工业革命以石油为基础,内燃机和电信技术为标志, 第三次工业革命以核能基础,互联网技术为标志, 第四

什么是大数据的核心价值?

以下是一些长篇的讨论.这里我把大数据的核心价值理解为核心商业价值. "非常多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了. "--马云卸任演讲 本文尝试从三大产业的角度将大数据的核心商业价值分类讨论. 首先例举一些大数据的典型应用.然后解释大数据的定义,最后总结大数据的价值. 我们知道: 第一次工业革命以煤炭为基础.蒸汽机和印刷术为标志, 第二次工业革命以石油为基础,内燃机和电信技术为标志, 第三次工业革命以核能基础,互联网技术为标志,

大数据可视化分析平台新应用:提升企业的数字营销策略

数字化时代,催生了不少社交媒体和搜索引擎公司.无论是国内还是国外乃至全球,社交媒体的势力愈加强大,与此也产生了大量的数据,成为大数据中的一部分.企业发展到一定地步,免不了大大小小的决策,这驱使着越来越多的企业选择商业智能产品——大数据可视化分析平台来合理利用它们积累的数据基础. 如今,从Facebook到Instagram,许多社交媒体渠道现在正在淹没在大量数据中.每天,超过400万小时的视频内容上传到YouTube,而每天有43亿条消息在Facebook网上发布. 随着可用于分析的数据量继续呈

一周实现大数据可视化分析——敏捷BI助艾瑞咨询集团实现互联网的大数据分析

相对传统分析方法,通过敏捷BI和Hadoop的互补,艾瑞咨询集团的业务效率获得数倍的提升:线下报告交付周期从3至4周缩短至小于1周,软件交付从半年缩短至一个月. 当前,一提到大数据人们就会想Hadoop,它似乎成为大数据的"代言人".不可否认,Hadoop在集群扩展性和成本上都有巨大的优势,但是,Hadoop并不适合做实时分析系统. 因此,很多企业都会利用Hadoop实现数据存储,再通过其他工具实现对大数据的高速捕获和实时分析.这里,我们将通过艾瑞咨询集团的一个真实案例,解读一下敏捷B

北风网 零基础到数据(大数据)分析专家-首席分析师

详情请交流  QQ  709639943 00.北风网 零基础到数据(大数据)分析专家-首席分析师 00.快速上手JMeter 00.Jmeter 00.2017年Java web开发工程师成长之路 00.R语言速成实战 00.R语言数据分析实战 00.Python+Django+Ansible Playbook自动化运维项目实战 00.Java深入微服务原理改造房产销售平台 00.Python3入门机器学习 经典算法与应用 00.老司机学python篇:第一季(基础速过.机器学习入门) 00.

大数据的真正价值在哪里?你get到了吗?

信息爆炸这个词,想必对于大家来说,已经没有多少新鲜感了,而信息爆炸所引发的大数据,却日益成为了企业的宠儿,越来越多的企业也逐步认识到了大数据的重要性,但是大部分企业往往只看表面,盲目跟风,大量收集数据,有用的无用的,企业的行业的,生怕没有抓住大数据的风口导致自己的落后,上马各种信息化项目,结果往往导致企业虽然存有大量数据,但却发挥不出数据应有的作用,甚至形成一个个的信息孤岛,非但不能成为助力企业发展的资源,甚至成为企业发展的包袱.如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资