大数据使用及现状调研报告

  大数据,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据特征分析  大数据,不仅有“大”这个特点,除此之外,它还有很多其他特色。在这方面,业界各个厂商都有自己独特的见解,但是总体而言,可以用“4V+1C”来概括,“4V+1C分别代表了Variety(多样化)、Volume(海量)、Velocity(快速)、Vitality(灵活)以及Complexity(复杂)这五个单词。

  

Variety(多样化)

大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据,并且它们的处理和分析方式区别很大。  

与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战:它多样的种类。随着传感器、智能设备以及社交协作技术的激增,企业中的数据也变得更加复杂,因为它不仅包含传统的关系型数据,还包含来自网页、互联网日志文件(包括单击流数据)、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之,种类表示所有的数据类型。

Volume(海量)  

如今存储的数据数量正在急剧增长,毫无疑问我们正深陷在数据之中。我们存储所有事物:环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别,并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长,可处理、理解和分析的数据比例却不断下降。  

通过各种智能设备产生了大量的数据,PB级别可谓是常态,一些客户每天处理的数据量都在几十GB、几百GB左右,估计国内大型互联网企业每天的数据量已经接近TB级别。

Velocity(快速) 

 

大数据要求快速处理,因为有些数据存在时效性。比如电商的数据,假如今天数据的分析结果要等到明天才能得到,那么将会使电商很难做类似补货这样的决策,从而导致这些数据失去了分析的意义。  

就像我们收集和存储的数据量和种类发生了变化一样,生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率,应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析,而不只是在它静止后执行分析。

Vitality(灵活)

在互联网时代,和以往相比,企业的业务需求更新的频率加快了很多,那么相关大数据的分析和处理模型必须快速地适应新的业务需求。

Complexity(复杂)

  虽然传统的BI已经很复杂了,但是由于前面4个V的存在,使得针对大数据的处理和分析更艰巨,并且过去那套基于关系型数据库的BI开始有点不合时宜了,同时也需要根据不同的业务场景,采取不同的处理方式和工具。

大数据行业发展现状

1、一些数据的记录是以模拟形式存在,或者以数据形式存在,但是存贮在本地,不是公开数据资源,没有开放给互联网用户,例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大,并且共享到了互联网上,面对所有互联网用户,其数量之大是前所未有。

2、移动互联网出现后,移动设备的很多传感器收集了大量的用户点击行为数据,已知IPHONE有3个传感器,三星有6个传感器。它们每天产生了大量的点击数据,这些数据被某些公司所有拥有,形成用户大量行为数据。

3、电子地图如高德、百度、Google地图出现后,其产生了大量的数据流数据,这些数据不同于传统数据,传统数据代表一个属性或一个度量值,但是这些地图产生的流数据代表着一种行为、一种习惯,这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型,在过去是不存在的。

4、进入了社交网络的年代后,互联网行为主要由用户参与创造,大量的互联网用户创造出海量的社交行为数据,这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。

5、电商户崛起产来了大量网上交易数据,包含支付数据,查询行为,物流运输、购买喜好,点击顺序,评价行为等,其是信息流和资金流数据。

6、传统的互联网入口转向搜索引擎之后,用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。我们所指的大数据不同与过去传统的数据,其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据,它是全面的数据、准确的数据、有价值的数据。

中国的大数据之路任重而道远

中国目前的大数据应用环境和技术相对于美国而言,在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。2012年3月,美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门,承诺将投资两亿多美元,大力推动和改善与大数据相关的收集、组织和分析工具及技术,以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域,是大数据从商业行为上升到国家战略的分水岭,表明大数据正式提升到战略层面,大数据在经济社会各个层面、各个领域都开始受到重视。

2014年从“两会”的提案、议案看,很多人建议将大数据业务上升为国家战略,互联网领军人物李彦宏在政协记者会上表示,政府应该把更多和人民生活有关的数据资料,公开地放到网络上;雷军则直接建议将大数据纳入国家战略,推动大数据切实地被用起来;科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。最后总结一下,大数据时代将会给人类社会带来巨大变化。它是一个好的工具,就像计算机一样,帮助人们提升社会生产效率,了解事物真相,认识客观规律,同时加快进入智慧社会。

全球大数据产业发展规模

2014年,全球大数据解决方案不断成熟,各领域大数据应用全面展开,为大数据发展带来强劲动力。2014年全球大数据市场规模达到285亿美元,同比增长53.2%。大数据逐渐成为全球IT支出新的增长点。

2014年数据中心系统支出达1430亿美元,比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达2320亿美元,预计到2018年这一数据将增长3倍。

中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》从市场结构分析,2014年,全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多,产品和服务的差异度增大,技术门槛逐步降低,市场竞争越发激烈。在全球大数据市场中,行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场,分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%,基础软件占据3.8%的市场份额,网络服务仅占据了2%的市场份额。

我国大数据产业发展提速

1、基础设施建设率先起步

大数据产业“十三五”发展规划已经在2016发布。这是实施国家大数据战略的又一政策举措。

大数据将是新的生产要素。政策助推知识开始,云计算、大数据、人工智能是大数据这场“新工业革命”的重要推手。其中,数据是重要资源。在此背景下,众多互联网科技企业以及传统生产企业都在积极布局大数据产业。

统计数据显示,2015年国内大数据产业市场规模已达1105.6亿元,较2014年增长44.15%。其中,大数据基础设施建设、大数据软件和大数据应用分别占比64.53%、25.47%和10%。目前已有42家计算机行业上市公司披露了2016年上半年报业绩预告,平均增速中位数为15%。从细分领域看,大数据与人工智能子板块平均增速中位数为65%。

随着大数据产业的快速发展,受益顺序为基础设施建设率先起步,并带来数据分析、数据源、数据安全环节的发展。在基础设施方面,数据中心、服务器等领域近年来快速增长。其中,中科曙光、浪潮信息等公司服务器业务收入增长明显。随着基础设施逐渐完善,数据分析成为了可能。数据分析服务在整体产业收入的占比也代表着大数据市场发展的成熟度。中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》指出,当前数据分析服务在国内大数据产业中的占比仍保持较低水平,为24%水平。这和全球市场的数据分析服务占50%比例存在明显差异,国内市场发展整体滞后于全球市场,拥有较大的空间。

2、多个领域应用正在兴起

国内数据应用正在兴起,尤其是在金融、电信、政务、医疗、能源等行业已经起步,并逐步向其他行业扩展。以金融领域为例,蚂蚁金服推出了芝麻信用,其芝麻分来自淘宝、支付宝的数据占30-40%。通过综合考虑个人用户的信用历史、行为偏好、履约能力、身份特质、人脉关系等信息,直接与其信用挂钩,构筑信用消费生态。在电信领域,大数据的作用明显。传统通信业务下滑,电信运营商急需寻找下一个红利通道。数据经营转型已成为运营商的共识。在大数据业务运营上,电信运营商将以“授权开放+合作共赢”模式为主,合作伙伴可能获得60%收益分成。东方国信、初灵信息、亨通光电、烽火通信等与电信运营商关系紧密,拥有大数据全产业链布局和技术领先的公司具有先发优势。

目前,相关大数据公司正在积极布局大数据产业。以智库2861举例来说,每日数据采集以峰值状态两万个爬虫7*24小时运行,经过云端运行的海量模型和算法进行清洗,达到去伪存真的效果,从而挖掘出可用的结构化数据,建立数据模型;且这些模型可以不断自我完善和学习,根据用户的实际需求给出不同的策略分析建议,从而用于政企法人决策辅助或决策分析,构建全新“大数据+政企治理”的新生态。

大数据技术应用前景展望

1、数据的资源化

在大数据技术中蕴含着丰富的数据信息资源,它们的科学有效应用能够切实为企业带来巨大的经济产值,产生更多经济收益。因此,要利用好信息资源就要进一步开放研究大数据技术。信息资源的有效应用离不开先进的数据技术和信息化思维,网络技术人员应当将传统信息资源开发管理方法与大数据技术有机地结合起来,通过将不同数据集进行重组和整合,发挥就数据集所不具有的新功能,从而为企业创造出更多的价值。而掌握了数据资源处理技术的企业,在未来还能够通过将数据使用权进行出租或者转让等方式获取巨大的经济收益。

2、科技的交叉融合

大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体,促进不同科学技术的交叉融合,同时还能够促进多学科的交叉融合,充分发挥出交叉学科和边缘学科在新时代的新功能与效用。大数据技术的长足进步与发展既要求工程技术人员要立足于信息科学,通过对大数据技术中的信息获取、储存、处理等各方面的具体技术进行创新发展,也要将大数据技术与企业管理手段结合起来,从企业经营管理的角度研究分析现代化企业在生产经营管理活动中大数据技术的参与度及其可能带来的影响。在一些需要处理和应用到大量数据的信息部门,企业一方面要着力提高大数据技术的应用水平,另一方面要及时引起跨学科人才,充分发挥多科学与交叉性学科在本部门中的参与度。

3、以人为本的大数据技术发展趋势

科学技术的使用主体归根结底是人,虽然在大数据技术支撑的网络信息环境下,信息数据的及时流通与整合能够满足人类生产生活的所有信息需求,能够为人的科学决策提供有效指导,但大数据技术终究无法代替人脑,这就要求大数据技术在发展过程中要坚持以人为本的基本原则,重视人的地位,将人的生产活动与网络大数据虚拟关系结合起来,在密切人与人之间的交流的同时,充分发挥每一个独立个体的个性和特长。

原文地址:https://www.cnblogs.com/ku1274755259/p/11108514.html

时间: 2024-10-09 01:36:52

大数据使用及现状调研报告的相关文章

SANS:2019年网络威胁情报现状调研报告

2019年2月,SANS照例发布了全新年度的CTI(网络威胁情报)现状调研报告. 今年的报告更换了主笔分析师.但SANS对CTI的广义定义依然没有变.总体上,SANS认为CTI的应用越发成熟,其发挥的价值也越来越大,CTI的应用正逐步深化.1)报告显示,72%的受访组织生产或消费了CTI,比2017年的60%有显著提升.2)更多的组织开始关注情报报告,但认为将那些情报报告中的有用信息转换为机读情报比较麻烦[笔者注:一方面,现在有一些开源的报告情报信息提取工具:另一方面,情报报告的提供者开始一并提

SANS:2016年网络威胁情报现状调研报告

2016年8月份,SANS发布了最新一期有关网络威胁情报的发展现状调研报告. 注意,本文不是译文.原文请前往http://www.sans.org/reading-room/,题为<The SANS State of Cyber Threat Intelligence Survey: CTI Important and Maturing>,需翻墙. 报告指出,随着网络空间安全威胁日趋严重,网络威胁情报(CTI)的作用更加凸显.41%的受访者表示他们运用CTI的能力趋于成熟,更有26%的人表示能

交通大数据的发展现状与应用难点解决方案分析

改革开放以来,政府一直在不遗余力的加大交通基础设施建设.但是,经济发展带来的人们出行需求的频繁.城镇化深入带来的城市人口剧烈增长,依然给交通带来了前所未有的压力.据不完全统计,2016全国机动车保有量已达到2.95亿辆:交通拥堵指数超过1.5的城市有56个,其中三分之一的城市拥堵指数呈上升态势:民航航班正常率不足70%,交通困局已经成为了从普通群众到政府领导都密切关注的民生问题. 交通大数据建设的现状与痛点 2015年3月5日,李克强总理在政府工作报告中首次提出"互联网+"行动计划,推

SANS:2016年安全分析调研报告

2016年12月6日,SANS发布了第4期(2016年度)安全分析调研报告.报告对全球348名受访者进行了调研.结果显示,38%的人用安全分析来评估风险,35%的人用安全分析来识别恶意行为,31%的人用来实现合规.这也是安全分析最常用的三个场景.安全分析自动化不足的问题依然没有多大改观,和上次调研相比,依然仅有4%的人认为自己完全最到了安全分析自动化,仅有22%的人使用了机器学习相关的工具来参与安全分析. 1.数据收集的范围 首先是应用日志(包括应用的审计日志),第二是网络FW/IDS/IPS/

第四届CCF大数据学术会议征文通知

第四届CCF大数据学术会议征文通知 2016年10月,兰州 近几年,大数据是各界高度关注积极布局的热点方向.2015年8月,国务院发表<促进大数据发展行动纲要>,正式将大数据提升为国家战略,旨在全面推进我国大数据的发展和应用,加快建设数据强国.现如今大数据不但已成为全球IT行业最强劲的发展动力,而且正在引起各行各业的业务变革与产业升级.因此,为了探讨大数据相关领域所面临的挑战,共享各类创新思想,反映中国大数据技术的最新研究进展,交流大数据的应用现状和研发经验,继2013-2015成功召开了三届

大数据发展最快的那些省份!看看你的家乡排第几

中国已经进入大数据创新突破与应用落地的发展上升期,根据相应调查对中国大数据发展的十大趋势进行了展望. 大数据发展呈现十大新趋势 趋势之一:政务大数据应用开发将获得有力支撑.作为一直阻碍大数据发展的一个重要瓶颈,政府信息开放共享在过去的一年取得重大突破.2018年1月,国家发改委宣布了政务信息系统整合共享工作最新进展, 已有71个部门.31个地方实现了与国家共享交换平台的对接.下一步,国家有关部委将重点支持各地区开展政务信息系统整合共享应用示范,推进在医疗.交通.金融.物流.环境保护等领域的大数据

大数据时代新闻采编人员职业能力培训

原文  http://datameng.com/info/2014/03/big-data-xinwen-caibian/ 据统计,到2013年,全世界储存的信息如果记录在光盘上,再把这些光盘叠加起来,高度等于从地球到月球的距离.美国互联网数据中心指出,目前世界 上90%以上的数据是近几年才产生的.互联网上的数据每年将增加50%,每两年翻一番.因此有学者认为,人类进入了大数据时代.一般意义上,大数据是指无 法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知.获取.管理.处理和服务的数据集合

中科院 | 大数据的力量来自“大成智慧”信息时代大数据的再认识

文章出处:http://www.thebigdata.cn/YeJieDongTai/29119.html 大数据已成为媒体与大众关注的新技术,大数据的应用也预示着信息时代将进入一个新阶段,但人们对大数据的认识有一个不断加深的过程.首先从"信息时代新阶段".数据文化和认识论的高度阐述了对大数据的理解;接着通过对驱动效益和大成智慧的解释,探讨了如何正确认识大数据的价值和效益,并从复杂性的角度分析了大数据研究和应用面临的挑战;最后对发展大数据应避免的误区提出几点看法. 1 大数据兴起预示&

引跑科技助力传统企业构建大数据价值体系

2015年8月11日,在工信部信息化推进司指导下,由国家两化融合创新推进联盟主办的第二届<云计算应用创新推进大会>在北京西苑酒店成功召开.大会将以"推进产业互联.探索工业4.0发展道路"为主题,深度探讨企业"云化"过程面临的挑战与问题,寻求最佳技术解决方案和实施路线,推进"企业云"建设,实现企业信息化的全面升级. 本次会议上共计有超过10多家的国有大中型企业及IT服务和供应商分享在云计算.大数据领域的实践和应用成果. 国家两化联盟,全