原 大数据方向的安全技术研究

http://img05.tooopen.com/images/20150409/tooopen_sy_117609059715.jpg
近年来,随着大数据应用的爆发性增长,大数据衍生出独特架构,并推动存储、网络及计算机技术的发展,同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略,国内学术界、信息安全界、产业界也正逐步关注大数据的发展

?

一、大数据相关概念

1.1?研究背景及意义

在这里我还是要推荐下我自己建的大数据学习交流裙:805127855, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。
?

大数据是继云计算、物联网之后信息产业当前科技创新、产业政策及国家安全领域的又次知识新增长点。在大数据的背景下信息安全面临着很多的挑战,特别是现阶段已有的信息安全手段已经不能满足大数据时代的信息安全的实际要求,因此研究大数据时代所面临的信息安全问题具有重要意义大数据的研究与应用也引起了各国政府部门的重视,成为重要的战略布局方向。纵观国际形势,各国陆续出台大数据相关的政策及战略方案。2012年,美国奥巴马政府宣布将投资2亿美元用于启动“大数据研发倡议( Big Data Research and Development Initiative),旨在从海量繁杂的数据中萃取有用的信息。大数据下信息安全的事件所涉及的内容日益增多,受到的危险越来越严重的。信息安全问题需要经过多方面、多部门共同努力进行解决。

?

1.2?大数据概念

所谓大数据,即海量数据,具有信息量大、信息主体多元、更新速度快和价值密度低等特点,通常是指大量非结构化或半结构化的数据集。其实早在几年前,数据的海量增长就引起了人们的关注,海量数据的发生、使用、储存伴随着云计算的发展等都成为了现实,“大数据”已经走入了我们的生活。最早将大数据用于IT环境的是知名咨询公司麦肯锡,麦肯锡在研究报告中指出:如果云计算为数据资产提供了保管、访问的场所和渠道,那么如何盘活数据资产使其为国家治理、企业决策乃至个人生活服务,则是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。

从信息安全角看,大数据是指规模和格式前所未有而又相互关联的大量数据,搜集自企业的各个部分,技术人员可以对它们进行高速分析。

就像电影《***帝国》中的感知机器人或者《终结者》电影中的天网一样,现在的大数据环境由大规模并行处理数据库产品(不过所幸的是,它们没有自我感知能力)组成,这些产品通过处理PB级(1015)到ZB级(1021)看似不同的数据来创建趋势和数据映射。通过建立这种宏观层面的信息,大数据可以让企业了解到他们的产品是如何以前所未有的经济理解水平在运行。也就是说,通过以新方式来结合和分析海量数据,我们可以实现新的业务洞察力.

?

1.3?大数据特征

大数据的4V+1C特征:

1).Volume,数据量大,据国际知名数据公司IDC提供的数据,全球数据量大约每两年翻番,人类近两年产生的数据量相当于之前产生的全部。

2).Variety,数据类型多,数据可分为结构化数据,半结构化数据和非结构化数据,相较便于存储的文本为主的结构化数据,日志,音频,视频,图片等非结构化数据,对数据处理能力提出了更高要求。

3).Value,价值密度低,价值密度的高低与数据数量成反比。例如在连续的一小时监控过程中,可能有用的数据只有一秒。如何通过强大的计算机算法更迅速的完成对有用数据的提取,是大数据背景下亟待解决的问题。

4)Velocuty,处理速度快,这是大数据相较于传统数据挖倔最显著的特征,IDC的“数字宇宙”报告预计到2020年,全球以电子形式存储的数据数量将达到35.2ZB,在如此海量的数处理效率将成为衡量技术水平的关键。

5)Complexity,复杂性加大,更提升了处理分析大数据的难度。

在这里我还是要推荐下我自己建的大数据学习交流裙:805127855, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。

二、大数据安全问题

2.1?大数据时代面临的挑战

当前互联网改变着世界,信息***到社会生活的各个角落,与各个领域密切结合。同时也给国家信息安全和个人信息安全带来了严峻的挑战。随着数据量的增大和数据的集中,对海量数据进行安全防护变得愈加困难,网络空间中大数据大信息的泄露风险来源涵盖范围非常广,数据的大量汇集、数据的集中存储不可避免的增加了用户数据泄露风险。这些数据成为维护公共安全的重要工作。另外,对敏感数据的所有权和使用权没有明确的界定,大数据的分析对涉及的个体隐私问题很多都未考虑。再有,对国外大数据分析技术与平台的过分依赖,使得别国通过获取的情报而摸清国家经济和社会脉搏,威胁到了国家安全,加大了信息泄露的风险。

?

大数据安全面临的种种威胁如下:

(一)从基础技术角度看,大数据依托的基础技术—NoSQL(非关系型数据库)与当前广泛应用的SQL(关系型数据库)技术不同,没有经过长期改进和完善,在维护数据安全方面也未设置严格的访问控制和隐私管理。NoSQL技术还因大数据中数据来源和承载方式的多样性使得企业将很难定位和保护其中的机密信息。这是NoSQL内在安全机制的不完善,即缺乏保密性和完善性特质。另一方面,?NoSQL对来自不同系统,不同应用程序及不同活动的数据进行关联,也加大了隐私泄露的风险。大数据学习交流裙:805127855此外,?NoSQL允许不断对数据记录添加属性,这也对数据库管理员的安全性预见能力提出了更高的要求。数据的大量汇集,无形中增加了***的“收益率”降低了进攻成本,使得一次成功的***能获取更多的有价值的数据。从近年互联网公司发生的某些用户信息泄露案不难发现,被泄露的数据量都非常的庞大。

(二)大数据时代,智能终端的数据安全问题显得越发关键。中国已经成为全球最大智能终端市场。随身携带的终端在占用人们大部分时间的同时,也存储了大量的个人信息。人们对于“大数据并不安全”的担忧也不无道理。因此智能终端数据的安全就提上了议事日程。智能家居的产品化,假如人们所使用的智能终端如手机可以控制家里的所有智能终端,一旦被病毒侵犯,那么全家的智能终端都成为了被***的目标,那后果就不堪设想。

(三)与任何虚拟化技术一样,数据虚拟化是允许用户访问、管理和优化异构基础架构的良方。数据被人们视为财富的同时,大数据就成为了宝藏,数据虚拟化技术就是挖掘数据和利用宝藏的最好武器。最有代表性的应用就是数据的虚拟化存储技术。于用户而言,虚拟化的存储资源就像是一个巨大的磁石,用户不用关心具体的存储设备,也不必考虑数据经过的路径在应用虚拟化存储时,面对异构存储设备的特点,如何统一监管、虚拟化后不同密级信息混合存储的位置,造成的越权访问、数据泄密等成为大的难题

?

三、大数据安全的对策

3.1?大数据信息安全对策

随着在线交易、在线对话、在线互动,在线数据越来越多,***们的犯罪动机也比以往任时候都来得强烈。如今的***们组织性更强,更加专业,作案工具也是更加强大,作案手段更是层出不穷。相比于以往一次性数据泄露或者******事件的小打小闹,现在数据一旦泄露,对整个企业可以说是一着不慎满盘皆输,不仅会导致声誉受损、造成巨大的经济损失,严重的还要承担法律责任,所以在大数据时代,网络的恢复能力以及防范策略可以说是至关重要的。针对不同类型的大数据采取不同的决策,方法如下:

1)结构化数据

大数据时代下数据非常复杂,数据量惊人,对于许多企业而言,保证这些信息数据的安全有效利用是非常严肃的问题。数据结构化对于数据的安全及开发有着及其重要的作用。结构化的数据便于加密管理和处理分类,能高效的分辨非法***的数据,从而保证数据的安全未来社会,数据标准化、结构化是大趋势.

2)安全加固网络层端点的数据

通常分层构建是常规的数据安全模式。端点安全方式对于网络层的安全防护并不完美。数据时代的信息爆炸,非法***服务端的次数急剧增长;云计算的大趋势,导致现在的网络数据威胁方式和方法难以预测辨识,给目前的端点数据安全模式造成了巨大压力。今后网络层安全应当作为重点发展。加强网络层数据辨识结构化、智能化基础上加强与本地系统监控协调,杜绝非常态数据的运行,形成网络层构筑属于大数据时代的全面安全堡垒,避免自身的缺陷。

3)?对本地数据加强安全策略

大数据时代数据的财富化导致大量的信息泄露,泄露事件中内部的威勒更大。在本地策略的构建上需要加入内部管理的监控,用纯数据的模式来避免人为原因造成的数据流失和信息泄露。在今后的数据安全监管手段中,逐渐分化管理者的角色权重,用数据本身的自我监控和智能管理来代替一大部分人为的操作,在本地安全策略的构建过程中还要注重与各个环节的协调,依托于网络这种数据处理方式,在数据的处理过程中往往出现大量的数据调用,调用过程中容易出现大的安全威胁。必须降本地和网络的链接,从根本上做到杜绝数据的安全威胁,就必须完善缓存机制和储存规则,保证数据源的纯洁。

4)建立异构数据中心安全系统

传统数据存储都建立了全面完善的防护措施,但基于云计算架构的大数据,需要进一步完善数据存储隔离与调用间的数据逻辑关系设定,当前,用虚拟化海量存储技术来存储数据资源是大数据的安全存储方式,以服务的形式提供数据的存储和操作。在云共享环境中云计算的大数据存储,可以通过建立一个基于异构数据为中心的安全系统,使大数据的所有者可以对大数据进行控制,从系统管理上保证大数据的安全。

?

当企业转变为数据驱动的机器时,其潜力是巨大的:企业所拥有的数据可能成为获得竞争优势的关键。因此,企业的数据和基础设施的安全也变得比以往任何时候都重要。在许多情况下,企业或组织都可能得到?Forrester所说的“有毒的数据”。

?

四、总结

大数据时代的到来,信息成为了国家和社会发展的重要战略资源,带来了更多的安全风险,直接影响国家安全和社会稳定,同时也带来了新机遇。对于海量数据的分析提供了新的可能性,网络的异常行为有助于信息安全服务提供商更好地找出数据中的风险点。大数据学习交流裙:805127855与此同时,大数据时代也对信息安全行业的发展有着积极的促进作用,大数据分析与安全软件相结合后信息安全问题将变的容易、快捷,大数据给信息安全带来了机遇和挑战,信息安全战略的制定需重视大数据的开发利用,多方位、多层次、多维度地维护国家信息安全。

?

继实验科学、理论科学、计算机科学之后,以大数据为代表的数据密集型科学或将成为新一次技术变革的基石,成为人类科学研究的第四大范式。面对挑战与机遇并存的大数据安全问题,在规划大数据发展的同时,要明确信息安全在大数据发展中的重要地位,加强对大数据安全形势的宣传力度,明确大数据的重点保障对象,加大对敏感,要害数据的监管,加快面向大数据的信息安全技术的研究,培养大数据安全的专业人才,建立并完善大数据信息安全体系。

原文地址:http://blog.51cto.com/14078334/2319796

时间: 2024-10-07 05:44:18

原 大数据方向的安全技术研究的相关文章

第九届CDA考试状元访谈——LEVEL 2 大数据方向

第九届CDA数据分析师认证考试,在刚刚过去的2018年12月底圆满地落下了帷幕. 近日,我们采访了在本届考试中名列前茅的几位优秀学员,在上一篇中我们采访了Level 1 的状元,(点击查看上篇采访),本篇中采访了Level 2 大数据方向的前三甲,那么他们又是如何备考和学习的呢? 下面让我们来一睹他们的风采吧! Level 2 大数据 · 状元  胡仁飞 2009年毕业于浙江大学,之后一直在通信行业从事相关工作,先后担任过工程项目管理 .无线网络优化管理.经营分析师等. 1. 目前从事的工作 目

遇见大数据可视化:基础研究

近日星巴克与微信推出的社交礼品功能"用星说",可以说刷遍了朋友圈.无论你爱不爱喝咖啡,星巴克似乎都成为了一种文化象征.上班族青睐,小清新喜欢,基本上大家看到绿色的人鱼标志就能马上认出它来. 虽然一直也有喝咖啡的习惯,但至今不知道星巴克菜单版上列的[摩卡].[拿铁].[美式].[卡布奇诺]等等有什么区别.直到看到下列图,才很直观的了解到每个咖啡类别的区别是什么. 类似上图示,针对内容复制,难以形象表达的信息,通过图形简单清晰地向受众呈现出来,这种图称之为信息图. 信息图 信息图本身是一个

原 大数据入门学习,你要掌握这些技能

小编将此文献给对数据有热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速调整思路和方向,让自己的职业生涯有更好的发展. 根据数据应用的不同阶段,本文将从底层到最终应用讨论这些数据人员的必要技能. 1.大数据平台 目前,它非常流行,数据源,各种酷的新技术,构建Hadoop,蜂巢,星火,Kylin,德鲁伊,Copy~,如果你想了解Java,很多平台都是用Java开发的. 目前,许多企业已经收集数据.对于传统的业务数据,传统的数据是完全足够的.但是对于用户行为和点击行为或者许多非结构化数据,如

剑谱总纲 | 大数据方向学习面试知识图谱

关注我的公众号,后台回复[JAVAPDF]获取200页面试题! 5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注<大数据成神之路> 愿读到这篇文章的技术人早日明白并且脱离技术本身,早登彼岸. 一切技术最终只是雕虫小技. 大纲 本系列主题是大数据开发面试指南,旨在为大家提供一个大数据学习的基本路线,完善数据开发的技术栈,以及我们面试一个大数据开发岗位的时候,哪些东西是重点考察的,这些公

大数据技术之Flume研究摘要(一)

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力. Flume有两个版本,Flume 0.9X或CDH3及更早版本的统称Flume-og,Flume-og由agent.collection.master等组件组成:Flume1.X或CDH4及以后的版本统称Flume-ng,Flume-ng由agent.clien

0基础学习大数据你需要了解的学习路线和方向

现在大数据这么火,各行各业想转行大数据,那么问题来了,该往哪方面发展,哪方面最适合自己? 首先从字面来了解一下大数据 大数据 (巨量数据集合(IT行业术语)) 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据的5V特点(IBM提出):Volume(大量).Velocity(高速).Variety(多样).Value(低价值密度).Veracit

大数据学习方向,从入门到精通

推荐一个大数据学习群 119599574晚上20:10都有一节[免费的]大数据直播课程,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享,你愿意来学习吗 很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?应该学习哪些技术?学习路线又是什么? 所有萌生入行的想法与想要学习Java的同学的初衷是一样的.岗位非常火,就业薪资比较高,,前景非常可观.基本都是这个原因而向往大数据,但是对大数据却不甚了解. 如果你想学习,那么首先你需要学会编

大数据的五大核心技术,给大数据同行入门研究参考的小知识

21世纪,世界已经进入数据大爆炸的时代,大数据时代已经来临.从商业公司内部的各种管理和运营数据,到个人移动终端与消费电子产品的社会化数据,再到互联网产生的海量信息数据等,每天世界上产生的信息量正在飞速增长.2009年数据信息量达到8 000亿GB,而到2011年达到1.8 ZB.图灵奖获得者Jim Gray提出的“新摩尔定律”:“每18个月全球新增信息量是计算机有史以来全部信息量的总和”,已经得到验证. 大数据的“大”不仅仅体现在数据的海量性,还在于其数据类型的复杂性.随着报表.账单.影像.办公

大数据为医疗研究注入新动力

在6月20日,FCW的大数据会议上,两家顶尖的联邦机构所提出的医疗保健和医学研究问题成为了本次会议的主要议题,他们解释了政府应该如何利用大数据来改善医疗研究人员间的协作并促进医疗发展趋势的早期预测. 美国国家癌症研究所高级生物医学计算中心的主管杰克?柯林斯说,实现大数据在医学研究领域的共享可以使专家们看到实验在他们的专业领域内进行分析. "我如何看待大数据--这真的是我想要回答的问题."柯林斯说."在过去没有大数据的时候,我们既不可能拥有数据,更不可能收集并且运用各种方法来分