大数据为开源情报注入新力量

2013年11月,《纽约客》发表了介绍艾略特?希金斯的文章,他的另一个被大众所熟知的名字叫布朗?摩西,在微博上有一万七千个粉丝,是一位肄业的金融管理工作者。艾略特?希金斯的例子证明了,在一个人们每天依赖于来自网络传播而来的海量信息的时代,一切皆可发生。

《纽约客》利用八页来描述希金斯为“也许是(叙利亚)战争中最重要的弹药专家,” 对于一个在弹药和情报学没有接受过任何专业训练的人来说,这是一个相当高的评价。

希金斯不会说阿拉伯语,从未去过中东地区。他在莱斯特的家里上网,直到最近,才开始做在线调查,仅仅作为一种无偿的爱好。

然而,描述也是有依据的。自从2012年他开设博客,希金斯发现了叙利亚军队使用集束炸弹的证据并且揭发了武器被从伊朗转移到叙利亚。他所作的这一切仅仅是用了一台笔记本电脑和一双善于洞察真相的眼睛。

这种类型的工作被称为开源情报。希金斯利用公开的、可获取的材料,如网络上的照片、视频、媒体的更新,来拼凑出叙利亚冲突的信息。他的分析基础建立在《卫报》和《纽约时报》的博客内容上,同时他的研究也被《人权观察》所引用。

他对于博客的浓厚兴趣和在叙利亚战争中获取事实真相的强烈渴望,驱使他凭借一个人的智慧从博客上的默默无闻,一跃成为了被国际认可的冲突分析专家。

希金斯树立了独树一帜的社交媒体品牌,一种质询的胜利。他成功地粉碎了谣言和错误的信息,揭开了叙利亚战争冲突的本质。

在更大的范围内,布朗?摩西的故事显示了开源情报的巨大潜力。布朗的故事说明了,信息可以以任何理由发布到网络,并成为运筹于正确的人手中的强大工具。

大数据时代的突破

两大交叠领域的发展,极大地促进了开源情报量的增长。

首先,社会媒体的新闻大爆炸已经可以让我们访问大量来源于用户的即时性新闻。从Facebook、Twitter到Google, 我们与潜在的全球观众之隔,只在轻敲几个按键之下。由于这些工具增加了全球的连通性,人们越来越愿意在网络空间中表达自己的思想、观点、以及观察结果。这种信息生成的过程最终产生了“新数字共享下所蕴含的巨大规模的财富”。

其次,在更深地层面上,大数据的崛起完全地改变了开源情报的传播范围。“大数据”的含义曾饱受争议,但它通常被理解为“数据超过了传统数据库系统的处理能力”。据估计,约有1200艾字节的数据存在于世界上,其中90%是在过去的两年内被创建出来的。

社交媒体是大数据在实际中的一个很好的例证。用户们每天产生500米的微博,90米博客。每一分钟就会有100小时的视频被传到YouTube上。社交媒体正在以天文级数字的扩张速度发展着。

令人为之惊喜的是,这种网络社会催生了新的分析方法和机会。从日常治安、反恐到内战,由公开渠道收集到的信息提供了洞察世界前所未有的视角。在这里,你需要的信息可能宛如海底捞针,但这却是可以办到的。

艾略特?希金斯通过对上传于YouTube上的数小时的视频详细研究,提炼,并且参照引用了来源于其他网站和平台的信息,最终将这些信息拼凑起来,形成了关于叙利亚武器使用的分析。

但是布朗?摩西采用的方式只是一方面。随着前沿信息和计算技术的发展,研究人员正在研发更复杂的算法,这种分析工具的发展也将可以获取信息。把人工手动搜素信息与分析工具相结合是利用大数据获取情报资源的新趋势。

最近德莫斯的一份报告暗示,社交媒体也可以帮助警方调查案件。例如,微博和状态更新可以提供证人的证词和图片证据,或者被警方用作“测量海底涌浪【1】般得情绪”。那些压抑的,时而涌出的情绪最终会汇成连续的暴力行为。对这些情绪的在线监测能够做出更快地反应,提前做出预防措施。

这不是传统意识上理解的开源情报,而是更倾向于信号情报。也许正因为这个原因,活跃于这个领域的研究人员创造了他们自己的术语:社交媒体情报或者被称为SOCMINT。然而,从根本上来讲,开源情报是通过对公开的信息或其它资源进行分析后所得到的情报。

技术的革新为开源情报注入了新的活力。无论是来自于布朗?摩西这样的网络调查员,亦或是利用分析工具,它比以往任何时候都更有价值。

【1】《Groundswell》 :《涌浪》,本书是Forrester咨询公司的两位资深分析师共同撰写完成,今年亚马逊畅销书之一: 这本书讨论的是在社会化网络的背景下,博客、社区、维基等科技给社会和公司带来的影响,聚焦于公司对这些技术手段的应用。消费者和消费者互相之间的联系如今愈来愈紧密,这种消费者之间的联系力量将改变现有商业的游戏格局,因此,商业公司要去理解这种改变,与时俱进,善用网络,迎合和适应这种力量,而不是触怒和抵触这种力量。书名的意思为涌浪,即海底地震产生的洋流,副标题意为在科技改变的社会中公司如何赢得竞争。

(注:本文由OCCS软件云工厂编译,转载请注明出处。)

大数据为开源情报注入新力量

时间: 2024-10-25 17:29:56

大数据为开源情报注入新力量的相关文章

大数据为医疗研究注入新动力

在6月20日,FCW的大数据会议上,两家顶尖的联邦机构所提出的医疗保健和医学研究问题成为了本次会议的主要议题,他们解释了政府应该如何利用大数据来改善医疗研究人员间的协作并促进医疗发展趋势的早期预测. 美国国家癌症研究所高级生物医学计算中心的主管杰克?柯林斯说,实现大数据在医学研究领域的共享可以使专家们看到实验在他们的专业领域内进行分析. "我如何看待大数据--这真的是我想要回答的问题."柯林斯说."在过去没有大数据的时候,我们既不可能拥有数据,更不可能收集并且运用各种方法来分

IBM的大数据云江湖,谁是新盟主?

大家都知道,在传统IT时代,数据库三巨头有IBM.Oracle和微软.在三巨头中,IBM可以说是绝对的数据库巨头,1968年就研发出了世界上第一个层次型数据库管理系统IMS,1970年IBM专家首次提出了数据关系模型的概念,1974年又提出了一种新型的数据查询语言也就是后来SQL的前身,1983年IBM发布了著名的DB2数据库,2001年以10亿美金收购了Informix. 然而到了云计算和大数据时代,一时风云变化.Hadoop和Spark等开源大数据存储与处理技术的崛起,导致了全球数据库市场格

大数据时代下电子商务发展新契机

大数据时代,电子商务面临新的挑战.电商想要得到更好的发展肯定离不开数据的支持,需从电商站点设计.移动搜索.社交媒体.转化率.停留率等方面来解读大数据时代电商的关键数据. 同时,电商企业需要针对大数据进行深度的分析和挖掘,从而为自身创造巨大的商机.随着大数据所爆发出的巨大潜力,在如今的互联网经济时代,电商企业正在用大数据思维与技术影响着企业业务决策和商业推广思路.可以预测的是,互联网平台大数据分析,必将在未来为电商企业精准营销带来融合性影响. 电商企业在后台如果能对海量的用户行为数据进行快速分析,

大数据助力智慧医疗健康新启程

免费开通大数据服务:https://www.aliyun.com/product/odps 摘要:本文整理自云栖TechDay 23期活动中阿里云大数据高级专家张鸿飞(彧然)的分享.医学是一个实践科学,很多知识都是通过实践经验积累的,而经验最根本就是数据,所以,数据对整个医疗的发展有非常好的促进作用,在本文中彧然分享了医疗大数据如何借助云计算能力实现人工智能的落地,产生数据的智能,以及针对互联网医疗面对的挑战该如何应对. 以下内容整理自现场速记以及演讲PPT 今天,阿里云的思路就是打造这样的一个

大数据运营-服务型企业架构新思维

目前市面上关于大数据的图书主要分为两类:一类主要讲大数据对社会生活的影响,属于大数据科普书,读一读可以增强对大数据的感性认识:另一类则属于大数据专业技术书,主要讲大数据相关技术,可以帮助开发出大数据应用. 本书既不是泛泛的谈大数据的重要性,也不深入专业技术细节,而是从业务和企业发展战略出发,运用系统化和全生命周期管理思维,给出大数据从需求到落地的整体解决方案.犹如个人的修齐治平,在大数据时代,企业要想得以生存和发展,同样需要经历筑巢.联姻.孕育.分娩.培育以及腾飞的6个发展阶段. 在筑巢阶段,企

人工智能+大数据,实现智慧出行新服务

人工智能概念和技术席卷了全球各个地区,出行者的需求也日益增多,大量的客户群体涌入,客户沟通的及时性和区域客服的灵活调度性都受到了局限.而客服接待量也逐年上涨,工作任务繁重,客服系统的完整性和包容性都受到了考验. 利用人工智能+大数据,欧能将在智慧出行以为战略规划中,以电话机器人为推广中心,将电话机器人运用到智能客服中.关于电电话机器人好不好用?语音机器人价格能否支撑企业推广,以下为大家做出解答: 提高办公效率,丰富营销渠道 l 企业通讯录:能够灵活检索通讯录信息,快速找到工作组联系方式,问题及时

大数据生态开源工具

1. Flume:日志收集软件,里面的重要概念是agent,包括 source -> channel -> slink,sourc,slink 可以为hdfs,jdbc ... 一个简单的场景是用Flume监测一个文件夹fdir的数据变化,这时fdir就是source,并将变化传送到hdfs_path上,hdfs_path就是slink. 2. Sqoop:主要用于hadoop data(hdfs/hive/hbase)和 structured database(relational data

[大数据搜索数据库YDB]YDB新功能介绍-视图表

YDB视图表 全库资源汇聚搜索高效解决方案 业务有成百上千张表,每张表有上百个列.想要根据关键字搜索含有该关键字的记录怎么办? 每张表都写一个sql么?每个列都要拼到where条件里去搜索么?no 其实对于资源汇聚类型的搜索可以一条sql就搞定,又兼容原先的表结构,业务其他部分依然可以单表查询.是不是有这样一种场景,每张表的数据量都不多 ,但是你的表特别多,几十张甚至几百张表. 如果每个表都创建一个物理表,那么是比较浪费资源的 每张表都要维护自己的BUFFER,弄不好就OOM,导入性能实在太差.

中科院 | 大数据的力量来自“大成智慧”信息时代大数据的再认识

文章出处:http://www.thebigdata.cn/YeJieDongTai/29119.html 大数据已成为媒体与大众关注的新技术,大数据的应用也预示着信息时代将进入一个新阶段,但人们对大数据的认识有一个不断加深的过程.首先从"信息时代新阶段".数据文化和认识论的高度阐述了对大数据的理解;接着通过对驱动效益和大成智慧的解释,探讨了如何正确认识大数据的价值和效益,并从复杂性的角度分析了大数据研究和应用面临的挑战;最后对发展大数据应避免的误区提出几点看法. 1 大数据兴起预示&