解读|机器数据来了 ,你准备好了没?

当你早晨发现上班快要迟到,这时你迅速打开手机,用打车软件叫上一单,你的地理位置信息将会被自动获取,专车几分钟就会来到你的身边。

当你来到公司,掏出员工卡,通过门禁刷卡的方式,十分方便地完成了你的上班考勤。

当你在异地见一个很重要的客户,你发现客户跟你约定的会面场所,你并不清楚它的具体位置,这时你只需借助手机中的导航软件,几秒便可轻松、准确的在地图中找到会面的具体位置。

科技的飞速发展,为人们带来了无法想象的便利,互联网将万物巧妙的联系起来,现在更是衍生出了“物联网”的概念。

那么问题来了,在如此神奇的互联网中,各种终端产品是怎么巧妙的建立联系的呢,是在什么基础上进行通信的呢,这就引出了这次要讲的重点——机器数据。

我们大家都知道,当今现代化科技的高速发展,都是依赖于计算机编程,如果追溯到最根本的源头,都是可以抽象成二进制数据,那么也就是说,互联网万物互联的本质就是数据的交互,当今的世界,可以毫不犹豫的说:

我们将从以下三个方面为大家介绍机器数据

机器数据是什么?

机器数据应用有哪些?

机器数据的未来在哪儿?

机器数据是什么?

大数据中90%的数据都是机器数据。机器数据是由服务器、存储、互联网及物联网中的设备或程序生成的大量结构化、非结构化的数据。相比传统数据库数据,机器数据具有数据量大、增长速度快、复杂性高、种类多样化等特点,其中最重要的一点就是机器数据的价值密度非常低,想要在海量机器数据中挖掘有价值的数据,难度无异于沙中掘金。

据权威IT信息咨询分析公司IDC研究报告预测:全世界数据总量未来几年将从2010年的1.2ZB增长到2020年的40ZB(1ZB=1000EB=1000000PB),10年将增长34倍,年均增长44%。

下面是几类关键的机器数据来源:

1、应用日志应用日志是应用系统产生的各类日志数据,主要包括操作日志、系统日志、安全审计日志及各类企业中间件产生的日志。

2、SCADASCADA(Supervisory Control And Data Acquisition)系统,即数据采集与监视控制系统。它应用领域很广,可以应用于电力、冶金、石油、化工、燃气、铁路等领域的数据采集与监视控制以及过程控制等诸多领域。SCADA系统会实时产生大量的观察信息、状态信息和故障报警等机器数据。

3、点击流点击流(click stream)是用户访问某一网站时的点击次序或请求页面。用户访问网站的点击会产生大量的日志记录数据,这也是一种非常重要的机器数据,对其分析和挖掘有利于分析用户的网站访问行为,一般用于用户画像和精准营销等场景。

4、GPSGPS是全球卫星定位系统,GPS的数据可以记录设备的精确位置,然后通过连续对全球定位系统事件的分析可以很容易地转换成位置和运动信息,例如在道路上的车辆,通过手机跟踪用户的位置。电信、交通、物流、通讯都在依靠GPS信息的准确性和精密性实现特殊价值

5、物联网物联网就是物物相连的互联网。这有两层意思:其一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;其二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信,也就是物物相息。

物联网的最主要特征之一是节点的海量性,除了人和服务器之外,物品、设备、传感网等都是物联网的组成节点,其数量规模远大于互联网;同时,物联网节点的数据生成频率远高于互联网,如传感节点多数处于全时工作状态,数据流源源不断,这些自动生成的数据几乎全部都属于机器数据。

机器数据应用有哪些?

可以说在当今世界,机器数据无处不在,它就真实的在我们身边。下表是在不同行业使用机器数据的应用场景。

1、金融行业:交易欺诈交易欺诈一般是指第三方欺诈,即所发生的交易非持卡人本人意愿的交易。通常是不法分子利用各种渠道窃取信用卡信息,进行伪造卡作案。

交易反欺诈的一种通用做法是采集所有的交易数据,这些数据包括消费金额、消费时间、商户号(可计算地理位置),并结合一些其他来源的信息:已知的欺诈模式、已知的客户旅行计划等等,然后进行综合评分,根据分值判断一笔交易是欺诈交易的可能性。

从2011年8月起,Visa开始将各种大数据分析手段整合到公司的反欺诈检测流程中。截至2013年3月,Visa的反欺诈系统已经识别出价值20亿美元的欺诈交易。

2、电信行业:网络管理与优化在网络营层面,运营商可以通过机器数据分析网络的流量、流向变化趋势,及时调整资源配置,同时还可以分析网络日志,进行全网络优化,不断提升网络质量和网络利用率。

德国电信通过分析无线网络的流量、日志及速率等机器数据,能够做到动态优化无线网络资源的配置。如在白天给CBD地区多分配无线资源,在晚上,则给酒吧地区多分配无线资源,使得无线网络的运行效率和利用率更高。

法国电信通过分析发现某段网络上的掉线率过高,借助对网络日志、网络流量等机器数据的分析,诊断出通话中断的原因是网络负荷过重,并根据分析结果优化网络布局,为客户创造了优质的网络通话环境。

3、能源行业:智能电表北美公用事业公司的区域性智能电表项目,利用传感器可以轻松地采集和共享能耗数据,供用户进行分析。这些电表每隔10~60分钟就会采集一次住宅用户和商业客户的能耗数据,并在当天将这些信息传递给公用事业公司进行计费和分析。相比之下,传统电表和煤气表则迥然不同,它们每月甚至每季度才读取一次能耗数据,并且只根据消费总量进行评估,并不提供关于能源实际消耗时间的洞察分析。

有了智能电表,公用事业公司现在可以向用户提供差异化的计费方式,例如在低谷时段实行低电价,高峰时段实行高电价。针对这一计费方式,公共事业公司非常有效地降低了高峰时段的能耗。

机器数据的未来在哪儿?

据国外专家预测,机器数据分析市场将呈现五大趋势

(注:以下五大趋势预测来源于36大数据):

1、DevOps工具将日趋成熟没有人再怀疑云计算在企业市场将风卷残云般成为主流平台,大幅提高企业业务灵活性和竞争力。云计算的普及意味着越来越多的企业需要新的工具来打破开发团队和运维团队之间隔膜,让企业技术部门持续规模创新的速度能够跟上企业业务发展速度。越来越多的企业需要借助DevOps完成应用开发工作,而传统的监控工具显然无法胜任。

2016年,DevOps领域将出现新一代基于云计算的日志和机器数据分析服务,并进一步整合预测算法。DevOps工具(例如服务器容器和基础设施数据)之间也将能无缝集成,大幅改进持续集成和持续部署流程。

2、CISO首席信息安全官和安全运营团队将在系统智能上投入更多预算过去几年,企业已经认识到大数据在业务决策上的商业价值,如今随着机器学习等技术的成熟,在系统基础设施层面部署大数据分析对企业来说同样意义重大。

对于安全团队来说,机器数据分析将大大提高对系统和用户异常行为、威胁侦测的响应速度,不仅仅能大大缩短MTTI(平均介入时间)和MTTR(平均恢复时间),而且将促使信息安全主管们重新思考企业的信息安全架构。

企业的信息安全主管们将加强与DevOps团队的协作,通过整合机器分析,在新的企业应用基础架构中嵌入安全功能。

3、日志管理将是IT运维和客户支持团队的重大机遇通过日志分析来监测、管理采集用户和应用信息以及基础架构日志将是应对云计算基础架构复杂性的完美方案。这个领域的供应商已经开始整合,新的厂商也不断涌入日志分析市场。越来越多的企业将重视日志分析在应用开发、信息安全和IT运维方面的重要价值,而日志分析也将成为“分析民主化”的排头兵。

4、“超级架构”的崛起今天的云计算架构可以通过虚拟服务器软件编织起数以千计的微处理器,这让摩尔定律失去了意义。因此,今天的创新型CTO们已经开始拜托传统数据中心的局限,大胆推动新的基于软件的“超级架构”,驾驭私有云和公有云中的庞大计算资源。

5、商业智能的价值从后知后觉转向实时分析从慢数据向实时的快数据的转型是机器分析引发的商业智能变革。通过实施日志数据分析,企业能更快地了解运营和顾客数据,从而实现24/7的持续创新和竞争力提升。

原文地址:https://blog.51cto.com/14179302/2353086

时间: 2024-11-13 10:34:28

解读|机器数据来了 ,你准备好了没?的相关文章

深刻解读大数据技术在工业界的应用

大数据及其价值 大数据是近几年非常热门的一个概念.到底什么叫做大数据呢?简单而言,就是具备4V属性的数据: Volume:量非常大,大到一台计算机所无法处理的数据: Variety:来源广泛,包括文本.图像.语音.机器传感器信号.日算计程序日志等: Velocity:产生速度非常快: Veracity:准确性要求高. 关于大数据,有许多大家耳熟能详的经典案例,比如沃尔玛的"啤酒和尿布"案例:Target商场预测17岁女孩怀孕的等. *对大数据的概念都是模糊不清的,大数据是什么,能做什么

企业大数据-之机器数据

机器数据的来源 何为机器数据,就对其字面意思理解,机器产生的数据.那机器数据具体都是怎样的?比如:日志数据.监控摄像图传过来的数据.手机传过来的数据.传感器传过来的.扫码.....几乎遍布生活的点点滴滴. 机器数据的传统解决方案 对于这样的数据,以前的IT运维监控.视频监控软件.动力环境系统都有实现过,主要对设备的健康度阈值做临界告警,而视频中就是对摄像图的传过来的影像分 屏展示,独立环境对机房的温湿度监测,临界告警.以前对于机器数据分析在很大意义上是没有进展的,而分析就是用数据说话,随着大数据

(版本定制)第16课:Spark Streaming源码解读之数据清理内幕彻底解密

本期内容: 1.Spark Streaming元数据清理详解 2.Spark Streaming元数据清理源码解析 一.如何研究Spark Streaming元数据清理 操作DStream的时候会产生元数据,所以要解决RDD的数据清理工作就一定要从DStream入手.因为DStream是RDD的模板,DStream之间有依赖关系. DStream的操作产生了RDD,接收数据也靠DStream,数据的输入,数据的计算,输出整个生命周期都是由DStream构建的.由此,DStream负责RDD的整个

Spark Streaming源码解读之数据清理内幕彻底解密

本期内容 : Spark Streaming数据清理原理和现象 Spark Streaming数据清理代码解析 Spark Streaming一直在运行的,在计算的过程中会不断的产生RDD ,如每秒钟产生一个BachDuration同时也会产生RDD, 在这个过程中除了基本的RDD外还有累加器.广播变量等,对应Spark Streaming也有自己的对象.源数据及数据清理机制, 在运行中每个BachDuration会触发了Job ,由于会自动产生对象.数据及源数据等运行完成后肯定要自动进行回收 

第16课:Spark Streaming源码解读之数据清理内幕彻底解密

本期内容: Spark Streaming数据清理原因和现象 Spark Streaming数据清理代码解析 对Spark Streaming解析了这么多课之后,我们越来越能感知,Spark Streaming只是基于Spark Core的一个应用程序,因此掌握Spark Streaming对于我们怎么编写Spark应用是绝对有好处的. Spark Streaming 不像Spark Core的应用程序,Spark Core的应用的数据是存储在底层文件系统,如HDFS等别的存储系统中,而Spar

一篇文章为你解读大数据的现在和未来

大数据的发展前提 关于大数据的概念其实在1998年已经就有人提出了,但是到了现在才开始有所发展,这些其实都是和当下移动互联网的快速发展分不开的,移动互联网的高速发展,为大数据的产生提供了更多的产生大数据的硬件前提,比如说智能手机,智能硬件,车联网,pda等数据的产生终端.这些智能通过移动通信技术和人们的生活紧密的结合在一起,在人流.车流的背后产生了信息流,也就产生了大量的数据. 其次就是移动通信技术的快速发展,在2G时代,无线网速慢,数据产生也非常慢,数据体量也不够,所以还是无法形成大数据,而到

一篇文章为你解读大数据的如今和未来

大数据的发展前提 关于大数据的概念事实上在1998年已经就有人提出了,可是到了如今才開始有所发展,这些事实上都是和当下移动互联网的快速发展分不开的,移动互联网的快速发展,为大数据的产生提供了很多其它的产生大数据的硬件前提,比方说智能手机.智能硬件.车联网,pda等数据的产生终端.这些智能通过移动通信技术和人们的生活紧密的结合在一起.在人流.车流的背后产生了信息流,也就产生了大量的数据. 其次就是移动通信技术的高速发展,在2G时代,无线网速慢.数据产生也很慢.数据体量也不够.所以还是无法形成大数据

Spark 定制版:016~Spark Streaming源码解读之数据清理内幕彻底解密

本讲内容: a. Spark Streaming数据清理原因和现象 b. Spark Streaming数据清理代码解析 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解. 上节回顾 上一讲中,我们之所以用一节课来讲No Receivers,是因为企业级Spark Streaming应用程序开发中在越来越多的采用No Receivers的方式.No Receiver方式有自己的优势,比如更大的控制的自由度.语义一致性等等.所以对No Receivers方

马哥教育大数据专家:深入解读大数据的就业前景

现在大数据越来越火热,很多人早早听说了大数据的名声,但对于大数据工程师这个职业的具体内容了解的还是不够.今天马哥教育(magedu.com)大数据专家为大家带来一份关于大数据工程师的详细分析,值得收藏~ 大数据工程师需要做什么呢? 大数据工程师就是一群"玩数据"的人,玩出数据的商业价值,让数据变成生产力.大数据和传统数据的最大区别在于,它是在线的.实时的,规模海量且形式不规整,无章法可循,因此"会玩"这些数据的人就很重要. 如果把大数据想象成一座不停累积的矿山,那么