企业大数据-之机器数据

机器数据的来源

何为机器数据,就对其字面意思理解,机器产生的数据。那机器数据具体都是怎样的?比如:日志数据、监控摄像图传过来的数据、手机传过来的数据、传感器传过来的、扫码.....几乎遍布生活的点点滴滴。

机器数据的传统解决方案

对于这样的数据,以前的IT运维监控、视频监控软件、动力环境系统都有实现过,主要对设备的健康度阈值做临界告警,而视频中就是对摄像图的传过来的影像分 屏展示,独立环境对机房的温湿度监测,临界告警。以前对于机器数据分析在很大意义上是没有进展的,而分析就是用数据说话,随着大数据产生新的生产形态已经 产生。

现在的解决方法

现在机器数据解决方案就是依靠大数据的技术,将数据整合建立索引,提供便利的搜索和查询服务,在此基础上分析整合数据,为客户提供数据的分析展示。

架构

对于大数据机器数据处理应当是这样一种逻辑,数据获取过来,我们根据数据来源对数据做分组管理、应用模型构建,构建好之后根据需要抽取数据重要字段,抽取字段时我们可根据现有的经验对数据一种预警处理,字段抽取之后对数据进行索引,构建查询服务。构建定时任务之后去分析这些数据的规律性,总结一些事件发生的规律为生产和维护提供一些建设性的意见,我强烈建议这些事件数据存储习而来,作为一个机器的病例,十年的这份数据是一个什么样概念的含金量,对使用者和生产者来说是有什么样的价值。对待这样一个处理逻辑的应该采取什么样的技术架构呢?如下图:

         在这个架构中,虚线框中的Spark、Hadoop、Zookeeper、Hive、ES这些构建是一个运算和存储的平台,在这块ES和SOLRcloud 都是一样的,两者都是分布式的,至于运算以流式计算为主,Strom和Streaming各有优势,任意取舍,ES和Solr都能自己存储亦可以放到HDFS中,两种方法也各有优势。

es节点加多时,自动迁移数据分片,倘若数据存到HDFS中,存储是一整块,没有迁移这样一说,当查询的服务量大时我们只需要建立查询节点做负载均衡即可,不用考虑数据的迁移等等不变,而且数据存在分布式文件系统中不管是存储量和安全性的要求上来说,都是不错的选择。

未来是怎样

随着大数据技术的兴起,这些传统的东西正在演变,正在演变为一种新的模式,而且借助于大数据分析的可视化和存储,让这些沉默了许久的语言发出它应有的声 音,让人们知道他们虽然是机器,但是也有生老病死的、也有喜怒哀乐,它们也在用用自己的方式发声。我们都知道“啤酒与尿布”的故事,这两个看似毫无关系的 两件事物,硬是被人给发现了规律并广泛的应用在推荐系统中,这就说明一种莫名联系的重要性。而对于机器数据来说,那就更重要了,数据本身并没有特征,但是 在发生其他事物对自己的影响这种关系,是最不容易被注意的。其实万事万物都有关系,没水人活不了,没电机器跑不起来,机器CPU长时间峰值对应用肯定是有 影响的,CPU大了是谁在消耗,对其他有没有影响,生产线上的生产流程,中间的这一环节断了,是什么原因产生,再发生这件事时,伴生是什么事情,他们之间 都有什么样的联系呢?工业的4.0是一场革命,可这一场革命到底会给生产一个什么样的颠覆呢?

我的答案是没人说得清,倘若有生产厂家愿意花钱去搞一个大数据研发团队做自己的一套定制售后服务的大数据平台,或者是请软件公司做一个大数据这样的平台, 完成都是可以的,生产消费的数据共享,连锁推荐,一系列的一站式选择购买服务,将会成为很有竞争力的,那每个厂家将不再是生产商,它是一个体系,他有自己 的采购、自己的生产、自己的人事调度,自己的销售平台。厂家的角色正在演变,所有的资源被整合起来,它有自己的固定的客户群,自己的客户不光需要的自己生 产的物品,还有其他的厂家的产品,这样就演变为了广告商,强强联合的最佳组合。假若事务发展的极端化,我想应该是这些大的网购平台的小型化,工厂要发展就 必须拿回自己生态体系缺失的那一块。

工业4.0说,数据将会是第一生产力,工厂能将这生产力拱手交给其他人吗?以前听说,互联网到后来的互联网+,而后面的我想应该是大数据时代和大数据+的这样一种生产模式。

时间: 2024-10-12 15:48:55

企业大数据-之机器数据的相关文章

解读|机器数据来了 ,你准备好了没?

当你早晨发现上班快要迟到,这时你迅速打开手机,用打车软件叫上一单,你的地理位置信息将会被自动获取,专车几分钟就会来到你的身边. 当你来到公司,掏出员工卡,通过门禁刷卡的方式,十分方便地完成了你的上班考勤.当你在异地见一个很重要的客户,你发现客户跟你约定的会面场所,你并不清楚它的具体位置,这时你只需借助手机中的导航软件,几秒便可轻松.准确的在地图中找到会面的具体位置.科技的飞速发展,为人们带来了无法想象的便利,互联网将万物巧妙的联系起来,现在更是衍生出了"物联网"的概念.那么问题来了,在

企业大数据到人工智能演化

企业大数据到人工智能演化 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人.语言识别.图像识别.自然语言处理和专家系统等.人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的"容器".人工智能可以对人的意识.思维的信息过程的模拟.人工智能不是人的智能,但能像人那样思考.也可能超过人的智能. 人工智能是一场从终极概念到分级落地的技术演变 当前

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

摘要: 在阿里巴巴在线在线技术峰会上的第三天,来自阿里云高级技术专家李金波为大家题为<企业大数据平台仓库架构建设思路>.本次分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进

消费大数据公司“重分析-强应用”引领企业大数据营销

近日,消费大数据公司信柏科技树立"大数据-重分析-强应用"理念发布新一代大数据业务平台,以大数据为基础.软硬件结合的方案来辅助企业进行经营决策与精准营销.该大数据业务平台定位于"人群 ."内容"."行业 "与"地域"精准分析与挖掘,覆盖到企业营销中较为关注的用户特征画像.精准人群标定.定向数据采集内容监听 .采集内容的关联分析.行业报告与市场动态.竞品分析.新店开张选址报告.指定地区常驻人群特征分析等业务,致力于成为

关于企业大数据,你不得不晓得的几件事

两年的时间,大数据像雨后的野草一样,顽强的长满了草原.不管是互联网的.金融的.医疗的.汽车的,好像不提大数据,就像是落伍了一样的. 近期笔者所在团队给某部位的研究院做了大数据的一个可行***规划,有些事,正好与各位做一个分享. 大数据,顾名思义,数据量特别大,按照定义来说,就是数据量特别大,无法用传统的手段解决.所谓传统的手段,也就是业界内注明的IOE,即,高性能服务器+专用存储设备+数据库设备.其实,大数据这个词虽然是近些年才火起来,但是大数据一直存在,不过是由于互联网.移动互联网的飞速发展,

企业大数据平台下数仓建设思路

免费开通大数据服务:https://www.aliyun.com/product/odps 介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师.8年以上互联网数据仓库经历,对系统架构.数据架构拥有丰富的实战经验,曾经数据魔方.淘宝指数的数据架构设计专家. 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的基础架构.2008年加入阿里进入淘宝数据平台部后,他开始接触分布式计算平台Hadoop. 初始时在Hadoop平

7月21日 企业大数据平台仓库架构建设思路直播视频

7月21日 企业大数据平台仓库架构建设思路--李金波(阿里云高级技术专家) 采访:我们该如何做好一个数据仓库? 演讲视频:https://yq.aliyun.com/edu/lesson/119 演讲整理文章:https://yq.aliyun.com/articles/57901 PDF下载:点此进入 现场问答整理:https://yq.aliyun.com/ask/36706/ 更多技术峰会视频资料详见:https://yq.aliyun.com/articles/57826 阅读原文请点击

企业大数据应用只有做到数据与业务深度融合才能体现其巨大价值

这是一个商业对话中言必称大数据和AI的时代,用数据爆炸来形容这个时代毫不过分.但面对这么多和杂的数据很多传统品牌企业失去了方向,束手无策,传统品牌时代那种高举高打,有钱就可以任性的时代已经结束,取代的是精准营销,商业智能等多种形式. 现实很美好也非常骨感,数据量太大必然带来一些新的困扰.互联网上的数据量太大,怎么抓得过来?是不是需要投资很多服务器,我的系统能支持吗?数据可信度高吗?这么大的数据量怎么解读? 当下企业ERP中的小数据和互联网的全量数据可以实现完美结合,二者互相融合辅助企业的各种商业

云计算,企业大数据的守护神

云计算是顺应时代发展的产物,通过因特网的超级计算能力成为可能,企业和个人用户不用再费时费财地去置备昂贵的硬件设施,只需购买或通过互联网租用计算能力即可.可以说,"云计算"给了我们一个伟大的机会,它降低计算成本,让享受信息革命的成果尽可能覆盖到每一个人,使得信息和知识得以有效分享. 云计算已成为IT行业的重点发展领域.无论是国外巨头亚马逊.谷歌.微软,还是国内领跑者百度.阿里.腾讯,都将"云"当做未来发张的重点.美国作为云计算的引领者,整体增速保持在20%以上:而对于