Splunk 会议回想: 大数据的关键是机器学习

作者 Jonathan
Allen
 ,译者 张晓鹏

Splunk的用户大会已经接近尾声。三天时间的会议里,共进行了160多个主题研讨,涵盖了从安全、运营到商业智能,甚至包含物联网。会议中一遍又一遍出现同样的中心主题:大数据的关键是机器学习。

存储不再是一个问题。从执行Hadoop兼容节点的专用存储硬件。到数百台使用普通硬盘的计算机组成的集群。毫无疑问,我们具备了处理这类存储问题的能力。

还有一方面,像Splunk这种分析和可视化工具也应运而生。假设你知道你要找什么,这些工具能够非常快给你所须要的答案。

可是,你应该找什么呢?对于绝大多数的基层供应商来说,问题的答案就在机器学习里面。不管你是在谈论网络流量、用户行为。或者是消费趋势。这都不要紧,你能真正洞察你所监控的东西的方式是找到数据中的模式和相关性。尽管人类操作员能够通过试错法蹒跚而行。但他们相信,能够通过训练计算机来得到结果,而且速度更快和不带偏见。

当然。这并非说人类已经过时。必须有人来确认相关性不仅仅是种巧合。并找出对信息採取行动的方法。

而这也正是前面所提到的可视化工具能够发挥作用的地方。

大数据和机器学习的主要用例

尽管大数据的潜力差点儿是无限的,但不可避免的是一或两个行业会在前面带头冲锋。

假设再过一年问我,我可能会说不同的话,但如今的预測是。不管是安全还是运营,都会处在第一线。

仅仅要比那些仅仅收现金的咖啡亭大的公司,都须要考虑信息的安全性。即使他们没有知识产权可言。但他们都在处理一些敏感信息。如信用卡号码。有方法能够可靠地检測和阻止那些正在发生的违约行为。对公司的长期成功是至关重要的。

基于机器学习的安全产品承诺提供这样的能力,而且它的易用性接近“交钥匙project(译者注:意为卖方把全部事情都做好了,买方仅仅要拿钥匙验收就能够了)”的水准。

与此类似,运营分析将会流行起来。如今你就能够买到工具来监视你的网络。解码数据包,或向你精确呈现一个给定的REST调用是怎样经过server的中间层一路到达数据库或文件系统的。然后把它和一周,一个月或一年曾经的行为做对照。这不是未来的概念,而是今天现成的东西。并能够在一周内执行起来。

其他领域的研究将会继续下去,但不会有如此快的速度。欺诈检測是很重要的。但大多数公司会依靠他们的金融机构来设计和实施必要的控制措施。我估计在这方面不会有太多商业化的、现成的产品。

商业智能是还有一个会看到大量金钱投入的研究领域。

但可口可乐与百事可乐公司用来确定下一个流行口味的算法。看起来一点也不像通用和福特公司用来预測每种尺寸的车型会有多少量的算法。

如此类推,商业化产品对大数据的运用眼下可能会主要局限于主要的分析和可视化方面。

其它的会议思考

总而言之。Splunk举办了一次非常好的会议。一切都组织得非常好,每一个人,从刚開始学习的人到最高级的数据挖掘project师,都会有相关的议题研讨。我唯一的抱怨是,议题研讨没有记录。由于有这么多的内容,人们势必会由于冲突错过一两个重要的议题。

即使你对Splunk本身不感兴趣,但对大数据、机器学习以及相关主题感兴趣的不论什么人来说,这都是一次重要的会议。

查看英文原文:Splunk
Conference Recap: The Key to Big Data is Machine Learning

时间: 2024-11-03 20:47:54

Splunk 会议回想: 大数据的关键是机器学习的相关文章

Splunk 会议回顾: 大数据的关键是机器学习

作者 Jonathan Allen ,译者 张晓鹏 Splunk的用户大会已经接近尾声.三天时间的会议里,共进行了160多个主题研讨,涵盖了从安全.运营到商业智能,甚至包括物联网,会议中一遍又一遍出现相同的中心主题:大数据的关键是机器学习. 存储不再是一个问题.从运行Hadoop兼容节点的专用存储硬件,到数百台使用普通硬盘的计算机组成的集群,毫无疑问,我们具备了处理这类存储问题的能力.另一方面,像Splunk这样的分析和可视化工具也应运而生.如果你知道你要找什么,这些工具可以很快给你所需要的答案

《决战大数据大数据的关键思考 升级版》PDF电子书分享

链接:https://pan.baidu.com/s/1RlGdyXSh8qpL4doE6UPczA 密码:gc7j 分享<决战大数据大数据的关键思考 升级版>PDF电子书,本书为高清PDF电子书,内容截图如下 原文地址:https://www.cnblogs.com/meidongdiluo/p/9625576.html

大数据、人工智能、机器学习、深度学习,这些到底在说什么?

1,大数据.人工智能.机器学习.深度学习的关系. 大数据,或者说大数据分析平台,更具体一点就是大数据分析PaaS平台,其实是一种针对需要处理海量数据统计分析的PaaS云平台. 大数据学习可以加群:199427210 如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入. 人工智能,是要让机器能够像人类一样具有感知.观察的能力,并且可以做到理解和

DT大数据梦工厂Spark机器学习相关视频资料

大数据未来几年发展的重点方向,大数据战略已经在十八届五中全会上作为重点战略方向,中国在大数据方面才刚刚起步,但是在美国已经产生了上千亿的市场价值.举个例子,美国通用公司是一个生产飞机发动机的一个公司,这家公司在飞机发动机的每一个零部件上都安装了传感器,这些传感器在飞机发动机运作的同时不断的把发动机状态的数据传到通用公司的云平台上,通用公司又有很多数据分析中心专门接受这些数据,根据大数据的分析可以随时掌握每一家航空公司发动机的飞行状况,可以告知这些航空公司发动机的哪些部件需要检修或保养,避免飞机事

大数据潮流下的机器学习及应用场景

机器学习是一门人工智能的科学,能通过经验自动改进的计算机算法的研究.  机器学习是一个多学科交叉的领域,会涉及到计算机.信息学.数学.统计学.神经科学等. 机器学习是大数据的核心技术,本质都是基于经验的算法处理.机器学习强调三个关键词:算法.经验.性能,其处理过程如下图所示. 在数据的基础上,通过算法构建出模型并对模型进行评估.评估的性能如果达到要求,就用该模型来测试其他的数据:如果达不到要求,就要调整算法来重新建立模型,再次进行评估.如此循环往复,最终获得满意的经验来处理其他的数据. 机器学习

大数据-基于Spark的机器学习-智能客户系统项目实战

网盘地址:https://pan.baidu.com/s/19-U_XwIUZUENNgmz6VysMQ 密码: j288 备用地址(腾讯微云):https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码:uq2q3w 项目背景:1.现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注. 2.大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,

大数据会说话,简明机器学习问题

点击关注 异步图书,置顶公众号 每天与你分享 IT好书 技术干货 职场知识 参与文末话题讨论,每日赠送异步图书 --异步小编 我们只能向前看到很短的路,但却可以看到还有很多事情需要做. --艾伦·图灵 从数据中学习究竟是什么?科学家从数据中学习,企业.政府和慈善机构也一样.事实上,无论是私人.公共的,还是慈善部门的领域,几乎没有哪个领域不在部署数据驱动的模型,以发掘和利用数据中的关系. 我们置身于数据之中,亚马逊网站每天发生2.5万次销售/交付,10万个基因几乎同时测序,超过100亿张图片存储在

第四届CCF大数据学术会议征文通知

第四届CCF大数据学术会议征文通知 2016年10月,兰州 近几年,大数据是各界高度关注积极布局的热点方向.2015年8月,国务院发表<促进大数据发展行动纲要>,正式将大数据提升为国家战略,旨在全面推进我国大数据的发展和应用,加快建设数据强国.现如今大数据不但已成为全球IT行业最强劲的发展动力,而且正在引起各行各业的业务变革与产业升级.因此,为了探讨大数据相关领域所面临的挑战,共享各类创新思想,反映中国大数据技术的最新研究进展,交流大数据的应用现状和研发经验,继2013-2015成功召开了三届

2017下半年8场云计算相关会议合集 聚焦大数据未来!

随着云计算服务在各行各业的应用热度递增,云计算产业蓬勃发展.各种行业会议也应运而生.活动家就给大家盘点下2017年下半年8场云计算相关会议 聚焦大数据未来!哪些大数据相关的最新行业会议是值得参加的! 注:为了方便阅读,会议以时间由近到远排序. 一.BDFF 2017大数据金融论坛 活动主题 塑造数据生态·引领金融科技·聚焦数据未来 Shape Data Ecology·Lead Fintech·Focus on Data Future 活动日期.地点.网址 2017年8月23-24日 上海 20