机器学习如何撬开千亿视频商业化大市场?

(上图为智能视频图像分析创业公司Viscovery CEO黄俊杰)

在线视频正在迅速成长为一个巨大的市场。根据今年6月发布的思科Visual Networking Index(VNI)报告显示,到2020年视频将占消费互联网流量的82%,2015 年到 2020 年互联网视频监控流量将增长十倍、全球虚拟现实流量将增长61倍。在中国市场,根据市场调查公司艾瑞的预测,在线视频市场将在2018年达近千亿人民币规模。

面对这样一个视频大市场,如何进行视频的商业化转化,是所有运营商和互联网公司关注的焦点。在过去,视频点播、贴片广告和直播等是视频商业化的主要形式。在人工智能时代,通过机器学习来实时捕捉和识别视频中的图形,从而更精准的匹配广告和电商购物等新商业模式,成为视频商业化的下一个大趋势,而这有赖于机器学习算法软件和底层硬件的进步。

谷歌现任CEO Sundar Pichai曾说,机器学习是一条核心的转型之路,我们将据此来重新思考一切。有一家叫作Viscovery的创业公司被谷歌评为“成功和创新的企业”,从2011年开始就采用英特尔技术开发智能视频探索平台VDS,已经能够实时捕捉和识别视频中的图像。

基于机器学习的智能视频识别探索

Viscovery是一家集合美、中、台高端人才的创业公司,自2011年以来就致力于研究图像识别技术。Viscovery CEO黄俊杰表示,Viscovery的目标是通过大数据挖掘,自动解析视频画面内容,实现广告精准匹配、视频购物与社交、黄暴信息监测等多种应用。

Viscovery经过多年图像识别技术研发以及大量客户实践,开发出的智能视频探索平台VDS,以独有全方位视频内容识别引擎Fitamos,可实现包括人脸(face)、图片/商标(image)、文字(text)、声音/对话/音乐(audio)、动作(motion)、物件(object)、场景(scene)等在内的多模态识别。

通过在视频中识别上述七大广告标的对象,VDS可自动化产生信息、标签、商品等大量内容,克服了人工对视频画面与音频打标签的难题,打通识别对象分类与对象信息匹配的渠道,完成精准的广告、电商、社交等匹配,从而提升广告投放或电商交易收入,把视频流量转换成切实的营收。

简单的说,VDS可同步分析一个1小时影片,自动分析出来影片里的耳环、项链、笔记本、智能手机等物品,以及它们几分几秒出现在什么样的场合,这非常有助于广告主或者视频网站更精准找到更好的广告投放机会点。“过去通过人工可能处理100部、1000部影片,采用们这个系统一下子就可以处理100万部、1000万部的视频量,及时找出广告投放点,实现更好的投放。” Viscovery公司CEO黄俊杰说。

VDS目前有三种方式:一种是以轻量级SaaS的方式提供给用户,用户上传视频后返回分析结果;一种是对有上百万支视频的互联网大型公司,可直接把VDS系统部署到用户自己的数据中心集群里;还有一种是如果需要利用Viscovery自建基于英特尔高性能计算集群的机房,可以把视频传给Viscovery处理。

高性能计算提升机器学习

“我们碰到的挑战比别人更多,原因在于我们要处理上亿的图像。2012、2013年之后,越来越多的人开始采用神经网络来处理图像,不管是Google LeNET、VGG等还是Caffe、Torch,需要在这么多种架构下做深度学习实验,动辄要一周、一个月的时间才知道实验结果。”

黄俊杰介绍说,尤其是2015年的ImageNet比赛中,微软最新的“深层残差网络”可以把图像识别系统错误率降低到3.57%左右,低于人眼的5.1%错误率,这是重大突破。其中一个关键,就是多达152层的深度神经元网络。一般来说,现在市面上常见的GPU,1U的机器上一个GPU卡大约能训练出15层到20层左右的神经元网络,因此难达到100层或200层的深度。

2016年6月,在ISC国际超级计算机大会上,英特尔推出了代号为Knights Landing(KNL)的第二代至强融核处理器Xeon Phi,这系列最高达72核的x86 CPU也是首款可作为独立处理器的Xeon Phi CPU,这意味着可摆脱GPU而组成CPU-Only的高可扩展机器学习机群。KNL还配备了16GB MCDRAM高带宽内存可实现490GB/s的内存带宽,以及6条DDR4内存插槽最高支持384GB内存。KNL处理器还是第一个支持新AVX512指令集的处理器,对于深度学习有极大的加速效果。

尽管也可以用GPU搭成集群网络,但每台GPU服务器之间都要通过以太网或Infiniband技术连接,而英特尔研发的应用于高性能计算的Omni-Path高速互联网络带宽高达100G,不论在运算量或是传输速度上都远超之前的技术。Viscovery首席科学家陈彦呈博士强调,购买100台GPU机器用于深度学习算法训练可能只能快30倍,但是基于KNL的机器通过Omni-Path架构能实现线性增长,100台可以快80、90倍以上。

黄俊杰表示:“如果只是做简单小规模20层以内的神经元网络学习,用GPU就可以了。当今天要挑战上亿的图像资料,分辨上万种物体,需要更快速训练完之后为企业提供服务的话,就需要选择更为完整的架构,包括计算、存储、网络传输三位一体,才可以做更深度的机器学习。”陈彦呈更进一步介绍Viscovery还在研究千层神经元网络,简单理解就是把十个百层神经元网络并行连接起来,同时识别一个视频图像的十个物体。

Viscovery首次尝试构建CPU-Only的全新架构视频深度学习平台,在视频流识别的能效上甚至比传统方案提升高达3至6倍。黄俊杰表示,借助软硬件的协同整合,Viscovery能更全面、高效的服务视频与直播平台需求,将深度学习广泛应用在商业环境之中。

在2016 Computex上,英特尔、广达(Quanta)、Viscovery一起提供了一套完整的视频分析解决方案,把英特尔至强E5和Phi处理器、广达的系统设计以及Viscovery的软件集成到一起,实现了包括服务器、算法库和开源软件等在内的可大规模部署的解决方案。

英特尔的机器学习“野心”

2016年4月18日英特尔机器学习战略及业务拓展总监Joe Spisak的一篇博客中,引用了Sundar Pichai那句著名的论断。当以谷歌为代表的互联网巨头们都在用机器学习重新思考未来时,英特尔对于机器学习的策略也不是简单一两条芯片产品线的投入,而是有一个完整的战略。

Joe Spisak表示,英特尔机器学习战略包括底层的Intel至强E5和至强融核Phi系列、SSD固态硬盘、新一代内存技术、Omni-Path架构等以组成机器学习单节点或集群。实际上Intel至强E5处理器、一代至强融核协处理器、二代至强融核处理器家族系列为构建机器学习集群提供了一个高性价比的混合X86服务器解决方案。

加上基于Lustre软件的并行文件系统、MCDRAM高速集成内存、HPC Orchestrator安装软件等,Intel可扩展系统框架(SSF)把这些底层的计算、存储和网络硬件技术均衡的组织起来,可以适应从小集群到超大TOP 500的超级计算机,以及各种计算密集型和数据密集型场景。

再往上是英特尔提供的一套高度优化的软件和工具库,能够最大化的从底层硬件中获得高性能。Intel Math Kernel Library数学内核库是一套调优过的基础数学算法库,Intel Data Analytics Acceleration Library数据分析加速库则提供了一套优化过的机器学习算法。这些库都对硬件和ISA指令集架构进行了抽象,屏蔽了底层硬件的复杂性,简化了编程和代码。

英特尔还积极与机器学习相关的开源项目集成,并把代码贡献给开源社区。这包括来自UC-Berkeley的Caffe、Montreal大学的Theano、Facebook和Twitter用的Torch7、微软的CNTK以及谷歌的Tensor Flow等。在更高的层面,英特尔还通过开源的Trusted Analytics Platform(TAP)可信计算平台,帮助企业和开发者加速采用机器学习。TAP提供了从大数据基础设施和集群管理工具,到模型开发和训练以及应用开发及部署等各类资源。

在开发工具方面,Intel Parallel Studio XE工具套件简化了代码的设计、开发、调试和优化,利用并行处理来提高应用程序的性能。利用兼容的Intel处理器和协处理器,可以更高效地提高C++和Fortran应用程序性能。

实际上对于开发者来说,英特尔统一架构的最大好处是单一的编程模型和编程语言,陈彦呈表示针对GPU加速代码无法在CPU上执行,所以传统的深度学习解决方案常常是GPU满载但是CPU闲置的状态。英特尔KNL可以作为协处理器的形式,在一个主CPU旁边插多个KNL,那么同一代码不需要重新编译就可以直接分散在不同的运算节点上运算。相比之下,其实GPU的单价也不低,还需要特殊的程序语言(CUDA)做处理。

最近,Viscovery与江苏卫视和傲播合作了“我们战斗吧”,为观看这部秀提供了一个APP。用该APP观看的时候,在任何一个时间点想要知道王凯、萧敬腾、井柏然等身上穿的衣服、头上戴的帽子或脚上穿的鞋,只要一点马上就可以知道在哪里买,把视频变成了互动的情景。“这是在过去没有办法大规模实现的场景”,黄俊杰说。

在未来IoT的世界里,智能视频分析还将大有可为。随着机器学习算法、软件和硬件的进步,机器学习无疑将成为千亿视频市场最佳的商业化策略。(文/宁川,《云科技时代》微信号:CloudTechTime)

时间: 2024-12-06 09:19:53

机器学习如何撬开千亿视频商业化大市场?的相关文章

阿里云+好未来,将整合千亿互联网+教育大市场?

(上图为好未来集团总裁白云峰) 在线教育其实已经有很多年的历史.最早从1994年-1996年国家教委大力支持远程教育开始,在1996-2000年间随着高等学历在线教育的发展而迎来了繁荣期,一大批网校出现.多媒体教学雨后春笋般涌现.到2000年-2010年,出现了在线教育企业上市热潮.2010年开始,大量资本涌入在线教育领域. 据艾瑞数据,中国在线教育市场规模在2015年首次超过千亿达1191.7亿元人民币,2016年达到1560.2亿元实现同比增长27.3%,预计到2018年突破2000亿元达2

扫地机器人辞职做快递?200亿件/年大市场很蓝

近日,快递分拣机器人的一段视频在网上走红,在之后央视报道中,这段走红的快递分拣机器人作业视频里,一些装备着橙色托盘的机器人迅速穿梭,将一件件包裹运送到指定位置,完成分拣-- 文/张书乐 TMT行业观察者.游戏产业时评人,人民网.人民邮电报专栏作者 在中国,每年的快递数超过200亿件,这是一个庞大且依然快速增长的市场.如果机器人.无人机都送上快递呢? 一些网友对此揶揄到:扫地机器人辞职干快递了. 对,这个揶揄其实已经切中了要害.仅仅就无人机和机器人来说,目前对它们的应用有很多,如亚马逊.京东用无人

下一波千亿级富豪将要的这些产业,你入对行了吗

在中国A股市场上,大约只有23家市值千亿级别的大公司,这些大多数是在政府垄断行业如金融,石油,电力,汽车等行业,国有四大银行总市值约3.9万亿人民币.而在互联网行业,中国互联网产业目前有三大巨头,百度(830亿美元),阿里巴巴(2400亿美元),腾讯(1500亿美元),这些都是千亿级的. 中国企业需要千亿级公司去引领,去推动新兴产业的发展.联想,海尔,华为他们都感受到阵阵寒意,“中国制造”优势即将挥霍殆尽,人口福利终将消失,而是外部世界级公司已经摩拳擦掌,咄咄逼人,他们已经开始全面进攻中国的大市

2千亿市场难解盈利困局 在线教育如何迎接大风口

数据显示,2016年在线教育市场规模突破1560亿,加之政策支持.市场利好.用户规模扩大,在新一轮政策红包的刺激下,2017年在线教育市场规模有望突破2000亿. 而相比教育市场的整体规模则是1.6万亿,在线教育的2千亿规模,显然还只是一个起手式. 文/张书乐(TMT行业观察者.游戏产业时评人,人民网.人民邮电报专栏作家) 尤其是在内容付费已经在今年被吹成了一个大风口的当下,在线教育作为早早入局的行业,却面临这尴尬:千亿级的市场规模不假,可在线教育一直在烧钱.一直找不到盈利突破口也是真. 深度融

数据从业者必读:抓取了一千亿个网页后我才明白,爬虫一点都不简单

编者按:互联网上有浩瀚的数据资源,要想抓取这些数据就离不开爬虫.鉴于网上免费开源的爬虫框架多如牛毛,很多人认为爬虫定是非常简单的事情.但是如果你要定期上规模地准确抓取各种大型网站的数据却是一项艰巨的挑战,其中包括网站的格式经常会变.架构必须能灵活伸缩应对规模变化同时要保持性能,与此同时还要挫败网站反机器人的手段以及维护数据质量.流行的Python爬虫框架Scrapy开发者Scrapinghub分享了他们抓取一千亿个网页后的经验之谈. 现在爬虫技术似乎是很容易的事情,但这种看法是很有迷惑性的.开源

读车神探来了:上海车展大爆移动视频商业化图谋

作为重磅国际车展之一的上海车展已经于上月28日正式闭幕,据不完全统计,展会期间共接待观众近26万人,现场购车及订车16000余辆,销售金额近24.3亿元人民币. 文/张书乐 TMT行业观察者.游戏产业时评人,人民网.人民邮电报专栏作者 但较以往车展不同,人流最为密集的却不是展台,而是全国范围内移动视频用户们的手机屏幕.仅以一下科技(秒拍.一直播.小咖秀母公司)披露的数据为例:在一直播上,其携手闫闯.ai媚儿两个KOL,与奥迪于19日单日直播,累计观看量就达831.6万.点赞783.9万,最高在线

雷军:小米最坏的时候已过去 2017目标营收千亿(确实有些新意)

1月12日,小米科技创始人雷军在公司年会发表演讲时表示,前几年小米冲得太快,创造了现代商业史上的成长奇迹,但也提前透支了一部分成长性. 基于上述情况,雷军指出,小米必须放慢脚步.认真补课,而且早补要比晚补好,文火慢补要比急火猛药好. 雷军还表示,小米去年遭遇了四个月缺货,手机供应链非常复杂,过去几年小米在这方面积累还是远远不够,再加上一些客观因素,这不是靠过去一年努力就能弥补的.“不过,最坏的时候已经过去了.用技术创新和产品说话,我们去年比前年强大,今年肯定比去年更强大!” 以下是雷军演讲全文:

BAT染指影视制作 欲全面撬开互联网粉丝经济

预测: 或靠"用户"模式盈利 除了内容制作,电影发行也在遭遇互联网模式的冲击.除了给片方支付高额保底以外,随着市场竞争激烈,新进入者都在争夺好片的发行权. 业内预测,再往后,发行费肯定会下降到10%以内,远远低于目前的15%到17%,甚至是免费发行模式都会在未来一两年出现.因为互联网化的发行模式成本足够低,只需要几个人就可以把原来上百人的活干了.他只需要面对主要几个网站即可解决80%以上的票房,剩下20%靠传统发行公司做一下线下执行即可. 13日晚,在港上市的阿里影业宣布将与横店影视实

《Speed-BI云平台案例应用:P2P网贷行业:成交上千亿的行业,你投资过吗?》数据分析课程开课啦!

曾经一度风头无两的P2P网贷行业,近几年渐渐走下坡路,诈骗.跑路.资金链断链等等丑闻不绝于耳.那究竟要不要继续选择网贷呢?很自然你会想从大局先了解总体行业的发展走势与现状再决定,确定要继续网贷了,再选择有保障的平台进行合作. 可是这种研究性分析去哪里得知呢?哪里的总结才真实可信呢? 再多的行业现状分析都离不开最反映事实的数据分析部分,所以这次的分析我们就直接让数据说话,还原真相,揭露数据背后的信息. 那这一切Speed-BI是怎么实现的呢?赶紧下拉瞧一瞧吧!        讲师介绍:古金莹 现担