Bengio最新博文:深度学习展望

Bengio最新博文:深度学习展望

人类一直梦想着创造有智能的机器。早在第一台可编程计算机问世前100多年,发明家就对如何能让由连杆和齿轮组成的设备也变得更加智能这一命题充满好奇。后来,20世纪40年代计算机领域的先驱者之一Alan Turing通过描述一个测试为计算机科学设定了目标,这个测试也就是后来被大家所熟知的图灵测试,用以衡量计算机的表现和人类行为的接近程度。(注:图灵测试一词来源于计算机科学和密码学的先驱Alan Turing写于1950年的一篇论文《计算机器与智能》。Alan Turing 1950年设计出这个测试,其内容是,如果电脑能在5分钟内回答由人类测试者提出的一系列问题,且其超过30%的回答让测试者误认为是人类所答,则电脑通过测试。)

在我学术生涯早期研究人工智能领域的时候,科学家们解决的都是一些对人类来说困难,而对计算机来说会相对简单的任务,比如大规模的数学计算。然而在最近几年,我们正在进行的一些项目都是对人类来说非常容易,或者说下意识就能解决的任务,比如语音识别和人群中的人脸识别,然而这些任务却很难让计算机理解。

真正让我感兴趣的是在人工智能领域开始有了更为复杂的探索,即让计算机获得自主学习的能力。当然我的目的并不是让计算机完全像人类一样思考,我只是想去理解那些能让实体、计算机或生物变得智能化的一些基础原则。我很久以前打过一个赌,说是如果人工智能真的能够实现的话一定是得益于实体的学习能力,因此我一直专注于构建能够学习并自行理解这个世界的计算机。

我相信此刻我们正处于人工智能甚至是计算机本身的一个历史转折点。得益于现在更为强大的计算机、可用的海量丰富数据集以及先进的算法,我们终于可以跨越一个长期以来阻碍计算机科学发展的阈值。机器学习正在从一个高度人工化的阶段向另一个更为自动化的阶段进行快速转变,前者需要我们人为地对每个项目进行设计并提取其中较好的特征,后者可以实现让计算机像孩子一样,通过不断学习获得的经验来积累内部特征,从而理解这个世界,这就是我们所说的深度学习。

深度学习并不是一个全新的概念。事实上,在20世纪80年代我还是一个学生的时候,这是一个神经网络里的概念,也可以说是深度学习的前身,我对这个概念非常着迷并决定要在计算机科学领域开启我的学术生涯。目前深度学习真正新的进展在于,因为之前许多科学和技术进步的积累,使得我们在人工智能应用方面取得了一系列突破,比如语音识别、计算机视觉和自然语言处理等等。这也使得这个领域内涌入了一大批由研究生占据主要比例的研究者,让深度学习的研究高速发展起来。

我们能走到今天离不开两方面技术的进步,一是层次结构概念的创建,二是让电脑能自己提取特征。层次结构使得电脑能通过一些简单的概念学习进而理解复杂概念,这也是人类学习并培养他们对世界的理解的方式。当我们从过去所熟悉的事物中发现了新的观点,就会逐渐优化对世界理解的模型来不断适应,这些新事物又能帮助他们更好的与事实和数据对应起来。

例如,深度学习系统可以通过组合一些简单的概念来表示一只猫的形象,比如通过边缘的概念依次定义角落和轮廓。但是我们不需要特意教它关于中间区域的概念,它会自己学习。在这样一个视觉识别系统中,计算机可以成功在一张暹罗猫翻跟头照片中识别出猫,而不需要我们展示给系统所有猫可能具有的颜色、外形或行为。当计算机“看见”一只猫的时候,它就会“知道”这是一只猫。

我非常荣幸能和Geoffrey Hinton以及Yann LeCun一起因为在行业内的突出贡献而被大家誉为计算机科学三大巨头。我们共同撰写了一篇论文:深度学习,并发表在《自然》杂志的五月刊上,文章对人工智能领域我们所研究的方向的前景进行了阐述。但这个领域所需要做的事光靠几个“媒体明星”是远远不够的。为了达成更大的进步并实现更多的应用,人工智能领域无论在学术界还是工业界都需要成千上万个科学家和工程师们。((注:文章中文版链接:http://wenku.baidu.com/link?url=nF8zA-hi7sA0Oh899TtU2AuCBr_Vb10gP2X3MtDDVcxTRJu-1Ghzxrr-0aWUj1HamFg9xh47gZBYnLI7Z3GPLth-FDr53aiX7My9YeO2Kxu

这就是为什么我一直致力于为我们激动人心的事业网罗更多人才的原因。我与Ian Goodfellow和Aaron Courville合写了一部叫《深度学习》的书。我们的核心受众是学习机器学习的大学生以及一些软件工程师,他们在某些可能会用到机器学习的重要产业里工作。这本书已经放到网上了,我们欢迎大家来阅读和学习,并给我们一些好的反馈建议。

这令我想到了另一个我想表达的关键点:我是一个技术开放概念的拥护者。众多像开源开发者一样的技术开放运动支持者都坚信我们应该在获取新知识之后尽快分享出去,这能加快科学边界向外扩张的速度而且对大家都有利。我和很多同事们都把我们在深度学习领域的所有发明,应用在了GitHub的 Theano工具及其衍生项目上。这样,任何正在构建深度学习系统的人都可以使用这些算法和编程工具,当然我们也会敦促使用者回馈这个项目,有数百人已经这样做了。

正如共享之于技术开放的意义,透明化的协作也同样重要。整个学界形成了一个巨大的头脑风暴。其中,拥有5名教授在内共60名研究院的蒙特利尔学习算法研究所(MILA),通过和许多大学及产业里的科学家进行项目合作,大大推进了整个学界的协作程度。

我们最近的研究合作伙伴是IBM。我们期待着通过与IBM研究部门以及Watson Group的科学家和工程师们的合作,能够实现深度学习在语言、演说和视觉领域应用的宏大研究计划。我们坚信只要大家齐心协力,就一定可以通过更为强大的能处理海量数据集的计算机,成规模地增加深度学习的技术和方法。它可以帮助计算机跨越更广泛的领域,从更多种类的数据来源中学的更快更多,包括那些还未被人类运用的不能被标注的海量数据。

我认为深度学习的未来非常激动人心。我们取得了一系列快速的发展,虽然我们目前离破解什么能让机器真正理解这个世界这一谜题还很远,但是我对我们最终能破解这个谜题充满了信心。

然后闸门就会被打开了,一旦计算机真正理解文本、语音、图像和声音,他们将成为我们不可或缺的助手。这将彻底改变我们与计算机交互的方式,帮助我们在日常生活中生活得更为方便,在工作状态中更加高效。它会让社会能够应对一些对我们来说非常重要的重大挑战,比如治疗致命疾病以及更广泛地传播知识和财富。更重要的是,它会帮我们理解我们自身,以及一直以来让我非常着迷的关于“智能是如何产生的”的命题。30多年来这一直是我的梦想,现在这个梦想正在快速的照进现实。

?  本文原作者Yoshua Bengio,格灵深瞳大美女天天翻译,如需转载,请提前与我们进行联系。

让计算机看懂这个世界

www.deepglint.com

更多精彩内容,请关注微信公众号:格灵深瞳。

时间: 2024-10-29 04:54:25

Bengio最新博文:深度学习展望的相关文章

机器学习与深度学习资料

<Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本<神经网络与深度学习综述>本综述的特点是以时间排序,从1940年开始讲起,到60-80

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper <Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification>. Motivation MSRA初始化 推导证明 补充说明 Motivation 网络初始化是一件很重要的事情.但是,传统的固定方差的高斯分布初始化,在网络变深的时候使得模型很难收敛.此外,VGG团队是这样处理初始化的问题的:他们首先训练了一个

搭建实用深度学习环境(Ubuntu16.10+Theano0.8.2+Tensorflow0.11.0rc1+Keras1.1.0)

在动手安装之前,首先要确定硬件,系统,准备安装软件的版本,确定这些软硬件之间是否相互支持或兼容.本文安装的主要环境和软件如下: Ubuntu16.10+CUDA8.0(cudnn5.1,CNMEM)+Theano0.8.2+Tensorflow0.11.0rc1+Keras1.1.0 显卡型号为Quadro K6000. 深度学习的另外一个比较常用的开发环境是CAFFE,由于之前的很多大牛基于CAFFE做了很多注明的模型,且已经发布到网上,故这套框架更适合于应用.但CAFFE安装起来异常复杂,需

【转载】如何自学深度学习技术,大神Yann LeCun亲授建议

编者按:Quora 上有网友提问:自学机器学习技术,你有哪些建议?(What are your recommendations for self-studying machine learning),Yann LeCun 在该提问下做了解答.本文由雷锋网(公众号:雷锋网)根据 LeCun 的回答整理而来,原文链接:http://www.leiphone.com/news/201611/cWf2B23wdy6XLa21.html 在网上有很多关于 Machine Learning 的材料.教程和视

深度学习资料汇总

和一位学长交谈之后,认识到深度学习是一个快速发展的领域,仅仅靠着几本书是远远不行的,应该关注前沿.但新入门的小伙伴往往根本不知道怎么上手,结合学长的推荐和我自己的经验,在这里将一些好的学习资料推荐给大家.这里我重点关注视觉方面的深度学习. 机器学习 作为深度学习的基础,机器学习是必须掌握的.这方面我认为比较好的书籍是李航老师的<统计学习方法>,周志华老师的<机器学习>.<统计学习方法>偏重于数学,会给出定理的证明.<机器学习>介绍全面,涵盖的方法远远多于&l

深度学习硬件:CPU、GPU、FPGA、ASIC

人工智能包括三个要素:算法,计算和数据.人工智能算法目前最主流的是深度学习.计算所对应的硬件平台有:CPU.GPU.FPGA.ASIC.由于移动互联网的到来,用户每天产生大量的数据被入口应用收集:搜索.通讯.我们的QQ.微信业务,用户每天产生的图片数量都是数亿级别,如果我们把这些用户产生的数据看成矿藏的话,计算所对应的硬件平台看成挖掘机,挖掘机的挖掘效率就是各个计算硬件平台对比的标准. 最初深度学习算法的主要计算平台是 CPU,因为 CPU 通用性好,硬件框架已经很成熟,对于程序员来说非常友好.

【王晓刚】深度学习在图像识别中的研究进展与展望

深度学习是近十年来人工智能领域取得的最重要的突破之一.它在语音识别.自然语言处理.计算机视觉.图像与视频分析.多媒体等诸多领域都取得了巨大成功.本文将重点介绍深度学习在物体识别.物体检测.视频分析的最新研究进展,并探讨其发展趋势. 1. 深度学习发展历史的回顾 现有的深度学习模型属于神经网络.神经网络的历史可追述到上世纪四十年代,曾经在八九十年代流行.神经网络试图通过模拟大脑认知的机理,解决各种机器学习的问题.1986 年Rumelhart,Hinton 和Williams 在<自然>发表了著

深度学习-LeCun、Bengio和Hinton的联合综述(下)

深度学习-LeCun.Bengio和Hinton的联合综述(下) [编者按]三大牛Yann LeCun.Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知.为纪念人工智能提出60周年,最新的<Nature>杂志专门开辟了一个“人工智能 + 机器人”专题 ,发表多篇相关论文,其中包括了Yann LeCun.Yoshua Bengio和Geoffrey Hinton首次合作的这篇综述文章“Deep Learning”.本文为该综述文章中文译文的下半部分,详细介绍

深度学习在图像识别中的研究进展与展望

深度学习在图像识别中的研究进展与展望 深度学习是近十年来人工智能领域取得的最重要的突破之一.它在语音识别.自然语言处理.计算机视觉.图像与视频分析.多媒体等诸多领域都取得了巨大成功.本文将重点介绍深度学习在物体识别.物体检测.视频分析的最新研究进展,并探讨其发展趋势. 1.深度学习发展历史的回顾 现在的深度学习模型属于神经网络.神经网络的历史可以追溯到上世纪四十年代,曾经在八九十年代流行.神经网络试图通过大脑认知的机理,解决各种机器学习的问题.1986年Rumelhart.Hinton和Will