deeplearning.ai 人工智能行业大师访谈 Yoshua Bengio 听课笔记

1. 如何走上人工智能的研究的?Bengio说他小时候读了很多科幻小说,1985年(64年出生,21岁)研究生阶段开始阅读神经网络方面的论文,对这个领域产生了热情。

2. 如何看深度学习这些年的发展?Bengio说他们从实验、直觉入手,然后才提出理论,比如为什么反向传播有效,为什么深度这么重要。2000年开始研究深度神经网络的时候,他们只是很直觉的认为神经网络更深才会更强大,并不清楚怎么论证,最初的实验也没有成功。

3. 和30年前相比,有哪些东西是很重要的,它们后来被证明是以正确的,又有哪些最终被证明是错误的?Bengio说他犯过最大的错误是认为反向传播需要光滑的非线性激活函数,2010年前后他们开始尝试ReLU时,结果比sigmoid好很多,这让他很惊讶。

4. 哪项研究让他最自豪?1)长期依赖(Long term dependency)的研究。2)维数灾难(curse of dimensionality)。3)神经网络的联合分布。4)深度学习在自动编码器和RBMs上的应用。5)更好地理解初始化对于训练深度网络的重要性,包括梯度消失的问题,这个研究最终论证了分段线性激活函数的重要性。6)无监督学习中,降噪自动编码,GAN等很流行的生成式对抗网络。7)机器翻译里的注意力机制(Attention),原先只是把机器学习看作向量和向量之间的映射,借助注意力机制,可以处理任意形式的数据结构。

5. 无监督学习:现在业内的系统都是基于监督学习,这需要人们先定义出当前问题的一些重要概念,并在数据集中标记出来。但人类可以做更多的事情,可以探索世界,可以通过观察发现新的概念。这不是简单地在数据集做不做标记的问题,而是如何构建一个心智结构可以通过观察解释世界。Bengio说他还在研究如何把无监督学习和增强学习结合起来,希望能解释人类或机器如何通过与世界互动来学习。

6. Bengio觉得现在的深度学习研究已经远离了他希望的方向。机器对于世界的认知还很表面化。最让他兴奋的是,他现在的研究不是要让系统实现什么有用的功能,而是回归最本质的原理,如何让计算机观察这个世界,如何与世界互动,如何发现世界是如何运行的。现在的深度学习主要实现的是感知(perception),下面的方向是在抽象层面明白事物的原理,或者说如何让机器理解高级别的抽象概念,或者说认知。

7. 从研究方法的角度说,Bengio更喜欢研究“玩具问题(toy problems)”,这可以很快速的做实验看结果,同时它的结果是可以迁移到更大的问题上去。Bengio说这相当于是分而治之(divide and conquer)的研究方法。

8. 深度学习不仅仅是一门工程学科,而是需要去了解真正的原理。Bengio说现在的研究方式有点像盲人走路,碰运气发现了一些不错的结果。如果能稍微停一停脚步,想一想如何迁移结论。并不一定都需要数学抽象,但至少要逻辑化的。然后再用数学来精炼。研究的目的不要总想着做一个baseline、bench mark,打败其他实验室、公司之类的,更多的是要思考提出哪些问题可以帮助我们理解我们感兴趣的现象。所以我们设计实验,可以不为了获得更好的算法,而是为了更好的理解现有的算法。“为什么”是非常重要的。

9. 给深度学习学生的建议:每个人目的不同,做研究和做应用所需的对深度学习的理解是不同的,但不管哪种情况都需要实践。需要大量阅读,阅读大量代码,也需要大量动手编程。不要只满足于调用现成框架的接口,如果可以的话,尽量从基本原理入手获取认识。真正理解自己在做的每一件事情。Bengio推荐度ICLR的proceeding,NIPS、ICML和其他一些会议当然也有很好的论文,但还是从最近几年的ICLR的proceeding入手最好。不要被数学吓到,只需要锻炼直觉,一旦形成直觉,数学上也就很容易理解。有良好的数学和计算机背景,上手深度学习非常快。

时间: 2024-11-07 09:25:10

deeplearning.ai 人工智能行业大师访谈 Yoshua Bengio 听课笔记的相关文章

deeplearning.ai 人工智能行业大师访谈 Ruslan Salakhutdinov 听课笔记

Ruslan Salakhutdinov一方面是苹果的研究主管,另一方面是CMU的教授. 1. Ruslan说自己进入深度学习完全是运气,他在多伦多大学读硕士,然后休学了一年,他在金融领域工作,那时候他不确定是否要去读个博士.有一天早晨,他在路上遇到了Geoffrey Hinton.Geoffrey Hinton跟他说他有个好点子,然后两个人一起散步讨论,Geoffrey介绍了玻尔兹曼机之类的东西,Ruslan说自己当时没听懂Geoffrey在说什么,但他听了觉得很激动...于是就跟着Geoff

deeplearning.ai 人工智能行业大师访谈 林元庆 听课笔记

1. 读博士之前,林元庆是学光学,他自认为数学基础非常好.在宾夕法尼亚大学上课认识了他的博士导师Dan Lee,转学机器学习.他从头开始学了很多算法,甚至PCA,之前他完全不知道这些,他觉得非常兴奋,每天都能学到好多新东西.博士毕业后去了NEC做研究员(2008年),在NEC后期才开始进入计算机视觉领域,做的第一件事情就是参加第一届ImageNet比赛(2010年)获得了第一名.2011年的AlexNet给了他很大震撼,"哇,深度学习如此强大!"从那之后,林元庆进入深度学习领域. 2.

AI人工智能●转型与机遇分享会

[活动背景] 提及AI人工智能,想必大家并不陌生. 智慧城市.智能家居.物联网.语音识别.智能机器人.无人驾驶等.国务院于7月份正式发布<新一代人工智能发展规划>,人工智能正式纳入国家发展战略. 到2030年,人工智能核心规模将超过1W亿元.带动相关产业规模超10W亿,人才缺口达百万!AI人工智能即将迎来爆炸式增长. 光环国际经过近一年的筹备和打磨,精心研发AI人工智能直通车课程,将于10月28日正式开班!课程主要讲授人工智能算法.记起学习.深度学习等技术,涵盖30余个(人脸识别.语音识别等)

AI人工智能:在生活变难之前,先让自己变强!

近几年大家对AI的关注度越来越高,在2016年世界互联网大会上,人工智能被冠以"四大热词"之一,2017年12月,人工智能入选"2017年度中国媒体十大流行语". 自从2016年AlphaGo以悬殊比分打败世界顶级围棋棋手李世石后,人们开始担心人工智能机器人是否超越了人类智慧.之后围棋天才柯洁输给AlphaGo.AI入侵华尔街引发裁员狂潮.京东黑科技无人超市面世等等诸如此类的消息屡屡登上热搜榜单,人工智能技术被大量应用到各行各业中.可以预见,人工智能必将像人类历史上

对话机器学习大神Yoshua Bengio(下)

对话机器学习大神Yoshua Bengio(下) Yoshua Bengio教授(个人主页)是机器学习大神之一,尤其是在深度学习这个领域.他连同Geoff Hinton老先生以及 Yann LeCun(燕乐存)教授,缔造了2006年开始的深度学习复兴.他的研究工作主要聚焦在高级机器学习方面,致力于用其解决人工智能问题.他是仅存的几个仍然全身心投入在学术界的深度学习教授之一,好多其他教授早已投身于工业界,加入了谷歌或Facebook公司. 作为机器学习社区的活跃者,Yoshua Bengio教授在

Yoshua Bengio 2016年5月11日在Twitter Boston的演讲PPT

Yoshua Bengio最新演讲:Attention 让深度学习取得巨大成功(46ppt) Yoshua Bengio,电脑科学家,毕业于麦吉尔大学,在MIT和AT&T贝尔实验室做过博士后研究员,自1993年之后就在蒙特利尔大学任教,与 Yann LeCun. Geoffrey Hinton并称为“深度学习三巨头”,也是神经网络复兴的主要的三个发起人之一,在预训练问题.为自动编码器降噪等自动编码器的结构问题和生成式模型等等领域做出重大贡献.他早先的一篇关于语言概率模型的论文开创了神经网络做语言

机器学习001 deeplearning.ai 深度学习课程 Neural Networks and Deep Learning 第一周总结

Deep Learning Specialization 吴恩达老师最近在coursera上联合deeplearning.ai 推出了有关深度学习的一系列课程,相对于之前的machine learning课程,这次的课程更加实用,作业语言也有matlab改为了python从而更加贴合目前的趋势.在此将对这个系列课程做一个学习笔记. 而这次的Deep Learning Specialization分为五门课程,分别为:Neural Networks and Deep Learning,Improv

对话机器学习大神Yoshua Bengio(上)

Yoshua Bengio教授(个人主页)是机器学习大神之一,尤其是在深度学习这个领域.他连同Geoff Hinton老先生以及 Yann LeCun(燕乐存)教授,缔造了2006年开始的深度学习复兴.他的研究工作主要聚焦在高级机器学习方面,致力于用其解决人工智能问题.他是仅存的几个仍然全身心投入在学术界的深度学习教授之一,好多其他教授早已投身于工业界,加入了谷歌或Facebook公司. 作为机器学习社区的活跃者,Yoshua Bengio教授在美国东部时间2月27日下午一点到两点,在著名社区R

526份行业报告+白皮书:AI人工智能、机器人、智能出行、智能家居、物联网、VR/AR、 区块链等(附下载)

随着现有技术的成熟,不可预见的发展会更快地到来,而创新则从消费者应用到商业(反之亦然),我们必须不断地寻找那些有潜力为我们自己的业务和我们的客户增值的人. 在未来30年里,超级智能一定会诞生.届时,所有的物都将相互连接,超级智能走进云端,并走进自动驾驶.健康医疗.客户服务.工业等等领域.人们的生活,将发生巨大的改变.墙裂推荐一读. 与 2017 年类似,2018 年的 CES 依然是人工智能.物联网.自动驾驶汽车.AR/VR 和健康设备等热门产品的舞台. 我们分享各个行业526份关于AI人工智能