“神经网络之父”抛弃几十年探索成果,欲从头开始开辟全新道路

  “我们需要放弃掉反向传播算法(Backpropagation algorithm),重新开辟一条新的路径。”终于,Hinton 还是表达出了这个或许已经埋藏他内心很久的想法。
  
  图丨神经网络之父 Geoffrey Hinton
  
  在上周三的一场多伦多 AI 会议上,Hinton 接受了 Axios 的采访时袒露了对反向传播算法的质疑。他认为反向传播算法并不是大脑运作的方式,要想让神经网络变得更智能。就必须放弃这种为所有数据标注的方式。
  
  而 Hinton 所提到的反向传播算法在当今的人工智能领域扮演着重要的角色。在输入数据固定的情况下、反向传播算法利用神经网络的输出敏感度来快速计算出神经网络中的各种超参数。它之所以重要,是因为极高的效率。在图像与语音的识别分类上具有重要作用。
  
  虽然会议上的其他科学家坚持反向传播在人工智能未来的发展中仍然将发挥着重要的作用,但显然 Hinton 已经开始考虑全新的技术路径了。而事实上,这也并不意外,毕竟从 80 年代开始,Hinton 就开始关注人类大脑的原理,并发表了一定数量的有关脑神经科学的论文。
  
  1986 年的那篇 Hinton 与 David E. Rumelhart www.ysyl157.com 和 Ronald J. www.wmyl1.cn Wlilliams 合着的《Learning representations by back-propagation errors》论文具有重要的意义,可以说是代表着反向传播算法首次被引入到多层神经网络训练,也为后来该算法的推广埋下伏笔。
  
  但作为反向传播算法的发起者,Hinton 又亲自否定了自己成果,想要重新开始,这不由得让人联想到普朗克的那句名言“科学是通过一次又一次的葬礼而取得前进的”

时间: 2024-08-09 21:54:46

“神经网络之父”抛弃几十年探索成果,欲从头开始开辟全新道路的相关文章

第10章神经网络基础

第10章神经网络基础 在本章中,我们将深入研究神经网络(neural networks)的基础.我们将首先讨论人工神经网络,以及它们是如何从我们自己身体中的真实生物神经网络中得到启发的.之后,我们将回顾经典的感知器算法(Perceptron algorithm)以及它在神经网络历史中的作用. 构建了感知器,我们将学习BP算法(backpropagation algorithm),这是现代神经网络的基石.我们将使用python从头实现BP算法,确保我们理解了这个重要的算法. 当然,现代神经网络库如

深度学习-常见神经网络

目录 一.深度信念网络(DBN) 玻尔兹曼机(BM) 受限玻尔兹曼机(RBM) 二.卷积神经网络(CNN) 卷积是什么 掷骰子 做馒头 做鱼 图像处理 卷积神经网络特性 卷积神经网络分层 三.生成对抗式网络(GAN) 生成器(generator) 判别器(discriminator) 四.循环神经网络(RNN) 双向RNN 深度RNN 递归RNN 五.长短期记忆网络(LSTM) 4种组成 一.深度信念网络(DBN) 2006年,"神经网络之父"Geoffrey Hinton祭出神器深度

研究内容与成果

研究内容表述 我们主要研究不可压 Navier-Stokes 方程组 $$\bee\label{NSE} \sedd{\ba{ll} \p_t\bf{u}+(\bf{u}\cdot\n)\bf{u}-\lap\bf{u}+\n \pi=\bf{0},\\ \n\cdot\bf{u}=0,\\ \bf{u}(0)=\bf{u}_0, \ea} \eee$$ 其中 $\bf{u}$ 是速度, $\pi$ 是压力, $\bf{u}_0$ 是初始速度.  该方程是千禧年大奖难题之一. 百度百科里如此介绍

对IBM,阿里巴巴,麻省理工,google的报道

IBM 1. IBM作为老牌企业,一直在引领者技术方面的变革.当IBM再一次从自我革新开始,期望能够更快的将认知计算和云推广给自己的合作伙伴和用户们,以帮助他们在新的转型期内,能够快人一步. 但是,我们所知的以往传统的合作伙伴模式已经不能更好的匹配现阶段的一些新情况.IBM自己也提出了对于合作伙伴计划的升级.在大会期间我采访到了IBM全球合作伙伴事业部.软件渠道副总裁Michael Gerentine,IBM全球合作伙伴事业部.硬件渠道副总裁Sergio Amoni以及IBM大中华区副总裁.全球

2012高校GIS论坛

江苏省会议中心 南京·钟山宾馆(2012年4月21-22日) 以"突破与提升"为主题的"2012高校GIS论坛"将于4月在南京举行,由南京大学和工程中心共同承办.高校GIS论坛每两年举办一次,已在北京九华山庄成功举办三届,现已发展成为国内高校GIS教育界最有权威,最具影响力的高端论坛. 赛迪网直播小组正在现场进行图文.微博直播——2012高校GIS论坛! 主持人:尊敬的李院长.曹省长.陈校长,“突破与提升2012高校GIS论坛”现在开幕!首先请允许我介绍出席今天开幕

编程思想、哲学、道与术

一切的起源:问题及问题的求解: 编程是为了解决问题,而解决问题可以有多种视角和思路: 世界观与方法论: 马克思:世界是物质的,物质是运动的:运动着的物质是普遍联系和永恒发展的: 编程思想与世界观: 我们知道,哲学领域中,最根本的对立是唯物主义和唯心主义的对立,而附属其下,又有许多对立,如形而上学和辩证法的对立.可知论和不可知论的对立等等.这些对立形成了哲学的基本体系.派别和出发点.实际上,这些对立,都是世界观的对立.世界观,简而言之即如何看待这个世界.世界观是一切哲学问题的本源和出发点. 同样,

解读神秘而又强大的百度人工智能计算机

2014年8月,在硅谷Cupertino Flint Center召开的26届Hotchips 会议上,百度宣读了其发表的论文(据不完全统计,这应该也是国内第四篇Hotchips文章,前3篇均为龙芯团队所发).一年之后,一个叫"仙童"的项目,获得了奖金为一百万美金的百度最高奖. 这两个看起来无关的事件,背后都是一个工作,就是百度自主研究的人工智能计算机.虽然百度从事人工智能计算机的研究和探索已经长度4年,本文是第一次系统阐述这背后的故事和历程. 百度人工智能应用百度是国内应用深度学习的

EntityFramework Model有外键时,Json提示循环引用 解决方法

正文之前先说两句,距离上篇博客已将近两个月,这方面的学习和探索并没有停止,而是前进道路上遇上了各种各样的问题,需要不断的整理.反思和优化,这段时间的成果,将在最近陆续整理发出来. 个人感觉国内心态太浮躁了,很少有能深入研究下去并将自己经验分享的人,可能很忙,也可能嫌麻烦.特别是面向新技术,尤其是在学习资料有限的情况下,愿意花费时间摸索和分享的人实在太少太少,遇到问题,搜索结果一抓一大把,但是往往都是转载,连最起码的自己验证都没有,结果就是以讹传讹,不仅对解决问题无用,反而容易产生误导.最近这段时

2018年最新Python书单

Python这个"无所不在"的编程语言,学会它,薪资高到没朋友.2018年初这些Python新书值得关注,正要踏入Python学堂的,一定要收藏.号外,异步社区招募书评人,如果你意向加入,在微信后台回复"书评",即可加入我们,免费读新书.下面来一起看看有哪些Python新书吧.<Python程序设计(第3版)>Python之父作序推荐 Python编程入门经典编辑推荐: 广泛使用计算机图形学--本书提供一个简单的图形软件包graphics.py作为示例.