为什么现在深度学习才流行起来?

曾经在半个世纪之前,作为深度学习的思想和模型就开始研究和探索了,但是为什么现在深度学习才流行起来呢?

其实原因有三个:计算机技术高速发展、互联网产生大数据和神经网络训练方法改进。

在半个世纪之前,可以想象计算机是多么的落后,一台普通的PC就几十平方的房子那么大,计算能力还不及目前一台普通的智能手机,可想而知,在那样的计算能力之下来研究深度学习,简直就是恶梦。因为内存只有几K,而目前随便使用手机来拍摄一张图片,就有几M大小了,这么大的图片在当时的计算机是不能处理的,所以很难让人来研究更高级的应用,所以当时只能来做一些玩具的神经模型,比如布尔运算中的与、非、或,并且还不能计算异或这个操作。因此,在当时只是理论上设计和分析居多,实际练习和试验就少得多了。随着计算机技术高速发展之下,目前一台手机就有4G的内存,储存空间就有128G的大小,而像百度的数据中心,就更加强劲了。

当然有了计算能力超强之后,还不能引爆深度学习,像上个世纪末已经有很多超级计算机中心出现了,这时这些计算机中心主要用来模拟运行核弹,或者天气预报这些。并没有对深度学习生产深入的影响,而在互联网从1997年左右开始兴起之后,互联网就产生了大量的数据,并且这些数据很容易用来标记和共享。比如大量的个人网页的出现,大量网站的出现,然后产生了收集所有数据的想法,就导致网络爬虫的出现。有了爬虫之后,就可以大规则地收集互联网上的数据,再进行分类和标记,当数据积累到一定程度之后,大概在2006年左右就开始兴起深度学习的研究了。

因此有了计算能力强劲的支持,并且有互联网10多年数据的积累,这时再来研究深度学习就比较容易,可以不断地进行试验,试验结果再来修正理论,理论再指导实验,终于进入一个良性循环,从而引爆了深度学习强大的威力。在这时,就可以改善神经网络的训练方法,到2006年时,只需要5000个标记的样本就可以达到很高的性能,如果有1000万个样本,就可以达到,甚至超越人类的能力。像我在训练《Flappy Bird》游戏时,在100万次就可以接受了,如果训练达到300万次,就已经超越人类了。

因而到目前这个时代,深度学习是通过一种极其简单,或者叫做最笨的方法来让计算机学习世界的知识,而不是人类学会了再教给计算机,从而减轻人类学习的能力。可见,自动驾驶汽车出来时,任何人都可以“开”汽车了,从而减轻人的学习能力,将来更多学习的能力交给机器,人们无须再学习,进入一个“不用学习”的时代。比如你写作文是否好,就要看你是否买了一台训练写作文最好的机器。

1. TensorFlow API攻略

http://edu.csdn.net/course/detail/4495

2. TensorFlow入门基本教程

http://edu.csdn.net/course/detail/4369

3. C++标准模板库从入门到精通

http://edu.csdn.net/course/detail/3324

4.跟老菜鸟学C++

http://edu.csdn.net/course/detail/2901

5. 跟老菜鸟学python

http://edu.csdn.net/course/detail/2592

6. 在VC2015里学会使用tinyxml库

http://edu.csdn.net/course/detail/2590

7. 在Windows下SVN的版本管理与实战

http://edu.csdn.net/course/detail/2579

8.Visual Studio 2015开发C++程序的基本使用

http://edu.csdn.net/course/detail/2570

9.在VC2015里使用protobuf协议

http://edu.csdn.net/course/detail/2582

10.在VC2015里学会使用MySQL数据库

http://edu.csdn.net/course/detail/2672

时间: 2024-10-12 15:11:33

为什么现在深度学习才流行起来?的相关文章

学习笔记TF042:TF.Learn、分布式Estimator、深度学习Estimator

TF.Learn,TensorFlow重要模块,各种类型深度学习及流行机器学习算法.TensorFlow官方Scikit Flow项目迁移,谷歌员工Illia Polosukhin.唐源发起.Scikit-learn代码风格,帮助数据科学从业者更好.更快适应接受TensorFlow代码.囊括许多TensorFlow代码.设计模式,用户更快搭建机器学习模型实现应用.避免大量代码重复,把精力放在搭建更精确模型.与其他contrib模块无逢结合. 分布式Estimator.Estimator,各种各样

深度学习十大顶级框架

2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面.新智元在 2015 年底发过一篇文章<深度学习会让机器学习工程师失业吗?>,引起很大的反响.的确,过去一年的时间里,深度学习正在改变越来越多的人工智能领域.Google DeepMind 工程师 Jack Rae 预测说,过去被视为对于中型到大型数据集来说最佳的预测算法的那些模型(比如说提升决策树(Boosted Decision Trees)和随机森林)将会变得无人问津. 深度学习,或者更宽泛地说——使用联结主义

深度学习解决局部极值和梯度消失问题方法简析(转载)

转载:http://blog.sina.com.cn/s/blog_15f0112800102wojj.html 这篇文章关于对深度CNN中BP梯度消失的问题的做了不错的解析,可以看一下: 多层感知机解决了之前无法模拟异或逻辑的缺陷,同时更多的层数也让网络更能够刻画现实世界中的复杂情形.理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务.多层感知机给我们带来的启示是,神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数.但是

白话深度学习与Tensorflow(二)

Cap3:Tensorflow框架特性和安装 目前业界比较普遍使用的深度学习的框架有:Tensorflow.Caffe.Theano.Torch等不下十种. TensorFlow 是一个采用数据流图( data flow graphs),用于数值计算的开源软件库. TensorFlow:深度学习最流行的库之一,是谷歌在深刻总结了其前身 DistBelief 的 经验教训上形成的: 它不仅便携.高效.可扩展,还能在不同计算机上运行:小到智能手 机,大到计算机集群: 它是一款轻量级的软件,可以立刻生

GitHub 上 57 款最流行的开源深度学习项目

转载:https://www.oschina.net/news/79500/57-most-popular-deep-learning-project-at-github 本文整理了 GitHub 上最流行的 57 款深度学习项目(按 stars 排名).最后更新:2016.08.09 1.TensorFlow 使用数据流图计算可扩展机器学习问题 TensorFlow 是谷歌的第二代机器学习系统,按照谷歌所说,在某些基准测试中,TensorFlow 的表现比第一代的 DistBelief 快了2

开源深度学习框架(楚才国科)

周早些时候Google开源了TensorFlow(GitHub),此举在深度学习领域影响巨大,因为Google在人工智能领域的研发成绩斐然,有着雄厚的人才储备,而且Google自己的Gmail和搜索引擎都在使用自行研发的深度学习工具. 无疑,来自Google军火库的TensorFlow必然是开源深度学习软件中的明星产品,登陆GitHub当天就成为最受关注的项目,当周获得评星数就轻松超过1万个. 对于希望在应用中整合深度学习功能的开发者来说,GitHub上其实还有很多不错的开源项目值得关注,首先我

从Image Caption Generation理解深度学习

0. 前面的话 建丁让我写一篇深度学习相关小文章,目标读者是国内的开发者.刚接到这个任务时我是颇为忐忑的,写文章要讲究厚积薄发,如果“水之积也不厚”,“则其负大舟也无力”.因为我自知水平很有限,又不是在学校和科研机构做研究,只不过因为工作和个人的兴趣,对深度学习有一点点粗浅的了解,所以担心写出来的东西不但于人无益,甚至还让人误入歧途.但后来又一想,如果把自己作为一个深度学习的学习者,和对它感兴趣的普通开发者分享一些学习的经历,包括学习过程中遇到的问题,可能也是有一些意义的.毕竟读论文或者听学术大

关于机器学习和深度学习的资料

声明:转来的,原文出处:http://blog.csdn.net/achaoluo007/article/details/43564321 编者按:本文收集了百来篇关于机器学习和深度学习的资料,含各种文档,视频,源码等.而且原文也会不定期的更新,望看到文章的朋友能够学到更多. <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost 到随机森林.Deep Learning. &

深度学习与自然语言处理(2)_斯坦福cs224d Lecture 2

原文作者:Rohit Mundra, Richard Socher 原文翻译:@熊杰([email protected]) && @王昱森 内容调整与校对:寒小阳 && 龙心尘 特别鸣谢:@面包包包包包同学的帮助 时间:2016年6月 出处:http://blog.csdn.net/han_xiaoyang/article/details/51648483 http://blog.csdn.net/longxinchen_ml/article/details/5164853