-
图书
- 深度学习，Yoshua Bengio，Ian Goodfellow，Aaron Courville，MIT Press，准备中。
-
评论文章
- 代表性学习：评论与新视角，Yoshua Bengio，Aaron Courville，Pascal Vincent，Arxiv，2012。
- 专题或评论文章 学习人工智能的深层架构 （基础和机器学习趋势，2009）。
- 深度机器学习 - 人工智能研究的新前沿 - Itamar Arel，Derek C. Rose和Thomas P. Karnowski 的 调查报告。
- 格雷夫斯，答（2012年）。 用递归神经网络进行监督序列标记（第385卷）。斯普林格。
- Schmidhuber，J.（2014）。神经网络的深度学习：概述。75页，850+参考文献，http： //arxiv.org/abs/1404.7828，PDF＆LATEX 源代码和http://www.idsia.ch/~juergen/ deep-learning-overview.html下的完整公共BIBTEX文件 。
- LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。“深入的学习。”自然 521，没有。7553（2015）：436-444。
-
强化学习
- Mnih，Volodymyr，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra和Martin Riedmiller。“通过深入强化学习玩Atari。” arXiv预印本arXiv：1312.5602 （2013）。
- Volodymyr Mnih，Nicolas Heess，Alex Graves，Koray Kavukcuoglu。“ 视觉注意的复发模型 ”ArXiv电子版，2014。
-
计算机视觉
- ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
- 深入卷积，Christian Szegedy，刘伟，杨扬佳，Pierre Sermanet，Scott Reed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，Andrew Rabinovich，2014年9月19日。
- 学习场景标签的分层特征，Clement Farabet，Camille Couprie，Laurent Najman和Yann LeCun，IEEE模式分析和机器智能汇刊，2013。
- 学习用于视觉识别的卷积特征 Hierachies，Koray Kavukcuoglu，Pierre Sermanet，Y-Lan Boureau，Karol Gregor，Micha?lMathieu和Yann LeCun，神经信息处理系统进展（NIPS 2010），23,2010。
- 格雷夫斯，亚历克斯等人。 “A novel connectionist system for unconstrained handwriting recognition。” Pattern Analysis and Machine Intelligence，IEEE Transactions on 31.5（2009）：855-868。
- Cire?an，DC，Meier，U.，Gambardella，LM，＆Schmidhuber，J.（2010）。 用于手写数字识别的深，大，简单的神经网络。 神经计算， 22（12），3207-3220。
- Ciresan，Dan，Ueli Meier和JürgenSchmidhuber。 “用于图像分类的多列深度神经网络”，计算机视觉和模式识别（CVPR），2012年IEEE会议。IEEE，2012。
- Ciresan，D.，Meier，U.，Masci，J.，＆Schmidhuber，J。（2011年7月）。 交通标志分类神经网络委员会。 在 神经网络（IJCNN），2011年国际联合会议上（pp。1918-1921 ）。IEEE。
-
NLP和言语
- “开放文本语义分析的词汇和意义表征的联合学习”，Antoine Bordes，Xavier Glorot，Jason Weston和Yoshua Bengio（2012），第15届国际人工智能和统计学会议（AISTATS）
- 动态汇集和展开递归自动编码器以进行释义检测。Socher，R.，Huang，EH，Pennington，J.，Ng，AY和Manning，CD（2011a）。在NIPS‘2011中。
- 用于预测情绪分布的半监督递归自动编码器。Socher，R.，Pennington，J.，Huang，EH，Ng，AY和Manning，CD（2011b）。在EMNLP‘2011。
- MikolovTomá?： 基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
- Graves，Alex和JürgenSchmidhuber。“ 使用双向LSTM和其他神经网络架构的帧式音素分类。“ 神经网络 18.5（2005）：602-610。
- Mikolov，Tomas，Ilya Sutskever，Kai Chen，Greg S. Corrado和Jeff Dean。 “分布式表达的单词和短语及其组合性 ”，在 神经信息处理系统的进展，第3111-3119页。2013。
- K. Cho，B. van Merrienboer，C. Gulcehre，D. Bahdanau，F. Bougares，H. Schwenk，Y. Bengio。 使用RNN编码器 - 解码器来学习用于统计机器翻译的短语表示。EMNLP 2014。
- Sutskever，Ilya，Oriol Vinyals和Quoc VV Le。“ 序列学习与神经网络。” 神经信息处理系统的进展。2014年
-
消除因素和深度变化
- Goodfellow，Ian等人。“测量深度网络中的不变性” 。神经信息处理系统进展 22（2009）：646-654。
- Bengio，Yoshua等人。“通过深度表现更好地混合。” arXiv预印本arXiv：1207.4404 （2012）。
- Xavier Glorot， Antoine Bordes 和 Yoshua Bengio，“ 大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML‘11），第97-110页，2011年。
-
转移学习和域名适应
- Raina，Rajat等人。“自学教学：从无标签数据转移学习” ，第24届机器学习国际会议论文集。ACM，2007。
- Xavier Glorot， Antoine Bordes 和 Yoshua Bengio，“ 大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML‘11），第97-110页，2011年。
- R. Collobert，J.Weston，L.Bottou，M.Karlen，K.Kavukcuoglu和P.Kuksa。 自然语言处理（几乎）从头开始。 Journal of Machine Learning Research，12：2493-2537，2011。
- Mesnil，Grégoire等人。“无监督和转移学习挑战：深度学习方法”。 无监督和转移学习研讨会，与ICML一起。2011。
- Ciresan，DC，Meier，U。和Schmidhuber，J。（2012年6月）。 用深度神经网络为拉丁文和中文字符转换学习。在 神经网络（IJCNN），在2012年国际联合大会 （第1-6页）。IEEE。
- Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“ ICML 2012。
-
实用技巧和指南
- “通过防止特征探测器的共同适应改善神经网络。” Hinton，Geoffrey E.等，arXiv预印本arXiv：1207.0580（2012）。
- 关于深度架构梯度训练的实用建议，Yoshua Bengio，U. Montreal，arXiv报告：1206.5533，计算机科学讲义7700，神经网络：交易技巧第二版，编辑：GrégoireMontavon，GenevièveB. Orr ，Klaus-RobertMüller，2012年。
- 由Geoffrey Hinton撰写的一本关于培训Restricted Boltzmann Machines的实用 指南。
-
稀疏编码
- 通过学习自然图像的稀疏编码，Bruno Olhausen，Nature 1996 发表简单细胞感受野性质。
- Kavukcuoglu，Koray，Marc‘Aurelio Ranzato和Yann LeCun。“ 稀疏编码算法与应用程序对物体识别的快速推导。“ arXiv预印本arXiv：1010.3467 （2010）。
- Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“ ICML 2012。
- 高效的稀疏编码算法。Honglak Lee，Alexis Battle，Raina Rajat和Andrew Y. Ng。在 NIPS 19，2007. PDF
- “ 基于过度完备的稀疏编码：VI？采用的策略。“。奥尔斯豪森，布鲁诺A.和戴维J.菲尔德。 Vision research 37.23（1997）：3311-3326。
-
基础理论与动机
- Hinton，Geoffrey E.“确定性Boltzmann学习在加权空间中执行最速下降”， 神经计算 1.1（1989）：143-150。
- Bengio，Yoshua和Samy Bengio。“用多层神经网络建模高维离散数据。” Advances in Neural Information Processing Systems 12（2000）：400-406。
- Bengio，Yoshua等人。“深层网络的贪婪分层训练。” 神经信息处理系统的进展 19（2007）：153。
- Bengio，Yoshua，Martin Monperrus和Hugo Larochelle。“流形结构的非局部估计。” Neural Computation 18.10（2006）：2509-2528。
- Hinton，Geoffrey E.和Ruslan R. Salakhutdinov。“用神经网络降低数据的维度”， 科学 313.5786（2006）：504-507。
- Marc‘Aurelio Ranzato，Y.，Lan Boureau和Yann LeCun。“Sparse feature learning for deep belief networks。” Advances in neural information processing systems 20（2007）：1185-1192。
- Bengio，Yoshua和Yann LeCun。“扩大对AI的学习算法”， 大型内核机器 34（2007）。
- Le Roux，Nicolas和Yoshua Bengio。“限制 玻尔兹曼机器和深层信念网络的表征能力”， Neural Computation 20.6（2008）：1631-1649。
- Sutskever，Ilya和Geoffrey Hinton。“时间 - 内核递归神经网络”， 神经网络 23.2（2010）：239-243。
- Le Roux，Nicolas和Yoshua Bengio。“深层信念网络是紧凑型通用逼近器。” 神经计算 22.8（2010）：2192-2207。
- Bengio，Yoshua和Olivier Delalleau。“关于深层架构的表现力。” 算法学习理论。斯普林格柏林/海德堡，2011年。
- Montufar，Guido F.和Jason Morton。“产品混合物何时含有混合物产品？” arXiv预印本arXiv：1206.0387 （2012）。
- 蒙图法，圭多，拉斯万帕斯卡努，京仁祖和Yoshua Bengio。“ 关于深度神经网络的线性区域的数量。”arXiv预印本arXiv：1402.1869（2014）。
-
受监督的Feedfoward神经网络
- Manifold Tangent Classifier，Salah Rifai，Yann Dauphin，Pascal Vincent，Yoshua Bengio和Xavier Muller在：NIPS‘2011。
- “ Sum-Product Networks的判别式学习。“，Gens，Robert和Pedro Domingos，NIPS 2012最佳学生论文。
- Goodfellow，I.，Warde-Farley，D.，Mirza，M.，Courville，A.和Bengio，Y。（2013）。 Maxout网络。技术报告，蒙特利尔大学。
- Hinton，Geoffrey E.等人。“ 通过防止特征探测器的共同适应改善神经网络。” arXiv预印本arXiv：1207.0580 （2012）。
- 王斯达和克里斯托弗曼宁。“快速辍学培训” 。第30届国际机器学习会议论文集（ICML-13），第118-126页。2013。
- Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ Deep sparse rectifier networks。”在 第14届国际人工智能与统计学会议论文集中。JMLR W＆CP Volume，vol。15，pp.315-323。2011。
- ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
-
大规模深度学习
- 使用大规模无监督学习构建高级功能 Quoc V. Le，Marc‘Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeffrey Dean和Andrew Y. Ng，ICML 2012。
- Bengio，Yoshua等人。“ 神经概率语言模型。“ 机器学习创新 （2006）：137-186。具体来说，本文的第3节讨论了异步SGD。
- Dean，Jeffrey等人。 “大规模分布式深度网络” ，神经信息处理系统的进展。2012。
-
经常性网络
- 训练周期性神经网络，Ilya Sutskever，博士论文，2012。
- Bengio，Yoshua，Patrice Simard和Paolo Frasconi。 “利用梯度下降学习长期依赖是困难的。” Neural Networks，IEEE Transactions on 5.2（1994）：157-166。
- MikolovTomá?： 基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
- Hochreiter，Sepp和JürgenSchmidhuber。“长期的短期记忆。” Neural computation 9.8（1997）：1735-1780。
- Hochreiter，S.，Bengio，Y.，Frasconi，P.，＆Schmidhuber，J。（2001）。 循环网络中的渐变流：学习长期依赖性的困难。
- Schmidhuber，J.（1992）。 使用历史压缩原理学习复杂的扩展序列。神经计算， 4（2），234-242。
- Graves，A.，Fernández，S.，Gomez，F.，＆Schmidhuber，J。（2006年6月）。 Connectionist时间分类：用递归神经网络标记未分段的序列数据。在 第23届机器学习国际会议论文集 （第369-376页）中。ACM。
-
超参数
- “机器学习算法的实用贝叶斯优化”，Jasper Snoek，Hugo Larochelle，Ryan Adams，NIPS 2012。
- 随机搜索超参数优化，James Bergstra和Yoshua Bengio（2012），机器学习研究期刊，13（281-305）。
- 用于超参数优化的算法，James Bergstra，RémyBardenet，Yoshua Bengio和BalázsKégl在：NIPS‘2011,2011。
-
优化
- 使用Hessian-Free优化训练深度和复发性神经网络，James Martens和Ilya Sutskever，神经网络：2012年贸易技巧。
- Schaul，Tom，Sixin Zhang和Yann LeCun。 “没有更多的Pesky学习率。”arXiv预印本arXiv：1206.1106 （2012）。
- Le Roux，Nicolas，Pierre-Antoine Manzagol和Yoshua Bengio。“ Topmoumoute在线自然梯度算法”。 神经信息处理系统（NIPS）。2007年。
- Bordes，Antoine，LéonBottou和Patrick Gallinari。“ SGD-QN：谨慎的准牛顿随机梯度下降 ” ，机器学习研究杂志 10（2009）：1737-1754。
- Glorot，Xavier和Yoshua Bengio。 “了解训练深度前馈神经网络的难度。” 国际人工智能与统计学会议论文集（AISTATS‘10）。人工智能与统计学会。2010。
- Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ 深稀疏整流器网络。“ 第14届国际人工智能与统计学会议论文集。JMLR W＆CP卷。卷。15. 2011年。
- “通过Hessian优化深入学习。”Martens，James。第27届国际机器学习会议论文集（ICML）。卷。951. 2010年。
- Hochreiter，Sepp和JürgenSchmidhuber。 “Flat minima。” Neural Computation， 9.1（1997）：1-42。
- Pascanu，Razvan和Yoshua Bengio。“ 重温深层网络的自然梯度。” arXiv预印本arXiv：1301.3584 （2013）。
- Dauphin，Yann N.，Razvan Pascanu，Caglar Gulcehre，Kyunghyun Cho，Surya Ganguli和Yoshua Bengio。“ 识别和攻击高维非凸优化中的鞍点问题。“In Advances in Neural Information Processing Systems ，pp.2933-2941。2014年
-
无监督特征学习
- Salakhutdinov，Ruslan和Geoffrey E. Hinton。 “深玻尔兹曼机器。” 人工智能和统计国际会议论文集。卷。5.第2号。麻省剑桥：麻省理工学院出版社，2009年。
- 关于深信仰网络的Scholarpedia页面。
-
深玻尔兹曼机器
- 深玻耳兹曼机器的有效学习过程，Ruslan Salakhutdinov和Geoffrey Hinton，神经计算2012年8月，24，第8期：1967 - 2006。
- Montavon，Grégoire和Klaus-RobertMüller。“ 深玻耳兹曼机器和中心技巧。“ 神经网络：贸易技巧 （2012）：621-637。
- Salakhutdinov，Ruslan和Hugo Larochelle。“ 深玻尔兹曼机器的高效学习。“ 人工智能和统计国际会议。2010。
- Salakhutdinov，Ruslan。 学习深度生成模型。迪斯。多伦多大学，2009年。
- Goodfellow，Ian等人。“ 多预测深玻尔兹曼机器。” 神经信息处理系统的进展。2013。
-
RBMS
- Spike-and-Slab RBM的图像无监督模型，Aaron Courville，James Bergstra和Yoshua Bengio在：ICML‘2011
- 欣顿，杰弗里。 “培训受限玻尔兹曼机器的实用指南。“ 动量 9.1（2010）：926。
-
自动编码
- 正规化自动编码器估计当地统计数据，Guillaume Alain，Yoshua Bengio和Salah Rifai，蒙特利尔大学arXiv报告1211.4246,2012
- 一个生成过程的抽样压缩自动编码器，Salah Rifai，Yoshua Bengio，Yann Dauphin和Pascal Vincent在：ICML‘2012，爱丁堡，苏格兰，英国，2012年
- 合同自动编码器：特征提取期间的显式不变性，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot和Yoshua Bengio，在：ICML‘2011
- 面部表情识别的变异因素，Salah Rifai，Yoshua Bengio，Aaron Courville，Pascal Vincent和Mehdi Mirza，在：ECCV‘2012。
- 文森特，帕斯卡尔等人。“ 堆叠去噪自动编码器：使用本地去噪标准在深度网络中学习有用的表示。“ 机器学习研究杂志 11（2010）：3371-3408。
- 文森特，帕斯卡尔。“ 分数匹配和去噪自动编码器之间的联系。” 神经计算 23.7（2011）：1661-1674。
- 陈敏敏等 “ 用于域适应的边缘化去噪自动编码器。“ arXiv预印本arXiv：1206.4683 （2012）。
-
杂
- ICML 2009学习要点层次结构 网页 有一个 阅读列表。
- 斯坦福大学的 UFLDL推荐读物。
- 该 LISA公开的维基 有一个 阅读清单 和 参考书目。
- Geoff Hinton 有 阅读 NIPS 2007教程。
- LISA出版物数据库包含 深层架构 类别。
- 在 Yoshua Bengio的 IFT6266研究生课程中简要介绍 AI，机器学习和 深度学习
- Memkite的深度学习阅读列表，http：//memkite.com/deep-learning-bibliography/。
- 深度学习资源页面， http://www.jeremydjacksonphd.com/?cat=7
原文地址：https://www.cnblogs.com/noticeable/p/9242674.html
时间： 2024-08-26 00:08:16