從文本到視覺：各領域最前沿的論文集合

選自GitHub

作者：Simon Brugman

參與：吳攀

深度學習已經在語音識別、機器翻譯、圖像目標檢測和聊天機器人等許多領域百花齊放。近日，GitHub 用戶 Simon Brugman 發布了一個按任務分類的深度學習論文項目，其按照不同的任務類型列出了一些當前最佳的論文和對起步有用的論文。

目錄

1. 文本

1.1. 代碼生成（Code Generation）

1.2. 情感分析（Sentiment Analysis）

1.3. 翻譯（Translation）

1.4. 分類（Classification）

2. 視覺

2.1. 遊戲（Gaming）

2.2. 風格遷移（Style Transfer）

2.3. 跟踪（Tracking）

2.4. 圖像分割（Image Segmentation）

2.5. 室外的文本識別（Text (in the Wild) Recognition）

2.6. 腦機接口（Brain Computer Interfacing）

2.7. 自動駕駛汽車（Self-Driving Cars）

2.8. 目標識別（Object Recognition）

2.9. 標識識別（Logo Recognition）

2.10. 超分辨率（Super Resolution）

2.11. 姿態估計（Pose Estimation）

2.12. 圖像描述（Image Captioning）

2.13. 圖像壓縮（Image Compression）

2.14. 圖像合成（Image Synthesis）

2.15. 面部識別（Face Recognition）

3. 音頻

3.1. 音頻合成（Audio Synthesis）

4. 其它

4.1. 未分類

4.2. 正則化（Regularization）

4.3. 神經網絡壓縮（Neural Network Compression）

4.4. 優化器（Optimizers）

文本

代碼生成（Code Generation）

1.A Syntactic Neural Model for General-Purpose Code Generation

時間：2017 年 4 月 6 日

地址：https://arxiv.org/pdf/1704.01696

2.RobustFill: Neural Program Learning under Noisy I/O

時間：2017 年 3 月 21 日

地址：https://arxiv.org/pdf/1703.07469

解讀：《微軟RobustFill：無需編程語言，讓神經網絡自動生成程序》

3.DeepCoder: Learning to Write Programs

時間：2016 年 11 月 7 日

地址：https://arxiv.org/pdf/1611.01989

解讀：《學界 | 劍橋與微軟提交ICLR 2017論文提出DeepCoder：組合其它程序代碼生成新程序》

4.Neuro-Symbolic Program Synthesis

時間：2016 年 11 月 6 日

地址：https://arxiv.org/pdf/1611.01855

情感分析（Sentiment Analysis）

1.Rationalizing Neural Predictions

時間：2016 年 6 月 13 日

地址：https://arxiv.org/pdf/1606.04155

2.Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

時間：2013 年 10 月 18 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/recursive-deep-models-for-semantic-compositionality-over-a-sentiment-treebank.pdf

翻譯（Translation）

1.Google‘s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

時間：2016 年 11 月 14 日

地址：https://arxiv.org/pdf/1611.04558

解讀：《重磅 | 谷歌神經機器翻譯再突破：實現高質量多語言翻譯和zero-shot翻譯（附論文）》

2.Google‘s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

時間：2016 年 9 月 26 日

地址：https://arxiv.org/pdf/1609.08144

解讀：《重磅 | 谷歌翻譯整合神經網絡：機器翻譯實現顛覆性突破（附論文）》

分類（Classification）

1.A Simple but Tough-to-Beat Baseline for Sentence Embeddings

時間：2016 年 11 月 4 日

地址：https://openreview.net/pdf?id=SyK00v5xx

2.From Word Embeddings To Document Distances

時間：2016 年 7 月 6 日

地址：http://proceedings.mlr.press/v37/kusnerb15.pdf

3.Character-level Convolutional Networks for Text Classification

時間：2015 年 9 月 4 日

地址：https://arxiv.org/pdf/1509.01626

4.GloVe: Global Vectors for Word Representation

時間：2015 年 5 月 25 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/glove-global-vectors-for-word-representation.pdf

5.Distributed Representations of Sentences and Documents

時間：2014 年 5 月 16 日

地址：https://arxiv.org/pdf/1405.4053

6.Efficient Estimation of Word Representations in Vector Space

時間：2013 年 1 月 16 日

地址：https://arxiv.org/pdf/1301.3781

視覺

遊戲（Gaming）

1.Phase-Functioned Neural Networks for Character Control

時間：2017 年 5 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/phase-functioned-neural-networks-for-character-control.pdf

2.Equivalence Between Policy Gradients and Soft Q-Learning

時間：2017 年 4 月 21 日

地址：https://arxiv.org/pdf/1704.06440

3.Beating Atari with Natural Language Guided Reinforcement Learning

時間：2017 年 4 月 18 日

地址：https://arxiv.org/pdf/1704.05539

4.Learning from Demonstrations for Real World Reinforcement Learning

時間：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03732

5.FeUdal Networks for Hierarchical Reinforcement Learning

時間：2017 年 3 月 3 日

地址：https://arxiv.org/pdf/1703.01161

6.Overcoming catastrophic forgetting in neural networks

時間：2016 年 12 月 2 日

地址：https://arxiv.org/pdf/1612.00796

解讀：《為機器賦予記憶：DeepMind重磅研究提出彈性權重鞏固算法》

7.DeepChess: End-to-End Deep Neural Network for Automatic Learning in Chess

時間：2015 年 8 月 16 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deepchess-end-to-end-deep-neural-network-for-automatic-learning-in-chess.pdf

8.Dueling Network Architectures for Deep Reinforcement Learning

時間：2015 年 11 月 20 日

地址：https://arxiv.org/pdf/1511.06581

9.Human-level control through deep reinforcement learning

時間：2015 年 2 月 26 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/human-level-control-through-deep-reinforcement-learning.pdf

10.Playing Atari with Deep Reinforcement Learning

時間：2013 年 12 月 19 日

地址：https://arxiv.org/pdf/1312.5602

風格遷移（Style Transfer）

1.Deep Photo Style Transfer

時間：2017 年 3 月 22 日

地址：https://arxiv.org/pdf/1703.07511

解讀：《資源 | 下一代PS工具：Adobe照片級圖像風格轉換的Torch實現》

2.Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

時間：2017 年 3 月 20 日

地址：https://arxiv.org/pdf/1703.06868

開源項目：https://github.com/xunhuang1995/AdaIN-style

3.A Learned Representation For Artistic Style

時間：2016 年 10 月 24 日

地址：https://arxiv.org/pdf/1610.07629

4.Instance Normalization: The Missing Ingredient for Fast Stylization

時間：2016 年 7 月 27 日

地址：https://arxiv.org/pdf/1607.08022

5.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

時間：2016 年 3 月 27 日

地址：https://arxiv.org/pdf/1603.08155

開源項目：http://github.com/jcjohnson/fast-neural-style

6.A Neural Algorithm of Artistic Style

時間：2015 年 8 月 26 日

地址：https://arxiv.org/pdf/1508.06576

開源項目：https://github.com/lengstrom/fast-style-transfer/

跟踪（Tracking）

1.End-to-end representation learning for Correlation Filter based tracking

時間：2017 年 4 月 20 日

地址：https://arxiv.org/pdf/1704.06036

開源項目：https://github.com/bertinetto/cfnet

圖像分割（Image Segmentation）

1.SfM-Net: Learning of Structure and Motion from Video

時間：2017 年 4 月 25 日

地址：https://arxiv.org/pdf/1704.07804

2.Mask R-CNN

時間：2017 年 3 月 20 日

地址：https://arxiv.org/pdf/1703.06870

解讀：《學界 | Facebook新論文提出通用目標分割框架Mask R-CNN：更簡單更靈活表現更好》和《深度 | 用於圖像分割的捲積神經網絡：從R-CNN到Mark R-CNN》

3.Learning Features by Watching Objects Move

時間：2016 年 12 月 19 日

地址：https://arxiv.org/pdf/1612.06370

4.Fully Convolutional Networks for Semantic Segmentation

時間：2016 年 5 月 20 日

地址：https://arxiv.org/pdf/1605.06211

5.Instance-aware Semantic Segmentation via Multi-task Network Cascades

時間：2015 年 12 月 14 日

地址：https://arxiv.org/pdf/1512.04412

6.Multi-Scale Context Aggregation by Dilated Convolutions

時間：2015 年 11 月 23 日

地址：https://arxiv.org/pdf/1511.07122

7.SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation

時間：2015 年 11 月 2 日

地址：https://arxiv.org/pdf/1511.00561

8.Learning Rich Features from RGB-D Images for Object Detection and Segmentation

時間：2014 年 7 月 22 日

地址：https://arxiv.org/pdf/1407.5736

室外的文本識別（Text (in the Wild) Recognition）

1.OCR Error Correction Using Character Correction and Feature-Based Word Classification

時間：2016 年 4 月 21 日

地址：https://arxiv.org/pdf/1604.06225

2.Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

時間：2016 年 5 月 9 日

地址：https://arxiv.org/pdf/1603.03101

3.COCO-Text: Dataset and Benchmark for Text Detection and Recognition in Natural Images

時間：2016 年 1 月 26 日

地址：https://arxiv.org/pdf/1601.07140

4.Efficient Scene Text Localization and Recognition with Local Character Refinement

時間：2015 年 4 月 14 日

地址：https://arxiv.org/pdf/1504.03522

5.Reading Text in the Wild with Convolutional Neural Networks

時間：2014 年 12 月 4 日

地址：https://arxiv.org/pdf/1412.1842

6.Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

時間：2014 年 6 月 9 日

地址：https://arxiv.org/pdf/1406.2227

腦機接口（Brain Computer Interfacing）

1.Encoding Voxels with Deep Learning

時間：2015 年 12 月 2 日

地址：http://www.jneurosci.org/content/jneuro/35/48/15769.full.pdf

2，Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream

時間：2015 年 7 月 8 日

地址：http://www.jneurosci.org/content/jneuro/35/27/10005.full.pdf

自動駕駛汽車（Self-Driving Cars）

1.Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art

時間：2017 年 4 月 18 日

地址：https://arxiv.org/pdf/1704.05519

解讀：《重磅 | 自動駕駛計算機視覺研究綜述：難題、數據集與前沿成果（附67頁論文下載）》

2.End to End Learning for Self-Driving Cars

時間：2016 年 4 月 25 日

地址：https://arxiv.org/pdf/1604.07316

目標識別（Object Recognition）

1.Introspective Classifier Learning: Empower Generatively

時間：2017 年 4 月 25 日

地址：https://arxiv.org/pdf/1704.07816

2.Learning Chained Deep Features and Classifiers for Cascade in Object Detection

時間：2017 年 2 月 23 日

地址：https://arxiv.org/pdf/1702.07054

3.DSSD : Deconvolutional Single Shot Detector

時間：2017 年 1 月 23 日

地址：https://arxiv.org/pdf/1701.06659

4.YOLO9000: Better, Faster, Stronger

時間：2016 年 12 月 25 日

地址：https://arxiv.org/pdf/1612.08242

開源項目：https://github.com/pjreddie/darknet

5.Feature Pyramid Networks for Object Detection

時間：2016 年 12 月 9 日

地址：https://arxiv.org/pdf/1612.03144

6.Speed/accuracy trade-offs for modern convolutional object detectors

時間：2016 年 11 月 30 日

地址：https://arxiv.org/pdf/1611.10012

7.Aggregated Residual Transformations for Deep Neural Networks

時間：2016 年 11 月 16 日

地址：https://arxiv.org/pdf/1611.10012

8.Aggregated Residual Transformations for Deep Neural Networks

時間：2016 年 11 月 16 日

地址：https://arxiv.org/pdf/1611.05431

9.Hierarchical Object Detection with Deep Reinforcement Learning

時間：2016 年 11 月 11 日

地址：https://arxiv.org/pdf/1611.03718

10.Xception: Deep Learning with Depthwise Separable Convolutions

時間：2016 年 10 月 7 日

地址：https://arxiv.org/pdf/1610.02357

11.Learning to Make Better Mistakes: Semantics-aware Visual Food Recognition

時間：2016 年 10 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/learning-to-make-better-mistakes-semantics-aware-visual-food-recognition.pdf

12.Densely Connected Convolutional Networks

時間：2016 年 8 月 25 日

地址：https://arxiv.org/pdf/1608.06993

13.Residual Networks of Residual Networks: Multilevel Residual Networks

時間：2016 年 8 月 9 日

地址：https://arxiv.org/pdf/1608.02908

14.Context Matters: Refining Object Detection in Video with Recurrent Neural Networks

時間：2016 年 7 月 15 日

地址：https://arxiv.org/pdf/1607.04648

15.R-FCN: Object Detection via Region-based Fully Convolutional Networks

時間：2016 年 5 月 20 日

地址：https://arxiv.org/pdf/1605.06409

16.Training Region-based Object Detectors with Online Hard Example Mining

時間：2016 年 4 月 12 日

地址：https://arxiv.org/pdf/1604.03540

17.T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos

時間：2016 年 4 月 9 日

地址：https://arxiv.org/pdf/1604.02532

18.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

時間：2016 年 2 月 23 日

地址：https://arxiv.org/pdf/1602.07261

19.Deep Residual Learning for Image Recognition

時間：2015 年 12 月 10 日

地址：https://arxiv.org/pdf/1512.03385

20.SSD: Single Shot MultiBox Detector

時間：2015 年 12 月 8 日

地址：https://arxiv.org/pdf/1512.02325

21.ParseNet: Looking Wider to See Better

時間：2015 年 6 月 15 日

地址：https://arxiv.org/pdf/1506.04579

22.You Only Look Once: Unified, Real-Time Object Detection

時間：2015 年 6 月 8 日

地址：https://arxiv.org/pdf/1506.02640

23.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

時間：2015 年 6 月 4 日

地址：https://arxiv.org/pdf/1506.01497

24.Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

時間：2015 年 2 月 6 日

地址：https://arxiv.org/pdf/1502.01852

25.Deep Image: Scaling up Image Recognition

時間：2015 年 1 月 13 日

地址：https://arxiv.org/pdf/1501.02876

26.Rich feature hierarchies for accurate object detection and semantic segmentation

時間：2013 年 11 月 11 日

地址：https://arxiv.org/pdf/1311.2524

27.Selective Search for Object Recognition

時間：2013 年 3 月 11 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/selective-search-for-object-recognition.pdf

28.ImageNet Classification with Deep Convolutional Neural Networks

時間：2012 年 12 月 3 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/imagenet-classification-with-deep-convolutional-neural-networks.pdf

標識識別（Logo Recognition）

1.Deep Learning Logo Detection with Data Expansion by Synthesising Context

時間：2016 年 12 月 29 日

地址：https://arxiv.org/pdf/1612.09322

2.Automatic Graphic Logo Detection via Fast Region-based Convolutional Networks

時間：2016 年 4 月 20 日

地址：https://arxiv.org/pdf/1604.06083

3.LOGO-Net: Large-scale Deep Logo Detection and Brand Recognition with Deep Region-based Convolutional Networks

時間：2015 年 11 月 8 日

地址：https://arxiv.org/pdf/1511.02462

4.DeepLogo: Hitting Logo Recognition with the Deep Neural Network Hammer

時間：2015 年 10 月 7 日

地址：https://arxiv.org/pdf/1510.02131

超分辨率（Super Resolution）

1.Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

時間：2016 年 9 月 16 日

地址：https://arxiv.org/pdf/1609.05158

2.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

時間：2016 年 9 月 15 日

地址：https://arxiv.org/pdf/1609.04802

3.RAISR: Rapid and Accurate Image Super Resolution

時間：2016 年 6 月 3 日

地址：https://arxiv.org/pdf/1606.01299

4.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

時間：2016 年 3 月 27 日

地址：https://arxiv.org/pdf/1603.08155

開源項目：http://github.com/jcjohnson/fast-neural-style

5.Image Super-Resolution Using Deep Convolutional Networks

時間：2014 年 12 月 31 日

地址：https://arxiv.org/pdf/1501.00092

姿態估計（Pose Estimation）

1.Forecasting Human Dynamics from Static Images

時間：2017 年 4 月 11 日

地址：https://arxiv.org/pdf/1704.03432

2.Fast Single Shot Detection and Pose Estimation

時間：2016 年 9 月 19 日

地址：https://arxiv.org/pdf/1609.05590

圖像描述（Image Captioning）

1.Detecting and Recognizing Human-Object Interactions

時間：2017 年 4 月 24 日

地址：https://arxiv.org/pdf/1704.07333

2.Deep Reinforcement Learning-based Image Captioning with Embedding Reward

時間：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03899

3.Generation and Comprehension of Unambiguous Object Deions

時間：2015 年 11 月 7 日

地址：https://arxiv.org/pdf/1511.02283

4.Long-term Recurrent Convolutional Networks for Visual Recognition and Deion

時間：2014 年 11 月 17 日

地址：https://arxiv.org/pdf/1411.4389

圖像壓縮（Image Compression）

1.Full Resolution Image Compression with Recurrent Neural Networks

時間：2016 年 8 月 18 日

地址：https://arxiv.org/pdf/1608.05148

解讀：《詳解谷歌神經網絡圖像壓縮技術：如何高質量地將圖像壓縮得更小》

圖像合成（Image Synthesis）

1.A Neural Representation of Sketch Drawings

時間：2017 年 4 月 11 日

地址：https://arxiv.org/pdf/1704.03477

2.BEGAN: Boundary Equilibrium Generative Adversarial Networks

時間：2017 年 3 月 31 日

地址：https://arxiv.org/pdf/1703.10717

開源項目：https://github.com/carpedm20/BEGAN-tensorflow

3.Improved Training of Wasserstein GANs

時間：2017 年 3 月 31 日

地址：https://arxiv.org/pdf/1704.00028

4.Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

時間：2017 年 3 月 30 日

地址：https://arxiv.org/pdf/1703.10593

開源項目：https://github.com/junyanz/CycleGAN

解讀：《學界 | 讓莫奈畫作變成照片：伯克利圖像到圖像翻譯新研究》

5.RenderGAN: Generating Realistic Labeled Data

時間：2016 年 11 月 4 日

地址：https://arxiv.org/pdf/1611.01331

6.Conditional Image Generation with PixelCNN Decoders

時間：2016 年 6 月 16 日

地址：https://arxiv.org/pdf/1606.05328

7.Pixel Recurrent Neural Networks

時間：2016 年 1 月 25 日

地址：https://arxiv.org/pdf/1601.06759

面部識別（Face Recognition）

1.Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition

時間：2016 年 10 月 24 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/accessorize-to-a-crime-real-and-stealthy-attacks-on-state-of-the-art- face-recognition.pdf

2.OpenFace: A general-purpose face recognition library with mobile applications

時間：2016 年 6 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/openface-a-general-purpose-face-recognition-library-with-mobile-applications.pdf

3.Emotion Recognition in the Wild via Convolutional Neural Networks and Mapped Binary Patterns

時間：2015 年 11 月 9 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/emotion-recognition-in-the-wild-via-convolutional-neural-networks-and-mapped-binary-patterns. pdf

4.Deep Face Recognition

時間：2015 年 9 月 11 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deep-face-recognition.pdf

5.Compact Convolutional Neural Network Cascade for Face Detection

時間：2015 年 8 月 6 日

地址：https://arxiv.org/pdf/1508.01292

6.Learning Robust Deep Face Representation

時間：2015 年 7 月 17 日

地址：https://arxiv.org/pdf/1507.04844

7.Facenet: A unified embedding for face recognition and clustering

時間：2015 年 6 月 12 日

地址： https://github.com/sbrugman/deep-learning-papers/blob/master/papers/facenet-a-unified-embedding-for-face-recognition-and-clustering.pdf

8.Multi-view Face Detection Using Deep Convolutional Neural Networks

時間：2015 年 2 月 10 日

地址：https://arxiv.org/pdf/1502.02766

音頻

音頻合成（Audio Synthesis）

1.A Neural Parametric Singing Synthesizer

時間：2017 年 4 月 12 日

地址：https://arxiv.org/pdf/1704.03809

2.Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

時間：2017 年 4 月 5 日

地址：https://arxiv.org/pdf/1704.01279

開源項目：https://github.com/tensorflow/magenta/tree/master/magenta/models/nsynth

解讀：《谷歌大腦&DeepMind：NSynth神經音樂合成器，生成超逼真樂器聲音》

3.Tacotron: Towards End-to-End Speech Synthesis

時間：2017 年 3 月 29 日

地址：https://arxiv.org/pdf/1703.10135

解讀：《學界 | 谷歌全端到端語音合成系統Tacotron：直接從字符合成語音》

4.Deep Voice: Real-time Neural Text-to-Speech

時間：2017 年 2 月 25 日

地址：https://arxiv.org/pdf/1702.07825

解讀：《業界 | 百度提出 Deep Voice：實時的神經語音合成系統》

5.WaveNet: A Generative Model for Raw Audio

時間：2016 年 9 月 12 日

地址：https://arxiv.org/pdf/1609.03499

開源項目：https://github.com/ibab/tensorflow-wavenet

解讀：《重磅 | DeepMind最新生成模型WaveNet，將機器合成語音水平與人類差距縮小50%（附論文）》

其它

未分類

1.Who Said What: Modeling Individual Labelers Improves Classification

時間：2017 年 3 月 26 日

地址：https://arxiv.org/pdf/1703.08774

2.Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

時間：2016 年 10 月 18 日

地址：https://arxiv.org/pdf/1610.05755

3.DeepMath - Deep Sequence Models for Premise Selection

時間：2016 年 6 月 14 日

地址：https://arxiv.org/pdf/1606.04442

4.Long Short-Term Memory

時間：1997 年 11 月 15 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/long-short-term-memory.pdf

擴展：《乾貨 | 圖解LSTM神經網絡架構及其11種變體（附論文）》

正則化（Regularization）

1.Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

時間：2015 年 6 月 6 日

地址：https://arxiv.org/pdf/1506.02142

2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

時間：2015 年 2 月 11 日

地址：https://arxiv.org/pdf/1502.03167

神經網絡壓縮（Neural Network Compression）

1.SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and<0.5MB model size

時間：2016 年 2 月 24 日

地址：https://arxiv.org/pdf/1602.07360

2.Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

時間：2015 年 10 月 1 日

地址：https://arxiv.org/pdf/1510.00149

優化器（Optimizers）

1.Adam: A Method for Stochastic Optimization

時間：2014 年 12 月 22 日

地址：https://arxiv.org/pdf/1412.6980

2.Deep learning with Elastic Averaging SGD

時間：2014 年 12 月 20 日

地址：https://arxiv.org/pdf/1412.6651

3.ADADELTA: An Adaptive Learning Rate Method

時間：2012 年 12 月 22 日

地址：https://arxiv.org/pdf/1212.5701

4.Advances in Optimizing Recurrent Networks

時間：2012 年 12 月 4 日

地址：https://arxiv.org/pdf/1212.0901

5.Efficient Backprop

時間：1998 年 7 月 1 日

地址：https://github.com/sbrugman/deep-learning-papers/blob/master/papers/efficient-backprop.pdf

機器之心發布的其它值得關注的論文和文章列表：

資源 | 如何開啟深度學習之旅？這三大類125篇論文為你導航（附資源下載）

學界 | 2010-2016年被引用次數最多的深度學習論文（附下載）

資源 | 生成對抗網絡新進展與論文全集

資源 | 生成對抗網絡及其變體的論文匯總

人工智能從入門到進階，機器之心高分技術文章全集

原文鏈接：https://github.com/sbrugman/deep-learning-papers

來源：http://www.sohu.com/a/139053245_465975


帮趣网

分享知识、获得乐趣

共發表1037篇

閱讀更多資訊，點擊蒐索

熱門標籤

深度學習 人工智能 機器學習 NVIDIA 神經網絡 GPU NLP TPU 自然語言 IBM

熱門資訊

时间： 2024-10-20 12:12:05

從文本到視覺：各領域最前沿的論文集合的相关文章

從會計視角透視分析精益生產

從會計視角透視分析精益生產,一間工業傳感器生產商起動了這項宏偉的方案:建設精益生產,提升產品品質,控制成本.高管的總體目標是清除全部多余的成本費,在知識經濟和高效率層面跨越關鍵競爭者. 在最開始半年里,企業的經營情況獲得了大幅度改進,顧客服務也是長足進步,企業高效率的大幅度提高促使參加生產制造的立即人力資本(direct labor)降低了. 可是,該企業CFO眼里的情況可截然不同.在最開始的好多個月里,她(依據財務報告)見到成本費并沒降低.接下去的大半年里,雖然知識經濟和高效率上來了,該企業的

馬達控制、機器視覺及工業乙太網路交換器係工廠自動化不可或缺的三大環節

隨著亞洲人力雇用成本攀升,加上北美大力推行製造業回流政策,全球主要3C產品製造工廠以機器取代人工的需求已日益殷切,激勵歐美.日本和台灣工業設備大廠加緊研發機器手臂.機器人與產線自動化設備,因而帶動龐大的馬達控制.機器視覺和工業乙太網路解決方案導入需求. SoC FPGA整合可編程邏輯和多核CPU.DSP或軟核(Soft-core)MCU,兼具高速邏輯運算.即時控制與平行處理優點,可支援快速傅立葉轉換(FFT)等高階演算法,並縮減大量資料乘加運算的功耗.此外,其透過FPGA的軟體可編程特性,更有助

[SharePoint 2010] Visual Studio 2010內撰寫視覺化WebPart超簡單

新一代的Visual Studio 2010對於SharePoint 2010的專案撰寫,有非常另人讚賞的改進. 以往寫一個WebPart要搞好多雜七雜八的步驟,也要硬寫HTML輸出,當然有人說可以寫UserControl後再掛在其它的WebPart容器內, 但是也是須要不少工夫去處理它. 現在,這些問題都沒了,簡單的幾個步驟,就可以做出功能強大的WebPart,而且偵錯方法也非常簡單. 新一代的Visual Studio 2010對於SharePoint 2010的專案撰寫,有非常另人讚賞的改

跨域技术之跨文档消息传输

跨文档消息传送,简称为XDM,指的是来自不同的域的页面间的传递消息. 如果两个网页不同源,就无法拿到对方的DOM.典型的例子是iframe窗口和window.open方法打开的窗口,它们与父窗口无法通信. 比如,父窗口运行下面的命令,如果iframe窗口不是同源将会报错. document.getElementById("iframe").contentWindow.document 上面命令中,父窗口想获取子窗口的DOM,因为跨源导致报错. 反之亦然,子窗口获取主窗口的DOM也会报错

信息安全從業感悟，一週年

如果單從實際工作經驗,到現在實際從業已有一年: 若從相關經驗來看,本科學的信息安全,大二時第一次知道滲透測試,開始參加相關安全競賽,再到大三參加ISCC到大四.到工作,可以說有四年了. 四年的工作經驗,足以成為不管哪個行業的一個小leader了. 反過來說,如果我積累了四年相關經驗,卻還不具備成為一個leader所需的才能,問題出在哪兒呢? 先說如果我可以足夠投入,專心鑽研二進制.逆向.移動安全.Web安全,按一萬小時定律,四年足以小成. 置於沒能達到這個小成,原因有很多,先看內部原因,內部原因

「量化風投」：用數據挖掘潛在項目

形勢變遷:創業者有了更多話語權曾就職於風投機構GeneralCatalyst和BessemerVenturePartners的克里斯·法爾莫(ChrisFarmer)指出,風投行業曾經是個封閉的圈子,只有少數基金能接觸到谷歌.Facebook這種企業.法爾莫正在籌建一家基於數據的新基金並計劃於明年初開始融資,該基金能以智能化方式向投資人提供來自CrunchBase.社交媒體.網頁計量和多個獨家數據來源的大量信息,從而幫助投資人判斷最佳投資機會.法爾莫解釋了如今的形勢變化:在過去,風投機構可以憑藉

GOOGLE搜索從入門到精通V4.0

1,前言2,摘要3,如何使用本文4,Google簡介5,搜索入門6,初階搜索 6.1,搜索結果要求包含兩個及兩個以上關鍵字 6.2,搜索結果要求不包含某些特定資訊 6.3,搜索結果至少包含多個關鍵字中的任意一個7,雜項語法 7.1,通配符問題 7.2,關鍵字的字母大小寫 7.3,搜索整個短語或者句子 7.4,搜索引擎忽略的字元以及強制搜索8,進階搜索 8.1,對搜索的網站進行限制 8.2,查詢某一類文件 8.3,搜索的關鍵字包含在URL鏈結中 8.4,搜索的關鍵字包含在網頁標題中 8.5,搜索的

從 IC流程中探索數位工程師的風格--II

就Back-end而言: 就Back-end的工作內容,主要的負責單位是CAD部們,數位工程師只是輔助的角色.如果是輔助的角色,那麼應該要注意哪些細節呢? 1. 建立primetime環境來驗證CAD做完APR後的netlist是否是符合自己的需求. 2. 請CAD給一套和他工作環境相同的primetime環境,做為最後驗證timing的path的依據. 3. 任何因為timing不符合時,需要修改netlist時,請CAD重做一份,數位工程師不代勞. 4.任何因為bug問題,需要修改netli

商業價值：從商業智能到消費智能

在商業智能時代,企業收集各類數據支持自己的決策.而在消費智能時代,數據分析業務將作為一項服務由企業提供給消費者,支持他們的消費決策.這兩個時代的轉換隻需要三四年,你的企業準備好了嗎?移動設備的普及和新型消費者的興起正在推動市場對普遍訪問數據倉庫內容的需求.在專業數據倉庫公司Teradata天睿公司最近的一次年會活動上,其首席技術官寶立明提出了消費智能的應用趨勢.寶立明分享了一些企業在消費智能上的應用案例,有助於幫助人們認識這種新趨勢,並且開始覺得它離我們並不遠.在南加州,由於能源價格昂貴,普通家