LSTM学习和总结1

长短期记忆网络LSTM(Long Short Term Memory)本身不是一个完整的模型,主要是对RNN隐含层的改进。因此,RNN网络即使用LSTM单元的RNN网络。LSTM非常适合用于处理与时间序列高度相关的问题,例如机器翻译、对话生成、编码解码、图文转换等。

说明:word2vec(CBOW,Skip-gram),GRU,word embedding(词向量),MDP(Markov Decision Process),Deep Reinforcement Learning,DQN等。

参考文献:

[1] LSTM实现详解:http://www.csdn.net/article/2015-09-14/2825693

[2] char-rnn:https://github.com/karpathy/char-rnn

[3] 深入浅出LSTM神经网络:http://www.csdn.net/article/2015-06-05/2824880

[4] Learning to read with recurrent neural networks:http://blog.terminal.com/recurrent-neural-networks-deep-net-optimization-lstm/

[5] 理解LSTM网络:http://www.jianshu.com/p/9dc9f41f0b29/

[6] 深度学习BP算法的推导(附加RNN,LSTM的推导说明):http://blog.csdn.net/zhuanshenweiliu/article/details/42267993

[7] LSTM Networks for Sentiment Analysis:http://deeplearning.net/tutorial/lstm.html

[8] 如何评价最近比较火的LSTM?:http://www.zhihu.com/question/27017697

[9] Long Short-Term Memory:Tutorial on LSTM Recurrent Networks:http://people.idsia.ch/~juergen/lstm/

[10] caffe-lstm:https://github.com/junhyukoh/caffe-lstm

[11] LSTM简介以及数学推导:http://blog.csdn.net/a635661820/article/details/45390671

[12] LSTM与情感分析:http://www.weixingon.com/s/lstm+%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90

[13] 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程?:http://www.zhihu.com/question/29411132?utm_source=top.caibaojian.com/47897

[14] 深度学习资料大全:http://www.cnblogs.com/charlotte77/p/5485438.html

[15] 近期风靡互联网的Deep Dream人工智能图像识别软件:http://www.ltaaa.com/bbs/thread-364424-1-1.html

[16] 深度学习:推动NLP领域发展的新引擎:http://www.iteye.com/news/31261

[17] 盘点8个最具启发意义的深度学习应用:http://synchuman.baijia.baidu.com/article/542746

[18] DQN从入门到放弃(DQN与增强学习):https://zhuanlan.zhihu.com/p/21262246

[19] 深度增强学习DRL专栏:http://blog.csdn.net/column/details/deeprl.html

时间: 2024-08-05 06:53:28

LSTM学习和总结1的相关文章

Highway LSTM 学习笔记

Highway LSTM 学习笔记 [email protected] http://www.cnblogs.com/swje/ 作者:Zhouwan  2016-4-5   声明 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除. 3)本人才疏学浅,整理总结的时候

文本分类:survey

作者:尘心链接:https://zhuanlan.zhihu.com/p/76003775 简述 文本分类在文本处理中是很重要的一个模块,它的应用也非常广泛,比如:垃圾过滤,新闻分类,词性标注等等.它和其他的分类没有本质的区别,核心方法为首先提取分类数据的特征,然后选择最优的匹配,从而分类.但是文本也有自己的特点,根据文本的特点,文本分类的一般流程为:1.预处理:2.文本表示及特征选择:3.构造分类器:4.分类. 通常来讲,文本分类任务是指在给定的分类体系中,将文本指定分到某个或某几个类别中.被

配送交付时间轻量级预估实践

1. 背景 可能很多同学都不知道,从打开美团App点一份外卖开始,然后在半小时内就可以从骑手小哥手中拿到温热的饭菜,这中间涉及的环节有多么复杂.而美团配送技术团队的核心任务,就是将每天来自祖国各地的数千万份订单,迅速调度几十万骑手小哥按照最优路线,并以最快的速度送到大家手中. 在这种场景下,骑手的交付时间,即骑手到达用户附近下车后多久能送到用户手中,就是一个非常重要的环节.下图是一个订单在整个配送链路的时间构成,时间轴最右部分描述了交付环节在整个配送环节中的位置.交付时间衡量的是骑手送餐时的交付

词向量与ELMo模型 词向量漫谈

目录: 基础部分回顾(词向量.语言模型) NLP的核心:学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾(词向量.语言模型) 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量?(One-hot向量的缺点?) 基于One-hot能否表示单词之间语义相似度? 1.2.1 基于One-hot能否表示单词之间语义相似度? 答:不可以.因为,我们不管是通过欧式距离还是通过余弦相似度,计算用

深度学习与自然语言处理之五:从RNN到LSTM

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 大纲如下: 1.RNN 2.LSTM 3.GRN 4.Attention Model 5.应用 6.探讨与思考 扫一扫关注微信号:"布洛卡区" ,深度学习在自然语言处理等智能应用的技术研讨与科普公众号.

学习笔记TF017:自然语言处理、RNN、LSTM

自然语言处理 (NLP)问题都是序列化的.前馈神经网络,在单次前馈中对到来数据处理,假定所有输入独立,模式丢失.循环神经网络(recurrent neural network,RNN)对时间显式建模神经网络.RNN神经元可接收其他神经元加权输入.RNN神经元可与更高层建立连接,也可与更低层建立连接.隐含活性值在同一序列相邻输入间被记忆.2006年 LSTM.语音识别.语音合成.手写连体字识别.时间序列预测.图像标题生成.端到端机器翻译. RNN由神经元和连接权值构成任意有向图.输入神经元(inp

学习笔记TF036:实现Bidirectional LSTM Classifier

双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN),Schuster.Paliwal,1997年首次提出,和LSTM同年.Bi-RNN,增加RNN可利用信息.普通MLP,数据长度有限制.RNN,可以处理不固定长度时序数据,无法利用历史输入未来信息.Bi-RNN,同时使用时序数据输入历史及未来数据,时序相反两个循环神经网络连接同一输出,输出层可以同时获取历史未来信息. Language Modeling,不适合Bi-RNN,目标是通过前

学习Tensorflow的LSTM的RNN例子

学习Tensorflow的LSTM的RNN例子 基于TensorFlow一次简单的RNN实现 极客学院-递归神经网络 如何使用TensorFlow构建.训练和改进循环神经网络

深度学习与自然语言处理(7)_斯坦福cs224d 语言模型,RNN,LSTM与GRU

翻译:@胡杨([email protected]) && @胥可([email protected]) 校对调整:寒小阳 && 龙心尘 时间:2016年7月 出处: http://blog.csdn.net/han_xiaoyang/article/details/51932536 http://blog.csdn.net/longxinchen_ml/article/details/51940065 说明:本文为斯坦福大学CS224d课程的中文版内容笔记,已得到斯坦福大学