LSTM简单入门

关于LSTM及RNN的基础知识以及相关的数学推导这篇博客介绍的很好,其中还包括神经网络的其他基础内容。

RNN循环神经网络:https://www.zybuluo.com/hanbingtao/note/541458

LSTM长短时记忆网络:https://zybuluo.com/hanbingtao/note/581764

在这篇博客(Tensorflow实例:利用LSTM预测股票每日最高价):http://blog.csdn.net/mylove0414/article/details/55805974中对如何使用Tensorflow构建LSTM有所介绍。

这类问题解决的步骤:

1、训练,测试数据处理

  将数据从csv或者txt文件中读取,利用numpy工具转换成特定的格式,需要特别注意矩阵的维度信息

2、构建神经网络

  1)、调整输入数据的维度,设定batch_size,time_step,input_size;

    这三个参数,关于batch_size,暂时理解为每次喂多少组数据,比方说,训练时可以将一组数据重复喂给神经网络去训练许多次来更新权重,也可以将多组数据喂给神经网络每组只更新一次权重,batch_size的大小与收敛效果相关

    time_step是与RNN相关的一个重要参数,它指神经网络循环的深度,简单理解为RNN展开后宽度,在理解一个神经网络时,可以按左边的结构去想

    Input_size指训练数据的维数

    

  2)、设置BasicLSTMCell,DropoutWrapper,MultiRNNCell

    DropoutWrapper主要有两个参数需要设定:input_keep_prob及output_keep_prob,它用于解决过拟合的问题。参考文献:https://arxiv.org/pdf/1409.2329.pdf

    介绍DropoutWrapper的博客:http://blog.csdn.net/abclhq2005/article/details/78683656

  3)、初始化可用zero_state函数实现

3、构建损失函数与优化目标

4、训练和测试

  tf.nn.dynamic_rnn用于训练,训练得到的模型可以使用saver=tf.train.Saver()及saver.save()存储,利用modle=tf.train.latest_checkpoint()和saver.restore()恢复并测试

其他有用的博客包括:

多层LSTM构建:https://zhuanlan.zhihu.com/p/29797089

RNN与LSTM相关资源:http://suanfazu.com/t/rnn-lstm/13587/1

原文地址:https://www.cnblogs.com/Einsler/p/8391283.html

时间: 2024-11-06 19:20:14

LSTM简单入门的相关文章

正则表达式简单入门

 正则表达式简单入门    正则表达式在平常编程中有着大量的应用,对于任何一个想学习编程的人来说,正则表达式是一个必须掌握的知识. 废话不多说,下面先对正则表达式做一个简单的入门介绍,在后续的文章中,将会进行详细的介绍.    一.元字符 元字符一共有12个:$ ( ) [ { ? + * . ^ \ | 元字符有特殊的含义,如果要使用其字面值,则必须对其进行转义. 如: \$  \*  \( 等等 二.控制字符或不可打印字符 \a  警报 \e  退出 \f  换页 \n  换行 \r 

程序员,一起玩转GitHub版本控制,超简单入门教程 干货2

本GitHub教程旨在能够帮助大家快速入门学习使用GitHub,进行版本控制.帮助大家摆脱命令行工具,简单快速的使用GitHub. 做全栈攻城狮-写代码也要读书,爱全栈,更爱生活. 更多原创教程请关注头条号.每日更新.也可以添加小编微信:fullstackCourse.一起交流,获取最新全栈教程信息.因为FQ原因,不能下载客户端的同仁,可以关注后回复“GitHub客户端”获取安装软件. 上篇教程:GitHub这么火,程序员你不学学吗? 超简单入门教程 干货 GitHub概念部分出现了一丝纰漏.为

iBatis简单入门教程

iBatis 简介: iBatis 是apache 的一个开源项目,一个O/R Mapping 解决方案,iBatis 最大的特点就是小巧,上手很快.如果不需要太多复杂的功能,iBatis 是能够满足你的要求又足够灵活的最简单的解决方案,现在的iBatis 已经改名为Mybatis 了. 官网为:http://www.mybatis.org/ 搭建iBatis 开发环境: 1 .导入相关的jar 包,ibatis-2.3.0.677.jar .mysql-connector-java-5.1.6

Asp.Net MVC学习总结(一)——Asp.Net MVC简单入门

出处:http://www.cnblogs.com/SeeYouBug/p/6401737.html 一.MVC简单入门 1.1.MVC概念 视图(View) 代表用户交互界面,对于Web应用来说,可以概括为HTML界面,但有可能为XHTML.XML和Applet. 模型(Model) 表示用户对其数据的操作的一个封转.可以分为视图模型(view model)和领域模型(domain models),视图模型就是在视图与控制器之间传输数据的一个封转,而领域模型就是业务逻辑,后台数据模型等的一个集

Java日志系统---Logger之简单入门

Java 中自带的日志系统,今天抽空了解了一点,算是入了门,所以将自己的一些心得记录下来,以备日后查看,有兴趣的朋友,看到此文章,觉得有错误或需要添加的地方,请在下方评论留言,大家可以共同进步,谢谢:) Java中关于日志系统的API,在 java.util.logging 包中,在这个包中,Logger类很重要. Logger类是用来记录 某个级别的日志消息: 级别共分为以下几类,从上倒下,级别依次下降: SEVERE(严重)------级别最高 WARNING(警告) INFO CONFIG

响应式网页设计简单入门(强烈推薦!!!!)

响应式网页设计简单入门 Overview: 构造基本的HTML页面 动态加载样式表 Viewport 字体缩放 侧边栏 导航菜单 图片自适应 其他 总结 说到响应式网页设计(Responsive web design),最近在谷歌加上碰到个奇葩贴子,通过一个原始到无法再简单的网页Motherfucking Website及满屏幕的fuck道出了网页设计的真谛,这孩子不是个激进分子就是个报复社会型的货没错,虽然整篇文章就像是泼妇骂街,但我特么是笑着读完的.. 统计了下全文共用Fuck (包括fuc

Android HttpGet() 请求简单入门实例

HttpClient httpclient = new DefaultHttpClient(); String url = "http://example.com"; List<NameValuePair> params = new ArrayList<NameValuePair>(); params.add( new BasicNameValuePair( "param", "value" ) ); URI uri =

delphi指针简单入门

delphi指针简单入门:         看一个指针用法的例子:     1         var     2             X,   Y:   Integer;       //   X   and   Y   整数类型     3             P:   ^Integer;           //   P   指向整数类型的指针     4         begin     5             X   :=17; //   给   X   赋值     6

windows简单入门(1)

1.1 windows系统的关机 退出所有正在运行的程序,然后点击"关闭计算机"键关机,下面是"关闭计算机"的操作方法:                    图1-2 图1-1 1.2鼠标的操作 ① 鼠标指向一个图标 操作:移动鼠标,将其指针放到屏幕上某一对象上或位置 举例:将鼠标指针从屏幕中的某一处移动到"我的电脑"上,这样就指向了"我的电脑". ② 单击鼠标 操作:将鼠标指向某一对象后,快速按一下鼠标左键,并立即释放,这