TF之RNN:matplotlib动态演示之基于顺序的RNN回归案例实现高效学习逐步逼近余弦曲线—Jason niu

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

BATCH_START = 0
TIME_STEPS = 20
BATCH_SIZE = 50
INPUT_SIZE = 1
OUTPUT_SIZE = 1
CELL_SIZE = 10
LR = 0.006
BATCH_START_TEST = 0

def get_batch():
    global BATCH_START, TIME_STEPS
    # xs shape (50batch, 20steps)
    xs = np.arange(BATCH_START, BATCH_START+TIME_STEPS*BATCH_SIZE).reshape((BATCH_SIZE, TIME_STEPS)) / (10*np.pi)
    seq = np.sin(xs)
    res = np.cos(xs)
    BATCH_START += TIME_STEPS
    return [seq[:, :, np.newaxis], res[:, :, np.newaxis], xs]

class LSTMRNN(object):
    def __init__(self, n_steps, input_size, output_size, cell_size, batch_size):
        self.n_steps = n_steps
        self.input_size = input_size
        self.output_size = output_size
        self.cell_size = cell_size
        self.batch_size = batch_size
        with tf.name_scope(‘inputs‘):
            self.xs = tf.placeholder(tf.float32, [None, n_steps, input_size], name=‘xs‘)
            self.ys = tf.placeholder(tf.float32, [None, n_steps, output_size], name=‘ys‘)
        with tf.variable_scope(‘in_hidden‘):
            self.add_input_layer()
        with tf.variable_scope(‘LSTM_cell‘):
            self.add_cell()
        with tf.variable_scope(‘out_hidden‘):
            self.add_output_layer()
        with tf.name_scope(‘cost‘):
            self.compute_cost()
        with tf.name_scope(‘train‘):
            self.train_op = tf.train.AdamOptimizer(LR).minimize(self.cost)

    def add_input_layer(self,):
        l_in_x = tf.reshape(self.xs, [-1, self.input_size], name=‘2_2D‘)
        Ws_in = self._weight_variable([self.input_size, self.cell_size])
        bs_in = self._bias_variable([self.cell_size,])
        with tf.name_scope(‘Wx_plus_b‘):
            l_in_y = tf.matmul(l_in_x, Ws_in) + bs_in
        self.l_in_y = tf.reshape(l_in_y, [-1, self.n_steps, self.cell_size], name=‘2_3D‘)

    def add_cell(self):
        lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(self.cell_size, forget_bias=1.0, state_is_tuple=True)
        with tf.name_scope(‘initial_state‘):
            self.cell_init_state = lstm_cell.zero_state(self.batch_size, dtype=tf.float32)
        self.cell_outputs, self.cell_final_state = tf.nn.dynamic_rnn(
            lstm_cell, self.l_in_y, initial_state=self.cell_init_state, time_major=False)  

    def add_output_layer(self):
        l_out_x = tf.reshape(self.cell_outputs, [-1, self.cell_size], name=‘2_2D‘)
        Ws_out = self._weight_variable([self.cell_size, self.output_size])
        bs_out = self._bias_variable([self.output_size, ])
        with tf.name_scope(‘Wx_plus_b‘):
            self.pred = tf.matmul(l_out_x, Ws_out) + bs_out

    def compute_cost(self):
        losses = tf.contrib.legacy_seq2seq.sequence_loss_by_example(
            [tf.reshape(self.pred, [-1], name=‘reshape_pred‘)],
            [tf.reshape(self.ys, [-1], name=‘reshape_target‘)],
            [tf.ones([self.batch_size * self.n_steps], dtype=tf.float32)],
            average_across_timesteps=True,
            softmax_loss_function=self.ms_error,
            name=‘losses‘
        )
        with tf.name_scope(‘average_cost‘):
            self.cost = tf.div(
                tf.reduce_sum(losses, name=‘losses_sum‘),
                self.batch_size,
                name=‘average_cost‘)
            tf.summary.scalar(‘cost‘, self.cost)

    def ms_error(self, y_target, y_pre):
        return tf.square(tf.sub(y_target, y_pre)) 

    def _weight_variable(self, shape, name=‘weights‘):
        initializer = tf.random_normal_initializer(mean=0., stddev=1.,)
        return tf.get_variable(shape=shape, initializer=initializer, name=name)

    def _bias_variable(self, shape, name=‘biases‘):
        initializer = tf.constant_initializer(0.1)
        return tf.get_variable(name=name, shape=shape, initializer=initializer)

if __name__ == ‘__main__‘:
    model = LSTMRNN(TIME_STEPS, INPUT_SIZE, OUTPUT_SIZE, CELL_SIZE, BATCH_SIZE)
    sess = tf.Session()
    merged=tf.summary.merge_all()
    writer=tf.summary.FileWriter("niu0127/logs0127",sess.graph)
    sess.run(tf.initialize_all_variables())

plt.ion()
plt.show() 

for i in range(200):
      seq, res, xs = get_batch()
      if i == 0:
          feed_dict = {
                  model.xs: seq,
                  model.ys: res,
          }
      else:
          feed_dict = {
              model.xs: seq,
              model.ys: res,
              model.cell_init_state: state
          }
      _, cost, state, pred = sess.run(
          [model.train_op, model.cost, model.cell_final_state, model.pred],
          feed_dict=feed_dict)

      plt.plot(xs[0,:],res[0].flatten(),‘r‘,xs[0,:],pred.flatten()[:TIME_STEPS],‘g--‘)
      plt.title(‘Matplotlib,RNN,Efficient learning,Approach,Cosx --Jason Niu‘)
      plt.ylim((-1.2,1.2))
      plt.draw()
      plt.pause(0.1)

  

原文地址:https://www.cnblogs.com/yunyaniu/p/8365994.html

时间: 2024-10-02 05:44:52

TF之RNN:matplotlib动态演示之基于顺序的RNN回归案例实现高效学习逐步逼近余弦曲线—Jason niu的相关文章

python动态演示蛮力法解决凸包问题

最近开了算法课,但是我的算法着实不咋地,一直搞web和逆向,就没怎么编程.记录一下0.0 算法倒是不难实现,但是这个动态演示很烦,从纯粹的可视化小白,强行写完了,写完发现非常简单,只是自己不知道的函数太多了,哭了.... 蛮力法就不用解释了,通俗的说就是把所有可能试一遍. 凸包问题,就是将n个点中某几个点围成一个多边形,除了这n个点,其余的点都在这个多边形内. 核心算法其实就是一个行列式演变而来,后悔没学好线代..... 参考:https://blog.csdn.net/u011001084/a

怎样用几何画板动态演示正弦波

正弦波是频率成分最为单一的一种信号,因这种信号的波形是数学上的正弦曲线而得名.利用几何画板制作动态演示正弦波的课件,直观展示正弦波的工作状态. 几何画板动态演示正弦波课件模板样图: 该课件的详细制作步骤如下: 1.绘制点A和B.过点A.B绘制一条直线.选中点A点B,“构造”菜单中选择“以圆心和圆上的点”构造圆A,与直线相交于点B. 2.在圆上任取一点C.选中点C,选择“编辑”—“操作类按钮”—“动画”命令.采用默认设置即可. 3.在直线上取一点D点,位于点B的右侧.选中点C和直线,选择“构造”—

关于csdn博客中案例效果的动态演示

在以前一篇博文中,网友评论说要是案例效果是动态演示的就好了,我觉得说的很是有道理,因为一个简单的截图不能很好的展示案例效果,要是有一张gif图能动态的播放案例效果就再好不过了.在这里提供一个小软件,用来制作gif图片的.读者可以参考另一篇博文:http://blog.csdn.net/tangcheng_ok/article/details/8246792.这一篇博文也是介绍如何制作gif动态演示图片的.在这里我想做的就是提醒一下大家:在写博文的过程中,如果是上传gif图片,一定要选择无水印,否

如何用几何画板动态演示电饭锅工作原理

随着科技的发达,电器都已经走进人们的日常生活,电饭锅就是其中之一,基本上已经成为每家每户都有的家电之一,电饭锅具有安全.方便.且具有保温性能,能大大减少了煮饭时间.那么你对电饭锅的工作原理熟悉吗?几何画板不仅仅可以用于数学上的研究,也可以用来演示物理学中的电器工作原理,下面就一起来学学该课件的制作技巧. 几何画板制作的动态演示电饭锅工作原理课件样图:  几何画板课件模板--动态演示电饭锅工作原理示例 在该课件中,点击"启动"操作按钮,就可以动态演示电饭锅煮饭的全过程,通过按下启动,锅内

[Unity][Heap sort]用Unity动态演示堆排序的过程

[Unity][Heap sort]用Unity动态演示堆排序的过程 How Heap Sort Works 最近做了一个用Unity3D动态演示堆排序过程的程序. I've made this heap sort demo to show how heap sort works recently. 效果图(Demo) 一图抵千言. A picture paints a thousand words. 您可以在此查看完整的动态GIF效果图.博客园里放不下这么大的GIF图. 链接:http://p

动态代理是基于什么原理(总结杨晓峰的博客)

动态代理的原理 编程语言分为:动态类型,静态类型 动态类型和静态类型的区别? 一种比较简单的区别方法:是在编译期进行检查,还是在运行时期进行检查. 通常认为:java是一种强类型语言,但是提供类似反射的机制,也具备部分动态语言的能力. 反射机制是java语言提供的一种基础功能,赋予程序在运行时自省(introspect能力),通过反射我们可以直接操作类或者对象,比如获取某个对象的类定义,获取类声明的属性或者方法,调用方法或者构造对象,甚至可以运行时修改类定义. 动态代理是一种方便运行时动态构建代

Java 动态代理是基于什么原理(还没整理完)

1> Java的反射机制在平时的业务开发过程中很少用到,但是在一些基础框架的搭建上应用非常广泛 2>什么是Java反射机制 Java反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意方法和属性:这种动态获取信息以及动态调用对象方法的功能称为java语言的反射机制. 3>反射机制提供了哪些功能 ----在运行时判定任意一个对象所属的类 ----在运行时构造任意一个类的对象 ----在运行时判定任意一个类所具有的成员变量和方法 --

怎样动态演示椭圆的画法?

根据椭圆的定义,可以知道画椭圆的方法有很多,那么要怎么演示动态画椭圆呢?这就需要借助专业的画图软件几何画板了,下面就来学习具体绘制方法. 几何画板是一个优秀的专业学科平台软件,代表了当代专业工具平台类教学软件的发展方向.比如在学习椭圆圆锥曲线知识时,如果仅依靠黑板教学,是没法动态演示椭圆的,只能按照椭圆数据按部就班的绘图,但是如果利用几何画板,就可以动态演示画椭圆过程,而且还可以对椭圆的高度进行控制,下面就一起学习画动态画椭圆的方法. 几何画板软件免费获取地址:http://www.jihehu

LeetCode 114. Flatten Binary Tree to Linked List 动态演示

把二叉树先序遍历,变成一个链表,链表的next指针用right代替 用递归的办法先序遍历,递归函数要返回子树变成链表之后的最后一个元素 class Solution { public: void helper(TreeNode* cur, TreeNode*& tail){ //a(tail) //lk("root",tail) //a(cur) //lk("root",cur) //dsp tail=cur; TreeNode* right=cur->