tensorflow API _ 3 (tf.train.polynomial_decay)

学习率的三种调整方式：固定的，指数的，多项式的

def _configure_learning_rate(num_samples_per_epoch, global_step):  """Configures the learning rate.

Args:    num_samples_per_epoch: The number of samples in each epoch of training.    global_step: The global_step tensor.

Returns:    A `Tensor` representing the learning rate.

Raises:    ValueError: if  """  decay_steps = int(num_samples_per_epoch / FLAGS.batch_size *                    FLAGS.num_epochs_per_decay)  if FLAGS.sync_replicas:    decay_steps /= FLAGS.replicas_to_aggregate

if FLAGS.learning_rate_decay_type == ‘exponential‘:    return tf.train.exponential_decay(FLAGS.learning_rate,                                      global_step,                                      decay_steps,                                      FLAGS.learning_rate_decay_factor,                                      staircase=True,                                      name=‘exponential_decay_learning_rate‘)  elif FLAGS.learning_rate_decay_type == ‘fixed‘:    return tf.constant(FLAGS.learning_rate, name=‘fixed_learning_rate‘)  elif FLAGS.learning_rate_decay_type == ‘polynomial‘:    return tf.train.polynomial_decay(FLAGS.learning_rate,                                     global_step,                                     decay_steps,                                     FLAGS.end_learning_rate,                                     power=1.0,                                     cycle=False,                                     name=‘polynomial_decay_learning_rate‘)  else:    raise ValueError(‘learning_rate_decay_type [%s] was not recognized‘,                     FLAGS.learning_rate_decay_type)

原文地址：https://www.cnblogs.com/Libo-Master/p/8926136.html

时间： 2024-11-06 07:09:31

tensorflow API _ 3 (tf.train.polynomial_decay)的相关文章

图融合之加载子图：Tensorflow.contrib.slim与tf.train.Saver之坑

import tensorflow as tf import tensorflow.contrib.slim as slim import rawpy import numpy as np import tensorflow as tf import struct import glob import os from PIL import Image import time __sony__ = 0 __huawei__ = 1 __blackberry__ = 2 __stage_raw2ra

机器学习与Tensorflow（7）——tf.train.Saver()、inception-v3的应用

1. tf.train.Saver() tf.train.Saver()是一个类,提供了变量.模型(也称图Graph)的保存和恢复模型方法. TensorFlow是通过构造Graph的方式进行深度学习,任何操作(如卷积.池化等)都需要operator,保存和恢复操作也不例外. 在tf.train.Saver()类初始化时,用于保存和恢复的save和restore operator会被加入Graph.所以,下列类初始化操作应在搭建Graph时完成. saver = tf.train.Saver()

tensorflow数据读取机制tf.train.slice_input_producer 和 tf.train.batch 函数

tensorflow中为了充分利用GPU,减少GPU等待数据的空闲时间,使用了两个线程分别执行数据读入和数据计算. 具体来说就是使用一个线程源源不断的将硬盘中的图片数据读入到一个内存队列中,另一个线程负责计算任务,所需数据直接从内存队列中获取. tf在内存队列之前,还设立了一个文件名队列,文件名队列存放的是参与训练的文件名,要训练 N个epoch,则文件名队列中就含有N个批次的所有文件名.而创建tf的文件名队列就需要使用到 tf.train.slice_input_producer 函数. tf

TensorFlow 实战（二）—— tf train（优化算法）

Training | TensorFlow tf 下以大写字母开头的含义为名词的一般表示一个类(class) 1. 优化器(optimizer) 优化器的基类(Optimizer base class)主要实现了两个接口,一是计算损失函数的梯度,二是将梯度作用于变量.tf.train 主要提供了如下的优化函数: tf.train.Optimizer tf.train.GradientDescentOptimizer tf.train.AdadeltaOpzimizer Ada delta tf.

tf.train.Saver()-tensorflow中模型的保存及读取

作用:训练网络之后保存训练好的模型,以及在程序中读取已保存好的模型使用步骤: 实例化一个Saver对象 saver = tf.train.Saver() 在训练过程中,定期调用saver.save方法,像文件夹中写入包含当前模型中所有可训练变量的checkpoint文件 saver.save(sess,FLAGG.train_dir,global_step=step) 之后可以使用saver.restore()方法,重载模型的参数,继续训练或者用于测试数据 saver.restore(sess

跟我学算法- tensorflow模型的保存与读取 tf.train.Saver()

save = tf.train.Saver() 通过save. save() 实现数据的加载通过save.restore() 实现数据的导出第一步: 数据的载入 import tensorflow as tf #创建变量 v1 = tf.Variable(tf.random_normal([1, 2], name='v1')) v2 = tf.Variable(tf.random_normal([2, 3], name='v2')) #初始化变量 init_op = tf.global_v

TensorFlow 中的 tf.train.exponential_decay() 指数衰减法

exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 使用方式为 tf.train.exponential_decay( ) 在 Tensorflow 中,exponential_decay()是应用于学习率的指数衰减函数. 在训练模型时,通常建议随着训练的进行逐步降低学习率.该函数需要`global_step`值来计算衰减的学习速率. 该函数返回衰减后

TensorFlow Saver 保存最佳模型 tf.train.Saver Save Best Model

TensorFlow Saver 保存最佳模型 tf.train.Saver Save Best Model Checkmate is designed to be a simple drop-in solution for a very common Tensorflow use-case: keeping track of the best model checkpoints during training. The BestCheckpointSaver is a wrapper arou

tf.train.string_input_producer()

处理从文件中读数据官方说明简单使用示例中读取的是csv文件,如果要读tfrecord的文件,需要换成 tf.TFRecordReader import tensorflow as tf filename_queue = tf.train.string_input_producer(["file0.csv", "file1.csv"]) reader = tf.TextLineReader() key, value = reader.read(filename_