caffe不同lr_policy参数设置方法

fixed

参数:

  1. base_lr: 0.01
  2. lr_policy: "fixed"
  3. max_iter: 400000

step

参数:

  1. base_lr: 0.01
  2. lr_policy: "step"
  3. gamma: 0.1
  4. stepsize: 30
  5. max_iter: 100

exp

参数:

  1. base_lr: 0.01
  2. lr_policy: "exp"
  3. gamma: 0.1
  4. max_iter: 100

参数 gamma 的值要小于1。当等于1的时候,学习策略变为了 fixed。由exp的学习率计算方式可以看出,在 gamma = 0.1 的情况下,学习率每迭代一次变为上一次迭代的0.1倍。

inv

参数:

  1. base_lr: 0.01
  2. lr_policy: "inv"
  3. gamma: 0.1
  4. power: 0.75
  5. max_iter: 10000

由上图可以看出,参数 gamma 控制曲线下降的速率,而参数 power 控制曲线在饱和状态下学习率达到的最低值。

multistep

参数:

  1. base_lr: 0.01
  2. lr_policy: "multistep"
  3. gamma: 0.5
  4. stepvalue: 1000
  5. stepvalue: 3000
  6. stepvalue: 4000
  7. stepvalue: 4500
  8. stepvalue: 5000
  9. max_iter: 6000

每一次学习率下降到之前的 gamma 倍。

poly

参数:

  1. base_lr: 0.01
  2. lr_policy: "poly"
  3. power: 0.5
  4. max_iter: 10000

学习率曲线的形状主要由参数 power 的值来控制。当 power = 1 的时候,学习率曲线为一条直线。当 power < 1 的时候,学习率曲线是凸的,且下降速率由慢到快。当 power > 1 的时候,学习率曲线是凹的,且下降速率由快到慢。

sigmoid

参数:

  1. base_lr: 0.01
  2. lr_policy: "sigmoid"
  3. gamma: -0.001
  4. stepsize: 5000
  5. max_iter: 10000

参数 gamma 控制曲线的变化速率。当 gamma < 0 时,才能控制学习率曲线呈下降趋势,而且 gamma 的值越小,学习率在两头变化越慢,在中间区域变化越快

原文地址:https://www.cnblogs.com/cnugis/p/11738488.html

时间: 2024-10-08 23:17:28

caffe不同lr_policy参数设置方法的相关文章

node应用cross-env参数设置及PM2参数设置方法

参数设置 在node开发过程中,我们经常使用npm run dev/build 命令 但是有时我们需要设置一些参数,在window系统中需要手动安装 cross-env npm i cross-env -D 然后在script中添加参数设置 "scripts": { "test": "cross-env NODE_ENV=development node index.js"} 这样我们就可以随意设置我们需要的参数了. 使用PM2,为应用开启一个长

炜煌T3POS58微打参数设置方法

 本文用菊子曰发布

matlab 可变参数与默认参数设置

分享一下我老师大神的人工智能教程吧.零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!http://www.captainbed.net 1. 基本思路 矩阵矢量化编程,而不是循环和遍历: GPU 并行计算: 使用稀疏矩阵: 2. 实践 可变长输入参数,输出参数,需要解析(使用大括号进行索引): varargin varargout 函数体内,首先进行的是可变长输入输出参数的解析,赋值: 可变长参数与参数默认值: if ~exist('sigma', 'var'),

[caffe]网络各层参数设置

数据层 数据层是模型最底层,提供提供数据输入和数据从Blobs转换成别的格式进行保存输出,通常数据预处理(减去均值,放大缩小,裁剪和镜像等)也在这一层设置参数实现. 参数设置: name: 名称 type: 类型 Data: 从LMDB读取数据和标签, 转换(http://deepdish.io/2015/04/28/creating-lmdb-in-python/) 可以使用convert_imageset转换 ImageData: 直接读取图片数据 .... top: 输出数据(和下一层的b

javascript:设置URL参数的方法,适合多条件查询

适用场景:多条件查询情况,如下图所示: 通过设置URL参数,再结合数据源控件设置的RUL参数,就能进行简单的多条件查询了. javascript函数: <mce:script type="text/javascript"><!-- //设置URL参数的方法 function setParmsValue(parms, parmsValue) { var urlstrings = document.URL; var args = GetUrlParms(); var va

Linux设置内核参数的方法

Linux设置内核参数的方法 1 内核参数的查看方法 使用“sysctl -a”命令可以查看所有正在使用的内核参数.内核参数比较多(一般多达500项),按照前缀主要分为以下几大类:net.ipv4.net.ipv6.net.core.vm.fs.dev.parport.dev.cdrom .dev.raid.kernel等等.相同的linux,安装的组件和使用的方式不一样,正在使用的内核参数是不一样的. 所有的内核参数的说明文档是放到/usr/src/linux/Documentation/sy

vlc 详细使用方法:libvlc_media_add_option 函数中的参数设置

[转载自]tinyle的专栏 [原文链接地址]http://blog.csdn.net/myaccella/article/details/7027962 [手记] 下面列出的参数可以在命令行中执行,也可以在VLC界面中填写.当然,更重要的是能在 程序中调用. 程序中调用的时候要注意,什么是全局参数,什么是会话参数.例如: RTP over TCP的选项,必须用冒号.用双减号则没有效果. 正确写法:libvlc_media_add_option(m_media, “:rtsp-tcp”); 错误

阿里云RDS-MYSQL数据库参数设置,K哥

2016.9.2 最近被阿里云的数据库要搞疯掉了 自打阿里云抽风,非要取消myisam引擎,都换成innodb 没事总是主备切换,也没有错误日志 一问客服就是物理机波动,擦,波动是什么???????? 服务器自己跳舞了吗 看了看参数设置,很多都不知道 这两天有时间自己搜索整理了下 发给大家,有需要的看看 我的服务器应用主要是WEB网站服务 有一些不懂的地方或者不对的地方,还请大牛不吝赐教! 回复在评论中就可以了,thank you 我是K哥 auto_increment_offset表示自增长字

Jmeter各项参数设置

1.Jmeter参数化: 方法1:step 右键-添加-前置处理器-用户参数 添加用户.添加变量,设置迭代方式找到请求,将需要参数化的常量用参数替换 方法2:通过CSV data source的方式 step 右键-添加-配置元件-CSV Data Set ConfigFilename 文件名:即参数化要引用的文件名File encoding文件编码方式:可以不填,一般就utf-8,gbkVariable Names(comma-delimited)变量名(用逗号分隔):多个变量可以引用同一个文