梯度下降优化方法 与 自动控制 的关系

梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解

其实对SGD的优化，跟自动控制中的PID思路其实是一样的

  • P（Propotion）比例项即当前偏差
  • I（Intergration）积分项即偏差的累积
  • D（differentiation）微分项即偏差的变化

SGD加入微分项，即对梯度中与此前优化的方向相同的方向进行加权，相反的方向进行降权，即Monentum，可以防止每次迭代下降梯度在某个方向上反复震荡

SGD加入积分项，即对梯度中累积优化多的方向进行降权，累积优化少的方向进行升权，即Adagrad，可以防止某个方向由于训练样本原因导致的在某个方向上下降过慢

SGD同时加入积分项和微分项，即Adam，可以综合两者的优点

参考文献：

https://zhuanlan.zhihu.com/p/32626442

https://zhuanlan.zhihu.com/p/22252270

原文地址：https://www.cnblogs.com/jhc888007/p/12236554.html

时间： 2024-10-17 22:46:52

梯度下降优化方法 与 自动控制 的关系的相关文章

梯度下降优化算法综述

本文翻译自Sebastian Ruder的"An overview of gradient descent optimization algoritms",作者首先在其博客中发表了这篇文章,其博客地址为:An overview of gradient descent optimization algoritms,之后,作者将其整理完放在了arxiv中,其地址为:An overview of gradient descent optimization algoritms,在翻译的过程中以

机器学习最常用优化之一——梯度下降优化算法综述

转自:http://www.dataguru.cn/article-10174-1.html 梯度下降算法是机器学习中使用非常广泛的优化算法,也是众多机器学习算法中最常用的优化方法.几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现.但是,它们就像一个黑盒优化器,很难得到它们优缺点的实际解释.这篇文章旨在提供梯度下降算法中的不同变种的介绍,帮助使用者根据具体需要进行使用. 这篇文章首先介绍梯度下降算法的三种框架,然后介绍它们所存在的

梯度下降优化算法综述（翻译）

原文链接:http://sebastianruder.com/optimizing-gradient-descent 原文题目:An overview of gradient descent optimization algorithms 博文地址:http://blog.csdn.net/wangxinginnlp/article/details/50974594 梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法.与此同时,每一个先进的深度学习库都包含各种算法实现的梯度下降

梯度下降优化线性回归

一.理论 二.数据集 6.1101,17.592 5.5277,9.1302 8.5186,13.662 7.0032,11.854 5.8598,6.8233 8.3829,11.886 7.4764,4.3483 8.5781,12 6.4862,6.5987 5.0546,3.8166 5.7107,3.2522 14.164,15.505 5.734,3.1551 8.4084,7.2258 5.6407,0.71618 5.3794,3.5129 6.3654,5.3048 5.130

NN优化方法对比：梯度下降、随机梯度下降和批量梯度下降

1.前言 这几种方法呢都是在求最优解中经常出现的方法,主要是应用迭代的思想来逼近.在梯度下降算法中,都是围绕以下这个式子展开: 其中在上面的式子中hθ(x)代表,输入为x的时候的其当时θ参数下的输出值,与y相减则是一个相对误差,之后再平方乘以1/2,并且其中 注意到x可以一维变量,也可以是多维变量,实际上最常用的还是多维变量.我们知道曲面上方向导数的最大值的方向就代表了梯度的方向,因此我们在做梯度下降的时候,应该是沿着梯度的反方向进行权重的更新,可以有效的找到全局的最优解.这个θ的更新过程可以描

[LNU.Machine Learning.Question.1]梯度下降方法的一些理解

曾经学习machine learning,在regression这一节,对求解最优化问题的梯度下降方法,理解总是处于字面意义上的生吞活剥. 对梯度的概念感觉费解?到底是标量还是矢量?为什么沿着负梯度方向函数下降最快?想清楚的回答这些问题.还真须要点探究精神. 我查阅了一些经典的资料(包含wiki百科),另一些个人的博客,比方p=2573">http://www.codelast.com/?p=2573,http://blog.csdn.net/xmu_jupiter/article/det

机器学习推导笔记1--机器学习的任务、步骤、线性回归、误差、梯度下降

前段时间放假在家的时候,总算是看完了斯坦福的机器学习公开课(Andrew NG)的监督学习,这项计划持续了将近一个学期.无监督学习和强化学习部分暂时还不太想看,目前来说监督学习与我现在的情况更契合一些.看完监督学习部分,对机器学习的了解又深了一些,加上之前帮师兄做实验,从工程角度和理论角度共同推进,感觉还是挺好的. 为了巩固学习成果,在刷题之余,准备写一系列笔记,自己推导一遍机器学习里比较重要的几个算法,并附上自己的理解.我一直认为能讲出来的东西,才是自己的.写笔记有助于我自己理清思路,当然也希

Adam：一种随即优化方法

摘要: 我们介绍Adam,这是一种基于一阶梯度来优化随机目标函数的算法.随即目标函数的含义是,在训练过程的每一次迭代中,目标函数是不一样的.有时候因为内存不够大或者其他的原因,算法不会一下子读取全部记录来计算误差,而是选择选择对数据集进行分割,在每次迭代中只读取一部分记录进行训练,这一部分记录称为minibatch,这样每次迭代所使用的小批量数据集就是不同的,数据集不同,损失函数就不同,因此就有随机目标函数的说法.另外还有一个原因就是,采用小批量方式来进行训练,可以降低收敛到局部最优的风险(想象

深度学习中梯度下降知识准备

考虑一个代价函数C , 它根据参数向量 计算出当前迭代模型的代价,记作C(). 机器学习中,我们的任务就是得到代价的最小值,在机器学习中代价函数通常是损失函数的均值,或者是它的数学期望.见下图: 这个叫做泛化损失,在监督学过程中,我们知道z=(x,y)  ,并且 f(x) 是对y的预测. 什么是这里的梯度呢? 当 是标量的时候,代价函数的梯度可表示如下: 当 很小的时候,它就是的另外一种表达,而我们就是让小于零,且越小越好. 当时一个向量的时候,代价函数的 梯度也是一个向量,每个都是一个i,这里