梯度下降 随机梯度下降 批量梯度下降

梯度下降（GD）

梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，导数对应的是变化率

即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模）

随机梯度下降（SGD）：每次迭代随机使用一组样本

针对BGD算法训练速度过慢的缺点，提出了SGD算法，普通的BGD算法是每次迭代把所有样本都过一遍，每训练一组样本就把梯度更新一次。而SGD算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。

批量随即下降（BGD）：每次迭代使用所有样本

在深度学习中 数据量非常大时，使用所有样本耗费时将会很长

资料1

原文地址：https://www.cnblogs.com/Aaron12/p/9649123.html