步长:最优化问题中的叫法;
学习速率:神经网络中的叫法;
梯度更新的方式:
为步长(学习率)。
其中有必要说一点的是表示的是当前实际的输出,y表示的是其类标。
当输入为x时,目标函数表示为一个线性函数的形式为:。其中每一个x1,x2,...表示的是维度。
1. 梯度下降:对于的更新是所有样本都参与的,那么得到的梯度是一个比较标准的值,一次更新的幅度也会比较大,但是样本多的时候,并且样本的维度也是很大的,会降低运算的速度。此外,对电脑内存等也是一个巨大的考验。现在在实际中很少使用。当然,当样本比较少的时候,是可以用的。
2. 随机梯度下降:对是随机的选取一个样本,通过这个小的的梯度来更新整体的,当然是不太准确的,但是重在速度快,当训练的迭代次数比较多的时候,也会去的很好的效果。不过,注意陷入局部最优解。
3. 小批量梯度下降:对是随机的选取一个小的batch,这个方法在深度学习中使用的比较多。
时间: 2024-10-13 15:17:40