优化算法比较的实验结果比较（BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop）

最近在学习神经网络的优化算法，发现网上有很多的算法介绍，但是却没有算法实现和实验对比，所以我就用python实现了BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop等算法，另外的Adam和NAdam算法是将Momentum，Nesterov，Adagrad几项合并起来的算法，属于工程方面的内容，所以我就没有实现了。
算法原理主要参考文献是：
整体算法参考：深度解读最流行的优化算法：梯度下降
整体算法参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
Momentum 算法实现参考： Deep Learning 最优化方法之Nesterov(牛顿动量)

原文地址：https://www.cnblogs.com/x739400043/p/9661451.html