NG的课件1,引出常用的优化方法梯度下降法(gradient descent)
?
?
对于 ordinary least squares regression, cost function为
求最小值,意味着求导数为0的位置
?
?
考虑只有一个样本
?
?
这叫做LMS update rule (Least Mean Squares)
?
?
对应所有样本的训练集合
?
?
这种方法叫做batch gradient decent ,与之对应的在样本数目比如海量的情况下,为了计算快速,经常会每
扫描一个点就做一次update而不是扫描所有点后做一次update,对应称作stochastic gradient decent
?
?
在逻辑回归中:
对应按照MLE观点看,最大化概率
?
?
?
?
?
?
?
?
时间: 2024-07-29 21:57:24