机器学习(2)之线性回归
上一章介绍了梯度下降算法的线性回归,本章将介绍另外一种线性回归,它是利用矩阵求导的方式来实现梯度下降算法一样的效果。
1. 矩阵的求导
首先定义表示m×n的矩阵,那么对该矩阵进行求导可以用下式表示,可以看出求导后的矩阵仍然为m×n
这里要用到矩阵迹的特性,trace. 对于一个n阶的方阵(n×n),它的迹(tr)为对角线元素之和:
1. 对于一个实数,它的迹即为它本身
tr a = a
2. 如果AB是一个方阵,那么
tr AB = tr BA
3. 由此可推导出
trABC = trCAB = trBCA
trABCD = trDABC = trCDAB = trBCDA
4. 假设A 和 B为方阵,a为实数,那么又可以推导出以下的特性:
trA = trAT
tr(A + B) = trA + trB
tr aA = atrA
5.对迹进行求导,具有以下特性:
2. Least squares revisited
现在就可以利用1中矩阵求导的相关知识来重新求解线性回归问题。
假设训练样本:
定义目标集合:
因为,所以
又因为,根据最小二乘规则,代价函数可以写成:
对J(θ)进行求导:
上述推导使用了第1部分的特性。
miniminzes J(θ) 即
时间: 2024-10-07 12:08:18