Coursera公开课机器学习：Linear Regression with multiple variables

多特征

多考虑些特性

我们加入一些特性来考虑房价问题：

符号解释

$n$：特性数目

$x ^{(i)}$：输入的第$i$个训练数据

$x ^{(i)} _j$：第$i$个训练数据的第$j$个特性

$h _\theta (x)$

相应的，$h _\theta (x)$也就变了：

$h _\theta (x) = \theta _0 + \theta _1 x _1 + \theta _2 x _2 + \cdots +\theta _n x _n$

结合上节的向量内容，加上$x _0 = 1$，可得到：

$$
\matrix{x}=
\begin{bmatrix}
x _0 \cr
x _1 \cr
\vdots \cr
x _n \cr
\end{bmatrix}
\matrix{\theta}=
\begin{bmatrix}
\theta _0 \cr
\theta _1 \cr
\vdots \cr
\theta _n \cr
\end{bmatrix}
$$

$h _\theta (x) = \matrix{\theta} ^T \matrix{x}$

其中，$x _0 = 1$

代价函数

$J(\matrix{\theta})=J(\theta _0,\theta _1,\cdots,\theta _n)=\frac{1}{2m}\sum _{i=1}^m{(h _\theta(x^{(i)}) - y^{(i)})^2}$

多变量梯度下降

$\theta _j = \theta _j -\alpha \frac{\partial}{\partial \theta _j}J(\theta _0,\theta _1,\cdots,\theta _n)$

把微分方程计算开，即：

$\theta _j = \theta _j -\alpha \frac{1}{m}\sum _{i=1}^m{(h _\theta(x^{(i)}) - y^{(i)}) x ^{(i)} _j}$

特征值归一化

归一化，其实就是把数据处理下，限制在某一特定范围，便于后续处理，且能加快程序收敛速度。

均值归一化

$x _i=\frac {x _i - \bar{x}} {\sigma}$

$\sigma=\sqrt{\frac {1} {n} \sum _{i=1} ^n {(x _i -\bar{x}) ^2}}$

步长的选择

多项式回归

合并部分特征

如果说房子给出了长、宽两项来预测房价，我们都知道的，两变量处理起来比单变量麻烦，其实这时候完全可以用面积来代替长、宽，这样只有一个变量，处理起来也方便很多。

多项式

可能有时候线性回归不能很好拟合给定的样本，比如说房价预测：

$h _\theta (x) = \theta _0 +\theta _1(size) +\theta _2{(size)} ^2 +\theta _3 {(size)} ^3$

可能这种式子能更好拟合样本，这时候看式子里有平方、立方，不是线性的了。

其实可以转变成线性的：

$x _1=(size)$

$x _2={(size)} ^2$

$x _3={(size)} ^3$

这样替换进去又是我们熟悉的多变量回归了。

同样开根号也是可以根据实际情况去选择的，处理的时候同上述方法。

正规方程

举个例子，4组特性的房价预测：

最小二乘法

$\theta = (\matrix{X} ^T \matrix{X})^{-1}\matrix{X} ^T \matrix{y}$

梯度下降、正规方程优缺点

梯度下降：

• 需要合适的步幅$\alpha$；
• 需要多轮迭代；
• 即便$n$很大，效果也很好。

正规方程：

• 不需要选择$\alpha$；
• 不需要迭代，一次搞定；
• 计算$(\matrix{X} ^T \matrix{X})^{-1}$，时间复杂度$O(n ^3)$；
• 如果$n$很大，运算起来非常慢。

正规方程矩阵不可逆的处理方法

• 去掉冗余特性；
• 删除过多特征。

参考信息

• Andrew Ng，Machine Learning
• Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”

Coursera公开课机器学习：Linear Regression with multiple variables