Ng第四课：多变量线性回归(Linear Regression with Multiple Variables)

4.1  多维特征

4.2  多变量梯度下降

4.3  梯度下降法实践 1-特征缩放

4.4  梯度下降法实践 2-学习率

4.5  特征和多项式回归

4.6  正规方程

4.7  正规方程及不可逆性（可选）

目前为止，探讨了单变量/特征的回归模型，现在对房价模型增加更多的特征

增添更多特征后，引入一系列新的注释：

• n  代表特征的数量
• 代表第 i  个训练实例，是特征矩阵中的第 i 行，是一个向量（vector）。    （图中给转置了）
• 代表特征矩阵中第 i 行的第j 个特征，也就是第 i 个训练实例的第 j 个特征。

支持多变量的假设 h  表示为

这个公式中有 n+1 个参数和 n个变量，为了使得公式能够简化一些，引入 x0=1，则公式转化为：

此时模型中的参数是一个 n+1 维的向量，任何一个训练实例也都是 n+1 维的向量，特征矩阵 X 的维度是 m*(n+1)。

 ，其中上标T代表矩阵转置。

推理图如下：(大红框表示满足了矩阵乘法条件)

4.2  多变量梯度下降

与单变量线性回归类似，在多变量线性回归中，也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：

其中 

我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。

多变量线性回归的批量梯度下降算法为：

即：

求导数后得到：

当 n>=1 时，

我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。