Ng第二课：单变量线性回归(Linear Regression with One Variable)

二、单变量线性回归(Linear Regression with One Variable)

2.1  模型表示

2.2  代价函数

2.3  代价函数的直观理解

2.4  梯度下降

2.5  梯度下降的直观理解

2.6  梯度下降的线性回归

2.7  接下来的内容

之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：

我们将要用来描述这个回归问题的标记如下:

m                代表训练集中实例的数量

x                 代表特征/输入变量

y                 代表目标变量/输出变量

(x,y)           代表训练集中的实例

(x(i),y(i))     代表第 i 个观察实例

h                代表学习算法的解决方案或函数也称为假设（hypothesis）

因而，要解决房价预测问题，我们实际上是要将训练集“喂”给我们的学习算法，进而学习得到一个假设 h，然后把我们要预测的房屋的尺寸作为输入变量输入给 h，预测出该房屋的交易价格作为输出变量输出为结果。对于这个房价预测问题，一种可能的表达方式为：

，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。

2.2  代价函数

我们现在要做的便是为我们的模型选择合适的参数（parameters）θ0 和 θ1，在房价问题这个例子中便是直线的斜率和在 y 轴上的截距。

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指部分）就是建模误差（modeling error）。

我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数  最小。

我们绘制一个等高线图，三个坐标分别为 θ0 和 θ1 和 J(θ0,θ1)：

则可以看出在三维空间中存在一个使得 J(θ0,θ1)最小的点。

2.3  代价函数的直观理解 

图1是不考虑θ_0、θ₁时J(0)为常数，图2是当只考虑θ₁时代价函数J(θ₁)的情况，图3是θ_0、θ₁都考虑时J(θ_0，θ₁)的情况。

代价函数的样子(图1是固定的θ_0、θ_1，图2是参数的θ_0、θ₁):