一、线性回归问题

输入的是特征向量，输出为实数，对于，，模型函数为

衡量误差为平方错误，则Ein为，

Eout为未来没有看过的数据资料在模型函数上所得的错误

二、线性回归算法

由Ein可得

目的是求得Ein最小，可知在最低点时Ein最小，即梯度为0的时候

由，

如同，可知

其中

令，可得

输入矩阵X在很少的情况下才是方阵（N=d+1时），在大部分的情况下是可逆的，原因是在进行机器学习时，通常满足 ，即样本数量N远远大于样本的维度d加1，因此在中存在足够的自由度使其可以满足可逆的条件。

另一种是不可逆的情况，实际上可以得到许多满足条件的解，只需要通过其他的方式求解出，选择其中一个满足条件的解。

三、错误分析

由0/1错误和平方错误知，，对于分类来说

无论y=+1还是y=-1，都可知

所以

0/1错误难以求得合适的解，放宽条件可以求平方错误来衡量Ein的大小，从而算法可以得出合适的模型函数。