偏差vs方差

在这部分我们检验多项式层数d和过拟合和欠拟合之间的关系。

1.我们区分是否是偏差或方差导致我们预测错误。

2.大偏差是欠拟合，大方差是过拟合。理想情况下，我们需要在这两者之间找到中庸之道。

当我们增加多项式的D时，训练误差会减小。

同时，交叉验证误差会随着d增加到一个点而减小，然后随着d的增加而增大，形成一个凸曲线。

这是总结在下面的图：

正则化和偏差/方差

在上图中，我们看到，作为λ的增加，我们的配合变得平滑。另一方面，当λ接近0，我们倾向于过度拟合数据。那么我们如何选择我们的参数λ得到它“恰到好处”？为了选择模型和正则化项λ，我们需要：

1.创建一个列表的Lambda表达式(i.e. λ∈{0,0.01,0.02,0.04,0.08,0.16,0.32,0.64,1.28,2.56,5.12,10.24});

2.创建一组具有不同次方或任何其他变形的模型。

3.遍历λ和每个λ穿过所有的模型来学习一些Θ。

4.运用所得到的Θ计算交叉验证误差（计算λ）用JCV（Θ）（没有正规化或λ= 0）。

5.选择在交叉验证集上产生最低错误的最佳组合。

6.