Andrew Ng机器学习公开课笔记 -- 学习理论

网易公开课，第9课
notes，http://cs229.stanford.edu/notes/cs229-notes4.pdf

这章要讨论的问题是，如何去评价和选择学习算法

Bias/variance tradeoff

还是用这组图，学习算法追求的是generalization error（对未知数据的预测误差），而不是training error（只是对训练集）

最左边，underfit，我们说这种学习算法有较大的bias
Informally, we define the
bias of a model to be the expected generalization error even if
we were to fit it to a very (say, infinitely) large training set.

即在用足够多的训练集的情况下，仍然有较大的generalization error

最右边，overfit，我们说这种学习算法有较大的variance
在比较小或有限的训练集的情况下，更容易发生

所以对于学习算法，我们需要tradeoff bias VS. variance，避免过于简单或复杂的学习模型

Preliminaries

在这章为了达到评价和选择算法的目的，我们需要解决下面几个问题，

First, can we make formal the bias/variance tradeoff that was just discussed?
The will also eventually lead us to talk about model selection methods, which
can, for instance, automatically decide what order polynomial to fit to a
training set.
是否可以形式化bias/variance，因为这样的话，我们就可以对每个学习模型计算出bias/variance
，从而可以自动选择模型

Second, in machine learning it’s really generalization error that we care
about, but most learning algorithms fit their models to the training set. Why
should doing well on the training set tell us anything about generalization
error? Specifically, can we relate error on the training set to generalization
error?
对于学习算法，我们真正关心的是generalization error，而我们之前都是用training
error来作为优化目标
这样想当然应该是合理的，但是有理论依据吗？我们真的可以用training error来近似generalization
error吗？他们之间有怎样的关系？
这是我们下面首先要讨论的问题

Third and finally, are there conditions under which we can actually prove
that learning algorithms will work well?

结论性的问题，在满足什么样的条件下，我们就可以证明这个学习算法是work well的？

在讨论上面问题之前，先介绍两个lemma，后面会用到，
第一个是union bound，这个定理显而易见

第二个是Hoeffding inequality

其实要表达的意思是，当m足够大的时候，预估值会逼近真实值
给个例子，Z满足bernoulli分布，最好的例子就是抛硬币，对于均匀的硬币，正面的概率是1/2

但是如果你抛10次，计算出现正面的概念可能不是1/2，但如果你抛100万次或更多，你抛的约多，那么得到正面的概念一定是趋向于1/2（bernoulli大数定理）

参考，机器学习物语(2):大数定理军团
Free Mind