Stanford机器学习---第六讲. 怎样选择机器学习方法、系统

原文见http://blog.csdn.net/abcjennifer/article/details/7797502 添加了一些自己的注释和笔记

本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine
learning中Andrew老师的讲解。（https://class.coursera.org/ml/class/index）

第六讲. 怎样选择机器学习方法——Advice for applying machine learning

===============================

候选机器学习方法

评价方法假设

☆模型选择和训练、验证实验数据

☆区别诊断偏离bias和偏差variance

☆规则化和 bias/variance

Learning Curve：什么时候增加训练数据training set才是有效的？

===============================

候选机器学习方法——Deciding what to try next

还用房价的prediction举例，假设我们已经实现了用规则化的线性回归方法预测房价：

但发现该预测应用于一个新的训练数据上时有很大误差（error），这时应采取一些解决方案：

Get more training examples

Try smaller sets of features

Try getting additional features

Try adding polynomial features (e.g. x1^2, x2^2, x1x2...)

Try decreasing λ

Try increasing λ

Machine Learning 方法的诊断：

- 什么是诊断Dignostic呢？诊断就是能够判断一种学习算法能不能work，并且改善该算法性能的一个测试。

Diagnostic: A test that you can run to gain insight what is/isn‘t working with a learning algorithm, and gain guidance as to how best to improve its performance.

-诊断的效果：Diagnostics can take time to implement, but doing so can be a very good use of your time.

===============================

评价方法假设——Evaluating a hypothesis

首先呢，我们将所有数据分为两个集合，一个Trainning set和一个Testing set，用Training set得到参数向量，用Testing set进行测试（比如分类）。

这时，将test set的error分为线性回归linear regression和逻辑回归logistic regression两类：

-线性回归的error：

-逻辑回归的error：

===============================

模型选择和训练、验证实验数据

面对模型选择问题，如何才能得到一个just fit的模型而不会导致underfit 或者overfit呢？我们引入一类数据集，叫做cross validation set，即交叉验证数据集。将所有数据按<6,2,2>分为training set , cross validation set , testing set三类，如下图所示：

其error计算公式如下，其实三类计算方法大同小异，相同的公式只是换了数据及而已：

进行模型选择的方法其实很简单，对应下图大家来看：

-首先，建立d个model 假设（图中有10个，d表示其id），分别在training set 上求使其training error最小的θ向量，那么得到d个θ

-然后，对这d个model假设，带入θ，在cross validation set上计算J(cv)，即cv set error最小的一个model 作为 hypothesis，如下图中J(cv)在第4组中最小，便取d=4的假设。

PS: 其实d表示dimension，也就是维度，表示该hypothesis的最大polynomial项是d维的。

PS‘: 一般地，J(cv)是大于等于J(train)的

===============================

区别诊断偏离bias和偏差variance

前面的课程中我们曾讲过相同数据不同回归情况：

这一节中，我们给大家区分两个概念：bias vs. variance。

如下图所示为error随不同dimension的model变化图，可以想见，随d上升是一个由underfit到overfit的过程，这个过程中，training
set的error逐渐下降，而cv set的error先降后升。

这里就产生了bias和variance的概念：

bias：J(train)大，J(cv)大，J(train)≈J(cv)，bias产生于d小，underfit阶段；

variance：J(train)小，J(cv)大，J(train)<<J(cv)，variance产生于d大，overfit阶段；

如下图所示：

来来，做道题：

-------------------------------------------------------------

好，有了初步概念，现在我们来看bias和variance的由来及具体定义：

给定数据及D（比如一个点集吧），对于这些数据集上的点我们可以计算每个index下点的平均值（即期望）t(x) = E(y|x)，则我们有mean square error:

MSE = 1/n * Σ(f(x)-t(x))^2

MSE（mean square error） = Bias2 + Variance +noise

定义上是这么讲的：

Variance: measures the extent to which the solutions for individual data sets vary around their average, hence this measures the extent to which the function f(x) is sensitive to theparticular choice of data set.

Bias: represents the extent to which the average prediction over all data sets differs from the desired regression function.

Our goal is to minimize the expected loss, which we havedecomposed into the sum of a (squared) bias, a variance, and a constant noiseterm. As we shall see, there is a trade-off between bias
and variance, with very flexible models（overfit） having low bias and high variance, and relatively rigid models（underfit） having high bias and low variance

总结一下：

variance：估计本身的方差。

bias：估计的期望和样本数据样本希望得到的回归函数之间的差别。

具体来讲，我有一个统计量D（比如统计某大学研一学生身高在[0.5-1],[1,1.1],[1.1,1.2]……[1.9,2]之间的人数），这样可以形成一些离散点。然后呢，本校研一有20个班，每个班就都可以拟合成一条估计曲线f(x)，这20条曲线呢，有一个平均值，也就是估计期望（均值）曲线E(f(x,D))。

variance是指，这20条估计曲线与最后估计期望（均值）之间的距离，也就是估计曲线本身的方差，是不可能为0的。

bias是指，20条估计曲线的均值与实际最佳拟合情况之间的距离。

这样一来呢，对于regularization项中的λ，

λ小 , d大 -> overfit（flexible） ->

对于不同的训练数据集（不同班级的数据）的拟合结果抖动很大 -> variance大

bias是估计均值与实际值期望的偏差 -> bias小

下图中，左图为拟合的20条曲线；右图红线为20条曲线的期望，绿色为实际数据期望所得的拟合曲线。