机器学习算法总结（二）

SVM上：这个算法应该是机器学习这门课里最重要的部分了。

首先是SVM的思想：找到超平面，将两类中距离最近的点分的越开越好（直至二者相等）。

然后是函数间隔和几何间隔的定义，二者之间的区别。

接着是超平面模型的建立，看看它是如何将问题转化为凸优化问题的。

SVM第一个难点：拉格朗日对偶。由KKT条件可知，起作用的约束都在边界上，这个会用来解释支持向量。

由KKT条件知，在SVM模型中，只有函数间隔为1的点才是支持向量。

通过对偶解出w,b。对于新出现的样本，只需要和支持向量作内积就可以将其分类。

SVM下：有时候低维不能将样分很好的分类，可以用高维解决，为此引入了核函数，将低维映射到高维。

用线性分类方法求解非线性问题分两步，首先使用一个变换将原空间的数据映射到新的空间，然后在新空间里用线线分类学习方法

从训练数据中学习分类模型。

如果一个核函数是半正定的，则它是有效的。

为了解决离群点问题，引入了罚项。新的模型不仅要使间隔尽量小，还要使误分类点的个数尽量少。