svm入门的疑惑

1，为什么函数间隔能变成1

SVM的思想基础就是希望不同类别的样本能分的更开一些。用数学表述就是距离更大。

距离分为分为两种：函数距离和集合距离。

函数距离

从公式可以看到，函数距离其实可以通过同步放大缩小W和B实现。

几何距离：    。

很容易知道他们之间的关系是：

我们希望的距离最大，其实是几何距离最大

所以，这里我们通过缩放，固定函数距离为1，那么，就可以固定我们想要最大化的距离为：

2，什么是凸优化

凸优化就是凸函数在凸集上的优化。

凸函数：导数函数递增的函数（即二次求导永远大于零的函数）

凸集：集合内两点连线上的点永远在集合内的集合。

凸优化一个很好的特质：局部极值，就是全局的极值。

3，什么是对偶问题。

对偶问题就是将限制条件变换顺序。

4，为什么要引入KKT条件

不是所有的顺序变换都能使等号成立，在这里，如果需要等号成立，就需要引入KKT条件。

参考资料：

svm简要推到：http://www.cnblogs.com/daniel-D/p/3237468.html

拉格朗日对偶：http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html