本文申明：本文原创，如转载请注明原文出处。
引言：上一篇我们讲到了logistic回归，今天我们来说一说与其很相似的svm算法，当然问题的讨论还是在线性可分的基础下讨论的。
很多人说svm是目前最好的分类器，那我们就来看看我们的svm好在哪里。
一：初识svm
问题：用一条直线把下图的圆球和五角星分离开来。
解答：有N种分法，如下图：
附加题：找出最佳分类？
解答：如图：
Exe me?鬼知道哪一条是最佳？？
等等这个最佳分类是不是等价于，地主让管家给两个儿子分地，是不是只要让两家之间一样多就可以了？那是不是就是那根红线让两家距离之和离分界线最远就可以了？
恭喜你，猜对了。
现在我们把问题上升到N维，就是说，我也不知道这个N维是什么样子，但是，我要在N维中把这两个东东分离开来。那么从直线ax+b就可以表示成超平面WTx+b去分开。示意图如下：
其中W=(W1;W2;…;Wd)为法向量，决定了这个超平面的方向，b为位移项，决定了超平面与原点之间的距离。显然这个超平面就是被W和b确定的。那求出这个超平面这个分类模型不就建立了吗。那就是最优化求最大间隔的问题。
说到间隔（margin）问题，我们来科普下函数间隔和几何间隔。
1.1函数间隔（functional margin）
假设图中A,B,C表示三个实例，A离超平面最近，那么预测正确的可能性就比较低，但是C离超平面H最远，那么预测正确的概率就比较高，B介于两者之间。
一般来说，一个点到一个超平面的距离可以表示为这个点预测的确信程度。这就是函数间隔。
对于给定的训练数据集T和超平面(w,b)，定义超平面关于样本点(x_i,y_i)的函数间隔为：
1.2 几何间隔
函数间隔可以表示预测的正确性以及确信度，但是当我们选择最优的超平面的时候，只有函数间隔还不够，主要按照比例改变W和b那么超平面没有变，但是函数间隔却变成了原来的两倍，我们可以对分离超平面的法向量进行约束，例如规范化，||w||=1,这样就使得间隔是确定的，这样函数间隔就变成了几何间隔。
假设B在这条分割线面上，分割线外的一点，到这个平面的距离用
表示，任何一个点在这个超平面分割面上都有一个投影，现在假设，A的投影就是B，那么BA就是A到B的距离，w就是它的法向量,其中w/||w||为单位向量，假设A（xi,yi）那么B的x坐标为xi- 
w/||w||。把B的横坐标带入wTX+b=0,得到：
进一步化简：
所以当||w||=1的时候，无乱扩大几倍，对距离都没有影响，这叫做几何距离。
1.3间隔最大化
现在我们知道分离超平面有无数个，但是几何间隔最大化只有一个，而SVM的思想就是寻找这个能让间隔最大化的超平面，把这个作为分类的标准。那么这个问题就可以表示成约束最优化问题：
s.t. 
||w||=1
这里用||w||=1 规约 w，使得 + 是几何间隔,考虑到函数间隔和几何间隔的关系： 
所以上述公式可以改写为：
s.t. 
求上述的最大值，就等价于求||w||的最小值问题。等价于：
Min (w,b) 
s.t. 
好了终于到这一步了。
接下来介绍的是手工求解的方法了，一种更优的求解方法。
二：学习的对偶算法
为了求解线性可分的支持向量机的最优化问题，将它作为原始最优化问题，应用拉格朗日对偶性，求解对偶性问题去得到原始问题，这就是线性可分支持向量机的对偶算法。思想如图所示：
我想大家一看就会明白了。。。
补充（来自维基百科）：
首先，我们定义拉格朗日函数，对每一个不等式的约束条件引进拉格朗日乘子ai>=0,i=1,2,3..,N,.则函数1为：
。
根据拉格朗日对偶性，原始问题的对偶问题是极大极小值问题：
那么为了得到对偶问题的解，需要先求L(w,b,a)的极小，再求对a的极大。
2.1求min L(w,b,a)
首先对函数1 分别对w,b求偏导并令其为0.
那么： 
将上述两式带入到函数1可得：
即：
2.2求min L(w,b,a)对a的极大，即使对偶问题
。
这样就可以得到与之等价的对偶最优化问题：
。
现在对上式中a的解为a*=( a1*, a2*,…an*)T,因为满足KKT条件那么就可以求得最优化问题的解w*,b*.
综上，分类决策函数可以写成：
下期预告：下期将会为大家带来线性不可分的情况，也是SVM最核心的“核武器”以及svm的优缺点，敬请关注！