很久之前就学了SVM，总觉得不就是找到中间那条线嘛，但有些地方模棱两可，真正编程的时候又是一团浆糊，参数随意试验，毫无章法。既然又重新学到了这一章节，那就要把之前没有搞懂的地方都整明白，再也不要做无用功了~算法很简单，如果学不会，只是因为懒~写下这段话，只为提醒自己
以下使用到的图片来自上海交大杨旸老师的课件，网址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/
支持向量机就是一种分类方法，只是起的这个名字，看起来很复杂而已。
中间一条线：分类用的，需要求出系数W
支持向量：线性超平面上的点，可以理解为两边的线上的点
要求：中间那条线到两边的线的距离相等。支持向量（可以想象成那两条线上每条线上的点）的个数<= m +1，m为特征 x 的维数。
目的：找的中间那条线的参数 w 和 b 。
线性SVM
这个图我看了很久，一直没有搞懂 y 在哪里，根据公式明明就直接求出所有的 x 了啊，难道 y = a ？y = a - b ？
其实 y 在这里不是坐标轴啦，是分类0,1,2,...,1,-1之类的，坐标轴上全都是 x1,x2,x3,....这样的啦
搞清楚这个概念，接下来就很好理解了：
两条线之间的距离就直接拿 wx1 + b = a 和 wx2 + b = -a 相减就好啦(x1是上边直线上的点，x2是下边直线上的点)，至于为神马这样 2r 就刚好是垂直距离，很简单，两个点坐标相减就是两点之间的向量，膜就是距离，找两个连线与分类直线垂直的点就OK拉。真正用公式推导是这样的：
w(x1-x2)=2a
||w|| ||x1-x2|| cos<w, x1-x2> = 2a
||x1-x2|| cos<w, x1-x2> = 2a/||w||
公式左边就是距离啦。
证明的第一问也好理解了，这里的在线上指的是 x1 和 x2 都在 wx + b =0 这条线上，相减刚好就是<w, x1- x2> = 0
解释一下：
理想情况下，所有正样本（y=1）都在 wx + b = a 这条线的上边，所有负样本（y=-1）都在 wx + b = -a 这条线的下边，但是两个公式太麻烦啦，那就把 y 当作正负号乘到前边好啦，刚好把上下两条直线公式改编合成这样： (wx + b)y = a ，这样的点是在线上的，但是我们要求正负样本在两侧就好啦，所以改 = 为 >=
max 那句就是说仅仅满足下边的公式还不够，我们需要的是两条线中间的距离最大
总之：就是对于任意的点 j 求使得两条线的距离最大的 w 和 b
总是带着 a 不太方便，所以我们把等式两边都除以 a ，就有了新的 w 和 b，无所谓啦，反正都是符号，所以就没改啦。
由于a都变成1了，所以最大化 2a / || w || 倒过来就成了 || w || / 2，也就可以简化为求 w . w = || w || 的最小值了~
非线性SVM
一切看起来进展非常顺利，然而！真实的数据很有可能出现一些不太友好的点哦！
于是，我们就需要容忍这些错误~
c：tradeoff parameter 其实就是一个系数
#mistake：错误数，对于每一个错误的点都为1，正确点都取0，最后加到一起（公式为了让总错误最小）
c和#mistake都是变量，可以合在一起成为一个的，但不便于理解
#mistake是算出来的，系数C是根据交叉验证得到的——（交叉验证。。不大懂，之后再说咯）
上边这个公式有个缺点：对于不在分类线外侧的全都定义为错的（也就是非黑即白，0/1 loss），没有考虑偏离大小的问题
公式把#mistake改成这样，就相当于对于每一个错误的样本都算出其对应的偏离量，这样放在公式里就是所有偏离量加起来最小。
偏离量是算出来的，系数C是根据交叉验证得到的——（交叉验证。。不大懂，之后再说咯）
规范化损失变量
直接套公式吧。。
hinge loss 我想多解释一下，因为这个样本在它应在的范围（如 >=1 ），那么它其实是没有损失的，也就是全为0就好，所以或许这个损失函数蛮符合SVM的特点~
多分类问题
方法一：
如上图所示——每次把一个类别拿出来，其他类别合成一个大类，当作二分类问题来做。重复n次就OK
缺点：分类的那条线会偏向训练数据量比较小的那一类
方法二：同时求
解释一下公式：
左边是分类在 j 的一个点 xj 乘以它自己的系数，需要满足 w(yj) . xj + b(yj) > = 1
参考方法一，如果这个点用在其他的分类公式中的时候，需要满足 w(y‘) . xj + b(y’) < = 1
所以两个公式放在一起就是： w(yj) . xj + b(yj) > = 1 > = w(y‘) . xj + b(y‘)
至于非要加上的那个1~~我也不知道为神马，莫非是为了和之前的公式看起来差不多？0.0
加上松弛变量和损失变量就变成了这样：
要去吃饭了，约束最优等下再讲~哈哈