为函数间隔的定义
考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：
几何间隔：
= r hat / || w ||
最优间隔分类器的定义：
拉格朗日对偶性：略。
若要dual*=primary*=L(w*, α*, β*)，w*, α*，β*满足KKT dual complementarity condition（KKT对偶互补条件）：
优化间隔分类器：
考虑此分类器的定义，令：
则可得拉格朗日优化问题：
对w, b求偏导数如下：
此外又有：
进而得到：
核函数：（未理解明白）
用核函数代替上式中的内积，将变量映射到更高维空间。这样计算内积就好，而不必把向量装入内存（事实上也装不下）。
此式对应的 映射 为：
高斯核：
如何判断一个核是valid的：
即：K是一个valid的核 等价于 它所对应的核矩阵是对称半正定矩阵
在数据是非线性可分的情况下：
称为 L1 norm soft margin SVM。是一个凸优化问题。
它允许间隔小于1，即允许有错误的分类。
SMO算法：
坐标上升算法：
这个算法的迭代次数比较多，但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小，那么内层循环将会非常快。
SMO：
如果像svm那样只对一个α求解，同时固定其他的α。由等式（19）得到
即α也就固定了。SMO同时对两个α求解，随即得到：
此式是一个一元二次函数，易得到α1。
Andrew Ng让在John Platt的论文里寻找下面两个问题的答案：
SMO算法：
由等式
可知问题转化为求α的问题，如下：
此等式中各个参数的求解如下：
ps:不知不觉好久不写笔记。
时间： 2024-10-10 06:04:57