参考链接:
1.https://blog.csdn.net/TaiJi1985/article/details/75087742
2.李航《统计学习方法》7.1节 线性可分支持向量机与硬间隔最大化
3.https://zhuanlan.zhihu.com/p/45444502,第三部分 手推SVM
本文目标:理解SVM的原始目标,即间隔最大化,并将其表示为约束最优化问题的转换道理。
背景知识:假设已经知道了分离平面的参数w和b,函数间隔γ‘,几何间隔γ,不懂的可以参考书本及其它。
为了将线性可分的数据集彻底分开,并分得最好,SVM的原始目标是找到一个平面(用w,b表示,二维数据中是一条直线,如下图所示),使得该平面与正负两类样本的最近样本点的距离最大化。简单的说,就是任给一个平面w,b,总有一个样本点离它的距离最近(点到平面的距离,可以用来表示),过该样本点作平行于分割平面的平面,两个平面形成分隔带。我们的目标是比较各种平面(无数个),找出一个平面使得“分隔带最胖”。那么如何来表述“分隔带最胖”呢?
假设对于平面w,b来说,距离平面最近的点是,又由于该平面w,b可以将所有样本点正确分类,即满足,因此我们可以将上述点到平面的距离改写为,其中取值为+1或-1。因此我们的目标就是最大化。
因此最优化
原文地址:https://www.cnblogs.com/alesvel/p/9882312.html
时间: 2024-10-11 16:15:10