Stanford机器学习笔记-8. 支持向量机(SVMs)概述

8. Support Vector Machines(SVMs)

Content

    8. Support Vector Machines(SVMs)

      8.1 Optimization Objection

      8.2 Large margin intuition

      8.3 Mathematics Behind Large Margin Classification

      8.4 Kernels

      8.5 Using a SVM

        8.5.1 Multi-class Classification

        8.5.2 Logistic Regression vs. SVMs

8.1 Optimization Objection

支持向量机(Support Vector Machine: SVM)是一种非常有用的监督式机器学习算法。首先回顾一下Logistic回归,根据log()函数以及Sigmoid函数的性质,有:

同时,Logistic回归的代价函数(未正则化)如下:

为得到SVM的代价函数,我们作如下修改:

因此,对比Logistic的优化目标

SVM的优化目标如下:

注1:事实上,上述公式中的Cost0与Cost1函数是一种称为hinge损失替代损失(surrogate loss)函数,其他常见的替代损失函数有指数损失对率损失,具体参见《机器学习》P129 周志华)

注2:注意参数C和λ的对应关系: C与(1 / λ)成正相关。

8.2 Large margin intuition

根据8.1中的代价函数,为使代价函数最小,有如下结论:

现假设C很大(如C=100000),为使代价函数最小,我们希望

所以代价函数就变为:

所以问题就变成:

该问题最后的优化结果是找到具有"最大间隔"(maximum margin)的划分超平面,所以支持向量机又称大间距分类器(large margin classifier)。那么什么是间隔? 为什么这样优化就可以找到最大间隔?首先,我们通过图8-1所示的二维的0/1线性分类情况来直观感受。

图8-1 SVM Decision Boundary: Linearly separable case

直观上,应该去找位于两类训练样本"正中间"的划分超平面,即图8-1的黑色直线(二维),因为该划分超平面对训练样本局部扰动的"容忍"性最好。例如,图中的粉色和绿色直线,一旦输入数据稍有变化,将会得到错误的预测。换言之,这个划分超平面所产生的分类结果是最鲁棒的,对要预测数据集的泛化能力最强。而两条蓝色直线之间的距离就称为间隔(margin)。下一节将从数学角度来解释间隔与最大间隔的优化原理。

8.3 Mathematics Behind Large Margin Classification

首先介绍一些数学知识。

  • 2-范数(2-norm): 也可称长度(length),是二维或三维空间向量长度的推广,向量u记为||u||。例如,对于向量u = [ u1, u2, u3, u4],||u|| = sqrt(u1^2 + u2^2 + u3^2 + u4^2)
  • 向量内积(Vector Inner Product): 设向量a = [a1, a2, … , an],向量b = [b1, b2, … , bn],a和b的的内积定义为:a · b = a1b1 + a2b2 + … + anbn 。向量内积是几何向量数量积(点积)的推广,可以理解为向量a在向量b上的投影长度(范数)和向量b的长度的乘积。

所以有:

其中向量上的投影长度。

所以,8.2节得到的优化问题可以转为如下形式:

分界线为,所以可知和分界线正交(垂直),并且当时,分界线过原点(欧式空间)。为使目标最优(取最小值)且满足约束,应该尽可能大,这样就要求间距尽可能的大。直观的如图8-2所示,图左为间距较小的情况,此时的较小,为满足约束,导致目标函数变大,图右为最大间距的情况,此时的是最大的,所以目标可以尽可能的小。

图8-2 两种不同间距的情况

8.4 Kernels

上述的讨论都是基于线性可分的样本,即存在一个划分超平面可以将训练样本正确分类,然而现实世界存在大量复杂的,非线性分类问题(如4.4.2节的异或/同或问题)。Logistic回归处理非线性问题可以通过引入多项式特征量作为新的特征量;神经网络通过引入隐藏层,逐层进化解决非线性分类问题;而SVM是通过引入核函数(kernel function)来解决非线性问题。具体做法如下:

  1. 对于给定输出x, 规定一定数量的landmarks,记为
  2. 将x, 作为核函数的输入,得到新的特征量,若将核函数记为similarity(),则有

    ,其中为一一对应;

  3. 将新的特征量替代原有特征量,得到假设函数如下:

现在有两个问题,

  1. 如何选择landmarks?
  2. 用什么样的核函数 ?

对于第一个问题,可以按照如下方式,即将训练集的输入作为landmarks

所以特征量的个数与训练集的个数相等,即n = m,所以带有核的SVM变为如下形式:

对于第二个问题,常用的核函数有线性核,高斯核,多项式核,Sigmoid核,拉普拉斯核等,现以常用的高斯核(Gaussian)为例。

高斯核具有如下性质:

也就是说,如果x和landmark接近,那么核函数的值也就是新的特征量将会接近1,而如果x和landmark距离很远,那么核函数的值将会接近0.

是高斯核的参数,它的大小会影响核函数值的变化快慢,具体的,图8-3是一个二维情况下的特殊例子,但是所含有的性质是可推广的。即越大,核函数变化(下降)越缓慢,反之,越小,核函数变化越快。

图8-3 参数对高斯核的影响举例

  • 如何选择参数?

下面对SVM的参数对偏差和方差的影响做简要分析:

  • C: 由于C和(1 / λ)正相关,结合6.4.2节对λ的分析有:

8.5 Using a SVM

上文简单的介绍了SVM的优化原理以及核函数的使用方式。在实际应用SVM中,我们不需要自己去实现SVM的训练算法来得到参数,通常是使用现有的软件包(如liblinear, libsvm)。

但是下面的工作是我们需要做的:

  • 选择参数C的值
  • 选择并实现核函数
    • 如果核函数带参数,需要选择核函数的参数,例如高斯核需要选择
    • 如果无核(选择线性核),即给出线性分类器,适用于n大,m小的情况
    • 选择非线性核(如高斯核),适用于n小,m大的情况

下面是需要注意的地方:

  • 在使用核函数之前要对特征量进行规范化
  • 并不是所有的函数是有效的核函数,它们必须满足Mercer定理。
  • 如果想要通过训练得到参数C或者核函数的参数,应该是在训练集和交叉检验集上进行,,参见6.3节

8.5.1 Multi-class Classification

8.5.2 Logistic Regression vs. SVMs

参考:《机器学习》 周志华

时间: 2024-10-18 00:27:46

Stanford机器学习笔记-8. 支持向量机(SVMs)概述的相关文章

Stanford机器学习笔记-9. 聚类(Clustering)

9. Clustering Content 9. Clustering 9.1 Supervised Learning and Unsupervised Learning 9.2 K-means algorithm 9.3 Optimization objective 9.4 Random Initialization 9.5 Choosing the Number of Clusters 9.1 Supervised Learning and Unsupervised Learning 我们已

Stanford机器学习笔记-4. 神经网络Neural Networks (part one)

4. Neural Networks (part one) Content: 4. Neural Networks (part one) 4.1 Non-linear Classification. 4.2 Neural Model(神经元模型) 4.3 Forward Propagation 4.4 神经网络实现与或非门以及异或门 4.4.1 实现与或非门(AND/OR/NOT) 4.4.2 实现异或/同或门(XOR/XNOR) 4.5 Multi-class classification k

Stanford机器学习笔记-7. Machine Learning System Design

7 Machine Learning System Design Content 7 Machine Learning System Design 7.1 Prioritizing What to Work On 7.2 Error Analysis 7.3 Error Metrics for Skewed Classed 7.3.1 Precision/Recall 7.3.2 Trading off precision and recall: F1 Score 7.4 Data for ma

Stanford机器学习笔记-10. 降维(Dimensionality Reduction)

10. Dimensionality Reduction Content  10. Dimensionality Reduction 10.1 Motivation 10.1.1 Motivation one: Data Compression 10.2.2 Motivation two: Visualization 10.2 Principal Component Analysis 10.2.1 Problem formulation 10.2.2 Principal Component An

斯坦福2014机器学习笔记九----支持向量机

一.纲要 支持向量机基础及优化目标 支持向量机的直观理解 核函数 二.内容详述 1.支持向量机基础以及优化目标 支持向量机(Support Vector Machine)与逻辑回归和神经网络相比,在学习复杂的非线性方程时提供了一种更为清晰,更为强大的方式.这部分我们就从逻辑回归一点点修改来得到本质上的SVM. 在前面的内容中,我们知道了逻辑回归的代价函数为,逻辑回归的输出函数为,把hθ(x)代入代价函数并将负号放进括号里得到 ,从这个代价函数中我们可以得到y=1和y=0时的结果 图中的曲线表示逻

Stanford机器学习笔记-5.神经网络Neural Networks (part two)

5 Neural Networks (part two) content: 5 Neural Networks (part two) 5.1 cost function 5.2 Back Propagation 5.3 神经网络总结 接上一篇4. Neural Networks (part one).本文将先定义神经网络的代价函数,然后介绍逆向传播(Back Propagation: BP)算法,它能有效求解代价函数对连接权重的偏导,最后对训练神经网络的过程进行总结. 5.1 cost func

Stanford机器学习笔记-3.Bayesian statistics and Regularization

3. Bayesian statistics and Regularization Content 3. Bayesian statistics and Regularization. 3.1 Underfitting and overfitting. 3.2 Bayesian statistics and regularization. 3.3 Optimize Cost function by regularization. 3.3.1 Regularized linear regressi

【Stanford机器学习笔记】12-Dimensionality Reduction

这一章主要讲数据压缩算法,PCA 1. Motivation 数据降维的目的主要包括 数据压缩:将高维数据压缩至低维数据,以减小数据的存储量. 可视化:将高维数据压缩至低维数据后,我们就可以对数据进行可视化,判断数据的离散和聚类. 1.1 Motivation I: Data Compression (1)从2维数据降维至1维数据 将2维数据投影到一条直线上,已达到降维至1的目的.假设有m个样本,则降维后也有m个样本,只是特征维数减小了. x(m)∈R2?z(m)∈R1 (2)从3维数据降维至2

Stanford机器学习课程笔记4-Kmeans与高斯混合模型

这一部分属于无监督学习的内容,无监督学习内容主要包括:Kmeans聚类算法.高斯混合模型及EM算法.Factor Analysis.PCA.ICA等.本文是Kmeans聚类算法.高斯混合模型的笔记,EM算法是适用于存在latent/hidden变量的通用算法,高斯混合模型仅仅是EM算法的一种特殊情况,关于EM算法的推到参见Andrew Ng讲义.由于公式太多,最近时间又忙实习的事就简单写一些,回头看时还得参考Ng的笔记和自己的打印Notes上的笔记,这里的程序对理解可能能提供另外的一些帮助. K