为什么要使用核函数

第一次接触核函数这个概念,是在看SVM的时候,当时看到核函数的作用是将数据从一个特征空间,映射到另一个特征空间的时候,感觉很抽象。后来,看了一个经典的内积平方可以看成是将二维数据,映射到三维数据的例子,感觉好像明白了一些,但是依然不明白,对于大量的数据,计算内积有什么用。后来看了南大周志华的机器学习一书,才发现,原来除了映射这个最基本的原因之外,很重要的一点是,我们在映射后,计算超平面的过程中,会自然遇到核函数这个东西。下面来具体说明一下。

所以,可以看到,在利用svm分类的过程中,先假设数据经过某一个函数的映射,被投影到了高维空间,继续计算,核函数自然而然的出现,避免了我们去寻找(也没有必要)高维映射函数的麻烦。

时间: 2024-09-26 19:39:41

为什么要使用核函数的相关文章

总结一下遇到的各种核函数~

由于之前做了很多核方法相关的子空间学习算法,本文打算对各种核函数进行一下简要的介绍,希望对大家能够有所帮助. 首先,再对核方法的思想进行描述,核函数的思想是一个伟大的想法,它工作简练巧妙的映射,解决了高维空间中数据量庞大的问题,在机器学习中是对算法进行非线性改进的利器.如下,如果在原空间中,给定的样本数据X是线性不可分的,那么如果我们能够将数据映射到高维空间中,即 那么在高维空间中,样本数据很有可能线性可分,这个特点可以用下图做一个很好的说明: 如左图,红色部分的点为一类数据,黑色部分的点为另一

Libsvm自定义核函数【转】

1. 使用libsvm工具箱时,可以指定使用工具箱自带的一些核函数(-t参数),主要有: -t kernel_type : set type of kernel function (default 2) 0 -- linear: u'*v 1 -- polynomial: (gamma*u'*v + coef0)^degree 2 -- radial basis function: exp(-gamma*|u-v|^2) 3 -- sigmoid: tanh(gamma*u'*v + coef0

RBF高斯径向基核函数【转】

XVec表示X向量.||XVec||表示向量长度.r表示两点距离.r^2表示r的平方.k(XVec,YVec) = exp(-1/(2*sigma^2)*(r^2))= exp(-gamma*r^2)...... 公式-1这里, gamma=1/(2*sigma^2)是参数, r=||XVec-YVec||实际上,可看作是计算2个点X与Y的相似性.很多参考书上,把YVec写作XVec',即 k(XVec, XVec'),也是一样的含义:两点相似性.由于Matlab上面XVec'代表XVec的转置

转:径向基核函数

转:径向基核函数 (2011-05-20 16:53:54) 转载▼   分类: AboutResearch 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数. 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小. 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) }

【模式识别】SVM核函数

下面是几种经常使用的核函数表示: 线性核(Linear Kernel) 多项式核(Polynomial Kernel) 径向基核函数(Radial Basis Function) 也叫高斯核(Gaussian Kernel),由于能够看成例如以下核函数的领一个种形式: 径向基函数是指取值只依赖于特定点距离的实值函数,也就是. 随意一个满足特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,虽然其它距离函数也是能够的.所以另外两个比較经常使用的核函数.幂指数核,拉普拉斯核也属于径向基核函数.

核函数逻辑回归

1.表示定理的证明 如果你求解的是L2-regularized的问题,那么一定有一个最好的w可以表示成z的线性组合: 如何来证明这件事情呢? 我们将w分成两个部分,分别为w的平行部分(由zn展开的那个空间的向量来构成)和w的垂直部分(与zn展开表示的向量垂直的向量). 我们希望最后完全没有w的垂直部分. 将最优的那个w与zn相乘其实和w的平行部分和zn相乘得到的结果是一样的,因为w的垂直部分与zn相乘为0,所以得到的err是一样的. 对于最佳解wTw,其包含w的平行部分的平方和w的垂直部分的平方

机器学习——支持向量机(SVM)之核函数(kernel)

对于线性不可分的数据集,可以利用核函数(kernel)将数据转换成易于分类器理解的形式. 如下图,如果在x轴和y轴构成的坐标系中插入直线进行分类的话, 不能得到理想的结果,或许我们可以对圆中的数据进行某种形式的转换,从而得到某些新的变量来表示数据.在这种表示情况下,我们就更容易得到大于0或者小于0的测试结果.在这个例子中,我们将数据从一个特征空间转换到另一个特征空间,在新的空间下,我们可以很容易利用已有的工具对数据进行处理,将这个过程称之为从一个特征空间到另一个特征空间的映射.在通常情况下,这种

SVM: 使用kernels(核函数)的整个SVM算法过程

将所有的样本都选做landmarks 一种方法是将所有的training data都做为landmarks,这样就会有m个landmarks(m个trainnign data),这样features就是某个x(可以是trainning data/cross validation data/test data里面的)与这些landmarks之间的距离的远近程度的描述. landmarks选定后得出新的features向量 给出一个x,则通过这些landmarks来计算features向量,和之前的

高斯核函数

高斯核函数 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数.通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小. 高斯核函数 - 常用公式 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围.

机器学习---核函数

前言:当我跟你说起核的时候,你的脑海里一定是这样的: 想到的一定是BOOMBOOM.谈核色变,但是今天我们说的核却温和可爱的多了. 我记得我前面说到了SVM的核武器是核函数,这篇文章可以作为http://www.cnblogs.com/xiaohuahua108/p/5934282.html这篇文章的下篇.但是我这里首先强调一下,核函数不是仅仅在SVM里使用,他只是一个工具,把低维数据映射到高维数据的工具. 形如这样: 本来是二维的数据,现在我们把它映射的高维.这里也需要说明下,低维到高维,维数