机器学习 之 SVM VC维度、样本数目与经验风险最小化的关系

VC维在有限的训练样本情况下,当样本数 n 固定时。此时学习机器的 VC 维越高学习机器的复杂性越高。

VC 维反映了函数集的学习能力,VC 维越大则学习机器越复杂(容量越大)。

所谓的结构风险最小化就是在保证分类精度(经验风险)的同一时候,减少学习机器的 VC 维,能够使学习机器在整个样本集上的期望风险得到控制。

经验风险和实际风险之间的关系,注意引入这个原因是什么?

由于训练误差再小也就是在这个训练集合上,实际的推广能力不行就会引起过拟合问题。

所以说要引入置信范围也就是经验误差和实际期望误差之间的关系

期望误差R(ω) ≤ Remp (ω)+ Φ(n/h)

注意Remp (ω)是经验误差也就是训练误差(线性中使得全部的都训练正确)。

Φ(n/h)是置信范围,它是和样本数和VC维有关的。

上式中置信范围Φ 随n/h添加,单调下降。

即当n/h较小时,置信范围Φ 较大,用经验风险近似实际风险就存在较大的误差。因此,用採用经验风险最小化准则。取得的最优解可能具有较差的推广性;

假设样本数较多,n/h较大。则置信范围就会非常小,採用经验风险最小化准则,求得的最优解就接近实际的最优解。

可知:影响期望风险上界的因子有两个方面:

首先是训练集的规模 n,其次是 VC 维 h。

可见,在保证分类精度(经验风险)的同一时候。减少学习机器的 VC 维,能够使学习机器在整个样本集上的期望风险得到控制,这就是结构风险最小化(Structure Risk Minimization,简称 SRM)的由来。

在有限的训练样本情况下,当样本数 n 固定时。此时学习机器的 VC 维越高(学习机器的复杂性越高),则置信范围就越大,此时。真实风险与经验风险之间的区别就越大,这就是为什么会出现过学习现象的原因。

机器学习过程不但要使经验风险最小。还要使其 VC 维尽量小,以缩小置信范围。才干取得较小的实际风险。即对未来样本有较好的推广性,它与学习机器的 VC 维及训练样本数有关。

时间: 2024-10-22 12:53:05

机器学习 之 SVM VC维度、样本数目与经验风险最小化的关系的相关文章

svm、经验风险最小化、vc维

原文:http://blog.csdn.net/keith0812/article/details/8901113 “支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上” 结构化风险 结构化风险 = 经验风险 + 置信风险 经验风险 =  分类器在给定样本上的误差 置信风险 = 分类器在未知文本上分类的结果的误差 置信风险因素: 样本数量,给定的样本数量越大,学习结果越有可能正确,此时置信风险越小: 分类函数的VC维,显然VC维越大,推广能力越差,置信风险会变大. 提高样本

【转载】VC维,结构风险最小化

以下文章转载自http://blog.sina.com.cn/s/blog_7103b28a0102w9tr.html 如有侵权,请留言,立即删除. 1 VC维的描述和理解 给定一个集合S={x1,x2,...xd},如果一个假设类H(hypothesis h ∈ H)能够实现集合S中所有元素的任意一种标记方式,则称H能够打散S.有了打散的定义,就得到VC维的定义:H的VC维表示能够被H打散的最大集合的大小.若H能分散任意大小的集合,那么VC(H)为无穷大. ?VC维反应的是hypothesis

文本分类学习 (七)支持向量机SVM 的前奏 结构风险最小化和VC维度理论

前言: 经历过文本的特征提取,使用LibSvm工具包进行了测试,Svm算法的效果还是很好的.于是开始逐一的去了解SVM的原理. SVM 是在建立在结构风险最小化和VC维理论的基础上.所以这篇只介绍关于SVM的理论基础. 目录: 文本分类学习(一)开篇 文本分类学习(二)文本表示 文本分类学习(三)特征权重(TF/IDF)和特征提取        文本分类学习(四)特征选择之卡方检验 文本分类学习(五)机器学习SVM的前奏-特征提取(卡方检验续集) 文本分类学习(六)AdaBoost和SVM(残)

机器学习实战——SVM(3/3)

前面两篇总结了线性支持向量机模型,总体来说,就是在样本输入空间下对每个维度进行线性组合之后使用符号函数判别最终的类别.第一个是理想情况下的线性可分SVM,这是第二个的近似线性可分SVM的基础.而且也是一种递进关系,是为了从数学抽象化的理想模型到现实情形的一种推广,但它们终究是一种线性模型,对于更复杂的现实情形有时候依然会难以描述,需要使用非线性模型去描述. 非线性SVM 由于现实问题的复杂性,导致训练的样本数据无法使用在输入空间χ=Rn(或其子集或其离散集合)下使用一个线性超平面进行分隔,对于给

机器学习实战——SVM(2/3)

上一篇总结了对于训练数据集线性可分的理想情况下,使用硬间隔最大化训练得到分类超平面的SVM方法,这种方法在实际应用中并不实用,因为实际的训练数据总是会存在人为或不可控的因素干扰产生各种噪声,因此是无法在特征空间下找到线性可分的超平面的,但是噪声总是有限的,可以对硬间隔这个限制进行放松,引入一个松弛变量来控制分类超平面的训练,从而可以对近似可以线性可分的实际应用数据进行学习和预测.从这里也可以很明显的看出虽然前文所述的硬间隔最大化SVM太过理想,实际应用不理想,但是正是这种理想化的抽象,才能引出本

机器学习笔记——SVM之一

SVM(Support Vector Machine),中文名为 支持向量机,就像自动机一样,听起来异常神气,最初总是纠结于不是机器怎么能叫"机",后来才知道其实此处的"机"实际上是算法的意思. 支持向量机一般用于分类,基本上,在我的理解范围内,所有的机器学习问题都是分类问题.而据说,SVM是效果最好而成本最低的分类算法. SVM是从线性可分的情况下最优分类面发展而来的,其基本思想可以用下图表示: (最优分类面示意图) 图中空心点和实心点代表两类数据样本,H为分类线

【机器学习基础】VC维与模型复杂度、样本复杂度

引言 上一小节,我们引入了VC维的概念,用它来描述假设集合的表达能力.这一小节中,我们将从VC维的物理意义出发,进一步学习如何根据VC维传达的信息来选择模型和假设集合. VC维的物理意义 如果我们将假设集合的数量|H|比作假设集合的自由度,那么VC维就是假设集合在做二元分类的有效的自由度,即这个假设空间能够产生多少Dichotomies的能力(VC维说的是,到什么时候,假设集合还能shatter,还能产生最多的Dichotomies). VC维.真实错误率.训练错误率 在上一节中,我们讨论要做到

机器学习之SVM

一.线性分类器: 首先给出一个非常非常简单的分类问题(线性可分),我们要用一条直线,将下图中黑色的点和白色的点分开,很显然,图上的这条直线就是我们要求的直线之一(可以有无数条这样的直线) 假如说,我们令黑色的点 = -1, 白色的点 =  +1,直线f(x) = w.x + b,这儿的x.w是向量,其实写成这种形式也是等价的f(x) = w1x1 + w2x2 - + wnxn + b, 当向量x的维度=2的时候,f(x) 表示二 维空间中的一条直线, 当x的维度=3的时候,f(x) 表示3维空

机器学习:SVM实践:Libsvm的使用

引言 ? ? 本文从应用的角度出发,使用Libsvm函数库解决SVM模型的分类与回归问题 ? ? 首先说明一下实验数据,实验数据是Libsvm自带的heart_sacle,是个mat文件 ? ? 加载数据集 ? ? 将mat文件导入MATLAB后会有270*13的实例矩阵变量heart_scale_inst和270*1的标签矩阵heart_scale_label ? ? ? ? ? ? 分类 ? ? 将数据集分为训练数据和测试数据 ? ? 首先我们将实验数据分为训练数据和测试数据 ? ? loa