6 VC维

1 VC维的定义

VC维其实就是第一个break point的之前的样本容量。标准定义是：对一个假设空间，如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开，则称该假设空间能够把N个样本打散；假设空间的VC维就是它能打散的最大样本数目N。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大：

几种假设空间的VC维如下：

2 感知机的VC维

d维感知机的vc维是d+1。（证明略）

3 VC维的物理意义

VC维表示的是做二分类时假设空间的自由度，是把数据集打散的能力。

我们可以用如下的方法来估计VC维：

即这个假设空间里面可调整的参数的个数。(只是一种估计的方法，有时候可能是不对的）

时间： 2024-11-05 13:48:00

6 VC维的相关文章

VC维

有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念.在读<神经网络原理>的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达的思想. 先要介绍打散(shatter)的概念:对于一个给定集合S={x1, ... ,xd},如果一个假设类H能够实现集合S中所有元素的任意一种标记方式,则称H能够打散S.例如下图S={x1,x2, x3},它们的取值

机器学习之----VC维理论基础及证明

VC理论证明通过一系列的求上限,获得了针对所有目标函数.及所有训练数据集的一个上限公式,对机器学习有着重要意义!但是正也是因为如次多的上限,所以该值对指导实践只是一种最坏的参考,还有太多的假设集求不出VC维来.可以看到证明过程极具技巧性,巧妙的将无穷转化为有限,再找到了界. 在VC维理论证明中涉及成长函数.打散等重要概念,不少朋友在理解中或许不知所云,或许存在误差(包括作者本人亦是如此).通过本次学习,可以坚定学习理念,他告诉我们通过样本数据来进行学习,然后应用到未看到的数据中去是理论根据的.本

什么叫做VC维

参考<机器学习导论> 假设我们有一个数据集,包含N个点.这N个点可以用2N种方法标记为正例和负例.因此,N个数据点可以定义2N种不同的学习问题.如果对于这些问题中的任何一个,我们都能够找到一个假设h属于H,将正例和负例分开,那么我们就称H散列N个点.也就是说,可以用N个点定义的任何学习问题都能够用一个从H中抽取的假设无误差地学习.可以被H散列的点的最大数量称为H的VC维,记为VC(H),它度量假设类H的学习能力. 通常我更喜欢用自由度来近似表达假设类的学习能力. 通常,在实际生活中,世界是平滑

解读机器学习基础概念：VC维的来龙去脉

原作者:vincentyao  原文链接: http://dataunion.org/14581.html 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 VC维在机器学习领域是一个很基础的概念,它给诸多机器学习方法的可学

【机器学习基础】VC维与模型复杂度、样本复杂度

引言 上一小节,我们引入了VC维的概念,用它来描述假设集合的表达能力.这一小节中,我们将从VC维的物理意义出发,进一步学习如何根据VC维传达的信息来选择模型和假设集合. VC维的物理意义 如果我们将假设集合的数量|H|比作假设集合的自由度,那么VC维就是假设集合在做二元分类的有效的自由度,即这个假设空间能够产生多少Dichotomies的能力(VC维说的是,到什么时候,假设集合还能shatter,还能产生最多的Dichotomies). VC维.真实错误率.训练错误率 在上一节中,我们讨论要做到

Computer Science Theory for the Information Age-5: 学习理论——VC维的定义以及一些例子

学习理论--VC维的定义以及一些例子 本文主要介绍一些学习理论上的东西.首先,我们得明确,从训练集上学习出来的分类器的最终目标是用于预测未知的样本,那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢?这些就是VC-理论要解决的问题.在介绍这个理论之前,我们得先介绍一个比较抽象的概念--VC维.这个指标是用与衡量假设空间的复杂程度.为了能更好的理解VC维,本文还会举一些例子来加深理解. (一)由一个例子引出的动机 为了更好的说明为什么我们要定义这个VC维,我们先来看一个例子.假

统计机器学习理论：随机熵、vc熵、退火VC熵、生长函数、VC维定义理解

一.定义: 有n个训练样本Zn={zi(xi,yi), i=1,2,...,n},定义N(Zn)为函数集中的函数能对样本分类的数目.        解释:xi 代表特征向量如d维特征向量,yi代表一个标记如0或1, 因此zi就是对一个特征的标记,Zn中有n个样本,可能的标记方式2n种,一种标记方式就生成一种样本集: N(Zn)为Zn的标记空间中能被正确分类的标记数量. 举例:在二维特征空间中,不共线的3个二维特征向量,其标记方式有23=8种,每一种标记方式都能被指示函数集二维线性分类器正确分类,

结构化风险最小、VC维到SVM的理解

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上. 置信风险: 分类器对 未知样本进行分类,得到的误差. 经验风险: 训练好的分类器,对训练样本重新分类得到的误差.即样本误差 结构风险:置信风险 + 经验风险 结构风险最小化就是为了防止过拟合而提出来的策略,贝叶斯估计中最大后验概率估计就是结构风险最小化的一个例子.当模型的条件概率分布.损失函数是对数损失函数.模型复杂度由模型先验概率表示时,结构风险最小化等价于最大后验概率估计.监督学习问题变成经验风险或结构风险函数的最优

机器为什么可以学习(3)----vc维

1.主要内容 上节课讲述了vc bound,表明了在去break point为最小的break point时,mH(N)的上限是vc bound是一个多项式级别的上限: vc维定义为当输入数据为N个点时,有一个假设空间H可以准确无误的将这N个点所有的分类情况都覆盖,那么假设空间的H的vc维就是N,当一个假设空间H维有限(霍夫丁不等式的上限的参数mH(N)为有限的,因此bad的概率就会变得很小)时,当数据输入量够大(即霍夫丁不等式中的参数N,当N越大时,霍夫丁的上限就越小)时,学习就是可能的. 2