vc维的解释

在做svm的时候我们碰到了结构风险最小化的问题,结构风险等于经验风险+vc置信范围,当中的vc置信范围又跟样本的数量和模型的vc维有关,所以我们看一下什么是vc维

首先看一下vc维的定义:对一个指标函数集,假设存在H个样本可以被函数集中的函数按全部可能的2的H次方种形式分开,则称函数集可以把H个样本打散;函数集的VC维就是它能打散的最大样本数目H

比如有个样本,一个函数可以将这h个样本打散,打散指的是样本最后被分类的情况有2^h种可能。则这个函数可以打散的最大样本数就是vc维

例如以下图所看到的。一条直线可以将三个点打散成2^3种结果,可是不能将4个点打散成2^4种结果。所以vc维是3

參考

http://blog.csdn.net/mingspy/article/details/8858270

时间: 2024-08-11 03:31:38

vc维的解释的相关文章

解读机器学习基础概念:VC维的来龙去脉

原作者:vincentyao  原文链接: http://dataunion.org/14581.html 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 VC维在机器学习领域是一个很基础的概念,它给诸多机器学习方法的可学

VC维的来龙去脉(转载)

原始来源已不可考,作者名为:火光摇曳.本文仅做学习之用,如有侵权,请联系我. 本文来源:http://www.thebigdata.cn/JiShuBoKe/14027.html 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考

【转载】VC维的来龙去脉

本文转载自 火光摇曳 原文链接:VC维的来龙去脉 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 VC维在机器学习领域是一个很基础的概念,它给诸多机器学习方法的可学习性提供了坚实的理论基础,但有时候,特别是对我们工程师而言

VC维的来龙去脉

目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 VC维在机器学习领域是一个很基础的概念,它给诸多机器学习方法的可学习性提供了坚实的理论基础,但有时候,特别是对我们工程师而言,SVM,LR,深度学习等可能都已经用到线上了,但

VC维

有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念.在读<神经网络原理>的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达的思想. 先要介绍打散(shatter)的概念:对于一个给定集合S={x1, ... ,xd},如果一个假设类H能够实现集合S中所有元素的任意一种标记方式,则称H能够打散S.例如下图S={x1,x2, x3},它们的取值

统计机器学习理论:随机熵、vc熵、退火VC熵、生长函数、VC维定义理解

一.定义: 有n个训练样本Zn={zi(xi,yi), i=1,2,...,n},定义N(Zn)为函数集中的函数能对样本分类的数目.        解释:xi 代表特征向量如d维特征向量,yi代表一个标记如0或1, 因此zi就是对一个特征的标记,Zn中有n个样本,可能的标记方式2n种,一种标记方式就生成一种样本集: N(Zn)为Zn的标记空间中能被正确分类的标记数量. 举例:在二维特征空间中,不共线的3个二维特征向量,其标记方式有23=8种,每一种标记方式都能被指示函数集二维线性分类器正确分类,

VC维含义

VC维含义的个人理解 有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念.在读<神经网络原理>的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达的思想. 先要介绍分散(shatter)的概念:对于一个给定集合S={x1, ... ,xd},如果一个假设类H能够实现集合S中所有元素的任意一种标记方式,则称H能够分散S. 这样之后才有VC维的定

6 VC维

1 VC维的定义 VC维其实就是第一个break point的之前的样本容量.标准定义是:对一个假设空间,如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开,则称该假设空间能够把N个样本打散:假设空间的VC维就是它能打散的最大样本数目N.若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大: 几种假设空间的VC维如下: 2 感知机的VC维 d维感知机的vc维是d+1.(证明略) 3 VC维的物理意义 VC维表示的是做二分类时假设空间的自由度,是把数据集打散的能力.

机器学习之----VC维理论基础及证明

VC理论证明通过一系列的求上限,获得了针对所有目标函数.及所有训练数据集的一个上限公式,对机器学习有着重要意义!但是正也是因为如次多的上限,所以该值对指导实践只是一种最坏的参考,还有太多的假设集求不出VC维来.可以看到证明过程极具技巧性,巧妙的将无穷转化为有限,再找到了界. 在VC维理论证明中涉及成长函数.打散等重要概念,不少朋友在理解中或许不知所云,或许存在误差(包括作者本人亦是如此).通过本次学习,可以坚定学习理念,他告诉我们通过样本数据来进行学习,然后应用到未看到的数据中去是理论根据的.本