机器学习---计算学习理论

如果你不是数学系的,就不要看这个了。

因为以下内容是用来证明机器学习的方法的正确性,你可以用机器学习来得到你想要的结果。然而对于编程或者使用这个方法的人来说,你只要放心大胆地用就行了。就像你知道1+1=2,你并不需要知道它为什么等于,反正你可以用。

以下使用到的图片来自上海交大杨旸老师的课件,网址如下:http://bcmi.sjtu.edu.cn/~yangyang/ml/

写在前边,这课我只听懂了一部分,后来知道这个其实并不需要了解,就没再细细研究,可能到后边会突然就没有内容了,强迫症患者慎阅。

首先我们来看几个概念:

m:训练数据

H:假设空间,比如我们的映射函数是线性的,那么这个空间就包括满足假设条件的所有线性函数(可能是这样的)

e(就用它代替吧):准确率,编程的时候输出的准确率就是它

第四个(这符号真...):我们使用不同的训练数据集产生的准确率会有不同,这个就是代表我们可以通过所选训练集学习到正确结果的概率

PAC framework:假设所有的训练数据都是分类准确的,没有噪声的。但是这在现实中基本不可能达到的

Agnostic framework:训练数据是有噪声的。符合实际情况

t

图中的c是完全分类准确的空间,h是我们的假设空间,它们不重叠的部分就是说明我们预测的不准。

D表示理想状态中全部的数据,上图中,下边那个符号就是表示分类错误的概率(就是C和H不相交的那部分,我以为只有右边那个月牙)

上图中,下边这个公式和上一页一样,解释一下上边那个公式

S是训练用的数据集(也就是理想完整数据集D的一部分),那么我们计算错误率的方法就是,找到所有使用训练得到的映射函数分类错误的结果,用错误的个数除以总训练个数就是错误率~

上边求和里边的(一普斯龙)就是一个脉冲函数,表示,如果C和H不相等就取1,相等就取0

这就是一个定理,所有事件并起来的概率小于等于它们分别的概率相加

这也是一个定理公式,记住就行了,叫做Hoeffding不等式

r就是你指定的一个常数。

Zi等于1和等于0的概率已经知道了,就是(fai)和1-(fai),我们训练好的模型估计出来的值就是(fai估),但是这个公式中的(fai估)是需要求所有估计值的平均的,然和前边那个概率就小于等于后边这个式子咯。m代表样本的个数

Version Space:之前说的那个很大的假设空间里边,和训练数据完全匹配的那些个映射关系

我们已经知道了这么多的概念,然后我们到底需要证明的是什么呢?就是下图中的两个式子

只要证明上边这两个式子成立,那么我们就可以说我们的学习方法是正确的可行的。

1、我们训练得到的映射关系用在理想的完整的数据上的错误率约等于0(也就是我们使用部分训练数据是OK的)

2、让错误率约等于0的概率约等于1(也就是说我们无论取什么样的训练数据都没有影响)

证明了这两个内容,那么我们就可以说学习的方法是正确可行的。

怎么证明约等于0呢?其实只要证明它有上界和下界就OK

至于具体的证明步骤,嘿嘿,没懂。

这篇文章发表之后博客升为4级,并且当时刚好1000分,纪念一下,哈哈~

如果有小伙伴儿有发现错误或者有我理解不到位的地方,希望可以联系我修正哦,你的善良让世界都变得可爱了呢~

时间: 2024-10-07 17:05:05

机器学习---计算学习理论的相关文章

《机器学习实战》学习笔记:利用Adaboost元算法提高分类性能

一. 关于boosting算法的起源 boost 算法系列的起源来自于PAC Learnability(直译过来称为:PAC 可学习性).这套理论主要研究的是什么时候一个问题是可被学习的. 我们知道,可计算性在计算理论中已经有定义,而可学习性正是PAC Learnability理论所要定义的内容.另外,在计算理论中还有很大一部分精力花在研究问题是可计算的时候,其复杂度又是什么样的.因此,在计算学习理论中,也有研究可学习的问题的复杂度的内容,主要是样本复杂度 (Sample Complexity)

Atitit机器学习原理与概论book attilax总结

<机器学习(决战大数据时代!IT技术人员不得不读!)>((美)米歇尔(Mitchell)[简介_书评_在线阅读] -1 <机器学习导论(原书第3版)>((土)埃塞姆 阿培丁(Ethem Alpaydin))[简介_书评_在线阅读] -1 <机器学习>([英] 弗拉赫(Peter Flach))[简介_书评_在线阅读] -2 <机器学习(决战大数据时代!IT技术人员不得不读!)>((美)米歇尔(Mitchell)[简介_书评_在线阅读] -  Line 353

人工智能与机器学习著名会议

转自论坛http://www.ieee.org.cn/dispbbs.asp?BoardID=62&replyID=31567&id=29962&star=1&skin=0作者好像是南大周志华老师 我知道的几个人工智能会议(一流)下面同分的按字母序排列: IJCAI (1+): AI最好的综合性会议, 1969年开始, 每两年开一次, 奇数年开. 因为AI 实在太大, 所以虽然每届基本上能录100多篇(现在已经到200多篇了),但分到每个领域就没几篇了,象machine l

相比于深度学习,传统的机器学习算法难道就此没落了吗,还有必要去学习吗?

自从 MIT Technology Review(麻省理工科技评论) 将 深度学习 列为 2013 年十大科技突破之首.加上今年 Google 的 AlphaGo 与 李世石九段 惊天动地的大战,AlphaGo 以绝对优势完胜李世石九段.人工智能.机器学习.深度学习.强化学习,成为了这几年计算机行业.互联网行业最火的技术名词. 其中,深度学习在图像处理.语音识别领域掀起了前所未有的一场革命.我本人是做图像处理相关的,以 2016 年计算机视觉三大会之一的 Conference on Comput

机器学习------资源分享

=======================国内==================== 之前自己一直想总结一下国内搞机器学习和数据挖掘的大牛,但是自己太懒了.所以没搞… 最近看到了下面转载的这篇博文,感觉总结的比较全面了. 个人认为,但从整体研究实力来说,机器学习和数据挖掘方向国内最强的地方还是在MSRA, 那边的相关研究小组太多,很多方向都能和数据挖掘扯上边.这里我再补充几个相关研究方向 的年轻老师和学者吧. 蔡登:http://www.cad.zju.edu.cn/home/dengca

机器学习pdf

下载地址:网盘下载 机器学习是计算机科学与人工智能的重要分支领域. 本书作为该领域的入门教材,在内容上尽可能涵盖机器学习基础知识的各方面. 为了使尽可能多的读者通过本书对机器学习有所了解, 作者试图尽可能少地使用数学知识. 然而, 少量的概率.统计.代数.优化.逻辑知识似乎不可避免. 因此, 本书更适合大学三年级以上的理工科本科生和研究生, 以及具有类似背景的对机器学 习感兴趣的人士. 为方便读者, 本书附录给出了一些相关数学基础知识简介. 全书共16 章,大致分为3 个部分:第1 部分(第1-

python 机器学习实践入门

机器学习概念概念 机器 学习是计算机科学的一个分支,从模式识别.人工智能和计算学习理论发展而来,我们可以将其作为数据挖掘的工具 侧重用于数据分析方法理解给定的数据 目的是:开发能够从先前观测的数据,通过可调整的参数进行学习的 程序,为了改善预测结果,将参数设计为可自动调整的 常见应用:垃圾邮件过滤器.搜索引擎,光学字符识别(OCR)和计算机视觉 任何一个问题都始于一个数据集,未知数据的特征根据数据集来预测:为了解决问题选用的机器学习算法用数学模型来描述,模型 包含一些参数,需要在训练集上调试.训

【转】《西瓜书机器学习详细公式推导版》发布

转自:https://github.com/datawhalechina/pumpkin-book https://mp.weixin.qq.com/s/FcwgjS4FXfGJPZEQEz3cVw 南瓜书PumpkinBook 周志华老师的<机器学习>(西瓜书)是机器学习领域的经典入门教材之一,周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解, 所以在书中对部分公式的推导细节没有详述,但是这对那些想深究公式推导细节的读者来说可能“不太友好”,本书旨在对西瓜书里比较难理解的公式加以解析,

开源图计算框架GraphLab介绍

GraphLab介绍 GraphLab 是由CMU(卡内基梅隆大学)的Select 实验室在2010 年提出的一个基于图像处理模型的开源图计算框架,框架使用C++语言开发实现.该框架是面向机器学习(ML)的流处理并行计算框架,可以运行在多处理机的单机系统.集群或是亚马逊的EC2 等多种环境下.框架的设计目标是,像MapReduce一样高度抽象,可以高效执行与机器学习相关的.具有稀疏的计算依赖特性的迭代性算法,并且保证计算过程中数据的高度一致性和高效的并行计算性能.该框架最初是为处理大规模机器学习