加州理工学院公开课:机器学习与数据挖掘_Epilogue(第十八课-终结篇)

课程简介 :

这是该课程的最后一课,作者首先总结了有关机器学习的理论、方法、模型、范式等。最后介绍了贝叶斯理论和Aggregation(聚合)方法在机器学习中的应用。

课程提纲 :

1、机器学习的地图。

2、贝叶斯理论。

3、Aggregation(聚合)。

1、机器学习的地图

有关机器学习的方法、模型等非常多,简直令人目不暇接。比如下图列出来的。然而不建议一一学习这些方法、模型,否则容易迷失在这些方法里无法自拔。如果我们对于机器学习的框架认识的足够深刻,那么我们才能驾驭众多的方法。

下面列举了机器学习的基本框架,需深刻理解。

理论作为机器学习的根基,乃万物之源。没有理论的支撑,一切都只是耍流氓。范式则是为我们的问题提供了一个大的方向,不同的问题对应不同的范式。当我们知道当前正在解决的问题所属范式的时候,便更容易找到解决的方法。因为在范式下已经有了初步的指导方针。技术则是我们解决某个问题的具体方法。

2、贝叶斯理论

根据贝叶斯理论有:


其中 h 是假设,D 是数据集,f 是目标函数。P(h=f)  为先验概率,P(D|h=f) 为只要我们知道了 P(h=f) 及 P(D|h=f)。那么我们就可以知道在给定数据集的情况下,哪个假设(h)能够更好的近似 f 了。问题是:如何知道P(h=f) 及 P(D|h=f)  ?

一般情况下我们没办法直接计算 P(h=f),只能通过经验估计出 P(h=f) 的值(-_-)。而 P(D|h=f) 的计算则要考虑噪声的影响了。总而言之:难求。【看视频几次都看不到怎样求...】,可以参考这里

如果我们知道了先验概率,我们就可以:

贝叶斯理论非常有用,非三言两语可以说清,还得看专门介绍的书才行。

3、Aggregation(聚合)

什么是聚合?就是进行多个独立的学习过程,最后对结果进行组合输出。注意的是,这里的个个学习过程都是互相独立的。

有两种类型的聚合:

1)After the fact:组合已经存在的解决方案。

2)Before the fact:生成将被组合的解决方案。

对于第一种方案,对于回归方程来说,假设现在有假设集:h1,h2,。。。ht,则:

权重 a 的选择原则是:最小化聚合假设集中的误差。

对于第二种方案,有:bagging、boost 等方法。

时间: 2024-11-05 22:35:03

加州理工学院公开课:机器学习与数据挖掘_Epilogue(第十八课-终结篇)的相关文章

加州理工学院公开课:机器学习与数据挖掘_过拟化(第十一课)

课程简介 本节课主要介绍了关于机器学习中的过拟化问题.作者指出,区别一个专业级玩家和业余爱好者的方法之一就是他们如何处理过拟化问题.通过该课程,我们可以知道样本数据的拟合并不是越高越好,因为噪声的存在将使得过拟化问题的出现.最后简介了处理过拟合的两种方法. 课程大纲 1.什么是过拟化?(what is overfitting?) 2.过拟化中的噪声.(The role of noise) 3.确定性噪声.(Deterministic noise) 4.如何处理过拟化问题.(Dealing wit

加州理工学院公开课:机器学习与数据挖掘_偏差与方差权衡(第八课)

课程简介: 在回顾了VC分析之后,本节课重点介绍了另一个理解泛化的理论:偏差与方差,并通过学习曲线的运用比较了VC分析和偏偏差方差权衡的不同用途. 课程大纲: 1.偏差与方差的权衡 2.学习曲线 1.偏差与方差的权衡 在上一节课:VC 维中,我们求出了 Eout 的边界,Eout < Ein + Ω.该公式描述了 Eout 的边界.现在让我们从不同的角度来分析 Eout. 我们把 Eout 分解为两部分: 1.假设集 H 近似 f 的能力(即 H 中与 f 距离最小的 G 与 f 的误差大小 )

加州理工学院公开课:机器学习与数据挖掘_VC 维(第七课)

课程简介: 本讲通过回顾上一讲内容,引出了VC维的定义,它是由统计学习理论定义的有关函数集学习性能的一个重要指标.并通过例子证明函数集的VC维就是它能打散的最大样本数目.课程最后介绍VC维的应用,指出它反映了函数集的学习能力,VC维越大则学习机器越复杂 课程大纲: 1.定义(The definition) 2.感知器的 VC 维(VC dimension of perceptrons) 3.VC 维的解释(Interpreting the VC dimension) 4.边界的泛化(Genera

加州理工学院公开课:机器学习与数据挖掘_误差和噪声(第四课)

这一课的主题是:误差分析与噪声处理. 该课时的主要内容如下: 1.Nonlinear Transformation(Continue)(非线性转换(续)) 2.Error Measure (误差度量)(重点) 3.Noisy Targets(噪声指标)(重点) 4.Preamble to the Theory(理论热身) 1.Nonlinear Transformation: 在上一节课的最后,作者举了一个关于非线性转换的例子.通过该例子我们可以直观的看到非线性的数据可以被转化成线性的数据并且利

加州理工学院公开课:机器学习与数据挖掘_线性模型

这一课时主要是讲述了线性模型的一些处理. 包括: 1.输入数据的表示(Input Representation) 2.线性分类(Linear Classification) 3.线性回归(Linear Regression) 4.非线性模型转换(Nonlinear Transformation) 作者认为,如果要测试某个模型的可用性,做好就是用真实数据. 为了讲解线性模型如何应用,作者利用线性模型来解决邮局数据辨别问题: 由于不同的人有不同的书写习惯,对于同一个数字其书写形式可能各异,但是其基本

加州理工学院公开课:机器学习与数据挖掘_Regularization(第十二课)

课程简单介绍: 接上一节课,这一节课的主题是怎样利用 Regularization 避免 Overfitting.通过给如果集设定一些限制条件从而避免  Overfitting,可是如果限制条件设置的不恰当就会造成 Underfitting. 最后讲述了选择 Regularization 的一些启示式方法. 课程大纲: 1.Regularization 2.Weight decay 3.Choosing a regularizer 1.Regularization R 有两种方法: 1) Mat

加州理工学院公开课:机器学习与数据挖掘_训练与测试(第五课)

课程简介: 本视频为机器学习系列课程第5章.主要定量研究训练与测试之间的关系,并引入学习模型中的一个重要概念--断点.课程深入浅出,从正射线.正区间和凸集三个具体例子入手,寻找突破点,从而得出训练集与测试集的关系. 课程大纲(Outline): 1.从训练到测试(From Training to Testing) 2.举例说明(Illustrative Examples ) 3.关键概念---- 断点(Key Notion --- Break Point ) 4.难题(Puzzle) 1.从训练

加州理工学院公开课:机器学习与数据挖掘_Three Learning Principles(第十七课)

课程简介 : 这一节课主要讲述机器学习中应该注意的事项,包括:Occam's Razor.Sampling Bias.Data Snooping. 课程提纲 : 1.Occam's Razor. 2.Sampling Bias. 3.Data Snooping. 1.Occam's Razor. 爱因斯坦曾经说过一句话: An explanation of the data should be made as simple as possible, but no simpler. 软件工程中也有

加州理工学院公开课:机器学习与数据挖掘_Kernal Method(第十五课)

课程简介 继续上一课最后的问题,当数据是非线性可分的时候需要把数据转化到 Z 空间(线性可分)才可以利用 SVM ,因此需要知道 Z 空间是什么.这节课解决了不用知道具体的 Z 空间就可以利用 SVM 进行分类. 最后,该课程介绍了如何因对过拟化的问题.思想跟十一课介绍的相同,就是设置一个限制条件. 课程提纲: 1.the kernel trick. 2.Soft-margin SVM 1.The Kernel Trick 通过十四课可以知道,我们只需要Z空间提供两个数据点的内积,并不需要知道如