机器学习的监督学习在研究什么

什么是监督学习

简单来说,监督学习是对给定的输入输出样本进行学习并建立一个模型,该模型能对任意输入做出好的输出预测。

监督学习核心思想

  • 所有可能的模型函数的集合称为假设空间,H={f|Y=f(X)}。
  • 对于所有的模型函数集合,可能不知道是该用用逻辑回归模型、或贝叶斯模型、或神经网络模型还是用支持向量机模型。这个过程通常是一个不断迭代的过程,只有在不断地尝试比较才知道哪个模型比较好。
  • 假设选定一个模型f,对于输入X,预测值为f(X),预测值与Y可能存在差别,这个差别用损失函数L(Y,f(X))表示,而平均损失则称为经验风险,记为Remp(f)=1N∑Ni=1L(yi,f(xi))。
  • 为了得到最优的模型需要将经验风险最小化,minRemp(f),即 min1N∑Ni=1L(yi,f(xi))。
  • 当样本数较少时,有时会为了迎合经验风险最小化而导致过拟合现象,这时需要引入正则项,这也是符合奥卡姆剃刀原理。则变为Rsrm(f)=1N∑Ni=1L(yi,f(xi))+λΩ(f),模型f越复杂,复杂度就越大,复杂度是对模型复杂程度的惩罚。

常见损失函数

  • 0-1损失函数

    L(Y,f(X))={1,0Y != f(X)Y = f(X)

  • 平方损失函数

    L(Y,f(X))=(Y?f(X))2

  • 绝对损失函数L(Y,f(X))=|(Y?f(X))|
  • 对数损失函数L(Y,P(Y|X))=?logP(Y|X)

模型选择

  • 要怎么选择模型?怎样评判模型的好坏?这时就需要一些评判标准:训练误差和测试误差。
  • 训练误差,假设确定了一个模型f,训练误差就是训练数据集关于该模型f的平均损失,损失函数见上面。
  • 测试误差,假设确定了一个模型f,测试误差就是测试数据集关于该模型f的平均损失,损失函数见上面。
  • 关于过拟合问题,我们需要正则项λΩ(f)去抑制模型的复杂度,典型的正则化项可以使用模型f的参数向量的范数。
  • 通过上面策略可以得到最优的模型。
  • 另外方法是使用交叉验证,将样本预留一部分来检查不同模型的误差。

泛化能力

使用训练方法学习到的模型对未知数据的预测能力。一般通过泛化误差来评价一个模型的泛化能力,泛化误差越小,模型的泛化能力就越强。

欧卡姆剃刀原理

所有可能的模型中,能够很好地解释已知数据并且十分简单的才是最好的模型,从贝叶斯估计角度看,正则化项对应于模型的先验概率,负责的模型有较小的先验概率,简单的模型有较大的先验概率。

一句话

监督学习就是在正则化项约束下去寻找最小化误差的模型。

欢迎关注:

时间: 2024-10-05 05:04:58

机器学习的监督学习在研究什么的相关文章

机器学习笔记—-监督学习与无监督学习的异同

** 机器学习笔记--监督学习与无监督学习的异同 ** 有监督学习 在监督学习中,输入数据和输出数据存在某种关系,即在已经给定的数据集下,对应的正确输出结果,已经大约知道是什么样子了. 有监督学习常常被归类为 回归 和 分类 问题. 在回归问题中,我们希望得到连续值的输出预测值,即,使用某些连续函数来映射输入值. 在分类问题中,则希望获得的是离散的预测值.将输入值映射到离散的种类上. 无监督学习 无监督学习,对于问题最终的结果,只有很少或没有什么感知.从已有数据中抽取相应的结构,且不必知道数据变

机器学习:监督学习和无监督学习

************************************** 注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的<机器学习>课程笔记.博主深感学过课程后,不进行总结非常easy遗忘.依据课程加上自己对不明确问题的补充遂有此系列博客. 本系列博客包含线性回归.逻辑回归.神经网络.机器学习的应用和系统设计.支持向量机.聚类.将维.异常检測.推荐系统及大规模机器学习等内容. ************************************** 机器学习定

机器学习 一 监督学习和无监督学习的区别

前话: 最近一直想学机器学习的东西,无奈自己的书太多但无法专心看一本,纯理论的东西看了感觉不记下来就忘记类,所以我想理论学习和实践一起. 所以最近想把机器学习实战这本书看完,并做好记录.加油.!~ 一:什么是监督学习? 监督学习(supervised learning):通过已有的训练样本(即已知数据以及其对应的输出)来训练,从而得到一个最优模型,再利用这个模型将所有新的数据样本映射为相应的输出结果,对输出结果进行简单的判断从而实现分类的目的,那么这个最优模型也就具有了对未知数据进行分类的能力.

机器学习有监督学习之--回归

一.引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu,以及斯坦福无监督学习UFLDL tutorial http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 机器学习中的回归问题属于有监督学习的范畴.回归问题的目标是给定D维输入变量x,并且每一个输入矢量x都有对应的值y,要求对于新来的数据预测它对应的连续的目标值t.比如下面这个例子:假设我们有一个包含47个房子的面积和价格的数据集如

机器学习--有监督学习和无监督学习

1.数据挖掘与机器学习的关系 数据挖掘和机器学习这两项技术的关系非常密切. 机器学习方法构成数据挖掘的核心,绝大多数数据挖掘技术都来自机器学习领域,数据挖掘又向机器学习提出新的要求和任务. 2.数据挖掘与机器学习的概念 数据挖掘就是在数据中寻找模式的过程,这个寻找过程必须是自动的或半自动的,并且数据总量应该是具有相当大的规模,从中发现的模式必须有意义并能产生一定的效益.通常数据挖掘需要分析数据库中的数据来解决问题,如:客户忠诚度分析.市场购物篮分析等等.这些海量数据不可能采用手工式进行处理,因此

python_机器学习_监督学习模型_决策树

1. 监督学习--分类 机器学习肿分类和预测算法的评估: a. 准确率 b.速度 c. 强壮行 d.可规模性 e. 可解释性 2. 什么是决策树/判定树(decision tree)? https://scikit-learn.org/stable/modules/tree.html 3. 熵(entropy)概念: 变量的不确定越大,熵也就越大. 4. 决策树归纳算法(ID3) 5. 其他算法及优缺点 6. 决策树的应用 生成后的决策树 逻辑代码: 但这段代码不是特别通用,而且有bug, 需要

机器学习笔记-监督学习之决策树

0机器学习中分类和预测算法的评估: 准确率 速度 健壮性 可规模性 可解释性 1决策树(判定树)的概念 决策树是一个类似于流程图的树结构(可以是二叉树或多叉树):其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布.树的最顶层是根结点.机器学习中分类方法中的一个重要算法. 2.熵(entropy)概念 信息和抽象如何度量?1948年,香农提出"信息熵"的概念. 一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,

机器学习之监督学习

根据数据类型的不同,对一个问题的建模有不同的方式.在机器学习或者人工智能领域,人们首先会考虑算法的学习方式.在机器学习领域,有几种主要的学习方式.将算法按照学习方式分类是一个不错的想法,这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果. 在监督式学习下,输入数据被称为"训练数据",每组训练数据有一个明确的标识或结果,如对防垃圾邮件系统中"垃圾邮件""非垃圾邮件",对手写数字识别中的"1"

机器学习傻瓜的深入研究

什么是机器学习? 传统的教科书将被用于大量的高等数学,线性代数.概率论.统计数据和你拒之门外的其他信息.博主在这里我决定用一个非常easy样品做任何你高深的数学知识来理解. 在写机器学习之前,我们来举个样例.如果你是个古代的国王.那里没有现代的科技,你想找个预报天气比較准的人来帮你预报天气. 你要怎么办呢?通常.我们会找一个人,让他预报10000天,看它的准确率怎样,然后再找一个人,再预报10000天.看它预报的准确率怎样.依次类推,你找了100个人.最终找到了一个准确率在90%的人,你就征用它