统计学习方法读后小结(1)

一、损失函数和风险函数

  损失函数(loss function)是度量模型一次预测的好坏,风险函数度量平均意义下模型预测好坏。

  期望风险是模型关于联合分布的期望损失,经验风险是模型关于训练样本集的平均损失。根据大数定理,当样本容量N趋于无穷大时,经验风险Remp趋于期望风险Rexp。当用经验风险去预测期望风险时,要对经验风险进行一定的矫正,经常使用的是监督学习的经验风险最小化、结构风险最小化。两种方法。

  

时间: 2024-10-22 00:03:16

统计学习方法读后小结(1)的相关文章

读后小结:《大型网站技术架构:核心原理与案例分析》

浏览<大型网站技术架构:核心原理与案例分析>,然后作了一个小结(下图),作为知识结构梳理,分享大家,并以备参考. PS:需要在新窗口/标签打开,或下载,才可查看原图. 於霄云中心 2015年4月22日 18:12

《大数据时代》读后小结

"云计算","大数据"的概念风起云涌,一时貌似所有的人都成了"大数据专家",多多少少都能侃两句,为了适应时代的发展,抽时间看了看<大数据时代>,简单谈一下自己的理解. 大数据的核心就是预测,通过历史数据预测未来.它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习.然而对大数据的分析方式与人们的传统思维还是有很大转变的. 第一个转变就是在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象有关的所有数据,而

设计模式读后小结

此处主要是对-**-head first 设计模式-**-这一本书的读后感悟 设计模式一:策略模式 定义:定义了算法簇,分别封装出来,让他们之间可以相互替换,此模式让算法的变化独立于使用算法的客户.page/24 oo原则:封装变化.多用组合,少用继承.针对接口编程,不针对实现编程 感悟:就是将容易变化的具有相似功能部分代码抽取出来,独立的设计成一个接口或者抽象类或者一个父类,然后将每种变化设计成其子类.在原先的类中只保留抽取出来的接口的一个引用,利用类的多态魔法特性,动态的引用需要的方法. 要

算法导论读后小结(一)

一.分治法(递归算法) 说明:许多算法在结构上是递归的,为了解决某一问题,算法需要一次或多次递归的调用自身以解决紧密相关的若干子问题,这些算法遵循分治法的思想:将原问题分解为几个规模较小但类似于原问题的子问题,递归的求解这些子问题然后在合并这些子问题的解来建立原问题的解. 分治模式在每层递归时都有三个步骤: 1)分解,分解原问题为若干子问题,这些子问题是原问题规模较小的实例. 2)解决,解决这些子问题,递归的求解这些子问题.当子问题的规模足够小则直接求解. 3)合并,这些子问题的解构成原问题的解

[读]统计学习方法

这两天看<统计学习方法>,记录了一些基本的知识点. 1.统计学习的方法 从给定的.有限的.用于学习的训练数据集合出发,假设数据时独立同分布产生:并且假设要学习的模型术语某个函数的集合,称为假设空间:应用某个评价准则,从假设空间中选取一个最优的模型,使他对已知训练数据及未知测试数据在给定的评价准则下有最优的预测:最幽默型的选取由算法实现.这样,统计学习方法包括模型的假设空间.模型选择的准则以及模型学习的算法,称其为统计学习方法的三要素,简称为模型.策略和算法. 实现统计学习的步骤如下: (1)得

统计学习方法笔记(1)——统计学习方法概论

1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习.统计学习是数据驱动的学科.统计学习是一门概率论.统计学.信息论.计算理论.最优化理论及计算机科学等多个领域的交叉学科. 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去.统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提. 统计学习的目的就是考虑学习什么样的模型和如何学习模型. 统计学习

机器学习-李航-统计学习方法学习笔记之感知机(2)

在机器学习-李航-统计学习方法学习笔记之感知机(1)中我们已经知道感知机的建模和其几何意义.相关推导也做了明确的推导.有了数学建模.我们要对模型进行计算. 感知机学习的目的是求的是一个能将正实例和负实例完全分开的分离超平面.也就是去求感知机模型中的参数w和b.学习策略也就是求解途径就是定义个经验损失函数,并将损失函数极小化.我们这儿采用的学习策略是求所有误分类点到超平面S的总距离.假设超平面s的误分类点集合为M,那么所有误分类点到超平面S的总距离为 显然损失函数L(w,b)是非负的,如果没有误分

大道至简 读后有感

大道至简  读后有感 结束大一的课程,自己总结收获,并没有觉得自己在计算机方面有了什么明显的进步,很想在以后的学习里能有所进步,而且这学期又新增了很重要的java课程,所以决定痛下决心,好好学习一番,便想以这<大道至简>作为开篇. 这几天看了本书的第一章,第一章的总体理念为编程的精义,共分为5个小结,即编程的精义,会或不会写程序,程序等于结构加算法,语言以及在没有工程的时代. 在编程的精义这一小节中,开篇便以愚公移山这一寓言故事来类比编程这一项工作,它通过古文中的话来形象的比喻了编程工作中的各

统计学习方法概论

统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statical machine learning). 统计学习的方法是基于数据构建统计模型从而对数据进行预测和分析.统计学习由监督学习.非监督学习.半监督学习和强化学习等组成. 统计学习方法包括假设空间.模型选择的准则.模型学习的算法,这些统称为统计学习方法的三要素:模型(Model).策略(Strategy).算法(Algorithm). 实现统计学习方法的步骤如下: