统计学习方法

boosting 算法: 通过改变训练样本的权重,学习多个分类器,并将多个分类器线性组合,提升分类性能。(对于一个复杂任务,将多个专家的判断进行适当的综合得出的判断,要比任一一个单独的判断好) 将弱学习方法boost 为强学习算法。因为弱学习算法相对容易求得。提升算法就是从弱学习算法,出发反复学习,得到一系列弱分类器,然后组合为强分类器。

两个问题:

1. 如何改变训练数据的权重或概率分布

2. 如何将弱分类器组合

adaboost:

1. 提升前一轮弱分类器错误分类样本的权值,降低正确分类样本的权值

2. 加权多数表决方法,加大分类误差率小的弱分类器的权值,减小分类误差大的弱分类器的权值

adaboost 算法模型为加法模型,损失函数为指数函数,学习算法为前向分布算法时的二类分类学习方法。

boosting tree,

EM 算法:

用于含有隐变量的概率模型参数的极大似然估计,或极大后验估计。

分为两步: E步,求期望;M步求极大,

引入: 概率模型有时既含有观测变量,又含有隐变量。 如果概率模型的变量都是观测变量,那么给数据,可以直接用极大似然估计。

例子:

3个硬币: A,B,C, 正面朝上的概率分别为x,p,q; 先抛掷A,根据结果选出硬币B或C,正面选B, 反面选C; 然后抛掷硬币,抛掷结果出现正面记为1,出现反面记为0; 重复n次试验

(1,1,0,1,0,0,1,0,1,1)

只能观测到抛掷硬币的结果,不能观测到过程,问如何估计3个硬币正面出现的概率。。即硬币模型的参数:

没有解析解,只有通过迭代的方法求解。。。。EM算法就是用于求解这类迭代算法。

HMM : 标注问题的统计学习模型。生成模型。

CRF(条件随机场):

给定一组输入随机变量条件下另一组输出碎甲变量的条件概率分布模型。特点是假定输出随机变量构成马儿克夫岁家常。

概率无向图模型。。MRF, 是可以由一个无向图表示的联合概率分布。

时间: 2024-10-09 06:56:18

统计学习方法的相关文章

统计学习方法(一)(李航)

统计学习方法概论: (一),统计学习 1,统计学习的特点 2,统计学习的对象 3,统计学习的目的 4,统计学习的方法 (二),监督学习重要概念 1,输入空间,特征向量空间,输出空间 (三),统计学习三要素 1,模型 决策函数模型: 条件概率模型: 2,策略 2.1 损失函数: 2.2 经验风险最小化和结构最小化 如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子 3,算法 (四)模型评估选择 1,训练误差和测试误差 2,过拟合 过拟合和欠拟合产生的原因及解决方式: 欠拟合的原因:模型复杂

统计学习方法笔记(1)——统计学习方法概论

1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习.统计学习是数据驱动的学科.统计学习是一门概率论.统计学.信息论.计算理论.最优化理论及计算机科学等多个领域的交叉学科. 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去.统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提. 统计学习的目的就是考虑学习什么样的模型和如何学习模型. 统计学习

机器学习-李航-统计学习方法学习笔记之感知机(2)

在机器学习-李航-统计学习方法学习笔记之感知机(1)中我们已经知道感知机的建模和其几何意义.相关推导也做了明确的推导.有了数学建模.我们要对模型进行计算. 感知机学习的目的是求的是一个能将正实例和负实例完全分开的分离超平面.也就是去求感知机模型中的参数w和b.学习策略也就是求解途径就是定义个经验损失函数,并将损失函数极小化.我们这儿采用的学习策略是求所有误分类点到超平面S的总距离.假设超平面s的误分类点集合为M,那么所有误分类点到超平面S的总距离为 显然损失函数L(w,b)是非负的,如果没有误分

统计学习方法:感知机

作者:桂. 时间:2017-04-16  11:53:22 链接:http://www.cnblogs.com/xingshansi/p/6718503.html 前言 今天开始学习李航的<统计学习方法>,考虑到之前看<自适应滤波>,写的过于琐碎,拓展也略显啰嗦,这次的学习笔记只记录书籍有关的内容.前段时间朋友送了一本<机器学习实战>,想着借此增加点文中算法的代码实现,以加深对内容的理解.本文梳理书本第二章:感知机(Perceptron). 1)原理介绍 2)代码实现

统计学习方法概论

统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statical machine learning). 统计学习的方法是基于数据构建统计模型从而对数据进行预测和分析.统计学习由监督学习.非监督学习.半监督学习和强化学习等组成. 统计学习方法包括假设空间.模型选择的准则.模型学习的算法,这些统称为统计学习方法的三要素:模型(Model).策略(Strategy).算法(Algorithm). 实现统计学习方法的步骤如下:

《统计学习方法》:EM算法重点学习以及习题。

适用场景:有隐变量的时候特别适用. EM算法主要分为两个步骤:E步和M步. 输入:选择参数的初值theta,进行迭代. E步: 每次迭代改变初值.定义Q函数.Q函数为迭代的期望值. M步: 求使E步得到的Q函数最大的theta值. 最后,重复进行E步和M步.直到最终theta值变化较小,即为收敛为止. 注意:初值为算法的选择尤为重要.初值的选择会影响结果. EM算法得到的估计序列能够最终收敛得到结果.但是收敛得到的结果并不能保证能够收敛到全局最大值或者局部最大值. EM算法在两个方面极其有用:在

机器学习-统计学习方法中多项式拟合偏导函数推导

最近在学机器学习,看了Andrew Ng 的公开课,同时学习李航博士的 <统计学习方法>在此记录. 在第十二页有一个关于多项式拟合的问题.此处,作者直接给出了所求的的偏导.这里做一下详细推导. , 此处函数模型的求偏导问题,首先看一下偏导的定义 因为此处是,所以除了Wj 外的Xi,Yi 都可以视作常数.对此求解. 推导后我们会发现所得出的公式与作者给出的答案不同 ,不过作者也给出了更正的勘误 但是我们发现还是和我推导出的答案不同.作者分母下的x上标为j+1,而我推导出的上标为2j,参考作者的勘

统计学习方法 &ndash;&gt; 支持向量机

前言 定义: 在特征空间上间隔最大的线性分类器. 核是SVM非常重要的一个特性. 支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题. 分类 1>线性可分支持向量机 2>线性支持向量机 3>非线性支持向量机 如果训练数据线性可分,那么可以通过硬间隔最大化,学习一个线性分类器,就是线性可分支持向量机,就是硬间隔支持向量机. 类似,如果训练数据近似线性可分,那么可以通过软间隔最大化来学习一个线性的分类器.成为软间隔支持向量机. 训练数据线性不可分的时候,就必须动用核函数来

统计学习方法文本分类

一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个,而文本的自动分类则是使用计算机程序来实现这样的分类.通俗点说,就好比你拿一篇文章,问计算机这文章要说的究竟是体育,经济还是教育,计算机答不上,说明计算机弱爆了就打它的屁屁. 注意这个定义当中着重强调的两个事实. 第一,用于分类所需要的类别体系是预先确定的.例如新浪新闻的分类体系,Yahoo!网页导航的分类层次.这种分类层次一旦确定,在相当长的时间内都是不可变的,或者即使要变更,也要付出相当大的代价(基本不亚于推倒并重建一个分类系

统计学习方法笔记--监督学习

监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测,计算机的基本操作就是给定一个输入产生一个输出. 基本概念:输入空间.特征空间与输出空间 在监督学习中,将输入与输出所有可能取值的集合分别称为输入空间(input space)与输出空间(output space). 每个具体的输入是一个实例(instance),通常有特征向量(feature vector)表示.这时,所有特征向量存在的空间称为特征空间(featur