4.朴素贝叶斯法

朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集, 首先基于特征条件独立假设学习输入/输出的联合概率分布; 然后基于此模型, 对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单, 学习与预测的效率都很高, 是一种常用的方法。

1. 朴素贝叶斯法的学习与分类
基本方法
训练数据集:

由X和Y的联合概率分布P(X,Y)独立同分布产生
朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y) ,
      即先验概率分布:

及条件概率分布:

注意: 条件概率为指数级别的参数:

条件独立性假设:

“朴素” 贝叶斯名字由来, 牺牲分类准确性。
贝叶斯定理:

代入上式:

这是朴素贝叶斯法分类的基本公式。 于是, 朴素贝叶斯分类器可表示为

分母对所有ck都相同:

后验概率最大化的含义
朴素贝叶斯法将实例分到后验概率最大的类中, 等价于期望风险最小化,
假设选择0-1损失函数: f(X)为决策函数

期望风险函数:

取条件期望:

只需对X=x逐个极小化, 得:

推导出后验概率最大化准则:

2. 朴素贝叶斯法的参数估计
应用极大似然估计法估计相应的概率,先验概率P(Y=ck)的极大似然估计是:

设第j个特征x(j)可能取值的集合为:

条件概率的极大似然估计:

学习与分类算法Naïve Bayes Algorithm:
输入:
  训练数据集:,其中

第i个样本的第j个特征,

是第j个特征可能取的第l个值,j=1,2,…,n, l=1,2,…,Sj, yi?{c1, c2,…,cK}。

输出:
  x的分类

步骤:

(1) 计算先验概率及条件概率

(2) 对于给定的实例x=(x(1),x(2),…,x(n))T, 计算

(3) 确定实例x的类

原文地址:https://www.cnblogs.com/xutianlun/p/12245012.html

时间: 2024-11-05 06:25:16

4.朴素贝叶斯法的相关文章

统计学习方法 李航---第4章 朴素贝叶斯法

第4章 朴素贝叶斯法 朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法.对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布:然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出Y. 4.1 朴素贝叶斯法的学习与分类 基本方法 朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布 P(X,Y). 具体地,学习以 下先验概率分布及条件概率分布. 先验概率分布 条件概率分布 条件概率分布有指数级数量的参数,其估计实际是不可行的

朴素贝叶斯法-后验概率最大化

接着上一篇的继续来写. 朴素贝叶斯法分类时,对给定的输入x,通过学习得到的模型计算后验概率分布P(Y=ck|X=x),然后将后验概率最大的类作为x的类输出.后验概率计算根据贝叶斯定理进行: P(Y=ck|X=x)=P(X=x|Y=ck)*P(Y=ck)/(sum (k) P(X=x|Y=ck)*P(Y=ck)) 最后化简成:y=arg max(ck)P(Y=ck)联乘P(X(j)=x(j)|Y=ck).

【资源分享】今日学习打卡--朴素贝叶斯法 (naive bayes classifier)

今日学习打卡,是一个非常简单的模型,朴素贝叶斯法(naive bayes classifier) 总得来说就是贝叶斯 + naive 通过,贝叶斯来计算事件发生概率: 然后,naive就是假设各个因素之间相互独立,互不影响. 在现实生活中,因素经常是有内在联系的.如:是否今天下雨,考虑因素有:气压,湿度,温度.实际上这些因素是有内在联系的,但是模型中假设它们相互独立,所以称为naive.这样,在计算中相当简单,且往往预测结果还算不错的. 链接: https://pan.baidu.com/s/1

统计学习方法与Python实现(三)——朴素贝叶斯法

统计学习方法与Python实现(三)——朴素贝叶斯法 iwehdio的博客园:https://www.cnblogs.com/iwehdio/ 1.定义 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布.然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y,从而进行决策分类. 朴素贝叶斯法学习到的是生成数据的机制,属于生成模型. 设Ω为试验E的样本空间,A为E的事件,B1~Bn为Ω的一个划分,则

统计学习方法——朴素贝叶斯法、先验概率、后验概率

朴素贝叶斯法,就是使用贝叶斯公式的学习方法,朴素就是它假设输入变量(向量)的各个分量之间是相互独立的.所以对于分量之间不独立的分布,如果使用它学习和预测效果就不会很好. 简化策略 它是目标是通过训练数据集学习联合概率分布$P(X, Y)$用来预测.书上说,具体是先学习到先验概率分布以及条件概率分布,分别如下:(但我认为,直接学习$P(X, Y)$就行了,它要多此一举算出这两个再乘起来变成$P(X, Y)$,但其实计算量差不多,可能这样更好理解吧) $P(Y = c_k), k = 1, 2, 3

朴素贝叶斯法

【数据挖掘】朴素贝叶斯算法计算ROC曲线的面积

题记:          近来关于数据挖掘学习过程中,学习到朴素贝叶斯运算ROC曲线.也是本节实验课题,roc曲线的计算原理以及如果统计TP.FP.TN.FN.TPR.FPR.ROC面积等等.往往运用ROC面积评估模型准确率,一般认为越接近0.5,模型准确率越低,最好状态接近1,完全正确的模型面积为1.下面进行展开介绍: ROC曲线的面积计算原理 一.朴素贝叶斯法的工作过程框架图 二.利用weka工具,找到训练的预处理数据 1.利用朴素贝叶斯算法对weather.nominal.arff文件进行

初识分类算法(3)-----朴素贝叶斯算法

1. 例子引入:如上篇的play or not 例子. 未知分类的样本:D:<A=sunny, B=cool, C=high ,D=strong>,  是 or 否? 我们要判断该样本的分类,即比较该样本属于是的概率大还是否的概率大 P(是/否|A=sunny, B=cool, C=high ,D=strong) P(是|A=sunny, B=cool, C=high ,D=strong)=P(是,(A=sunny, B=cool, C=high ,D=strong))/P(A=sunny,

朴素贝叶斯算法(Naive Bayesian)

1.介绍 朴素贝叶斯方法,朴素指特征条件独立,贝叶斯指贝叶斯定理.算法可用来做分类,既可以是判别模型,也可以是生成模型.训练的时候,学习输入输出的联合概率分布,分类的时候,利用贝叶斯定理计算后验概率最大的输出.一句话总结:根据先验概率和条件概率分布,得到联合概率分布.如下所示:        2.模型讲解 条件概率分布的参数数量是指数级的,也就是X和Y的组合很多,造成维数灾难,导致实际无法运算.此处,朴素贝叶斯法对它做了条件独立性的假设: 也就是各个维度的特征在类确定的情况下都是独立分布的.这一