【转】狄利克雷分布

(注:只转一点介绍内容的以作备查。有兴趣同学请移步原文详阅。)

Dirichlet分布可以看做是分布之上的分布。如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数与试验总数的比值估计这个面出现的概率,则我们得到六面出现的概率,分别为{0.2,0.2,0.2,0.2,0.1,0.1}。现在,我们还不满足,我们想要做10000次试验,每次试验中我们都投掷骰子10000次。我们想知道,出现这样的情况使得我们认为,骰子六面出现概率为{0.2,0.2,0.2,0.2,0.1,0.1}的概率是多少(说不定下次试验统计得到的概率为{0.1, 0.1, 0.2, 0.2, 0.2, 0.2}这样了)。这样我们就在思考骰子六面出现概率分布这样的分布之上的分布。而这样一个分布就是Dirichlet分布。

=====================

另:维基百科 狄利克雷分布

时间: 2024-10-18 20:42:37

【转】狄利克雷分布的相关文章

主题模型TopicModel:隐含狄利克雷分布LDA

http://blog.csdn.net/pipisorry/article/details/42649657 主题模型LDA简介 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation),是一种主题模型,它可以将文档集中每篇文档的主题按照概率分布的形式给出. 同时它是一种无监督学习算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可.此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它. LDA首先由Blei, David

二项分布 , 多项分布, 以及与之对应的beta分布和狄利克雷分布

1. 二项分布与beta分布对应 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么?n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布. bernuli实验是什么?做一次抛硬币实验,该试验结果只有2种情况,x= 1, 表示正面. x=0,表示反面. bernuli(x|p) = p^x*(1-p)^(1-x).如果了n次, 我们只要数一下正面的次数n_x,即可得到反面的次数n-n_x. n次重复的nernuli试验: n-bernuli(n_x|N,p)

(转)Gamma分布,Beta分布,Multinomial多项式分布,Dirichlet狄利克雷分布

1. Gamma函数 首先我们可以看一下Gamma函数的定义: Gamma的重要性质包括下面几条: 1. 递推公式: 2. 对于正整数n, 有 因此可以说Gamma函数是阶乘的推广. 3.  4.  关于递推公式,可以用分部积分完成证明: 2. Beta函数 B函数,又称为Beta函数或者第一类欧拉积分,是一个特殊的函数,定义如下: B函数具有如下性质: 3. Beta分布 在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率.后验概率.似然函数以及共轭分布的概念.

主题模型——隐含狄利克雷分布总结

摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 7.与NB,pLSA比较 内容: 1.算法概述: 先贴一段维基百科中关于主题模型的描述,便于大家理解我们接下来要做什么: 主题模型(Topic Model)在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型. 直观来讲,如果一篇文章有一个中心思想,那么一些特定词语会更频繁的出现.比方说,如果一篇文章是在讲狗的,那"狗"和"骨头"等词出现

关于狄利克雷分布的理解

 作者:Thomas Wayne 链接:http://www.zhihu.com/question/26751755/answer/80931791 来源:知乎 著作权归作者全部.商业转载请联系作者获得授权.非商业转载请注明出处. 近期问的人有点多,打算写一系列"简单易懂地理解XXX系列". 今天来讲一下dirichlet distribution和dirichlet process怎么回事.力求让刚開始学习的人看懂,并且我比較追求motivation.追求数学严谨性和简洁性的大神

【机器学习中的数学】多项式分布及其共轭分布

多项变量(Multinomial Variables) 二元变量是用来描述只有两种可能值的量,而当我们遇到一种离散变量,其可以有K种可能的状态.我们可以使用一个K维的向量x表示,其中只有一维xk为1,其余为0.对应于xk=1的参数为μk,表示xk发生时的概率.其分布可以看做是伯努利分布的一般化. 现在我们考虑N个独立的观测D={x1,-,xN},得到其似然函数.如图: 多项式分布(The Multinomial distribution) 现在我们考虑k个变量的联合分布,依赖于参数μ和N次观测,

贝叶斯公式的共轭分布

共轭分布是一种极大简化贝叶斯分析的方法.其作用是,在贝叶斯公式包含多种概率分布的情况下,使这些分布的未知参数在试验前被赋予的物理意义,延续到试验后,便于分析. 1. 贝叶斯公式 贝叶斯公式如下: 其中,表示模型中的未知参数,表示样本.这里有三个重要的概念:先验分布.似然函数,以及后验分布. 是先验分布,表示在观察样本之前,按照经验认为符合某种概率分布.比如说在抛硬币之前,我们认为正反两面出现的概率各为1/2. 是似然函数,表示在给定模型参数的条件下,样本数据服从这一概率模型的相似程度. 是后验分

各种分布(转)

. 伯努利分布 伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial). 伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X而言: 伯努利试验都可以表达为"是或否"的问题.例如,抛一次硬币是正面向上吗?刚出生的小孩是个女孩吗?等等 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验. 进行一次伯努利试验,成功(X=1)概率为p(0

狄利克雷过程

官方定义:令 表示一个可测的参数空间, 描述某一个类别的参数.令H是空间 上的一个概率测度, 表示一个正实数.对于空间上的任意一个有限分割 : 如果空间上的一个随机概率分布G在这个分割中各部分上的测度服从一个狄利克雷分布: , 那么我们就称随机概率分布G 服从狄利克雷过程,记为 . 我们把 叫做集中度参数,把H叫做基分布. 解读: 测度的通俗理解就是给一个空间中的每个子集一个度量,即一个实数来衡量各个子集.最直观的例子是用长度来衡量一个一维实数集合,这里的长度就是一种测度. 概率测度是指在空间中