Beta分布和Dirichlet分布

  在《Gamma函数是如何被发现的?》里证明了\begin{align*} B(m, n) = \int_0^1 x^{m-1} (1-x)^{n-1} \text{d} x = \frac{\Gamma (m) \Gamma (n)}{\Gamma (m+n)} \end{align*}于是令\begin{align*} f_{m,n}(x) = \begin{cases} \frac{x^{m-1} (1-x)^{n-1}}{B(m, n)} = \frac{\Gamma (m+n)}{\Gamma (m) \Gamma (n)} x^{m-1} (1-x)^{n-1} & 0 \leq x \leq 1 \\ 0 & \text{其他情况} \end{cases} \end{align*}可知$f_{m,n}(x)$积分为$1$,即$f_{m,n}(x)$对应着某个概率分布,由于这个函数的分母是$Beta$函数,我们一般称其对应的分布是参数为$m,n$的$Beta$分布

  下面简单给出该分布的数字特征,易知其$k$阶矩为\begin{align*} E[x^k] = \int_0^1 x^k f_{m,n}(x) \text{d} x = \int_0^1 \frac{x^{m + k -1} (1-x)^{n-1}}{B(m + k, n)} \frac{B(m + k, n)}{B(m, n)}\text{d} x = \frac{\Gamma (m + k) \Gamma (m+n)}{\Gamma (m)\Gamma (m+ k +n)} \end{align*}于是\begin{align*} E[x] = \frac{\Gamma (m + 1) \Gamma (m+n)}{\Gamma (m)\Gamma (m+ 1 +n)} = \frac{m}{m+n}, \ E[x^2] = \frac{\Gamma (m + 2) \Gamma (m+n)}{\Gamma (m)\Gamma (m+ 2 +n)} = \frac{(m+1)m}{(m+n+1)(m+n)} \end{align*}故其均值和方差分别为\begin{align*} E[x] = \frac{m}{m+n}, \ D[x] = \frac{(m+1)m}{(m+n+1)(m+n)} - \left(\frac{m}{m+n}\right)^2 = \frac{mn}{(m+n+1)(m+n)^2} \end{align*}

  $Beta$函数是二元的,可将其推广成如下$k+1(k \geq 2)$元的形式:\begin{align} \label{eq: multivariate beta function} B(m_1, \cdots, m_{k+1}) = \int_0^1 x_1^{m_1-1} \int_0^{1-x_1} x_2^{m_2-1} \cdots  \int_0^{1-x_1 - \cdots - x_{k-1}} x_k^{m_k-1} (1 - x_1 - \cdots - x_k)^{m_{k+1}-1} \text{d} x_1 \text{d} x_2 \cdots \text{d} x_k \end{align}注意式(\ref{eq: multivariate beta function})是一个$k$重积分,考察最里面对$x_k$的积分,即\begin{align*} E_k(m_k, m_{k+1}) = \int_0^{1-x_1 - \cdots - x_{k-1}} x_k^{m_k-1} (1 - x_1 - \cdots - x_k)^{m_{k+1}-1} \text{d} x_k = \int_0^t x_k^{m_k-1} (t - x_k)^{m_{k+1}-1} \text{d} x_k \end{align*}其中$t = 1-x_1 - \cdots - x_{k-1}$。由分部积分易知有\begin{align*} E_k(m_k, m_{k+1}) & = \int_0^t (t - x_k)^{m_{k+1}-1} \text{d} \frac{x_k^{m_k}}{m_k} \\ & = (t - x_k)^{m_{k+1}-1} \frac{x_k^{m_k}}{m_k} |_0^t - \int_0^t \frac{x_k^{m_k}}{m_k} (m_{k+1}-1) (t - x_k)^{m_{k+1}-2} (-1) \text{d} x_k \\ & = \frac{m_{k+1}-1}{m_k} E_k(m_k+1, m_{k+1}-1) \end{align*}于是递推下去有\begin{align*} E_k(m_k, m_{k+1}) & = \frac{m_{k+1}-1}{m_k} E_k(m_k+1, m_{k+1}-1) \\ & = \frac{m_{k+1}-1}{m_k} \frac{m_{k+1}-2}{m_k+1} E_k(m_k+2, m_{k+1}-2) \\ & = \cdots \\ & = \frac{m_{k+1}-1}{m_k} \cdots \frac{1}{m_k + m_{k+1} - 2} E_k(m_k + m_{k+1} - 1, 1) \end{align*}又\begin{align*} E_k(m_k + m_{k+1} - 1, 1) = \int_0^t x_k^{m_k + m_{k+1} - 2} \text{d} x_k = \frac{x_k^{m_k + m_{k+1} - 1}}{m_k + m_{k+1} - 1} |_0^t = \frac{t^{m_k + m_{k+1} - 1}}{m_k + m_{k+1} - 1} \end{align*}于是\begin{align*} E_k(m_k, m_{k+1}) = \frac{\Gamma(m_{k+1}) \Gamma(m_k)}{\Gamma(m_{k+1} + m_k)} (1-x_1 - \cdots - x_{k-1})^{m_k + m_{k+1} - 1} \end{align*}将其回代入式(\ref{eq: multivariate beta function}),接着考察最里面对$x_{k-1}$的积分\begin{align*} E_{k-1}(m_{k-1}, m_k + m_{k+1}) & = \int_0^{1-x_1 - \cdots - x_{k-2}} x_{k-1}^{m_{k-1}-1} \frac{\Gamma(m_{k+1}) \Gamma(m_k)}{\Gamma(m_{k+1} + m_k)} (1-x_1 - \cdots - x_{k-1})^{m_k + m_{k+1} - 1} \text{d} x_{k-1} \\ & = \frac{\Gamma(m_{k+1}) \Gamma(m_k)}{\Gamma(m_{k+1} + m_k)} \int_0^t x_{k-1}^{m_{k-1}-1}  (t - x_{k-1})^{m_k + m_{k+1} - 1} \text{d} x_{k-1} \end{align*}其中$t = 1-x_1 - \cdots - x_{k-2}$。于是继续仿照前面的方法(分部积分后递推)可得\begin{align*} E_{k-1}(m_{k-1}, m_k + m_{k+1}) & = \frac{\Gamma(m_{k+1}) \Gamma(m_k)}{\Gamma(m_{k+1} + m_k)} \frac{\Gamma(m_{k+1} + m_k) \Gamma(m_{k-1})}{\Gamma(m_{k+1} + m_k + m_{k-1})} (1-x_1 - \cdots - x_{k-2})^{m_{k+1} + m_k + m_{k-1} - 1} \\ & = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \Gamma(m_{k-1})}{\Gamma(m_{k+1} + m_k + m_{k-1})} (1-x_1 - \cdots - x_{k-2})^{m_{k+1} + m_k + m_{k-1} - 1} \end{align*}不断重复这个过程可知\begin{align} \label{eq: E2} E_2(m_2, m_{k+1} + m_k + \cdots + m_3) = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_2)}{\Gamma(m_{k+1} + m_k + \cdots + m_2)} (1-x_1)^{m_{k+1} + m_k + \cdots + m_2 - 1} \end{align}于是最终对$x_1$的积分为\begin{align*} B(m_1, \cdots, m_{k+1}) & = \int_0^1 x_1^{m_1-1} \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_2)}{\Gamma(m_{k+1} + m_k + \cdots + m_2)} (1-x_1)^{m_{k+1} + m_k + \cdots + m_2 - 1} \text{d} x_1 \\ & = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_2)}{\Gamma(m_{k+1} + m_k + \cdots + m_2)} \frac{\Gamma(m_{k+1} + m_k + \cdots + m_2) \Gamma(m_1)}{\Gamma(m_{k+1} + m_k + \cdots + m_1)} 1^{m_{k+1} + m_k + \cdots + m_1 - 1} \\ & = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_1)}{\Gamma(m_{k+1} + m_k + \cdots + m_1)} \end{align*}令$\boldsymbol{m} = [m_1, \cdots, m_{k+1}]$,$\boldsymbol{x} = [x_1, \cdots, x_{k+1}]$且定义\begin{align*} f_{\boldsymbol{m}} (\boldsymbol{x}) = \begin{cases} \frac{\Gamma(m_{k+1} + m_k + \cdots + m_1)}{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_1)} \prod_{i=1}^{k+1} x_i^{m_i - 1} & \sum_{i=1}^{k+1} x_i = 1 \\ 0 & \text{其他情况}\end{cases} \end{align*}注意这是一个$k$变量的函数(和为$1$的限制),由上面的推导可知$f_{\boldsymbol{m}} (\boldsymbol{x})$的$k$重积分为$1$,故$f_{\boldsymbol{m}} (\boldsymbol{x})$也对应着某个概率分布,我们称其对应的分布是参数为$\boldsymbol{m}$的$Dirichlet$分布

  下面简单给出该分布的数字特征,易知\begin{align*} x_j^n f_{\boldsymbol{m}} (\boldsymbol{x}) & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1}) \cdots \Gamma(m_1)} x_j^n \prod_{i=1}^{k+1} x_i^{m_i - 1} \\ & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1} + \cdots + m_j + n + \cdots + m_1)} \frac{\Gamma(m_j + n)}{\Gamma(m_j)} \frac{\Gamma(m_{k+1} + \cdots + m_j + n + \cdots + m_1)}{\Gamma(m_{k+1}) \cdots \Gamma(m_j + n) \cdots \Gamma(m_1)}  x_j^n \prod_{i=1}^{k+1} x_i^{m_i - 1} \end{align*}于是
\begin{align*} E[x_j] & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1} + \cdots + m_j + 1 + \cdots + m_1)} \frac{\Gamma(m_j + 1)}{\Gamma(m_j)} = \frac{m_j}{m_{k+1} + \cdots + m_1} \\ E[x_j^2] & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1} + \cdots + m_j + 2 + \cdots + m_1)} \frac{\Gamma(m_j + 2)}{\Gamma(m_j)} = \frac{(m_j+1)m_j}{(m_{k+1} + \cdots + m_1 + 1)(m_{k+1} + \cdots + m_1)} \end{align*}故其均值和方差分别为\begin{align*} E[x] & = \frac{m_j}{m_{k+1} + \cdots + m_1} \\ D[x] & = \frac{(m_j+1)m_j}{(m_{k+1} + \cdots + m_1 + 1)(m_{k+1} + \cdots + m_1)} - \left(\frac{m_j}{m_{k+1} + \cdots + m_1}\right)^2 = \frac{m_j (m_{k+1} + \cdots + m_1 - m_j)}{(m_{k+1} + \cdots + m_1+1)(m_{k+1} + \cdots + m_1)^2} \end{align*}又\begin{align*} x_p x_q f_{\boldsymbol{m}} (\boldsymbol{x}) & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1}) \cdots \Gamma(m_1)} x_p x_q \prod_{i=1}^{k+1} x_i^{m_i - 1} \\ & = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1} + \cdots + m_j + 2 + \cdots + m_1)} \frac{\Gamma(m_p + 1)}{\Gamma(m_p)} \frac{\Gamma(m_q + 1)}{\Gamma(m_q)} \frac{\Gamma(m_{k+1} + \cdots + m_j + 2 + \cdots + m_1)}{\Gamma(m_{k+1}) \cdots \Gamma(m_p + 1) \cdots \Gamma(m_q + 1) \cdots \Gamma(m_1)} x_p x_q \prod_{i=1}^{k+1} x_i^{m_i - 1} \end{align*}于是\begin{align*} E[x_p x_q] = \frac{\Gamma(m_{k+1} + \cdots + m_1)}{\Gamma(m_{k+1} + \cdots + m_j + 2 + \cdots + m_1)} \frac{\Gamma(m_p + 1)}{\Gamma(m_p)} \frac{\Gamma(m_q + 1)}{\Gamma(m_q)} = \frac{m_p m_q}{(m_{k+1} + \cdots + m_1 + 1)(m_{k+1} + \cdots + m_1)} \end{align*}故协方差为\begin{align*} cov(x_p, x_q) & = E[x_p x_q] - E[x_p] E[x_q] \\ & = \frac{m_p m_q}{(m_{k+1} + \cdots + m_1 + 1)(m_{k+1} + \cdots + m_1)} - \frac{m_p}{m_{k+1} + \cdots + m_1} \frac{m_q}{m_{k+1} + \cdots + m_1} \\ & = \frac{-m_p m_q}{(m_{k+1} + \cdots + m_1+1)(m_{k+1} + \cdots + m_1)^2} \end{align*}

  由式(\ref{eq: E2})知\begin{align*} P(x_1 = t) & = t^{m_1 - 1} \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_2)}{\Gamma(m_{k+1} + m_k + \cdots + m_2)} (1-t)^{m_{k+1} + m_k + \cdots + m_2 - 1} \\ & = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_1)}{\Gamma(m_1) \Gamma(m_{k+1} + m_k + \cdots + m_1 - m_1)} t^{m_1 - 1} (1-t)^{m_{k+1} + m_k + \cdots + m_1 - m_1 - 1} \end{align*}由对称性可知
\begin{align*} P(x_i = t) = \frac{\Gamma(m_{k+1}) \Gamma(m_k) \cdots \Gamma(m_1)}{\Gamma(m_i) \Gamma(m_{k+1} + m_k + \cdots + m_1 - m_i)} t^{m_i - 1} (1-t)^{m_{k+1} + m_k + \cdots + m_1 - m_i - 1} \end{align*}这意味着$Dirichlet$分布的变量$x_i$的边际分布是参数为$m_i, m_{k+1} + m_k + \cdots + m_1 - m_i$的$Beta$分布

时间: 2024-10-11 16:59:45

Beta分布和Dirichlet分布的相关文章

伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

1. 伯努利分布 伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial). 伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X而言: 伯努利试验都可以表达为“是或否”的问题.例如,抛一次硬币是正面向上吗?刚出生的小孩是个女孩吗?等等 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验.进行一次伯努利试验,成功(X=1)概率为p(0<=p<

Dirichlet分布深入理解

Dirichlet分布 我们把Beta分布推广到高维的场景,就是Dirichlet分布.Dirichlet分布定义如下 Dirichlet分布与多项式分布共轭.多项式分布定义如下 共轭关系表示如下 Dirichlet-MultCount共轭理解 上述共轭关系我们可以这样理解,先验Dirichlet分布参数为α,多项式分布实验结果为m,则后验Dirichlet分布的参数为α+m.m为n维向量,表示实验中各种结果出现的次数.例如投掷骰子的试验中,m为6维向量,6个分量分别表示出现1点到6点的次数.

LDA-math-认识Beta/Dirichlet分布

http://cos.name/2013/01/lda-math-beta-dirichlet/#more-6953 2. 认识Beta/Dirichlet分布2.1 魔鬼的游戏—认识Beta 分布 统计学就是猜测上帝的游戏,当然我们不总是有机会猜测上帝,运气不好的时候就得揣度魔鬼的心思.有一天你被魔鬼撒旦抓走了,撒旦说:“你们人类很聪明,而我是很仁慈的,和你玩一个游戏,赢了就可以走,否则把灵魂出卖给我.游戏的规则很简单,我有一个魔盒,上面有一个按钮,你每按一下按钮,就均匀的输出一个[0,1]之

(转)Gamma分布,Beta分布,Multinomial多项式分布,Dirichlet狄利克雷分布

1. Gamma函数 首先我们可以看一下Gamma函数的定义: Gamma的重要性质包括下面几条: 1. 递推公式: 2. 对于正整数n, 有 因此可以说Gamma函数是阶乘的推广. 3.  4.  关于递推公式,可以用分部积分完成证明: 2. Beta函数 B函数,又称为Beta函数或者第一类欧拉积分,是一个特殊的函数,定义如下: B函数具有如下性质: 3. Beta分布 在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率.后验概率.似然函数以及共轭分布的概念.

机器学习的数学基础(1)--Dirichlet分布

机器学习的数学基础(1)--Dirichlet分布 这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结. 基础知识:conjugate priors共轭先验 共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式.它极大地简化了贝叶斯分析. 如何解释这句话.由于 P(u|D) = p(D|u)p(u)/p(D)   (1.0式) 其中D是给定的一个样本集合,因此对其来说p(D)是一个确定的值,可以理解为一个常数.P(u|D)是

(转)机器学习的数学基础(1)--Dirichlet分布

转http://blog.csdn.net/jwh_bupt/article/details/8841644 这一系列(机器学习的数学基础)主要包括目前学习过程中回过头复习的基础数学知识的总结. 基础知识:conjugate priors共轭先验 共轭先验是指这样一种概率密度:它使得后验概率的密度函数与先验概率的密度函数具有相同的函数形式.它极大地简化了贝叶斯分析. 如何解释这句话.由于 P(u|D) = p(D|u)p(u)/p(D)   (1.0式) 其中D是给定的一个样本集合,因此对其来说

【机器学习中的数学】多项式分布及其共轭分布

多项变量(Multinomial Variables) 二元变量是用来描述只有两种可能值的量,而当我们遇到一种离散变量,其可以有K种可能的状态.我们可以使用一个K维的向量x表示,其中只有一维xk为1,其余为0.对应于xk=1的参数为μk,表示xk发生时的概率.其分布可以看做是伯努利分布的一般化. 现在我们考虑N个独立的观测D={x1,-,xN},得到其似然函数.如图: 多项式分布(The Multinomial distribution) 现在我们考虑k个变量的联合分布,依赖于参数μ和N次观测,

统计学中z分布、t分布、F分布及χ^2分布

Z就是正态分布,X^2分布是一个正态分布的平方,t分布是一个正态分布除以(一个X^2分布除以它的自由度然后开根号),F分布是两个卡方分布分布除以他们各自的自由度再相除比如X是一个Z分布,Y(n)=X1^2+X2^2+--+Xn^2,这里每个Xn都是一个Z分布,t(n)=X/根号(Y/n),F(m,n)=(Y1/m)/(Y2/N)各个分布的应用如下:t分布应用在估计呈正态分布的母群体之平均数. t分布是小样本分布,t分布适用于当总体标准差R未知时用样本标准差s代替总体标准差R,由样本平均数推断总体

二项分布 , 多项分布, 以及与之对应的beta分布和狄利克雷分布

1. 二项分布与beta分布对应 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么?n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布. bernuli实验是什么?做一次抛硬币实验,该试验结果只有2种情况,x= 1, 表示正面. x=0,表示反面. bernuli(x|p) = p^x*(1-p)^(1-x).如果了n次, 我们只要数一下正面的次数n_x,即可得到反面的次数n-n_x. n次重复的nernuli试验: n-bernuli(n_x|N,p)