Gaussian distribution

在读2009年ICCV的paper<Landmark-Based Sparse Color Representations for Color Transfer>中遇到几次 Gaussian distribution(高斯分布),不明觉厉,就查了写来总结下:

高斯分布(Gaussian distribution),其实就是正态分布(Normal distribution),瞬间就不黑线了,概率论中学过的。

一、先粘一段高斯分布的历史:

正态分布是最重要的一种概率分布。正态分布概念是由德国的数学家和天文学家Moivre于1733年首次提出的,但由于德国数学家Gauss率先将其应用于天文学家研究,故正态分布又叫高斯分布,高斯这项工作对后世的影响极大,他使正态分布同时有了“高斯分布”的名称,后世之所以多将最小二乘法的发明权归之于他,也是出于这一工作。高斯是一个伟大的数学家,重要的贡献不胜枚举。但现今德国10马克的印有高斯头像的钞票,其上还印有正态分布的密度曲线。这传达了一种想法:在高斯的一切科学贡献中,其对人类文明影响最大者,就是这一项。在高斯刚作出这个发现之初,也许人们还只能从其理论的简化上来评价其优越性,其全部影响还不能充分看出来。这要到20世纪正态小样本理论充分发展起来以后。拉普拉斯很快得知高斯的工作,并马上将其与他发现的中心极限定理联系起来,为此,他在即将发表的一篇文章(发表于1810年)上加上了一点补充,指出如若误差可看成许多量的叠加,根据他的中心极限定理,误差理应有高斯分布。这是历史上第一次提到所谓“元误差学说”——误差是由大量的、由种种原因产生的元误差叠加而成。后来到1837年,海根(G.Hagen)在一篇论文中正式提出了这个学说。

其实,他提出的形式有相当大的局限性:海根把误差设想成个数很多的、独立同分布的“元误差” 之和,每只取两值,其概率都是1/2,由此出发,按狄莫佛的中心极限定理,立即就得出误差(近似地)服从正态分布。拉普拉斯所指出的这一点有重大的意义,在于他给误差的正态理论一个更自然合理、更令人信服的解释。因为,高斯的说法有一点循环论证的气味:由于算术平均是优良的,推出误差必须服从正态分布;反过来,由后一结论又推出算术平均及最小二乘估计的优良性,故必须认定这二者之一(算术平均的优良性,误差的正态性)
为出发点。但算术平均到底并没有自行成立的理由,以它作为理论中一个预设的出发点,终觉有其不足之处。拉普拉斯的理论把这断裂的一环连接起来,使之成为一个和谐的整体,实有着极重大的意义

二、Gaussian mixture models(GMMs高斯混合模型)

1.简介:

高斯模型就是用高斯概率密度函数正态分布曲线)精确地量化事物,将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。
对图像背景建立高斯模型的原理及过程:图像灰度直方图反映的是图像中某个灰度值出现的频次,也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相差比较大,且背景区域和目标区域在灰度上有一定的差异,那么该图像的灰度直方图呈现双峰-谷形状,其中一个峰对应于目标,另一个峰对应于背景的中心灰度。对于复杂的图像,尤其是医学图像,一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加,可以解决图像的分割问题。
在智能监控系统中,对于运动目标的检测是中心内容,而在运动目标检测提取中,背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。

我们首先要提起背景和前景的概念,前景是指在假设背景为静止的情况下,任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景,其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响,一般的建模后的背景并非十分干净清晰,而高斯混合模型(GMM,Gaussian mixture model)是建模最为成功的方法之一,同时GMM可以用在监控视频索引与检索。

2.理解:

混合高斯模型的原理说白了就一句话:任意形状的概率分布都可以用多个高斯分布函数去近似。换句话说,高斯混合模型(GMM)可以平滑任意形状的概率分布。其参数求解方法一般使用极大似然估计求解,但使用极大似然估计法往往不能获得完整数据(比如样本已知,但样本类别(属于哪个高斯分布)未知),于是出现了EM(最大期望值)求解方法。

三、EM(最大期望值法)

待续......

时间: 2024-07-28 23:09:12

Gaussian distribution的相关文章

PRML 1: Gaussian Distribution

1. Overview of Machine Learning The information of a random variable in terms of its distribution can be measured as entropy. The maximum entropy configuration for a discrete variable is the uniform distribution, and for a continuous variable is the

The Complex Gaussian Distribution

This is the beginning of my plan. Or this is a manifesto, a motivation for me. Note what I read, good or bad, old or new, Tao or method. Maybe sometimes not care about the formal usage of the language. From the words I write down, may that someday I

UNDERSTANDING THE GAUSSIAN DISTRIBUTION

UNDERSTANDING THE GAUSSIAN DISTRIBUTION Randomness is so present in our reality that we are used to take it for granted. Most of the phenomena which surround us have been generated by random processes. Hence, our brain is very good at recognise these

正态分布(Normal distribution)又名高斯分布(Gaussian distribution)

正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学.物理及project等领域都很重要的概率分布,在统计学的很多方面有着重大的影响力. 若随机变量X服从一个数学期望为μ.标准方差为σ2的高斯分布,记为: X∼N(μ,σ2), 则其概率密度函数为 正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度.因其曲线呈钟形,因此人们又常常称之为钟形曲线.我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布(见右图中绿色曲

一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布

@copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们将用整个第二章来研究各种各样的概率分布以及它们的性质.然而,在这里介绍连续变量一种最重要的概率分布是很方便的.这种分布就是正态分布(normal distribution)或者高斯分布(Gaussian distribution).在其余章节中(事实上在整本书中),我们将会经常用到这种分布. 正态分布是这么定义的: 图像长成这样: 我们待会被数学折磨完后再来了解这些参数的意义. 先来看看正态分布

绘制Gaussian Distribution曲线的三种方式

在高斯分布中有三个数学符号,先来解释这个三个数学符号的含义,然后再说明这个公式的推导思路和推导方法. 三个符号\(\mu,\sigma,e\)在数学上分别叫做平均值(又称数学期望),标准差,自然数.即: 平均值(又称数学期望):\(\mu\) 标准差:\(\sigma\) 自然数:\(e\) 高斯分布数学公式 \[f(x)=\frac{1}{ \sqrt{2\pi\sigma} } \cdot e^{ \frac{-(x-\mu)^2}{2\sigma^2}}\] 期望(平均数):μ 标准差\(

Generating Gaussian Random Numbers(转)

Generating Gaussian Random Numbers http://www.taygeta.com/random/gaussian.html This note is about the topic of generating Gaussia  pseudo-random numbers given a source of uniform  pseudo-random numbers. This topic comes up more frequently than I woul

Add Gaussian noise to a picture

I.To generate Gaussian noise Box-Muller:if random variable x and y are respectively independent generated from a uniform distribution with [0,1].we can use the formula below to produce a variable with Gaussian distribution. z=sqrt(-2*lny)*cos(2*pi*x)

Introduction to gaussian filter 高斯滤波器

Introduction to gaussian filter 我尝试尽可能低门槛的介绍这些好玩的东东-这里只须要正态分布函数作为基础就可以開始玩图像的高斯滤波了. Don't panic ! 在通常的图像中,像素点都非常多,非常多情况都是非常多一大块像素点记录某一个场景区域.那么这就数字离散环境下模拟出了实际生活中颜色变化连续性的事实(注意.计算机的离散环境都是对真实的模拟.) 高斯滤波是怎么回事捏?一句话的事情.就是利用高斯函数取权值,在一个区域内进行加权平均! 简单的事情永远别搞复杂了.p