paper 112:hellinger distance

在概率论和统计理论中,Hellinger距离被用来度量两个概率分布的相似度。它是f散度的一种(f散度——度量两个概率分布相似度的指标)。Hellinger距离被定义成Hellinger积分的形式,这种形式由Ernst Hellinger在1909年引进。

目录

·1 定义

·1.1 度量理论

·1.2 基于Lebesgue度量的概率理论

·1.3 离散概率分布

·2 性质

·3 例子

1 定义

1.1 度量理论

为了从度量理论的角度定义Hellinger距离,我们假设P和Q是两个概率测度,并且它们对于第三个概率测度λ来说是绝对连续的,则P和Q的Hellinger距离的平方被定义如下:

这里的dP /  和 dQ / dλ分别是P和Q的Radon–Nikodym微分。这里的定义是与λ无关的,因此当我们用另外一个概率测度替换λ时,只要P和Q关于它绝对连续,那么上式就不变。为了简单起见,我们通常把上式改写为:

1.2 基于Lebesgue度量的概率理论

为了在经典的概率论框架下定义Hellinger距离,我们通常将λ定义为Lebesgue度量,此时dP /  和 dQ / dλ就变为了我们通常所说的概率密度函数。如果我们把上述概率密度函数分别表示为 f 和 g ,那么可以用以下的积分形式表示Hellinger距离:

上述等式可以通过展开平方项得到,注意到任何概率密度函数在其定义域上的积分为1。

根据柯西-施瓦茨不等式(Cauchy-Schwarz inequality),Hellinger距离满足如下性质:

1.3 离散概率分布

对于两个离散概率分布 P=(p1,p2,...,pn)和 Q=(q1,q2,...,qn),它们的Hellinger距离可以定义如下:

上式可以被看作两个离散概率分布平方根向量的欧式距离,如下所示:

2. 性质

Hellinger距离的最大值1只有在如下情况下才会得到:P在Q为零的时候是非零值,而在Q为非零值的时候是零,反之亦然。

有时公式之前的系数1/2会被省略,此时Hellinger距离的范围变为从0到2的平方根。

Hellinger距离可以跟Bhattacharyya系数BC(P,Q)联系起来,此时它可以被定义为:

Hellinger距离通常在顺序和渐进统计中使用。

3. 例子

两个正态分布P 和 Q的Hellinger距离的平方可以被定义为:

两个指数分布P 和 Q的Hellinger距离的平方可被定义为:

两个威利分布P 和 Q(此处k是一个形状参数,α和β是尺度系数)的Hellinger距离的平方可被定义为:

对于两个具有参数α和β的泊松分布 P 和 Q,它们的Hellinger距离可被定义为:

上述内容来自wikipedia

http://en.wikipedia.org/wiki/Hellinger_distance#mw-head

时间: 2024-10-09 14:18:36

paper 112:hellinger distance的相关文章

paper 114:Mahalanobis Distance(马氏距离)

(from:http://en.wikipedia.org/wiki/Mahalanobis_distance) Mahalanobis distance In statistics, Mahalanobis distance is a distance measure introduced by P. C. Mahalanobis in 1936.It is based on correlations between variables by which different patterns

paper 113:Bhattacharyya distance

在统计理论中,Bhattacharyya距离用来度量两个离散或连续概率分布的相似性.它与Bhattacharyya系数(Bhattacharyya coefficient)高度相关,后者是用来度量两个统计样本的重叠度的.所有这些命名都是为了纪念A. Bhattacharyya,一个在1930年工作于印度统计局的统计学家.该系数可以用来度量两个样本集的相似性.它通常在分类问题中被用来判断类别的可分性. 目录 ·定义 ·Bhattacharyya系数 定义 对于定义在同一个定义域X上的两个离散概率分

科普:浅谈 Hellinger Distance

浅谈 Hellinger Distance 2016.05.24 最近在看 Hellinger Distance(海林格距离), 平时看多了欧式距离,马氏距离等等,貌似介绍这个的材料不是很多,例如:维基百科上的一些,和 下列这个链接上的pdf材料:http://www.tcs.tifr.res.in/~prahladh/teaching/2011-12/comm/lectures/l12.pdf  大家凑合着看看吧,我这里简要的介绍下,有理解不对的地方,烦劳指点下. Hellinger Dist

编写高质量代码改善C#程序的157个建议——建议112:将现实世界中的对象抽象为类,将可复用对象圈起来就是命名空间

建议112:将现实世界中的对象抽象为类,将可复用对象圈起来就是命名空间 在我们身边的世界中,对象是什么?对象就是事物,俗称“东西”.那么,什么东西算得上是一个对象呢?对象有属性.有行为.以动物为例,比如猫(Cat).Cat可以有Name,这就是属性:Cat有一个恶习ScratchSofa(挠沙发),这就是行为.我们把这些属性和行为结合起来,就称为一个类型: class Cat { public string Name { get; set; } public void ScratchSofa()

paper 61:计算机视觉领域的一些牛人博客,超有实力的研究机构等的网站链接

转载出处:blog.csdn.net/carson2005 以下链接是本人整理的关于计算机视觉(ComputerVision, CV)相关领域的网站链接,其中有CV牛人的主页,CV研究小组的主页,CV领域的paper,代码,CV领域的最新动态,国内的应用情况等等.打算从事这个行业或者刚入门的朋友可以多关注这些网站,多了解一些CV的具体应用.搞研究的朋友也可以从中了解到很多牛人的研究动态.招生情况等.总之,我认为,知识只有分享才能产生更大的价值,真诚希望下面的链接能对朋友们有所帮助.(1)goog

paper 27 :图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention)

1. 早期C. Koch与S. Ullman的研究工作. 他们提出了非常有影响力的生物启发模型. C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985. C. Koch and T. Poggio. Predicting the Visual World: Silenc

paper 56 :机器学习中的算法:决策树模型组合之随机森林(Random Forest)

周五的组会如约而至,讨论了一个比较感兴趣的话题,就是使用SVM和随机森林来训练图像,这样的目的就是 在图像特征之间建立内在的联系,这个model的训练,着实需要好好的研究一下,下面是我们需要准备的入门资料: [关于决策树的基础知识参考:http://blog.csdn.net/holybin/article/details/22914417] 在机器学习中,随机森林由许多的决策树组成,因为这些决策树的形成采用了随机的方法,所以叫做随机森林.随机森林中的决策树之间是没有关联的,当测试数据进入随机森

paper 22:kl-divergence(KL散度)实现代码

这个函数很重要: function KL = kldiv(varValue,pVect1,pVect2,varargin) %KLDIV Kullback-Leibler or Jensen-Shannon divergence between two distributions.% KLDIV(X,P1,P2) returns the Kullback-Leibler divergence between two% distributions specified over the M vari

paper 154:姿态估计(Hand Pose Estimation)相关总结

Awesome Works  !!!! Table of Contents Conference Papers 2017 ICCV 2017 CVPR 2017 Others 2016 ECCV 2016 CVPR 2016 Others 2015 ICCV 2015 CVPR 2015 Others 2014 CVPR 2014 Others & Before Journal Papers Theses Datasets Challenges Other Related Papers Eval