【转】关于Mahalanobis距离的笔记

Mahalanobis距离是用来度量一个点P和一个分布D之间的距离,它是衡量点P与分布D的均值之间存在多少个标准差的一个多维泛化版本。

如果P就位于分布D的均值处,则该距离为0;该距离随着P的偏离均值开始逐步增大。

由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的,表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。 对于一个均值为协方差矩阵的多变量向量,其马氏距离为

马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为的随机变量的差异程度:

如果协方差矩阵为单位矩阵,马氏距离就简化为欧氏距离;如果协方差矩阵为对角阵,其也可称为正规化的欧氏距离

其中标准差

来源: <https://zh.wikipedia.org/zh/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB>

mahalanobis距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化,形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。
换句话说,主成分分析就是把椭球分布的样本改变到另一个空间里,使其成为球状分布。而mahalanobis距离就是在样本呈球状分布的空间里面所求得的Euclidean距离。
当然,上面的解释只是对椭球分布而言,对一般分布,只能消除分布的二阶相关性,而不能消除高阶相关性。

来源: <http://blog.csdn.net/luoleicn/article/details/6324266>

时间: 2024-07-31 13:08:54

【转】关于Mahalanobis距离的笔记的相关文章

Mahalanobis距离(马氏距离)的“哲学”解释

讲解教授:赵辉 (FROM : UESTC) 课程:<模式识别> 整理:PO主 基础知识: 假设空间中两点x,y,定义: 欧几里得距离, Mahalanobis距离, 不难发现,如果去掉马氏距离中的协方差矩阵,就退化为欧氏距离.那么我们就需要探究这个多出来的因子究竟有什么含义. 第一个例子 从下往上的一段50米长的坡道路,下面定一个A点,上面定B一个点.假设有两种情况从A到B: a)坐手扶电梯上去. b)从手扶电梯旁边的楼梯爬上去. 两种情况下我们分别会产生两种不同的主观感受,坐电梯轻松愉快,

马氏距离(Mahalanobis distance)

马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的,表示数据的协方差距离.它是一种有效的计算两个未知样本集的相似度的方法.与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度. 对于一个均值为,协方差矩阵为Σ的多变量矢量,其马氏距离为 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的

算法笔记-DTW动态时间规整

算法笔记-DTW动态时间规整 简介 简单的例子 定义 讨论 约束条件 步模式 标准化 点与点的距离函数 具体应用场景 分类 点到点匹配 算法笔记-DTW动态时间规整 动态时间规整/规划(Dynamic Time Warping, DTW)是一个比较老的算法,大概在1970年左右被提出来,最早用于处理语音方面识别分类的问题. 1.简介 简单来说,给定两个离散的序列(实际上不一定要与时间有关),DTW能够衡量这两个序列的相似程度,或者说两个序列的距离.同时DTW能够对两个序列的延展或者压缩能够有一定

聚类学习笔记——kmeans

kmeans是数据挖掘领域最为常用的聚类方法之一,最初起源于信号处理领域.它的目标是划分整个样本空间为若干个子空间,每个子空间中的样本点距离该空间中心点平均距离最小.因此,kmeans是划分聚类的一种. 方法简单易懂,也很有说服力.但,不幸的是,这是一个NP-hard问题. 首先来看一下NP问题.NP即Non-Deterministic polynomial,非确定性多项式.这里隐含着两个概念,即多项式问题及非确定性问题. 众所周知,一个问题的复杂度是该问题的实例规模n的多项式函数,因此可以在多

R与数据分析旧笔记(十二)分类

分类:分类的意义 分类:分类的意义 传统意义下的分类:生物物种 预测:天气预报 决策:yes or no 分类的传统模型 分类(判别分析)与聚类有什么差别 ? 常见分类模型与算法 线性判别法 距离判别法 叶贝斯分类器 决策树 支持向量机(SVM) 神经网络 线性判别法(Fisher) 例子:天气预报数据 > G=rep(c(1,2),c(10,10))> G [1] 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2> x1=c(-1.9,-6.9,5.2,5

Tanimoto相似度与Bregman距离

之前写过一篇距离与相似性度量的blog,这里添加两个少见的相似性度量方法,并且再扩展一些东西. 之前的blog: http://blog.csdn.net/ice110956/article/details/14143991 Tanimoto 系数 Tanimoto系数由Jaccard系数扩展而来.首先引入Jaccard系数. Jaccard系数 两个特征向量A,B,如果其值都是0,1的二值数据,那么有一个简单的判定相似性的方法: F00 = A中为0并且B中也为0的个数 F10 = A1 B0

神经网络与机器学习——基本框架学习

2016年8月6日, 星期六 神经网络的性质与能力: 非线性与线性,非线性是很重要的特性 输入输出映射(映射真是个有趣的概念,比如矩阵也可以看作映射) 自适应性(调整神经元的权值以适应环境变化,也就是自动调参) 能够上下文信息 容错性(可以理解为参数的冗余来保证正常工作) 证据响应,不仅提供决策选择,也可以提供置信度的信息(用于拒判哪些可能出现的模糊的模式,改善分类性能) VLSI实现(高度分层的方式,最近IBM好像出了个芯片) 分析与设计的一致性(作为信息处理器具有通用性质) 神经生物类比 神

CV:object detection(Haar)

一. Haar分类器的前世今生 人脸检测属于计算机视觉的范畴,早期人们的主要研究方向是人脸识别,即根据人脸来识别人物的身份,后来在复杂背景下的人脸检测需求越来越大,人脸检测也逐渐作为一个单独的研究方向发展起来. 目前的人脸检测方法主要有两大类:基于知识和基于统计. "基于知识的方法主要利用先验知识将人脸看作器官特征的组合,根据眼睛.眉毛.嘴巴.鼻子等器官的特征以及相互之间的几何位置关系来检测人脸.基于统计的方法则将人脸看作一个整体的模式--二维像素矩阵,从统计的观点通过大量人脸图像样本构造人脸模

opencv支持的机器学习算法

CXCORE库: Mahalanobis距离: K均值: CV库: 人脸检测/Haar分类器 ML库: 正态朴素贝叶斯分类器: 决策树: Boosting: 随机森林: EM算法: K近邻(KNN): 神经网络/多层感知器: 支持向量机(SVM):