在模式识别中,我们会考虑到距离distance的问题,就是一个样本和另一个样本在空间中的距离。根据距离的大小来判断分类。那么,也存在这样的一类问题:我们只知道空间中的点(样本)的距离,那么怎么来重构这些点的相对位置呢?
显然欧式距离是最直观的距离,那么我们就会想使用欧式距离来进行计算重构,我们还希望能够在不同维度上进行重构,比如2维或者3维。
怎么做?
有这么个解决方法叫做MDS 全称为 Multidimensional Scaling。
下面Step By Step介绍MDS如何来求解这个问题。
Step 1:问题重述
我们有这么一个距离矩阵,我们通过这个矩阵计算出点的相对位置矩阵X,使得通过X反过来计算距离矩阵与原距离矩阵D差距最小。所以这是一个最优化问题。
大家可以看wikipedia上的问题描述,这里直接截图好了:
Step 2:通过矩阵的方法求解
大家也看到wiki最后说的solution用eigendecompositions 就是特征值分解。
这里就详细说明一下是怎么做的。
转4张MDS的ppt(来源于自己上课老师的ppt):
解释一下其实很简单:
1)构造了一个矩阵T,然后发现T这个矩阵可以完全由D计算出来
2)T这个矩阵可以做分解啊,那么里面特征值如果大于等于0,就可以开根号。
看这个公式:
U是特征向量,中间那个是特征值的矩阵。
这样的话X就能由选取的几个特征值和特征向量重构出来(这同时也是一种降维的方式)
Step 3:具体Matlab实现
直接转了上课给的例子,例子是知道英国几个城市的相对距离,重构出其相对位置。
Matlab代码:
clc; clear all; close all; %distance matrix for: London, Cardiff, Birmingham, Manchester, York, and %Glasgow. d=[0,411,213,219,296,397;... 411,0,204,203,120,152;... 213,204,0,73,136,245;... 219,203,73,0,90,191;... 296,120,136,90,0,109;... 397,152,245,191,109,0]; n=size(d,1); t=zeros(n,n); for i=1:n for j=1:n t(i,j)=-0.5*(d(i,j)^2 -1/n*d(i,:)*d(i,:)‘ -1/n*d(:,j)‘*d(:,j) +1/n^2*sum(sum(d.^2))); end end [V,D] = eig(t) X=V(:,1:2)*D(1:2,1:2).^(1/2); scatter(-X(:,2),X(:,1)); axis([-300,300,-300,300]);
Matlab得到的效果:
OK,MDS就这样吧!
时间: 2024-10-25 22:09:15