机器学习——谱聚类

谱聚类是基于谱图理论基础上的一种聚类方法,与传统的聚类方法相比:

  具有在任意形状的样本空间上聚类并且收敛于全局最优解的优点。
  通过对样本数据的拉普拉斯矩阵的特征向量进行聚类,从而达到对样本数据进行聚类的目的;

其本质是将聚类问题转换为图的最优划分问题,是一种点对聚类算法。
谱聚类算法将数据集中的每个对象看做图的顶点V,将顶点间的相似度量化为相应顶点连接边E的权值w,这样就构成了一-个基于相似度的无向加权图G(V,E),于是聚类问题就转换为图的划分问题。
基于图的最优划分规则就是子图内的相似度最大,子图间的相似度最小。其中,V代表所有样本的集合,E代表权重的集合

在这图里面,样本即是123456,他们之间的相似度量化为了权重

损失函数为1与5,3与4之间的权重

说实话,这么乱,我也懵,举个大栗子!

度矩阵就是邻接矩阵每一行的和放到对应的第(第几行)个位置。

L=D-W.

LX=λX,L是拉普拉斯矩阵,代表着关联程度。λ是特征值,第三步计算出特征值后,将特征值从小到大排序(因为特征值越小,关联程度越小,越容易划分类别,也就越容易聚类),将特征向量作为新的特征属性描述数据集,,画图丑了点,各位看官老爷将就看哈

原文地址:https://www.cnblogs.com/qianchaomoon/p/12129656.html

时间: 2024-10-10 13:55:41

机器学习——谱聚类的相关文章

简单易学的机器学习算法——谱聚类(Spectal Clustering)

一.复杂网络中的一些基本概念 1.复杂网络的表示 在复杂网络的表示中,复杂网络可以建模成一个图,其中,表示网络中的节点的集合,表示的是连接的集合.在复杂网络中,复杂网络可以是无向图.有向图.加权图或者超图. 2.网络簇结构 网络簇结构(network cluster structure)也称为网络社团结构(network community structure),是复杂网络中最普遍和最重要的拓扑属性之一.网络簇是整个网络中的稠密连接分支,具有同簇内部节点之间相互连接密集,不同簇的节点之间相互连接

【机器学习】--谱聚类从初始到应用

一.前述 谱聚类(spectral clustering)是一种基于图论的聚类方法,主要思想是把所有的数据看做空间中的点,这些点之间可以用边连接起来.距离较远(或者相似度较低)的两个点之间的边权重值较低,而距离较近(或者相似度较高)的两个点之间的边权重值较高,通过对所有数据点组成的图进行切图,让切图后不同的子图间边权重和尽可能的低,而子图内的边权重和尽可能的高,从而达到聚类的目的. 二.具体原理 1.优点谱聚类相较于前面讲到的最最传统的k-means聚类方法,谱聚类又具有许多的优点: 1.只需要

机器学习(6)之聚类算法(k-means\Canopy\层次聚类\谱聚类)

目录 1 聚类的定义 1.1 距离公式(相似度) 1.2 聚类的思想 2 K-means算法 2.1 K-means算法的思考 2.2 总结 3 二分K-Means算法 4 K-Means++算法 4.1 K-Means||算法 5 Canopy算法 5.1 应用场景 6 Mini Batch K-Means算法 7 层次聚类方法 7.1 AGNES算法中簇间距离 7.2 层次聚类优化算法 8 密度聚类 8.1 DBSCAN算法 8.1.1 基本概念 8.1.2 算法流程 8.1.3 DBSCA

理解矩阵及谱聚类小记

最近看了一些矩阵和谱聚类的知识,特在此简单记录一下.详细可以先看下参考文献. 首先看到的是孟岩写的三篇<理解矩阵>. 一:理解矩阵(一) 1:传统书籍空间的定义:存在一个集合,在这个集合上定义某某概念,然后满足某些性质",就可以被称为空间.孟的空间包含四点:(1). 由很多(实际上是无穷多个)位置点组成:(2). 这些点之间存在相对的关系:(3). 可以在空间中定义长度.角度:4.这个空间可以容纳运动,这里我们所说的运动是从一个点到另一个点的移动(变换),而不是微积分意义上的&quo

从拉普拉斯矩阵说到谱聚类

转载:http://blog.csdn.net/v_july_v/article/details/40738211   0 引言     11月1日上午,机器学习班第7次课,邹博讲聚类(PPT),其中的谱聚类引起了自己的兴趣,他从最基本的概念:单位向量.两个向量的正交.方阵的特征值和特征向量,讲到相似度图.拉普拉斯矩阵,最后讲谱聚类的目标函数和其算法流程.     课后自己又琢磨了番谱聚类跟拉普拉斯矩阵,打算写篇博客记录学习心得, 若有不足或建议,欢迎随时不吝指出,thanks. 1 矩阵基础

谱聚类

欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识!也可以搜索公众号:磐创AI,关注我们的文章. 作者:磐石 简述 图相关的符号符号 相似度矩阵S 拉普拉斯矩阵L性质 谱聚类算法 总结 一.简述 聚类是对探索性数据分析最广泛使用的技术,在现在各个科学领域中处理没有类标的数据时,人们总是想通过确定数据中不同样本的归类,来获取对数据的直观印象.传统的聚类方法有很多,像K-means,single linkage等,但是k

关于谱聚类的ng算法的实现

广义上讲,任何在学习过程中应用到矩阵特征值分解的方法均叫做谱学习方法,比如主成分分析(PCA),线性判别成分分析(LDA),流形学习中的谱嵌入方法,谱聚类等等. 由于科苑向世明老师课件上面关于ng的谱聚类算法里面与ng大神的论文中写到的算法中有所出入,导致昨天晚上调了一晚上的算法并没有调出满意的结果,今天在网上找到了ng大神的原始paper阅读一遍,虽然还是有很多不理解的地方,还是有了自己的见解.下面是ng算法的流程. 算法第一步先通过高斯函数计算出每个点与其他点的亲和度,与自己的亲和度为0,对

谱聚类--SpectralClustering

谱聚类一般会先对两两样本间求相似度, 然后根据相似度矩阵求出拉普拉斯矩阵,然后将每个样本映射到拉普拉斯矩阵特诊向量中,最后使用k-means聚类. scikit-learn开源包中已经有现成的接口可以使用,具体见 http://scikit-learn.org/dev/modules/generated/sklearn.cluster.SpectralClustering.html#sklearn.cluster.SpectralClustering 写了一个测试例子 构造二维空间样本点, #!

谱聚类算法

转载自:[聚类算法]谱聚类(Spectral Clustering) 1.问题描述 谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图(sub-Graph),使子图内部尽量相似,而子图间距离尽量距离较远,以达到常见的聚类的目的. 对于图的相关定义如下: 对于无向图G = (V,E),V表示顶点集合,即样本集合,即一个顶点为一个样本:E表示边集合. 设样本数为n,即顶点数为n. 权重矩阵:W,为n*n的矩阵,其值wi,j为