Stanford机器学习笔记-9. 聚类(Clustering)

9. Clustering

Content

　　9. Clustering

　　　　9.1 Supervised Learning and Unsupervised Learning

　　　　9.2 K-means algorithm

　　　　9.3 Optimization objective

　　　　9.4 Random Initialization

　　　　9.5 Choosing the Number of Clusters

9.1 Supervised Learning and Unsupervised Learning

我们已经学习了许多机器学习算法，包括线性回归，Logistic回归，神经网络以及支持向量机。这些算法都有一个共同点，即给出的训练样本自身带有标记。比如，使用线性回归预测房价时，我们所使用的每一个训练样本是一个或多个变量(如面积，楼层等)以及自身带有的标记即房价。而使用Logistic回归，神经网络和支持向量机处理分类问题时，也是利用训练样本自身带有标记即种类，例如进行垃圾邮件分类时是利用已有的垃圾邮件(标记为1)和非垃圾邮件(标记为0)，进行数字识别时，变量是每个像素点的值，而标记是数字本身的值。我们把使用带有标记的训练样本进行学习的算法称为监督学习(Supervised Learning)。监督学习的训练样本可以统一成如下形式，其中x为变量，y为标记。

显然，现实生活中不是所有数据都带有标记(或者说标记是未知的)。所以我们需要对无标记的训练样本进行学习，来揭示数据的内在性质及规律。我们把这种学习称为无监督学习(Unsupervised Learning)。所以，无监督学习的训练样本如下形式，它仅包含特征量。

图9-1形象的表示了监督学习与无监督学习的区别。图(1)表示给带标记的样本进行分类，分界线两边为不同的类(一类为圈，另一类为叉)；图(2)是基于变量x1和x2对无标记的样本(表面上看起来都是圈)进行聚类(Clustering)。

图9-1 一个监督学习与无监督学习的区别实例

无监督学习也有很多应用，一个聚类的例子是：对于收集到的论文，根据每个论文的特征量如词频，句子长，页数等进行分组。聚类还有许多其它应用，如图9-2所示。一个非聚类的例子是鸡尾酒会算法，即从带有噪音的数据中找到有效数据(信息)，例如在嘈杂的鸡尾酒会你仍然可以注意到有人叫你。所以鸡尾酒会算法可以用于语音识别(详见wikipedia)。

quora上有更多关于监督学习与无监督学习之间的区别的讨论。

图9-2 一些聚类的应用

9.2 K-means algorithm

聚类的基本思想是将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个"簇"(cluster)。划分后，每个簇可能有对应的概念(性质)，比如根据页数，句长等特征量给论文做簇数为2的聚类，可能得到一个大部分是包含硕士毕业论文的簇，另一个大部分是包含学士毕业论文的簇。

K均值(K-means)算法是一个广泛使用的用于簇划分的算法。下面说明K均值算法的步骤：

随机初始化K个样本(点)，称之为簇中心(cluster centroids)；
簇分配: 对于所有的样本，将其分配给离它最近的簇中心；
移动簇中心：对于每一个簇，计算属于该簇的所有样本的平均值，移动簇中心到平均值处；
重复步骤2和3，直到找到我们想要的簇（即优化目标，详解下节9.3）

图9-3演示了以特征量个数和簇数K均为2的情况。

图9-3 K均值算法的演示

通过上述描述，下面我们形式化K均值算法。

输入：

K (number of clusters)
Training set , where (drop convention)

算法:

Randomly initialize K cluster centroids

Repeat {

for i = 1 to m

:= index (from 1 to K ) of cluster centroid closest to

for k = 1 to K

:= average (mean) of points assigned to cluster

}