Dynamic Label Propagation for Semi-supervised Multi-class Multi-label Classification
ICCV 2013
在基于Graph的半监督学习方法中，分类的精度高度依赖于可用的有标签数据 和 相似性度量的精度。此处，本文提出一种半监督的 multi-class and multi-label 分类机制，Dynamic Label Propagation（DLP），是在一个动态的过程中传递，执行 transductive learning。现有的半监督方法一般都很难处理多标签/多分类问题，因为缺乏考虑标签的关系；本文所提出的方法重点强调动态度量和标签信息的融合。
监督的度量学习方法经常学习马氏距离（Mahalanobis distance），努力缩小相同标签之间的距离，与此同时，尽可能保持或者拉大不同标签图像的距离。基于Graph的监督学习框架利用少量的有标签信息去挖掘大量的无标签数据的信息。Label Propagation 具体的认为在一个Graph中通过信息传递，有较大相似性的由边链接的点趋于拥有相同的标签。另外一种类型的办监督学习方法， 协同训练（Co-training），利用多视角特征来相互帮助，拉进无标签数据来重新训练并且增强分类器（by pulling out unlabeled data to re-train and enhance the classifiers）。
上述方法一般都是用来处理二分类问题，对于多分类/多标签问题，标签传递算法就有问题了，需要一些额外的操作。一种通用的处理多分类和多标签学习的方法是利用 one vs all 的策略。但是，不足之处是，不同类别之间的关系无法完全处理。有了类别之间的关系，分类的效果会明显提升。
本文中，我们提出了一种新的，DLP 来同时处理多标签/多分类问题。将标签关系 和 示例相似性 （label correlations and instance similarities）结合成一种新的执行标签传递的方式。The intuition in DLP 是通过融合多标签/多分类信息从而动态的更新相似性度量，可以在一个概率框架中进行理解。KNN矩阵 用来存贮输入数据的内在结构。
Review： Label Propagation
给定一个有限的加权图 G = (V, E, W), 该图的顶点为每一个样本，构成结合 X = {xi, i = 1...n}，边E的集合为：V*V，非负的对称权重函数 W：E->[0, 1]。若样本 xi xj 之间有边相连，则认为 W（i，j）>0。我们将权重函数W（i, j）作为样本xi xj的相似性度量。如果定义在图上的度量矩阵为：
其中，h(x) = exp(-x)，分母中的两个参数为超参数，/delta is learned by the mean distance to K-nearest neighborhoods（到K近邻的平均距离？？？此处不太理解）。
一个很自然的关于顶点V的转移矩阵可以定义为归一化权重矩阵：
所以 Σj∈V P（i, j）=1。Note: P在归一化之后变为对称。
将数据集表为 X = {Xl U Xu}, Xl 表示有标签数据 Xu表示无标签数据。在标签传递的过程中，很重要的一环是：clamping，即：每次迭代后，都要将有标签数据的label重置，这是要排除干扰，因为这些有标签的数据并不需要propagation，所以只要有变动，就要重置回来。对于二分类的LP,作者建议读相关参考文献，对于多分类问题，1-of-C，所以标签矩阵是：Y = [Y(l), Y(u)]；n 是数据点的个数，C是类别数。Y（l）是有标签数据的标签矩阵，Y（u）是无标签数据的标签矩阵。设置 Y（l）(i, k) = 1, 如果xi被标注为类别k，否则就是0.在迭代的过程中，迭代的执行两列两个步骤：
1. Labels are propagated Yt = P * Yt-1.
2. Labels of labeled data Xl are reset.
算法主要流程如下：
Dynamic Label Propagation:
s