推荐系统中的相似度度量

相似度计算是数据挖掘，推荐引擎中的最基本问题，例如在推荐系统(Recommender Systems，简称RSs)中计算带推荐物品(Item)相似度，或是用户(User)之间的相似度以期获得兴趣口味(Taste)相似的用户时，均需要使用到相似度计算技术。经常使用的相似度计算方式较多，且各有特点，以下就列出常用的相似度计算方式，原理，以及其优缺点。

相似度计算和距离计算是类似问题，之前粗略看了下Mahout(apache分布式数据挖掘项目)中的实现对各计算方式进行分析。结合在实际项目中的应用，介绍几类常用的距离计算公式。

Cosine

最常使用的相似度计算方法，而且总体效果较好，可以说是简单实用。数学描述如下：

其中是X的模。

例如，在推荐引擎中，使用 r_ui表示User u对Item i的打分，则可以使用u对各Item打的分数的向量作为User u的兴趣爱好，则User u和User v之间的cosine相似度计算方式为：

其中 I_ui 表示User u,v均投票了的item。

Cosine的几何意义为向量空间中，将待计算相似度的向量均归一化为长度为1的向量，所有被归一化后的向量 ov的v点坐标均落在以向量0为球心，半径为1的球面上，使用二向量的夹角度量二者相似度，夹角越小，相似程度越高。

在文本处理过程中，cosine度量方式表现效果都会比较好。

Mahout中参见CosineDistanceMeasure.java

Pearson Correlation

用于度量线性关系最常用的方法，定义为协方差，σ为标准差，则Pearson相关系数为：

例如，使用表示User u对Item的打分，则User u，v之间的相似度计算方式为：

其中表示User u,v均投票了的item，与COS的区别是考虑了投票的均值，且分母考虑的是User u,v共同投票的Item。

很多时候，针对User的PC要比针对Item的PC效果较好，因为针对User的PC相当于对各个用户的投票Scales做了一个中心化，避免各用户对相同Item投票时，因为投票习惯不一样而导致的差异。例如：投票分值分[1，5]档，有些人投4表示非常喜欢，而有些人会投5表述相同的喜好程度。

PC的缺点如下：

如任意User仅投票了一个元素，则无法使用该公式计算。
如任意User的每个投票分值均一样，则无法使用该公式计算。
计算时没有考虑投票的总数量，例如User u投票了200 Items，而v仅投票了2Items，则最后有可能还是v与待比较User近似。

另外PC也经常用作序列趋势的相近程度度量。在检索，推荐系统中经常需要考虑检索结果及推荐商品的季节因素，例如根据往年某一商品的季节特征，预测类似产品的接下来的流行程度。下图分别为检索词‘吴莫愁’，‘梁博’，‘滑雪’在过去3个月的搜索PV，使用PC度量，很容易得到检索词‘吴莫愁’与‘梁博’的相似度远远大于‘梁博’与‘滑雪’的相似度。