推荐系统常用测评指标

摘要:

  1.用户满意度

    在线测评方法

  2.预测准确率

    2.1评分预测

    2.2TopN推荐

  3.覆盖率(coverage)

  4.多样性

  5.新颖性  

内容:

1.用户满意度

   在线测评方法:主要通过用户行为的统计(点击,停留时间,转化率)或者通过用户反馈(满意,不满意)

  2.预测准确率

    2.1评分预测

   定义:预测用户对物品的评分的行为

   指标:
    均方根误差(RMSE):

    

    平均绝对误差(MAE):

    

   其中Rui是用户u对物品i的实际评分,hat(Rui)是推荐系统预测的用户u对物品i的预测评分;|T|是总记录数

    2.2TopN推荐

   定义:TopN推荐是通过给用户一个前N个喜好物品的推荐列表,TopN推荐的预测率一般通过准确率(precision)/召回率(recall)度量

   指标:

    准确率:

    

    召回率:

     

    其中R(u)是根据用户在训练集中的行为给出的推荐列表,T(u)是根据用户在测试集中的行为给出的推荐列表

    预测率:

     rate = Precision / Recall

  3.覆盖率(coverage)

   定义:度量了一个推荐系统挖掘长尾商品的能力

   指标:

    指标1:

    

    其中U是用户集合,I是物品集合,R(u)是为用户u推荐的N个物品的集合

    统计分布的指标:

    信息熵:

    ,其中p(i)是物品i的流行度比上所有物品的流行度

    基尼系数:

    其中p(Ij)是降序的物品流行度字典的第j个物品的流行度

      

  4.多样性(Diversity)

    定义:推荐系统中物品两两之间的不相似性

    指标:

     用户u的推荐列表R(u)的多样性:

      ,其中s(i,j)是物品i,j的相似度

     推荐系统的整体多样性:

     ,即所有用户推荐列表多样性的平均值

  5.新颖性

      定义:给用户推荐以前没有接触过的物品的度量

      指标:平均流行度(越高,新颖性越低)

我的python代码:https://github.com/Tongzhenguo/Python-Project/tree/master/recommendsys/measurement_index

时间: 2024-08-03 18:50:04

推荐系统常用测评指标的相关文章

07-01 推荐系统常用度量指标

目录 推荐系统常用评估指标 一.RMSE 二.MAE 三.Precision(准确率)&Recall(召回率) 四.覆盖率 五.信息熵 六.基尼系数 七.多样性 八.获取各种评测指标的途径 九.长尾分布 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ 推荐系统常用评估指标 一.RMSE 加大了对预测不准的用户物品评分的惩罚. \[ \text{RMSE}=\s

必知-网站常用度量指标(2/2)

有好友对我说,你的文章太书面了,定义太多了,理解门槛太高了,会导致很多读者只是点开看看,哎,有这么一个东西,挺好挺好,但不会细读.我当时这么回复他:"有些书是给看懂的人阅读的,有些书是给最广泛的群体阅读的."西蒙认为,知识体系是有门槛的,比如相对论的学术体系,看懂的人真的不多.产品经理的职业目前鱼目混杂,耐不住寂寞,经不住诱惑,浮躁的心太多.这个职业的种种乱象是因为产品经理这个职业并没有一个标准的知识体系手册.西蒙没有大才,只希望在这个博客中写一些东西,为这个标准的知识体系做一些微薄的

大数据算法-&gt;推荐系统常用算法之基于内容的推荐系统算法

港真,自己一直非常希望做算法工程师,所以自己现在开始对现在常用的大数据算法进行不断地学习,今天了解到的算法,就是我们生活中无处不在的推荐系统算法. 其实,向别人推荐商品是一个很常见的现象,比如我用了一个好的商品,向朋友安利之类的.在以前广告系统不发达的时候,我们也是靠口口相传来进行商品的推广.那么为什么,现在推荐系统变的非常重要了呢?,在以前,我们的商品不像现在的物品一样琳琅满目,我们有时间,可以把商品都浏览一遍在进行选择,因为我们都想选择所有商品中最好的,而现在,由于资源的众多,我们不会用大把

推荐系统索引目录

常见的推荐引擎算法: 基于近邻的算法:推荐算法-协同过滤      基于内容的算法:基于内容的推荐(Content-based Recommendations) -- 现在也是在做这部分工作,主要还是使用传统的计算相似度的方法 基于标签的算法:<推荐系统实践>中第四章:利用用户数据标签 考虑时间因素和地理因素 基于模型(矩阵分解)的算法: 推荐系统的评测:推荐系统常用测评方法和指标 冷启动与(新)用户引导:推荐系统 新用户引导 常见推荐算法的对比:<推荐系统实践>

推荐系统/广告系统索引目录

常见的推荐算法: 基于规则的推荐:排行榜,最新最热 基于近邻的算法:推荐算法-协同过滤 基于内容的算法:基于内容的推荐(Content-based Recommendations) -- 现在也是在做这部分工作,主要还是使用传统的计算相似度的方法 基于标签的算法:<推荐系统实践>中第四章:利用用户数据标签 考虑时间因素和地理因素 基于模型(矩阵分解)的算法:als 社交网络的好友推荐:数据挖掘系列篇(20):社交网络SNS的好友推荐算法 深度学习中对ui对做词嵌入 推荐系统的评测:推荐系统常用

【推荐算法工程师技术栈系列】推荐系统--数据效果与评估

目录 推荐系统上线的基本条件 AB实验 功能列表 数据指标 覆盖率 AUC及gAUC 指标展示 指标监控 人工评测 附录 推荐系统上线的基本条件 一个新的推荐算法最终上线,需要完成上面所说的3个实验: (1)首先,需要通过离线实验证明它在很多离线指标上优于现有的算法: (2)然后,需要通过用户调查(或内部人工评测)确定它的用户满意度不低于现有的算法: (3)最后,通过在线等AB测试确定它在我们关心的指标上优于现有的算法. AB实验 (1)AB test 的好处是显而易见的,可以公平获得不同算法实

推荐系统学习之评测指标

转自 http://blog.csdn.net/sinat_33741547/article/details/52704986 最近开始学习推荐系统,特记录一下学习过程并做个分享.推荐系统是什么不用多说,这里先介绍一下推荐系统的各种评测指标.1.用户满意度这个指标应该是最能体现一个推荐系统好坏的指标,但获取只能通过用户在线的反馈,类似用户问卷调查,或者用户对推荐物品的行为,比如购买.收藏.评分等判别.2.预测准确度在离线预测用户行为的评价上,这个指标相当重要.在统计学习中,也就是根据训练数据集学

推荐系统实践

推荐系统测评  实验方法 离线实验:准备训练数据测试数据并评估: 用户调查:问卷方式.和用户满意度调查 在线实验:AB测试:AB测试是一种很常用的在线评测算法的实验方法.它通过一定的规则将用户随机分成几组, 并对不同组的用户采用不同的算法,然后通过统计不同组用户的各种不同的评测指标比较不同算 法,比如可以统计不同组用户的点击率,通过点击率比较不同算法的性能. 测评指标: 用户满意度 预测准确度:预测准确度度量一个推荐系统或者推荐算法预测用户行为的能力.这个指标是最重要的推荐系统离线评测指标 评分

推荐系统的评测方法

推荐系统是由一个或者多个算法和策略组成的这样一个系统,其商业价值在于实现产品提供者.产品用户以及推荐平三者的利益共赢.无论从算法的角度还是从商业的角度,效果好不好都是我们所关心的问题,所以实践者们对推荐系统系统提出了各种各样的评测指标来衡量其优劣性和适用性. 在介绍这些评测指标之前,我们先要知道一般会用什么样的方式获得评测指标.在推荐系统中,主要有三种实验方式,用以获得不同的指标,分别是离线实验(offline experiment).用户调查(user study)和在线实验(online e