《推荐系统》--混合推荐、解释和评估

《Recommender System An Introduction》,第五章,混合推荐方法。

《Recommender System An Introduction》,第六章,推荐系统的解释。

《Recommender System An Introduction》,第七章,评估推荐系统。

混合推荐方法

如何进行混合推荐,要考虑两个问题:基础的推荐理论框架和系统的混合设计,也就是组合两个以上算法的方法。

推荐理论框架

推荐问题通常可以转换成效用函数rec,预测物品集合I中得物品i对整个用户级U中某个特定用户u的有用性。

效果指的是物品满足某种抽象目标的能力,比如最好地满足用户假定需求,或者是最大地提高零售商的转化率。因此,推荐算法的预测任务就是推算给定用户和物品的效用分数。

基于效用或基于知识的推荐系统,可以直接从先验的效用机制中得到效用分数值,而协同过滤方法根据群体的评分预测效用分数。

3种主要的推荐理论框架:

(1)协同过滤。协同过滤原理假设人以类聚,大家有着相似的行为,需求和偏好也差不多。协同推荐的任务就是确定相似的对等者,从他们喜欢的物品中得到推荐结果。

(2)基于内容的理论框架遵循“以不变应万变”的方法,根据用户过去喜欢的物品推荐相似的物品。

(3)基于知识的推荐,认为会有额外的信息源,即显式的个性化知识。

选择哪种推荐理论框架决定了要输入数据的类型:

理论框架 用户记录和上下文参数 群体数据 产品特征 知识模型
协同过滤
基于内容
基于知识

混合设计

这是混合算法的第二个特点,可以概括成三种基本设计思路:整体式、并行式、流水线式。

关于混合设计,既有一些加权算法或者其他计算方法的支撑,也有很多基于浅层混合上的理解,很多情况,可以从从实际场景出发,从浅层的基于补充层面的混合开始,逐步加深。

推荐系统的解释

解释是一种在沟通过程中进行交流的信息。

为什么推荐系统需要给出解释:卖家想要宣传特定的产品,而买家则比较关心做出正确的购买决策。解释是一项重要的信息,可以帮助两者在交流过程中提高各自的业绩和效率。

从实用角度来看,在推荐过程中提供解释的主要目的可以列举如下:

(1)透明性

(2)正确性

(3)可信度

(4)说服力

(5)有效性

(6)效率

(7)满意度

(8)关联度

(9)可理解性

(10)教育

以下几个因素会影响到推荐系统在与接受方沟通时的解释生成:

(1)需要解释的信息项

(2)提供(接受)解释的目的

(3)接受方的模型,包括其行为与知识

(4)沟通的状态,指交换的信息,包括提供的推荐

在基于约束、基于实例、协同过滤的推荐系统中,对于解释,都有各自的比较标准的解释方法,基于时间的原因,具体的、详细的内容,这次看书的过程先略过,留待下一步,如果有机会。

评估推荐系统

推荐系统通常采用离线实验进行评估,设法用已有的交易数据集来估计推荐结果的预测误差。有人指出这种方法有局限,也有人认为推荐系统的质量根本就不可直接衡量,因为有太多不同的目标函数。

不管怎样,推荐系统已在广泛应用,必须要有科学的方法实际准确地评估其对于用户的真实效果和作用。

本节介绍了一些评估公式,考虑了实验对象、研究方法、环境,重点讨论了如何在历史数据集上进行实验评估,并讨论了衡量推荐结果准确率或覆盖率的不同方法以及衡量指标。

在实际的生产中,我们很少采用这些实验室方法,而是用真实、客观的结果数据,进行A/B测试评估推荐的效果。

时间: 2024-10-09 17:06:10

《推荐系统》--混合推荐、解释和评估的相关文章

【读书笔记】《推荐系统(recommender systems An introduction)》第五章 混合推荐方法

第五章 混合推荐方法 推荐问题可以转换成效用函数,函数的输入为用户和物品,输出为用户和物品的效用--效用是指物品满足某种抽象目标的能力,如:满足用户某方面的需求.或者是满足零售转化率.等等 任何一个推荐系统都是从众多物品中选取N个物品,使得这N个物品的效用总和最大 1. 整体式混合设计 从最底层的特征开始考虑整合 1.1 特征混合方案 如果有多种特征可以用,例如:用户浏览.点击.搜索.购买.等行为,要预测用户下一步要购买什么,显然搜索和购买行为比浏览.点击行为更加重要.对于不同重要性的特征的利用

推荐系统-01-电影推荐与结果评估

import spark.sql import org.apache.spark.sql.types._ import org.apache.spark.mllib.recommendation.ALS import org.apache.spark.mllib.recommendation.MatrixFactorizationModel import org.apache.spark.mllib.recommendation.Rating // 数据预处理 case class Movie(

推荐系统--揭开推荐的神奇面纱

开篇 先推荐几篇关于推荐的文章,个人感觉对于入门非常有实际意义,是IBM的project师写的,例如以下: 探索推荐引擎内部的秘密,第 1 部分: 推荐引擎初探 探索推荐引擎内部的秘密,第 2 部分: 深入推荐引擎相关算法 - 协同过滤 探索推荐引擎内部的秘密,第 3 部分: 深入推荐引擎相关算法 - 聚类 推荐两本书,例如以下: 项亮:<推荐系统实践> 蒋凡:<推荐系统> 推荐系统是什么 推荐,就是把你可能喜欢的商品,推到你的面前.构建一个推荐系统,就是构建怎样把商品推到你面前的

基于欧式距离定义相似度推荐算法的评估

/* * 这段程序对于基于欧式距离定义相似度的评估 * */ package byuser; import java.io.File; import org.apache.mahout.cf.taste.common.TasteException; import org.apache.mahout.cf.taste.eval.RecommenderBuilder; import org.apache.mahout.cf.taste.eval.RecommenderEvaluator; impor

推荐系统的混合加权技术研究

在推荐系统实际运用中,各种混合技术是其中一项极为重要的核心技术.在工程实践中我们发现,混合技术对提升推荐效果.改进推荐系统的性能等都有重要意义,因此本文对该专题进行如下的一些总结和介绍. 引言 在这个信息爆炸的时代,消费者面临众多选择.未知的领域.过载的信息时,往往无所适从:然而与此同时,内容的生产者(例如商家)也在苦苦寻觅合适的用户,寻找最便捷的渠道,而解决这两类矛盾的最好工具就是推荐系统. 推荐系统缘起于搜索系统,在底层系统上两者有大量相通的技术,但是在相应用户需求和产生应用的场景上,推荐系

新闻推荐系统:基于内容的推荐算法(Recommender System:Content-based Recommendation)

因为开发了一个新闻推荐系统的模块,在推荐算法这一块涉及到了基于内容的推荐算法(Content-Based Recommendation),于是借此机会,基于自己看了网上各种资料后对该分类方法的理解,用尽量清晰明了的语言,结合算法和自己开发推荐模块本身,记录下这些过程,供自己回顾,也供大家参考~ 目录 一.基于内容的推荐算法 + TFIDF 二.在推荐系统中的具体实现技巧 正文 一.基于内容的推荐算法 + TFIDF 主流推荐算法大致可分为: 基于内容(相似度)的推荐 基于用户/物品相似度的协同过

基于模糊聚类和协同过滤的混合推荐系统

Hybrid Recommender System based on Fuzzy Clustering and Collaborative Filtering 给出题目,想找的话直接在ElsevierSD里下载即可. 并不是逐句翻译,一些简单的背景比如经济啦什么的直接忽略,不过笔者会在博文里点出来. 一二三这样的标题是原论文的题目,我没翻译,为以后自己写英文论文做准备,以1234这样的标题开始的内容是笔者自己加上去的,就是我的笔记. 我自己把握不准的或者比较精妙的局段,都有英文原文留下,分段也被

【推荐系统论文笔记】个性化推荐系统评价方法综述(了解概念——入门篇)

Overview of  the Evaluated Algorithms for the Personal Recommendation Systems   顾名思义,这篇中文论文讲述的是推荐系统的评价方法,也就是,如何去评价一个推荐系统的好与不好. 引言 1.个性化推荐系统通过建立用户与产品之间的二元关系 ,利用用户已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象 ,进而进行个性化推荐 ,其本质就是信息过滤. 2.一个完整的推荐系统由3部分组成: 收集用户信息的行为记录模块: 分析用户

【读书笔记】《推荐系统(recommender systems An introduction)》第八章 案例分析:移动互联网个性化游戏推荐

对于在线商店,主要关心两方面:1. 提升转化率(将不消费的用户转变为消费用户):2. 提升消费额(已经花钱的人,花更多的强) 实验场所是移动互联网的一个网站,用户可以用移动设备来访问,并下载app(游戏和应用).有些app免费,有些收费.作者利用这个实验环境对比了集中推荐算法的效果. 对比了6种方法: 1. 协同过滤:2. slope one:3. 基于内容的推荐:4. 混合推荐:5. top rating(按照评分排序):6. 按照销量排序 这一章只是实验数据的罗列,没有太值得记的地方,实验效