DNN个性化推荐模型

0 推荐技术

1)协同过滤:

(1)基于user的协同过滤:根据历史日志中用户年龄,性别,行为,偏好等特征计算user之间的相似度,根据相似user对item的评分推荐item。缺点:新用户冷启动问题和数据稀疏不能找到置信的相似用户进行推荐。

(2)基于item的协同过滤:根据item维度的特征计算item之间的相似度,推荐user偏好item相似的item。

(3)基于社交网络:根据user社交网络亲密关系,推荐亲密的user偏好的item。

(4)基于模型:LR模型,user和item等维度特征输入给模型训练,label是show:clk,根据预估的pctr进行推荐。DNN模型:见下面。

2)基于内容的过滤:抽取item的有意义描述特征,推荐user偏好item相似度高的item,个人觉得像基于item的过滤。

3)组合推荐:根据具体问题,组合其它几种技术进行推荐。

1 DNN推荐模型

1)特征工程:

用户维度:用户id,性别,年龄和职业。

电影维度:电影id,类型和名称。

2)模型设计:

user和item维度特征embedding,各自的全连接网络结构,最顶层是两个维度网络结构的cosin距离代表相似度。所以为user推荐相似度高的item。

(1) user维度的网络结构,分别将四个特征embedding,并输入全连接层;再将四个全连接输入到全连接层,并定义激活函数为tanh(代码为paddle开源工具)。

(2)item维度网络结构,同user维度一样,分别将三个特征embedding后输入全连接层,再相加输入全连接层(注意title用了cnn)。

(3)最顶层将user和item连接,cosin距离代表了user和item的相似度,并且损失函数为mse。

2 youtube推荐模型

1)大规模推荐的系统由于数据量太大,不能直接进行全连接的排序,所以一般大致分为两个阶段:百万级到百级的触发过滤出一部分,再进行细致排序截断阶段。

2)百万级到百级的触发过滤,模型采用MLP,训练时softmax做多分类,预测时计算与所有视频的相似度,取top K个视频。我认为label可以是show:clk,类似于LR进行模型推荐。

3)排序截断阶段:网络结构与触发阶段一样,只是最顶层是LR,做排序;特征工程方面可以更细致,比如视频ID,上次点击时间等等。

参考:https://github.com/PaddlePaddle/book/tree/develop/05.recommender_system

时间: 2024-09-30 18:47:43

DNN个性化推荐模型的相关文章

千人千面、个性化推荐,解读数据赋能商家背后的AI技术

12月6-7日,由阿里巴巴集团.阿里巴巴技术发展部.阿里云云栖社区联合主办,以"2016 双 11 技术创新"为主题的阿里巴巴技术论坛,来自商家事业部的技术总监魏虎给大家分享了数据赋能商家背后的AI技术.首先对大数据和人工智能进行了简要介绍,接着着重分析了客户运营平台,包括实时分群算法.match和rank框架以及千人千面技术,最后讲解了千牛头条.服务市场和智能客服中AI技术的应用. 背景介绍 大数据 大数据主要有四个特征:Volume(大量).Value(价值).Velocity(速

产品学习之个性化推荐和热度算法详解

今日头条的走红带动了"个性化推荐"的概念,自此之后,内容型的产品,个性化算法就逐渐从卖点变为标配. 伴随着"机器学习","大数据"之类的热词和概念,产品的档次瞬间提高了很多.而各种推荐算法绝不仅仅是研发自己的任务,作为产品经理,必须深入到算法内部,参与算法的设计,以及结合内容对算法不断"调教",才能让产品的推荐算法不断完善,最终与自己的内容双剑合璧. 本文以新闻产品为例,结合了我之前产品从零积累用户的经验,整理了作为PM需要了

闲聊DNN CTR预估模型

原文:http://www.52cs.org/?p=1046 闲聊DNN CTR预估模型 Written by b manongb 作者:Kintocai, 北京大学硕士, 现就职于腾讯. 伦敦大学张伟楠博士在携程深度学习Meetup[1]上分享了Talk<Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction in Display Ads>.他在2016 ECIR发表

从风险管理的角度来看是否须要个性化推荐

一  背景 1.现今 ,个性化技术被广泛用于推荐系统 . 特别是基于用户的偏好数据进行个性化预測的 协同过滤算法,已被证是实际可行的.然而 在某种程度上我们并不知道个性化推荐是否总是 能优于非个性化推荐.<Performance of recommender algorithms on top-n recommendation tasks>已证实基于热门的推荐也有相当好的效果.下图是Bayesian personalized ranking 和 popularity-based 推荐算法的结果

【推荐系统论文笔记】个性化推荐系统评价方法综述(了解概念——入门篇)

Overview of  the Evaluated Algorithms for the Personal Recommendation Systems   顾名思义,这篇中文论文讲述的是推荐系统的评价方法,也就是,如何去评价一个推荐系统的好与不好. 引言 1.个性化推荐系统通过建立用户与产品之间的二元关系 ,利用用户已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象 ,进而进行个性化推荐 ,其本质就是信息过滤. 2.一个完整的推荐系统由3部分组成: 收集用户信息的行为记录模块: 分析用户

CSDDN特约专稿:个性化推荐技术漫谈

本文引自http://i.cnblogs.com/EditPosts.aspx?opt=1 如果说过去的十年是搜索技术大行其道的十年,那么个性化推荐技术将成为未来十年中最重要的革新之一.目前几乎所有大型的电子商务系统,如Amazon.CDNOW.Netflix等,都不同程度地使用了各种形式的推荐系统.而近来以“发现”为核心的网站正开始在互联网上崭露头角,比如侧重于音乐推荐的八宝盒,侧重于图书推荐的豆瓣等等. 那么,一个好的推荐系统需要满足什么目标呢?个性化推荐系统必须能够基于用户之前的口味和喜好

互联网广告的个性化推荐平台设计--相关知识

人群分类模型 根据用户人群数据记录,建立人群属性分类模型,根绝用户特点,将用户标记为特定类别.据此进行精准定向服务,并进行效果评估.主要分类方法: 1.采用模糊数学综合判定理论,构建关系矩阵,判定类别属性的映射关系.采样真实数据,模拟真实数据分布,统计属性取值的概率分布,作为概率的估计值,另外,将广告类别的点击次数作为权重矩阵R.构建映射关系公式: R是关系矩阵,W是出现次数矩阵,C是计算结果的类别判定矩阵. 2. 采用分类器算法构建分类模型.根据数据特点,利用数据挖掘和机器学习 相关的分类器算

Machine Learning With Spark学习笔记(在10万电影数据上训练、使用推荐模型)

我们如今開始训练模型,还输入參数例如以下: rank:ALS中因子的个数.通常来说越大越好,可是对内存占用率有直接影响,通常rank在10到200之间. iterations:迭代次数,每次迭代都会降低ALS的重构误差.在几次迭代之后,ALS模型都会收敛得到一个不错的结果,所以大多情况下不须要太多的迭代(一般是10次). lambda:模型的正则化參数,控制着避免过度拟合.值越大,越正则化. 我们将使用50个因子,8次迭代,正则化參数0.01来训练模型: val model = ALS.trai

个性化推荐入门

“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应用.同时在理论讲解的基础上,还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略,进行策略优化,构建高效的推荐引擎的方法.本文作为这个系列的第一篇文章,将深入介绍推荐引擎的工作原理,和其中涉及的各种推荐机制,以及它们各自的优缺点和适用场景,帮助用户清楚的了解和快速构建适合自己的推荐引擎. 信息发现 如今已经进入了一个数据爆炸的时代,随着 We