个性化推荐系统最近一些复盘以及探索

最近和很多人探讨、交流推荐系统相关很多事情,喜欢这种理性探讨,这种探讨能够让双方都有收获,一个是负

反馈再有就是对于推荐系统怎样做深入,再有就是推荐系统架构一点思索。

负反馈最近探讨很多一个问题。一直有疑惑,大部分的内容都是关于movielens这种含有客户负反馈的,但是我

只是一个普通的电商网站,只有客户的购买浏览等记录,却缺乏客户不喜欢物品的负反馈,即使是我使用itemcf,也

只能是单类协同过滤,效果不是很好,查了一些paper,除了使用其他的结合内容,上下文等之外,就只有采样了,

但是我所在的行业,就算客户没买,也不一定是不喜欢,只是可能不知道而已,想探讨一下,是否了解这种隐反馈的场

景实际应用中还有没有其他的处理方法呢?

这是一个好问题,一个有意思问题,也是我们探讨了很多次问题。负反馈其实我们可以思考一下,不买就是不喜

欢或者说没推准?那推出来不点击不浏览呢?应是不能作为负反馈的,因为一个用户不点击、不购买因素太多了,钱

不够?人委屈(对这个素材不满意而已,把品类都降权太极端)了可能都不会去点击。

再有就是现在淘宝京东等app对于素材都有负反馈收集,但其实了解到负反馈人很少,因为用户没义务去点击那

个,他也不愿意去反馈。其实很多用户是不满意就直接走了,不会提意见的,这是实际数据反馈情况。

那负反馈要不要做,做是当然要做但要小心做,因为其实很多用户在频道内行为是很有限的,分类召回级直接卡

掉,点击、浏览、GMV转化等指标应该一下就会降一大截。

现在推荐系统,两个方面一个是用户持久喜好,作为离线偏好,这种负反馈尽量不要做。另外是用户实时篇好,

因为很多情况下用户看到喜欢内容、商品会点击两下看看,真喜欢可能就购买了。实时用户篇好目前是很重要用户推

荐构成部分,能抓取就抓用户了,抓不住就走了。对于实时篇好可以根据给用户推荐内容、商品都未点击,可以做降

权处理,不是过滤,过滤要慎重,用户点击多了还要加权,抓住用户实时兴趣,引导用户多浏览、多看。

我所在的行业,但是由于某一类目的商品选择较少,导致这一类型各个商品和其他类型的各种商品的相似度都较高,

导致不管其他什么商品都会很容易推荐这一类目的热门商品,请问您有遇到过这种情况嘛?一般工程上会怎样解决这种

问题呢?

关于推荐系统的热门商品权重过大的问题,除了上面的规则干预,还有没其他的模型计算方法呢?我用的是项亮

书中的在itemcf时变了分母的幂次,但效果不好,您还知道工程中有其他合适的算法嘛?

热门商品是个好东西,但不受控制总是推出热门商品不是一个好的做法,热门商品作为一个单独热门召回级,热

门商品被关联数量一定要控制,设置相关策略阀值。

对于热门商品做热度算法处理,就是热门内容、商品作为召回级,给予阶梯式曝光,如果热门能很大程度提升整

体转化指标,那么可以给相应加权如做不到进行相应降权。

热门商品召回级还有一个很大用处,目前看在一个频道很多用户是行为很少的,热门作为拉新很重要一个手段,

因为热门某种意义就是命中了大多数人喜好。是作为召回级不够用户很重要一个数据补充渠道,用好还是相当重要。

最近探讨另外一个重要点,推荐系统如何做深入,毕竟越深越美,如果有了粗力度召回级,那么就是做细粒度召

回级。就像文章,最开始做主题LDA分类,但这种分类很粗,加进相似文章召回,数据猛的一升。后来又做了细粒度

标签比主题细分很多一种划分主题方式,这种就要结合LDA将力度又不要划分太细,不然会发现用户点击两下全是同

一个内容。

内容细的标签,沉下心来仔细想想,很像搜索引擎,用户点击某个标签,然后返回标签下内容。如果把标签理解

为搜索引擎搜索词,这就是极其类似召回数据方式。很多事情都是相通的,要静下心来去探索、去发现。

商品最近也是在探索细粒度召回级事情,以前做的更多是品类,品类作为召回级核心,后边会更多探索用户对于

品牌、性别、价格段、季节、地理位置、手机信息等多个更细粒度召回级探索。补充完善粗召回级之外内容,预估对

转化数据都是会有提升的。

再有就是也在对于商品标签不断完善,是另外一个方向对于召回级扩大以及更加细分,让用户行为能更精准进行

推荐。品牌、价格段、性别、商品标签都是对于商品分类召回细化,仔细想想很像是对于内容由主题到标签,粗粒度

细粒度结合。

这些新的尝试对于线上推荐服务、推荐引擎也是一个新的挑战,需要花费心思去将架构抽象化合理化。其实做事

情难易程度,不在于外界,在于你对于自己要求,要求高了,难度自然就大了。

最近在看Google对于分布式系统设计方面内容,收获很多,对于复杂系统给出最简洁设计,是Google设计分布式

系统很重要设计理念,求于至简,归于永恒。简洁其实是很难很复杂要求很高设计,因为所有事情都考虑到,才能做到

至简,至繁归于至简。

扫码关注公众号

时间: 2024-10-20 20:54:53

个性化推荐系统最近一些复盘以及探索的相关文章

京东的个性化推荐系统

1.这里面涉及到较为复杂的用户购物状态的推理和判定,如果不借助人工输入,比如通过产品设计提供用户筛选接口,让用户人工输入限制项,典型的比如过滤器,负反馈,则对目前的机器算法是一个非常大的挑战.而推荐天然就是一个被动信息消费的产品,不适合做很重的意图探索交互,因此,这是目前电商平台上的推荐系统面临的一个较大的挑战. 2. 推荐的优化目标,局部与全局的指标权衡.无论承担了多少的角色定位,电商平台的个性化推荐一个万变不离其宗的任务就是达成成交,毕竟,这是一个交易平台,首要目标是最大化GMV(Gross

京东个性化推荐系统持续优化的奥秘(转)

订单贡献率10%,京东个性化推荐系统持续优化的奥秘 作者:周建丁 在信息过剩的互联网时代,个性化推荐技术对于互联网公司运营的重要性自不待言.本文要谈的是京东商城最新的推荐系统.京东已经在新版首页上线了“今日推荐”和“猜你喜欢”两项功能,基于大数据和个性化推荐算法,实现了向不同用户展示不同的内容的效果(俗称“千人千面”),该系统目前在PC端和移动端都已经为京东贡献了10%的订单. 京东推荐系统三部曲 总体而言,京东推荐算法的步骤并不神秘,无非是建立召回模型——召回模型效率分析——排序模型三步.但这

个性化推荐系统(九)--- 电商商品个性化推荐系统

个性化推荐系统由亚马逊电子商务公司.Netflix电影租赁公司,在线上业务大力使用推荐系统,并大力通过文章.竞赛形式宣传推荐系统.使得个性化推荐系统在电商领域及其受欢迎,并且个性化推荐技术应用到线上个频道,相比于运营配置产品数据,uv.pv.gmv点击转化.订单转化均是大涨个别业务接入个性化推荐系统后数据涨幅高达400%-500%. 个性化技术在线上商品业务上效果明显,也加速个性化推荐技术使用的深度.广度. 商品推荐特征明显,商品本身和文章.新闻存在较大差异,本身存在交易属性. 如果推荐不准确用

0 深度解析京东个性化推荐系统演进史 (转)

在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验. 京东推荐的演进史是绚丽多彩的.京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的.整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程.算法的交集. 2013年,国内大数据时代到来,一方面如果做的事情与大数据不沾边,都显得自己水平不够,另外一方面京东业务在这一年开始飞速发展,所以传统的方式已经跟不上业务的发展了,为此推荐团队专门设计了新的推荐系统. 随着业务的快速发展以

Paper Reading:个性化推荐系统的研究进展

论文:个性化推荐系统的研究进展 发表时间:2009 发表作者:刘建国,周涛,汪秉宏 论文链接:论文链接 本文发表在2009,对经典个性化推荐算法做了基本的介绍,是非常好的一篇中文推荐系统方面的文章. 个性化推荐系统通过建立用户与信息产品之间的二元关系 , 利用已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象 , 进而进行个性化推荐, 其 本质就是信息过滤. 事实上, 它是目前解决信息过载问题最有效的工具 .文中根据推荐算法的不同, 分别介绍了协同过滤系统, 基于内容的推荐系统 , 混合推荐

个性化推荐系统原理介绍(基于内容过滤/协同过滤/关联规则/序列模式)

个性化推荐根据用户兴趣和行为特点,向用户推荐所需的信息或商品,帮助用户在海量信息中快速发现真正所需的商品,提高用户黏性,促进信息点击和商品销售.推荐系统是基于海量数据挖掘分析的商业智能平台,推荐主要基于以下信息: 热点信息或商品 用户信息,如性别.年龄.职业.收入以及所在城市等等 用户历史浏览或行为记录 社会化关系 基于人口统计学的推荐机制(Demographic-based Recommendation)是一种最易于实现的推荐方法,它只是简单的根据系统用户的基本信息发现用户的相关程度,然后将相

推荐系统之基于二部图的个性化推荐系统原理及C++实现

1.引言 许多网站都喜欢让用户点击“喜欢/不喜欢”,“顶/反对”,也正是这种很简单的信息也可以利用起来对用户进行推荐!这里介绍一种基于网络结构的推荐系统! 由于推荐系统深深植根于互联网,用户与用户之间,商品与商品之间,用户与商品之间都存在某种联系,把用户和商品都看作节点,他(它)们之间的联系看作是边,那么就很自然地构建出一个网络图,所以很多研究者利用这个网络图进行个性化推荐,取得了不错的效果! 2.二部图 上面就是一个二部图:分为连个部分,圆圈代表的节点为一部分,方块代表的节点为另一部分,二部图

新闻个性化推荐系统(python)-(附源码 数据集)

1.背景 最近参加了一个评测,是关于新闻个性化推荐.说白了就是给你一个人的浏览记录,预测他下一次的浏览记录.花了一周时间写了一个集成系统,可以一键推荐新闻,但是准确率比较不理想,所以发到这里希望大家给与一些建议.用到的分词部分的代码借用的jieba分词.数据集和代码在下面会给出. 2.数据集 一共五个字段,以tab隔开.分别是user编号,news编号,时间编号,新闻标题,对应当前月份的日(3就是3号) 3.代码部分 先来看下演示图 (1)算法说明 举个例子简单说明下算法,其实也比较简单,不妥的

个性化推荐系统(八)--- 机器学习深度学习召回集扩量

个性化推荐系统评价有两个重要指标,一个是召回率一个是准确率.召回率就是:召回率=提取正确信息条数/样本中信息条数.准确率就是:准确率=提取出正确信息条数/提取信息条数.召回率大小直接影响准确率,直接影响机器学习模型.深度学习模型线上效果. 模型实时计算第一步是模型上线,将spark.TensorFlow训练模型通过实时加载,使用到线上实时CTR点击量预估.是机器学习模型第一步,第二步是不断扩大线上召回集,增加新特征来提升点击量预估准确率. 今天主要分享下线上实时模型召回素材.特征集扩容,最开始线