推荐系统之信息茧房问题

什么是信息茧房

信息茧房其实是现在社会一个很可怕的现象,从字面意思来看的话其实比喻的是信息被虫茧一般封锁住。这个问题反映了现在随着个性化推荐的普及衍射的一个社会问题。

平时在浏览新闻或者淘宝的时候,平台会自动根据用户的浏览记录获取用户的偏好,然后推送感兴趣的文章。久而久之,比如用户A是个体育迷,那么A获取的信息大多是跟体育相关的,很难获取音乐或者军事等其它相关的资讯,因为平台追求点击率,会一直推送A感兴趣的内容以获取高广告浏览量。时间长了,因为信息茧房的作用,因为信息获取单一,A的社交圈可能也会变的狭小。如果整个社会陷入了个性化推荐系统的信息茧房效应,将是病态的。

所以,真正的个性化推荐绝对不等于只推荐历史感兴趣的内容,这样其实不是一个长期可持续的推荐系统,如果陷入了信息茧房,一定会有用户觉得审美疲劳。那么如何破解信息茧房,因为从推荐模型角度分析,一旦获取了用户的画像,就很难跳出用户习惯的逻辑,比如昨天买个手机,第二天还推荐手机,这个时候可能比较好的一种方法是跨域推荐(cross-domain recommendation)。

跨域推荐的概念

跨域推荐做的事情就是跳出推荐的信息茧房。不是一个新概念了,我上研究生的时候学校就有实验室做相关的研究,今天主要讲下思路。具体大家想了解的话可以看下这个Paper: 《Cross-Domain Recommendation: An Embedding and Mapping Approach》

有几个关键词我觉得可以充分体现跨域推荐的精髓:

“diversity” - “novelty” - “serendipity”

如果我们做一个推荐系统,说是“individuality”,其实我会觉得很normal,不够高级,现在几乎所有推荐系统都有个性化推荐,但是如果一个推荐系统标榜自己是“novelty”,那我就觉得很有意思了。下面聊聊怎么实现novelty。

第一步:确定什么是target & source

这里以新闻推荐为例,如果一用户A,经常浏览同一个类型的新闻,比如体育新闻,如何找到A喜欢的其他类别新闻呢?

?

这其实是一个user overlap的场景,推荐系统的主体user不变,有个source源是体育新闻,要找到target是体育以外user感兴趣的文章。这就建立了跨域推荐中的target和source关系。

第二步:确定推荐level

跨域推荐有多种level,要确定跨域的种类,大体可以分以下三种:

?

其实跨域推荐确定了source和target后只要确定跨域的幅度即可。

  1. Attribute level:挖掘target间的相似属性,推荐同一类别的target。比如一个用户很喜欢买红色、大尺寸的诺基亚手机,attribute level推荐是要在推荐物属性层面做跨域,可以试着给用户推荐黑色、小尺寸的其它手机,这样的跨属性的相同物种推荐会在一定程度上给用户新鲜感
  2. Type level:挖掘target间的相似属性,然后推荐相同大品类下不同小品类的物品。比如用户喜欢红色、大尺寸的诺基亚手机,手机和电脑都属于电子产品,可以推荐红色、大尺寸的电脑给用户
  3. Item level:挖掘target间的相似属性,推荐不同大品类的物品。比如用户喜欢红色、大尺寸的诺基亚手机,直接推荐红色大尺寸的马桶

以上3个跨域level由轻到重,大家可以根据自己的需求选用。其实关键点是如何挖掘物品的属性,因为无论是电脑、手机、马桶,他们都有共通的属性,比如大小、颜色、材质等,下面就介绍如何挖掘这些属性。

第三步:挖掘target间的属性

既然跨域推荐的关键是能挖掘出target间共有的属性,那么有什么办法可以做到这一点呢。首先要根据业务属性人工挖掘出一些隐性特征,比如电商平台可以挖掘出颜色、材质、价格、使用频率等隐性特征,然后可以通过矩阵分解的方式获取具体每个特征的权重(下图中矩阵A和B之间的矩阵)。

?

总结

信息茧房效应是因为个性化推荐系统推荐信息的不平衡性,导致用户长期只能浏览限制领域的信息,可以在推荐系统中加入跨域推荐的逻辑来规避信息茧房的影响,具体流程包含确定推荐逻辑中的source和target,确定跨域的粒度,通过矩阵分解找出隐含的共性属性。

原文地址:https://www.cnblogs.com/chuangye95/p/10187356.html

时间: 2024-10-31 07:59:20

推荐系统之信息茧房问题的相关文章

信息流如何规避低质内容和信息茧房?

信息流充斥在我们生活中的每一个角落,如同河流一样哺育着每一个人.我们阅读的每一条新闻.看的每一段视频,一切通过信息流出现在我们眼前的东西,多多少少都受到了智能推荐的驱动. 自2016年开始,信息流几乎进入了所有的头部App.同时各个平台间也开始暗自发力,希望掌握更强大的智能推荐算法.更好的智能推荐体验,意味着更多流量和优质的转化率.那么智能推荐的技术支点究竟在哪? 主动与被动间的认知鸿沟,智能推荐如何才能了解用户? 其实智能推荐的行为逻辑很简单,那就是把适合的内容推荐给适合的用户.但在简单的行为

推荐系统

推荐系统 1.缘起 糖豆作为国内最大的广场舞平台,全网的MAU已经超过4000万,每月PGC和UCG生产的视频个数已经超过15万个,每月用户观看的视频也超过100万个.然而之前糖豆APP首页主要还是依赖内容编辑手工推荐来发现内容,每天的推荐量也是几十个而已.明显可见千人一面的内容分发效率比较低下,继而我们于2016年12月初,启动了糖豆推荐系统的设计以及开发,目前截止到2017年1月初,已经完成第一期推荐系统的开发与评估.推荐项目立项伊始,我撰写了一篇整体架构与设计,本文和架构一文在部分内容有所

为啥熟客就要多花80元开房?“佛系”大数据为何举起杀熟的刀

据每日经济新闻报道,300元的酒店房间,老客户就要380元?过去货比三家,如今还要"货比三人",一些手握大数据工具的商家正在真实上演"坑人新骗术". 近日,有微博网友自述其被大数据"杀熟"的经历引起网友关该网友称,他经常通过某旅行服务网站订某个特定酒店的房间,长年价格在380元到400元左右.偶然一次,通过前台他了解到,淡季的价格在300元上下.他用朋友的账号查询后发现,果然是300元:但用自己的账号去查,还是380元. 每日经济新闻称,通过梳理

张小龙做微信公众号APP,对自媒体是祸还是福?

1月15日,2018微信公开课PRO版在广州举行,腾讯高级副总裁.微信创始人张小龙现身现场并发表演讲,他宣布了下一步的微信战略:即将推出微信公众号APP,以及恢复赞赏功能,并倾向于赞赏作者等等.此外,张小龙还表示不会做信息流. 一时之间,人们不禁感慨,微信微信"情怀"不在. 有人问何玺,对张小龙做公众号APP,不做信息流有什么看法?何玺的观点是: 一,内容分发(信息流)是门大生意,腾讯必须卡位 5年完成5轮融资,最新估值达300亿美金.7亿用户,每月净增1000万以上用户.2016年广

又被BAT“盯上”了,内容创业者的日子还能好过吗?

1月18日举行的百家号年度创作者盛典上,最令内容创业者激动地,或许不是百度推出的智能创作黑科技"创作大脑".也不是"年度创作者"."千寻奖"等大奖.而是针对优质原创视频作者推出的"百万年薪"计划. 百万年薪?是内容分发平台新一轮的"撒币"行动?是百家号作为用户最多的平台,在2018年持续加大分成.技术和流量支持的一个直观注脚? 或许不是给钱那么简单.真相或许是百家号要给优秀创作者更多机会. 趋势一:BAT集

从拼产品到拼营销,头条是不是走偏了?

"个性化的信息推荐引擎"今日头条走到今天,"算法"功不可没.但这款以技术取胜的产品,在人民日3评算法之后,正越发的焦虑. 一.头条的焦虑 人们常说,没有一帆风顺的路,人生总要经历坎坷.过去的几年,头条的发展可谓顺风顺水,但随着体量的增加,技术问题.流量问题.政策风险等开始逐渐显现.在各种问题凸显之际,头条开始焦虑起来. 1.技术失控 我们知道,技术算法是头条安家立命的根本. 算法信息流厉害的地方在于它准确命中了用户碎片化时间阅读和兴趣阅读的痛点.但同时这也是它的缺点

今日头条能“无限发文”了!自媒体可以体面地去死了

当你可以不受发文限制的发东西时,你是不停地写.不停地发?还是不断地发呢? 从年前的各种麻烦中还没脱身的今日头条,在年后开始了不断的变阵,除了前些日子推出的旗下头条号.西瓜视频.内涵段子.悟空问答的用户帐号互通外,21日,它有打出了一记重磅--<关于简化头条号注册流程并取消新手期的公告>. 看标题,似乎没什么,尤其对于早就渡过新手期的自媒体们来说,可其有一段话很重要: 所有头条号每天可发布的图文.视频等都将不再有数量限制. 也就是说,以后在头条号上发文,你可以想发多少就发多少了. 这是相当强大的

2018申论热点积累(50篇)

1.经济 1.共享经济该听谁的? 共享经济是指利用互联网等现代信息技术整合.分享海量的分散化闲置资源,满足多样化需求的经济活动总和.对于我国而言,发展共享经济适应了“创新.协调.绿色.开放.共享”发展理念的新要求,对实现创新驱动.推进供给侧结构性改革.建设网络强国等具有重要意义.从现实情况看,转型发展的迫切需求.网民大国红利.节俭的传统文化以及企业的成功实践,使共享经济迎来了快速发展的“机会窗口”. 继共享睡眠舱.共享雨伞.共享充电宝等共享模式之后,有高校学生推出共享厨房,某公交站台惊现共享马扎

罗永浩炒币的成功,你分分钟能复制

一个人的成功离得开一个牛逼的圈子吗? 否. 那就拿炒币来说吧,这个圈子,说大不大,说小也不小. 在币圈,老司机们总爱建立自己的小圈子,带一帮粉丝走上致富之路,以下是要发车同事随手一刷就刷到的朋友圈. 李笑来是罗永浩的朋友,没有李笑来这样的圈子,估计罗永浩也很难关注到加密货币. 你也许是有独家消息.预测眼光的圈内人士,那为何不扩大圈子,让大家为你的认知付费? 或者你是初入币市的小白,这时候需要找到正确的大腿,才不至于走上韭菜的悲惨之路. 走出信息困局 不论是币圈.链圈或娱乐圈,我们正处于信息的困局