【推荐系统篇】--推荐系统介绍和基本架构流程

一、前述

推荐系统是企业中常用的技术,所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。

常用的推荐方法有两个,分别是基于物品的推荐和基于用户的推荐。

基于用户的推荐原理是:跟你喜好相似的人喜欢的东西你也很有可能喜欢(userBaseCF)。
基于物品的推荐原理是:跟你喜欢的东西类似的东西你也可能喜欢(itemBaseCF)。

我们这里用到的是itembaseCF,本质是依据特征找用户喜好规律。

二、协同过滤算法详述

结论:对于用户A,根据用户的历史偏好,这里只计算得出一个邻居用户C,然后将用户C喜欢的物品D推荐给用户A

结论:基于用户的推荐(长虚线)---1和5比较相似,5买了104商品,所以把104推荐给用户1。
          基于物品的推荐(短虚线)---101物品和104物品比较相似,所以当用户买了101,把104也推荐给他。

三、lambda架构(所有推荐系统的父架构)

 四、本文系统架构

lmbda架构(手机APP下载)

解释:1.选用逻辑回归算法原因是用户要么下载,要么不下载。

2.生成特征索引(实际上是一个文本文件)的原因是格式化测试数据,也是相当于降维,当一个userId进来时找到推荐服务,然后通过服务路由去查找HBase中的数据,并根据特征索引来取对应的特征,所以这一步相当于一个降维。

线上架构(测试集架构):

关联特征:保存的是同现矩阵。

流程:核心思想(计算用户对所有APP(除去历史下载部分)的评分,按分值排序,然后取topn)

问题:

 五、需求分析(架构推荐方案)

1、数据清洗(得到训练数据)

2、算法建模(得到模型结果)
         3、模型使用(得到推荐结果)

4、结果评估(推荐结果评估)

原文地址:https://www.cnblogs.com/LHWorldBlog/p/8642182.html

时间: 2024-10-09 17:06:19

【推荐系统篇】--推荐系统介绍和基本架构流程的相关文章

iOS开发UI篇—推荐两个好用的Xcode插件(提供下载链接)

iOS开发UI篇—推荐两个好用的Xcode插件(提供下载链接) 这里推荐两款好用的Xcode插件,并提供下载链接. 一.插件和使用如下: 1.两款插件 对项目中图片提供自动提示功能的插件:KSImageNamed-Xcode-master 提供快速创建自动注释:VVDocumenter-Xcode-master 2.使用介绍: (1)KSImageNamed-Xcode-master的使用 安装该插件后,会对文件中图片进行智能提示. (2)VVDocumenter-Xcode-master能提供

The Clean Architecture--一篇很不错的关于架构的文章

翻译水平有限,见谅! Uncle Bob 13 Aug 2012 Architecture Craftsmanship Over the last several years we've seen a whole range of ideas regarding the architecture of systems. These include: 在过去的几年里,我们已经看到了关于系统架构的一系列想法,包括: Hexagonal Architecture (a.k.a. Ports and A

架构流程笔记

一个大型的web项目同时需要给手机等其他设备提供接口.这时可以把数据库访问层.共享使用wcf,然后使用缓冲提高效率! pc:  前台web访问web层的业务处理层 webModel ,webModel负责处理一些前台的逻辑处理,比如验证,过滤,权限判断等,然后调用wcf, phone:手机等其他设备直接调用wcf层,我们公司的项目是手机设备直接调用wcf,如果需要登录权限判断的数据则手机端把用户名传到wcf,但是这样不安全,因为我只要知道WCF的接口然后随便输入一个用户名就可以获取这个用户的数据

一:SpringMVC架构流程

架构流程: 1.用户发送请求至前端控制器DispatcherServlet 2.DispatcherServlet收到请求调用HandlerMapping处理器映射器. 3.处理器映射器根据请求url找到具体的处理器,生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet. 4.DispatcherServlet通过HandlerAdapter处理器适配器调用处理器 5.执行处理器(Controller,也叫后端控制器). 6.Controller执行完成返回M

【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

一.前述 根据前文中架构,本文我们讨论线下部分构建训练集部分.因为我们离线部分模型的选择是逻辑回归,所以我们数据必须有x和y. 二.具体流程 1.从数据库中分离出我们需要的数据. 用户行为表(日志) 用户历史下载表 商品词表(商品的基本特征) 2.构建训练集中的关联特征 流程: 2.构建训练集中的基本特征 总结:注意特征名离散化因为如果特征不离散化会造成数据之间有关系. 三.具体构建过程 1.hive建表 真实的生产场景涉及到大概五十张表的字段,这里全部简化流程,直接给出最终的三张表: 应用词表

推荐系统--揭开推荐的神奇面纱

开篇 先推荐几篇关于推荐的文章,个人感觉对于入门非常有实际意义,是IBM的project师写的,例如以下: 探索推荐引擎内部的秘密,第 1 部分: 推荐引擎初探 探索推荐引擎内部的秘密,第 2 部分: 深入推荐引擎相关算法 - 协同过滤 探索推荐引擎内部的秘密,第 3 部分: 深入推荐引擎相关算法 - 聚类 推荐两本书,例如以下: 项亮:<推荐系统实践> 蒋凡:<推荐系统> 推荐系统是什么 推荐,就是把你可能喜欢的商品,推到你的面前.构建一个推荐系统,就是构建怎样把商品推到你面前的

热点推荐:秒杀系统架构分析与实战--转载

原文地址:http://developer.51cto.com/art/201601/503511.htm 互联网正在高速发展,使用互联网服务的用户越多,高并发的场景也变得越来越多.电商秒杀和抢购,是两个比较典型的互联网高并发场景.虽然我们解决问题的具体技术方案可能千差万别,但是遇到的挑战却是相似的,因此解决问题的思路也异曲同工. 1 秒杀业务分析 正常电子商务流程(1)查询商品:(2)创建订单:(3)扣减库存:(4)更新订单:(5)付款:(6)卖家发货 秒杀业务的特性(1)低廉价格:(2)大幅

【推荐系统介绍】NetFlix - 系统概述

阅读背景: 1 : 您需要知道什么是NetFlix? 2 : 推荐系统的基本概念? 3 :  推荐系统的实时化. 阅读目的: 精确的了解目前推荐系统的分层结构:确立各个层次之间精细划分. 系统被分为3部分, online,nearLine和离线部分(offLine).Online和nearLine部分一起认为是实时部分. 离线部分就是传统的个性化推荐系统的主体,定期将大量存储的数据拿出来进行批处理运算,然后对模型进行建立与更新,这里就不详细介绍了. nearLine部分,是将用户产生的事件,利用

Linux江湖22:虚拟机体验之Xen篇——令人脑洞大开的奇异架构

这一篇我要体验的虚拟机系统是Xen.在虚拟机领域,Xen具有非常高的知名度,其名字经常在各类文章中出现.同时Xen也具有非常高的难度,别说玩转,就算仅仅只是理解它,都不是那么容易.之所以如此,那是因为Xen采用了和我前面介绍的那几个虚拟机完全不同的架构.在这里,我称之为令人脑洞大开的奇异架构. 比如说在经典的虚拟机架构中,虚拟机软件运行于Host System之中,而Guest System运行于虚拟机软件之中.为了提高Guest System的运行速度,虚拟机软件一般会在Host System