【转】- 从FM推演各深度CTR预估模型(附代码)

原文:http://www.52cs.org/?p=1046 闲聊DNN CTR预估模型 Written by b manongb 作者:Kintocai, 北京大学硕士, 现就职于腾讯. 伦敦大学张伟楠博士在携程深度学习Meetup[1]上分享了Talk<Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction in Display Ads>.他在2016 ECIR发表

背景 假设现在有个商品点击预测的任务,有用户端特征性别.年龄.消费力等,商品侧特征价格.销量等,样本为0或者1,现在对特征进行one hot encode,如性别特征用二维表示,男为[1,0],女为[0,1],其他特征相同处理后拼接起来一共有n维,n是所有特征的类别数之和. Logistic Regression(LR)与二阶 线性模型,y = sigmoid(w, x),w有n维,优点是简单易解释,缺点是太简单,无法挖掘特征组合的情况,如男性+游戏类商品可能是个很强特征.为了弥补这个缺点往往需

传统CTR预估模型包括:LR.FM.GBDT等,其优点是:可解释性强.训练和部署方便.便于在线学习. (一)CTR预估 1.在cost-per-click:CPC广告中广告主按点击付费.为了最大化平台收入和用户体验,广告平台必须预测广告的CTR,称作predict CTR:pCTR.对每个用户的每次搜索query,有多个满足条件的广告同时参与竞争.只有pCTR x bid price最大的广告才能竞争获胜,从而最大化eCPM:eCPM=pCTR x bid 基于最大似然准则可以通过广告的历史表现

ctr预估简单的解释就是预测用户的点击item的概率.为什么一个回归的问题需要使用分类的方法来评估,这真是一个好问题,尝试从下面几个关键问题去回答. 1.ctr预估是特殊的回归问题 ctr预估的目标函数为 f(x)=P(+1|x) 特殊之处在于目标函数的值域为[0,1],而且由于是条件概率,具有如下特性 如果将ctr预估按照一般的回归问题处理(如使用Linear Regression),面临的问题是一般的linear regression的值域范围是实数域,对于整个实数域的敏感程度是相同的,所以

对于知识图谱的关注可以分为两个方面:知识图谱的构建和基于知识图谱数据结构的应用.知识图谱的构建主要关注如何整合结构化.非结构化的数据,实现用统一的语义数据结构如三元组RDF形式的数据存储.基于知识图谱的应用主要关注如何从这种语义数据结构中挖掘.发现.推演出相关的隐藏知识或新知识或者实现更上层的应用如搜索.问答.决策.推荐等,具体可以参考<三个角度理解知识图谱>.本文主要讲一下基于知识图谱推理的关系推演(或者叫做关系预测),主要包括如下几个方面: 1.知识图谱推理的主要作用: 2.知识图谱推理的

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由鹅厂优文发表于云+社区专栏 一.前言 二.深度学习模型 1. Factorization-machine(FM) FM = LR+ embedding 2. Deep Neural Network(DNN) 3. Factorisation-machine supported Neural Networks (FNN) 4. Product-based Neural Network(PNN) 5. Wide & Deep Lear

本文展示加法和乘法的两个例子,最后使用MapReduce的思想把两者统一成一个带Currying的表达形式. 从high-order functions推演到Currying 原始方法 def sum(f: Int => Int, a: Int, b: Int): Int = if (a > b) 0 else f(a) + sum(f, a + 1, b) 表示从a到b,把每个int做一次f处理,把所有结果累加起来. 对应"加法"."立方"."

第三部分 NN-ANN 70年前的逆向推演 从这部分开始,调整一下视角主要学习神经网络算法,将其与生物神经网络进行横向的比较,以窥探一二. 现在基于NN的AI应用几乎是满地都是,效果也不错,这种貌似神奇的玩意怎么想出来的.个人不禁好奇,随后一通乱找.想理出来个线头,谁知一挖发现这线后面的故事太丰富,这里特意分享出来. 其实对神经元的认知是比较早的,在机制和功能方面多是偏向生物学解释,在这个领域最前面的自然是神经学和生物学家.在生物学框架下成果在二战前后推进速度飞快(二战期间德国和英美科研投入特别

最近被电子设计竞赛的事搞得头晕脑胀,回头看了一眼高数,尼玛,这是什么蝌蚪文啊.下午到图书馆疯狂补课,结果第一题就把老子给难住了.我赶紧把书翻到首页去,又从首页开始复习(没错,我是复习,不是预习). 其实遇到的问题仔细想想是不太难懂的,不过我还是要对它做一个详细的理解:偏微分. 我遇到的是一个曲面方程:S:1 z=f(x,y)->2 F(x,y,z)=0: 首先对方程做一个详解:什么是方程呢?:就是某个量相对于其他因素的一些变化.那么曲面是如何表示这个关系的呢?我们不妨把曲面当做A Kind Of