log loss与ctr预估

ctr预估是工业界做推荐、广告等的基本问题,下面以熟悉的推荐场景为例,目标是提高abtest的线上指标,时长、互动和留存,反应到ctr模型的评估指标,可以是auc,logloss,ngcd等,auc反映了模型区分正负例的能力,auc提高不一定对应到线上指标提示,可能只是对item的预估分更准,对一个user来说排序能力并没有提高,这里很有考究,可以看看其他博客。

通常判断一个模型性能,除了auc、rigloss还要看 calibration,训练数据集的正负里比例和预估分均值是否一致,接近1才认为模型没有问题,比如全体样本的点击率是5%,模型的预估分均值也应该是0.05。calibration对广告做竞价是有明确用处的,在推荐场景只需要排序用处可能不大。
问题:为什么lr模型的输出均值和真实点击率一致呢?好的模型,拆开各种维度看,比如新用户,操作系统,预估均值都和各维度真实点击率一致。
困惑的原因是,每个样本的label是0 或 1,甚至相同样本有不同的label。
解释:这是由 log loss的性质保证的。loss = \sum { y log p + (1-y) log (1 -p),p是预估分,y\in {0, 1}是label,设想如果有N个样本,其中M个是正样本,如果我们的模型很糟糕,特征只有1个bias,对每个样本预估值是相同的,那么对loss 求极小值就可以得到 p = M/N, 等于真实点击率!

另外再补充一个问题,工业届系统会用online learning,保证模型实时更新,可以及时捕获用户反馈。为什么online learning每个样本只训练就可以收敛,背后理论是有严格保证的吗?
思考这个问题后,在深度学习一书的优化那章看到了 机器学习优化与数学的最优化的差异,才豁然开朗。机器学习优化有几个近似,全样本空间预估准确率 <> 测试集准确率 <> 测试集合loss函数最小 <> 训练集loss最小,最优化是直接优化最终目标,无约束凸函数最优解这些的收敛性和收敛速度都是有明确结论的。
在机器学习用的sgd是简化了计算每次更新的梯度,mini-batch 视作分布的随机采样,计算得到的梯度也是真实梯度的无偏估计。
online-learning场景适用于训练集数据量很大,一遍也能优化好。

原文地址:https://www.cnblogs.com/lessmore/p/logloss_ctr_predict.html

时间: 2024-10-10 02:54:13

log loss与ctr预估的相关文章

(读论文)推荐系统之ctr预估-Wide&Deep模型解析

在读了FM和FNN/PNN的论文后,来学习一下16年的一篇Google的论文,文章将传统的LR和DNN组合构成一个wide&deep模型(并行结构),既保留了LR的拟合能力,又具有DNN的泛化能力,并且不需要单独训练模型,可以方便模型的迭代,一起来看下吧. 更好的阅读体验请点击这里. 原文:Wide & Deep Learning for Recommender Systems 地址: [https://arxiv.org/pdf/1606.07792.pdf](https://arxiv

CTR预估---传统模型

传统CTR预估模型包括:LR.FM.GBDT等,其优点是:可解释性强.训练和部署方便.便于在线学习. (一)CTR预估 1.在cost-per-click:CPC广告中广告主按点击付费.为了最大化平台收入和用户体验,广告平台必须预测广告的CTR,称作predict CTR:pCTR.对每个用户的每次搜索query,有多个满足条件的广告同时参与竞争.只有pCTR x bid price最大的广告才能竞争获胜,从而最大化eCPM:eCPM=pCTR x bid 基于最大似然准则可以通过广告的历史表现

闲聊DNN CTR预估模型

原文:http://www.52cs.org/?p=1046 闲聊DNN CTR预估模型 Written by b manongb 作者:Kintocai, 北京大学硕士, 现就职于腾讯. 伦敦大学张伟楠博士在携程深度学习Meetup[1]上分享了Talk<Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction in Display Ads>.他在2016 ECIR发表

CTR预估中GBDT与LR融合方案

http://www.cbdio.com/BigData/2015-08/27/content_3750170.htm 1.背景 CTR预估,广告点击率(Click-Through Rate Prediction)是互联网计算广告中的关键环节,预估准确性直接影响公司广告收入.CTR预估中用的最多的模型是LR(Logistic Regression)[1],LR是广义线性模型,与传统线性模型相比,LR使用了Logit变换将函数值映射到0~1区间 [2],映射后的函数值就是CTR的预估值.LR,逻辑

CTR预估评价指标介绍

1 离线指标 1.1 LogLoss 1.1.1 KL散度 logloss使用KL散度来计算.设样本的真实分布为P,预测分布为Q,则KL散度定义如下: 这里可以通俗地把KL散度理解为相同事件空间里两个概率分布的相异情况.KL散度越小,预测分布越接近真实分布. KL散度的物理意义是:使用分布Q来对真实分布为P的事件进行编码,导致平均编码长度增加了多少.具体解释可见百度和知乎. 1.1.2 CTR中KL散度的计算 CTR预估中,测试集中每个样本是一条广告,它有一个真实的点击率tctr和一个预测的点击

为什么CTR预估使用AUC来评估模型?

ctr预估简单的解释就是预测用户的点击item的概率.为什么一个回归的问题需要使用分类的方法来评估,这真是一个好问题,尝试从下面几个关键问题去回答. 1.ctr预估是特殊的回归问题 ctr预估的目标函数为 f(x)=P(+1|x) 特殊之处在于目标函数的值域为[0,1],而且由于是条件概率,具有如下特性 如果将ctr预估按照一般的回归问题处理(如使用Linear Regression),面临的问题是一般的linear regression的值域范围是实数域,对于整个实数域的敏感程度是相同的,所以

【转】- 从FM推演各深度CTR预估模型(附代码)

从FM推演各深度CTR预估模型(附代码) 2018年07月13日 15:04:34 阅读数:584 作者: 龙心尘 && 寒小阳 时间:2018年7月 出处: 龙心尘 寒小阳 原文地址:https://www.cnblogs.com/suanec/p/9328336.html

深度学习在CTR预估中的应用

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由鹅厂优文发表于云+社区专栏 一.前言 二.深度学习模型 1. Factorization-machine(FM) FM = LR+ embedding 2. Deep Neural Network(DNN) 3. Factorisation-machine supported Neural Networks (FNN) 4. Product-based Neural Network(PNN) 5. Wide & Deep Lear

计算广告之CTR预估-FM模型解析

原文:Factorization Machines 地址:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.393.8529&rep=rep1&type=pdf 一.问题由来 在计算广告和推荐系统中,CTR预估(click-through rate)是非常重要的一个环节,判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行.传统的逻辑回归模型是一种广义线性模型,非常容易实现大规模实时并行处理,因此在工业界获得了广泛应用,