【论文阅读-CTR】<<Deep Learning over Multi-filed Categorical Data -A Case Study On User Response Prediction>>阅读

摘要：

用户反馈预估是搜素、推荐、广告的核心问题；其特征都是多域的分类和数值特征，难以利用；

常用的方法是线性模型+人工特征组合来预估；

本文通过FNN（基于FM）和SNN（基于RBM和DAE）来预估。

1、介绍

常用的ctr预估模型：

1）线性模型：LR->NB->FTRLLR->Bayesian probit regression

优点：容易实现；高效学习

缺点：不能学习特征组合，效果较差

2）非线性模型：FM,GBM

优点：自动学习组合特征

缺点：不能充分利用各种特征组合

很多模型需要人工特征，浅层模型，表达能力不强；对大量复杂数据的建模和泛化能力有限。

DNN在计算机视觉，语音识别，自然语言处理上有优势；

比如通过非监督的预训练，可以获取原始特征的高维表示，这种思路可以用在ctr上：

通过FM、RBM、DAE把分类特征表示成连续特征。

2、相关工作

部分DNN的策略，预训练+fine tune。

3、DNN for CTR

1）FM+FCNN，3hidden layers，第一二层使用tanh激活，第三层使用sigmoid激活

第一层使用FM预训练，预训练的结构和fine tune使用的结构不同，也不会出问题，原因：有识别能力信息的高度模糊，后验权重和先验差别会太大。

2）SNN：

RBM base使用DC训练，DAE使用sgd训练

3）正则化：

L2正则

4、实验

1）策略对比：FNN整体优于SNN，RBMbase SNN和DAE base SNN接近；

2）increase,decrease 差于constant; diamond架构优于所有架构

3）正则：dropout正则相当于bagging，优于L2；

FNN dropout obust;SNN dropout敏感；预计是FNN第一层部分连接，丢弃部分影响不大