Display Advertising Challenge
---------2015/1/12
一：背景
CriteoLabs 2014年7月份在kaggle上发起了一次关于展示广告点击率的预估比赛。CriteoLabs是第三方展示广告的佼佼者，所以这次比赛吸引了很多团队来参赛和体验数据。
二：评估指标
比赛采用的评价指标是LoglLoss：
至于离线评估为何更倾向采用logloss，而不是采用AUC值。Facebook在他们发布的论文【1】中提到现实环境中更加关注预测的准确性，而不是相对的排序。而AUC值更侧重相对排序，比如把整体的预测概率提升1倍，AUC值保持不变，但是logloss是有变化的。
三：训练集和测试集数据分布
训练集： 4000w+， 测试集：600w+。
训练集是连续7天的Criteo广告展示数据，里面包含点击和非点击数据。里面对每天的负样本进行了不同采样率的采样，使得整体的正负样本比率不至于悬殊。
测试集是接着训练集后的一天广告展示数据，测试集的采样方式和训练集一致。
下面是kaggle上一位参赛者给出的训练集点击率分布：
从上面很清楚的能看到7天周期性变化的数据，每天的点击率变化，有衰减的趋势，点击率平均值大约处在0.25左右。
其中数据特征介绍如下：
13个连续特征，26个类目特征。最终的效果提升更多体现在26个类目特征的处理和变换上面。其中类目特征要说明的是，有的类目特征的属性上万，有的属性展示和点击都少。
四：模型
ctr预估在工业界是个相对成熟的话题，在计算广告领域尤为重要，很多成熟的解决方案。我知道很多团队目前logistic regression + L1正则是主流，大多数工程师干的活就是挖特征。
这块百度的技术实力很强，据说网盟已经用了特征自动化选取的方法，凤巢lr, gbdt , DNN都有在应用。阿里的据说现在MLR（mixed logistic regression)是主流(备注下： 看过作者公布的ppt，感觉和先聚类再在每个类别里面做lr训练，预测时候最后根据归属各个类别概率加权平均lr的预测概率的思想有点相似)。
本次比赛，我前期采用了vowpal-wabbit logistic regression online learning的方法来搞，其中包含了大量的特征处理，构造新特征， 人工做cross-feature等。后期，采用gbdt boosting树的方法来提升效果，采用的是xgboost的工具包，同时把类目离散特征全部转化成连续特征，然后送入到xgboost模型中来训练。
1：数据预处理
（1） 连续特征预处理
在使用vowpal-wabbit logistic regression online learning model（简称vw） 时候，对连续特征做了等频的离散化处理，送入到vw model。其实，实验发现，特征做log 变化后，连续特征和点击率大多呈现线性关系。
在xgboost model中，连续特征没有做离散化处理，只做了异常值处理，log变换。
补充说明下: 连续特征离散化处理除了非监督的等频，等宽等，还可以参考facebook的文章[1] 和自己之前的博客[2]。
附上facebook上使用boosting tree来进行连续特征离散化处理图：
（1） 类目特征预处理
在vw model 中， 类目特征直接做one hot encoding, vw 直接支持这种格式，还可以方便做cross-feature。由于vw model使用的是online learning 线性模型，所以，在模型中构造了很多关于类目特征的一些扩展特征： 比如：类目属性的点击率，点击次数，woe，26个类目属性的平均点击率以及方差等。同时，这里面做了个处理，对于那些类目属性展现次数和点击率都很低的属性进行了过滤处理。
在xgboost中，把类目特征替换为该类目特征在当前属性的历史点击率。因为存在某些类目属性展现次数很少，对于这种的直接算历史点击率时候需要做个ctr平滑处理。
2：训练模型
（1）vw model ：处理好特征后，使用命令行的方式进行模型训练。
Training VW:
./vw ../data/click.train.vw --ngram 2 --skips 0 -q fi -q fw -q it -f ../data/click.model.vw --loss_function logistic
Testing VW:
./vw ../data/click.test.vw --ngram 2 --skips 0 -q fi -q fw -q it -t -i ../data/click.model.vw -p ../data/click.preds.txt
vw model : 这次最好的结果是0.46078.
（2）xgboost： gbdt model，调节树的个数和深度来生成ensemble树。xgboost最好的效果是0.45801.
Xgboost model coding :
# load file from text file, also binary buffer generated by xgboost
dtrain = xgb.DMatrix(‘/mnt/train_sparse_features.txt‘)
print ‘load train end..‘
# specify parameters via map, definition are same as c++ version
param = {‘bst:max_depth‘:10, ‘bst:min_child_weight‘:5, ‘bst:eta‘:0.4, ‘silent‘:1, ‘objective‘:‘binary:logistic‘ }
param[‘nthread‘] = 30
print ‘param: ‘, param
plst = param.items()
plst += [(‘eval_metric‘, ‘auc‘)]
plst += [(‘eval_metric‘, ‘logloss‘)]
print ‘plst:‘, plst
# specify validations set to watch performance
evallist = [(dtrain,‘train‘)]
num_round = 100
print ‘begin to train model....‘
bst = xgb.train( plst, dtrain, num_round, evallist )
bst.save_model(‘xgboost_ctr.model‘)
# this is prediction
dtest = xgb.DMatrix(‘/mnt/test_sparse_features.txt‘)
print ‘load test end...‘
print ‘begin to predict...‘
preds = bst.predict(dtest)
o_f = open(‘xgboost_preds.txt‘,‘w‘)
for e in preds:
o_f.write(‘%f\n‘%e)
o_f.close()
(3) 提一下FM 以及开源的工具包：libfm。因为机器和一些找不到的客观原因，始终没能把libfm在全量数据中跑出来。这个比赛的第一名[3]就用的是fm 模型， fm模型的一个好处是2-ways interaction，可以自动做两个特征的交叉。
(4) ensemble : 最后的结果，无疑还是各种ensemble，这里主要人工制定权重，最后的结果是是0.453左右。
补充说明：大多数情况下，测试集ctr的预测精度相对于训练集和测试集的时间间隔呈现衰减趋势，也就是说如果训练集和测试集样本的时间间隔比较久的话，用训练集的模型预测测试集的ctr，那么精度会有受损。这就是为什么现在很多团队在ctr预估时候，不断提升模型更新的速度。
3：预测结果
其中xgboost model 预测ctr概率分布（vw model整体趋势和xgboost基本一致）如下：
我的结果：
前三名的结果：
baseline：
五：总结
ctr预估无论在学术界和工业界都是个很热的话题，尤其在互联网的计算广告领域。在计算广告领域，ctr的预估准确与否直接影响商业利润，所以，公司尤为重视。在像BAT这样的大平台，数据量巨大，不仅要考虑模型的精度，还要考虑模型训练的时间代价。线性模型更新快，非线性模型训练代价高。线性模型需要大量的特征工程，尤其是要做大量cross-feature来达到非线性效果。非线性模型模型本身具备拟合非线性，所以，相对线性模型，做的特征工程会少很多。
六：参考文献
[1] He X, Pan J, Jin O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook[C]//Proceedings of 20th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. ACM, 2014: 1-9.
[2] http://blog.csdn.net/hero_fantao/article/details/34533533。
[3] http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf
[4] https://github.com/guestwalk/kaggle-2014-criteo
[5] https://github.com/JohnLangford/vowpal_wabbit/wiki/Tutorial
[7] McMahan H B, Holt G, Sculley D, et al. Ad click prediction: a view from the trenches[C]//Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2013: 1222-1230. (备注： Google online learning FTRL)
[8] Chen T, Tang L, Liu Q, et al. Combining factorization model and additive forest for collaborative followee recommendation[C]//KDD-Cup Workshop. 2012.
[9] A two-stage ensemble of diverse models for advertisement ranking in KDD Cup 2012[J]. 2012.
[10] MANAVOGLU E, ROSALES R. Simple and scalable response prediction for display advertising[J]. (CriteoLab 发布关于展示广告的文章 )