Android广告虚假点击的调查研究 MAdFraud一种检测的系统

MAdFraud: InvestigTing Ad Fraud in Android Applications

论文主要研究Android手机上广告的虚假点击情况。并且做出了一个自动监测系统。

Ad Fraud 虚假点击的种类

Two fraudulent ad behaviors

1 requesFng ads while the app is in the background

2 clicking on ads without user in- teracFon. (lucrative)

　　2.1 generate a touch event on the ad

　　2.2 extract the click URL, and then make an HTTP request to the click URL

HowTo Detect  监测的方法

Three Steps

1、building HTTP request trees
2、classify ad request pages using machine learning

3、finding Impressions and Clicks

系统环境,实验方法

类似于黑盒测试

1,运行了 130,339个 应用,在Android虚拟机上运行

2,只是打开,不对应用进行交互操作,(缺陷)

3,让应用在前台运行60秒,然后在后台运行60秒

4,对虚拟机的网络数据进行抓包分析

Building HTTP request trees

Node

HTML page is the root

StaFc resources are the children.

Three Rule

1、referrer field url > requested URL

2、locaFon header url > redirected URL

3、 response body urls > all the URLs

Request Trees

请求的页面，以及返回的页面，返回页面中包含的链接。组成上面的请求树。

Classify ad request pages using machine learning

Features  分类重要的属性

33 features from three sources:

1、10 from query parameters

2、16 from request trees

3、from HTTP headers

1、10 from query parameters www.qumiAd.com?id=123&type=1&Fme=12:00&locaFon.....

2、16 from request trees
node height,subTree height,number of children.....

3、from HTTP headers
length of requests,length of replies

分类标准

人工获得的顶级域名 -------- ARQ (ad requests)

其它请求 -------- NARQ (not ad requests)

分类准确率如下图

NARQ的数据集比较大，文中采用了SMOTE进行处理。

调查结果

1,background impressions

91,784 in 12,421 apps
是ad provider还是developer 的行为

2, click fraud
59 in 21 apps

  所有监测到的点击行为都是虚假点击,作者对虚假点击都进行了人工的检查
并且对虚假点击经行了进一步的研究。

Finding Impressions and Clicks

Reselling

转卖,这个当有在手机上展示机会的时候,如果本平台上 没有合适的广告,就去通知其他的广告提供商,如果有不止一 个广告商响应,则需要进行竞价。 出价高者中标。

聚合平台。让每个广告平台竞价。(......)

系统缺陷

1,有的应用并不在首页出现广告,可能需要点开其它页面

2,广告平台监测为虚拟机运行,拒绝推送广告

3,所有的实验请求都在一个静态的iP上,可能被服务器屏蔽

-----------------------------------------------------------

　　系统的价值，对于千次展示的点击转换率一般千分之3左右，如果能去除虚假点击的30%，转化率可以提高到 0.3%/0.7 = 0.42% 提高了千分之1.2. 有商用价值。

了解移动广告的生态，广告主，广告平台，开发者，之间的关系。三者是合作，信任，也有冲突，欺骗。Ad Fraud 就是一种表现。这个系统可以检测到一部分作假的APP，但是对于广告平台对于开发者的欺骗，比如减少实际的展示点击次数，这样的系统能促进三者之间的公平，也有研究的价值。同时，广告主于广告平台之间也需要第三方的监督。

-----------------------------------------------------------

【1】 J. Crussell, R. Stevens, H. Chen, "MAdFraud: investigating ad fraud in android applications”, in Proceedings of ACM MobiSys, 2014.