数据篇
渠道之怪相
有的运营人员做渠道投放,每个渠道都投放了,点击量特别高,但激活量只有个位数。也有可能点击激活数量都很高,但是留存率很低。费用都花光了,但是效果没有出来。自己做数据分析,但是却得不到结论。
我们做数据分析的前提是需要拿到靠谱的数据。如果数据不准确,基于这个数据分析出来的结论是没有意义的。
获取准确的数据,首先需要我们选择靠谱的统计分析平台,平台的选择可以参考我的前一篇文章。即便在平台靠谱的情况下,也有可能出现一些不靠谱的情况。俗话说,有榜单的地方就有刷榜,有数据统计的平台就有数据作弊的作坊。
在移动互联网生态中存在很多不为人知的渠道刷量工作室,这些工作室以非常低廉的价格贡献质量同样低廉的用户数据。
早期的统计分析平台的SDK基于明文的jason数据包,工作室可以很方便的用程序伪造这些数据包,模拟出新增、活跃、留存、时长等用户数据。随着统计分析平台的发展,很多分析平台推出了基于二进制协议的SDK,开发人员还可以自行调用加密开关。这些技术的提升使统计平台的安全性和数据准确性得到了提高。如果APP升级到安全协议版本的SDK,刷量工作室已经很难采用直接模拟数据包的形式来刷量了。
所谓道高一尺魔高一丈,平台有平台的方法,刷量工作室有刷量的方式。他们可能是采用分布式人肉刷量的方式来刷量(形式可以参考基于任务的积分墙);也有可能是采用更为智能的方式,通过编写程序脚本,修改真机参数,驱动真机运行(有兴趣的同学可以了解一下igrimace这个iOS的刷量工具)。这些行为已经跟真实的用户行为几乎没有差别了,统计平台也很难从技术上分辨这些数据。
其实有经验的运营人员还是可以通过一些数据指标来分辨出真假用户的差异。
渠道效果评估
(1)留存率
留存率是业内判断用户质量的通用指标。某一天的新增用户,在n天后回访的比例,就是这天的n日留存率。举个例子,如果我们在2月1日获取了1000个新增用户,这批用户在2月2日有400个用户回访,2月8日有200个用户回访,那么2月1日新用户的次日留存率是40%,7日留存率是20%。
移动互联网行业内,如果一个APP的次日留存率达到40%,7日留存率达到20%,30日留存率达到10%,这个APP的留存率就高于了业内标准了。一般来说,工具类应用的留存率高于游戏类应用的留存率,高频应用的留存率高于低频应用的留存率。除了应用类型,留存率还跟APP的用户体验、推广方式等因素相关。
真实的用户的留存曲线是一条平滑的指数衰减曲线。如果我们发现APP在次日、7日、30日这些关键时间点上的数据明显高于其他时间点,可能渠道采用了非正常的方式注入了用户数据。大家可以自己想象一下,这样的用户的质量是非常差的,对我们的系统来说,也不具备商业价值。
留存曲线不仅可以帮助我们判断渠道的质量,还可以在运营推广和产品优化上给出很多参考性建议。后续我会专门写一篇文章,来描述怎么看留存率,留存率可能反映出来的产品运营上的问题,以及这些问题的后续改进建议。
(2)终端属性
终端属性包括设备终端(含分辨率)、操作系统、联网方式、运营商、地理位置等维度的指标。每个渠道都有自己覆盖的用户群,用户的终端属性会有区别。比如说小米应用商店的用户可能TOP10的机型都是小米手机,而移动MM的用户可能绝大部分使用移动运营商的服务。排除这些有特殊渠道的应用商店,大部分渠道的用户的终端属性是符合移动互联网终端属性的分布的。我们可以通过查看移动互联网数据报告或者数据指数产品来了解终端属性的分布,并且把自己APP的渠道数据与行业的数据做比较,来了解每个渠道的特性。我在下面列举了一些终端属性数据分析的小tips,欢迎交流与拍砖。
方法一:关注低价设备的排名
几乎所有统计分析系统都会提供新增用户和启动用户终端属性的分布,我们需要重点关注是否有低价设备排名异常靠前的情况。
尤其是iOS平台没有模拟器,所有的用户数据需要通过真机触发。很多刷量的工作室会选择购买二手的iPhone 5c来做刷量真机。笔者曾经亲身经历过一个案例,一个APP发现某个渠道有75%的设备是iPhone 5c,比top5的iOS设备占比还多。继而又发现这个渠道的留存率等指标都差强人意,最终判断这个渠道可能使用了大量的iPhone 5c来刷量。
方法二:关注新版本操作系统的占比
将渠道用户的操作系统与移动互联网操作系统的分布做比较,也是一个好办法。如果你发现某个渠道下面,不存在新版本的操作系统(比如iOS 8.x),有一种可能性就是这个渠道合作的工作室的技术还没有适配最新的操作系统。
方法三:关注wifi网络的使用情况
高速网络的普及是移动互联网的趋势,新增用户和启动用户的网络环境中,wifi的使用占比都很大。一般来说,用户倾向于使用wifi来下载应用,启动应用时的网络环境会更加多元化,也就是说新增用户的wifi占比更大。我们可以对比渠道在新增和启动上的联网方式,看是否有异常情况。
另外,如果你发现某个渠道下的用户90%的启动为wifi网络,可能你需要区分这种现象是APP的特性导致(比如是视频类APP),还是渠道的问题了。
方法四:验证用户的地理位置
据说福建地区的作弊比较多,有很多同仁建议投放的时候屏蔽福建地区。我们在投放时可以选择重点地区来投放,查看数据时就需要验证渠道用户是否和我们的区域投放区域相符合了。
(3)用户行为
方法一:把渠道用户的行为指标与整体做比较
用户行为反映APP的特性,包括访问页面、使用时长、访问间隔、使用频率等指标。如果一个APP做的时间比较久,这些行为数据会趋向稳定。每个APP都有常规运营方式,所以每个APP的这些行为数据都有差异。可能刷量工作室可以模拟出看似真实的用户行为,但是很难跟APP的固有行为数据做的完全一致。一个渠道用户的使用时长、使用频率过高过低都值得怀疑。
方法二:了解新增用户、活跃用户小时时间点数据曲线
真实用户的新增和启动是一条平滑的曲线。一般来说,用户的新增和启动会在下午6点之后达到高峰。新增相比启动的趋势会更加明显。
我们可以将不同渠道的分时段的数据进行对比,找到异常的数据。需要注意的是,这种行为数据的对比需要遵循单一变量原则。也就是说,我们需要选取相同时间区间的相同的指标来进行对比。大部分APP在平时和节假日的数据是有差异的。不同时间区间的数据是不具备可比性的。
方法三:查看用户访问的页面名称明细
我们需要查看用户访问的页面名称。如果是Android APP,这个名称是activity或者fragment;如果是iOS APP,这个名称是自定义的view。我们可以找开发人员了解一下具体页面的名称列表。
统计平台是基于appkey和channelname来区分app和渠道的。有些工作室会将appkey替换到其它高频的APP中。这样,我们可能会发现渠道用户的数据非常漂亮,但是仔细观察可以发现,页面名中有大量的页面不是自己定义的。通过对比页面名称,可以定位到这种形式的渠道作弊。
(4)转化率分析
每一个APP都有自己的目标行为。比如电商类应用的目标行为就是用户购买商品的情况。游戏类的应用需要考察应用内付费。社交类应用会关注用户产生内容的情况。运营人员需要定义和设计应用的目标行为。
如果一个用户是真实的流量,他会经历点击、下载、激活、注册、直到触发目标行为的过程。我们可以将这些步骤做成漏斗模型,观察每一步的转化率。漏斗的步骤越靠后,作弊的难度越大,所获取用户对系统的价值越高,同时我们付出的用户成本也越高。运营人员需要对目标行为进行监控,在渠道推广时,考察目标行为的转化率,提高渠道作弊的边际成本。
转化率数据的分析不仅可以帮助我们应对渠道作弊,还可以帮助我们判断不同渠道的用户质量,提高投放效率。
反作弊模块
除了使用现成的统计分析工具,我们还可以开发自己的反作弊模块。反作弊模块类似于杀毒软件,我们需要定义一些行为模式,加到反作弊模块的黑名单库中。如果一个新增设备满足定义的行为模式,就会被判定为一个作弊设备。每个运营人员都可以根据自己的APP来定义。我列举了一些常用的行为模式:
(1)设备号异常:频繁重置idfa
(2)ip异常:频繁更换地理位置
(3)行为异常:大量购买特价商品等
(4)数据包不完整:只有启动信息,不具备页面、事件等其他用户行为信息
反作弊模块需要运营人员与研发人员相配合,做一些研发的工作。另外,大部分的开发者只能接触到自己的数据,如果APP的用户量不大,收集到的用户数据是非常有限的。
这种阶段的APP可以尽量选择现成的工具,比如友盟的用户评级产品。这个产品基于友盟50多万款APP数据做机器学习,能够判断一个设备是真实的或者虚假的用户。如果一个用户是真实的,还可以判断这个用户的属性,比如这个用户喜欢运动,还是一个游戏爱好者。了解这些细致的用户标签,是可以帮助运营人员做后续的精细化运营的。
写在最后:
作为一个运营人员,可能我们需要做好长期与渠道合(dou)作(zheng)的心理准备。用好数据是万里长征的第一步。希望每个运营人员能够通过数据的使用,挑选出合适的渠道,提高渠道投放的收益。