Google分析language垃圾信息

最近一段时间,我在Google Analytics(以下简称GA)中查看网站数据时,发现一个非常可疑的信息:

这什么鬼?

“language”这一项一般是 “zh-tw”, “zh-cn”, “en-us”, “es”, “fr”等,它是由用户浏览器设定的。但用户浏览器不可能把语言项设置为这些:

Secret.?oogle.com You are invited! Enter only with this ticket URL. Copy it. Vote for Trump!

o-o-8-o-o.com search shell is much better than google!

Vitaly rules google ☆:?゜??ヽ(^?^)??゜??:☆ ˉ_(ツ)/ˉ(?益?)(???)(???)?(???)( ?° ?? ?°)ヽ(?Д?)???????? ????(=^ ^=)oO

Congratulations to Trump and all americans

分析请求

很明显,这是一种新的 spam(垃圾信息),希望吸引目标人群(可能就是我们这样的网络管理员)的注意力。

仔细地观察这些请求,会发现几个特点:

  1. 请求数有明显的波峰,在几天内会达到高峰,然后又降下去
  2. New Sessions 的比例非常高,达到了86%以上

分析其它受攻击的栏目

仔细查看 GA 统计项目的这些请求,发现 referrer 一栏也比较可疑地出现了这些:

motherboard.vice.com addons.mozilla.org webmasters.stackexchange.com blackhatworld.com thenextweb.com abc.xyz lifehac?er.com ...

这其中有一些非常正规的域名。比如abc.xyz是Google的母公司alphabet的官网,thenextweb.com也是一个开发者媒体。

这些网站本身没有问题,但其实该网站上并没有任何一个链接指向我的博客,更谈不上我的访客“来自”(referral)该网站了。当我访问回去,发现并没有实际上的链接,只是广告,倒也罢了,更可怕的是可能会有钓鱼、病毒等。

综上,这是一波二维攻击(假的语言项和假的 referral 项),目的是吸引你的注意力。

分析攻击怎么产生的

总的来说,这种垃圾信息有两种攻击方式。一种是真正会访问你的网站的网络爬虫;另一种是不访问你的网站,而是将假冒的“点击”事件直接发送到GA服务器。事实上,第二种攻击方式由于成本低,因而更加常见。

GA 的统计逻辑是,当用户访问你的网站,会在前端运行一段 JavaScript 代码,然后把用户的一些访问情况通过 HTTP 请求发送给 GA 服务器,告诉 GA 发生了一次“访问”。而这个 HTTP 请求可以很容易地被伪造,所以垃圾信息发送者无需真的访问你的站点,它直接发送大量 HTTP 请求即可达到目的。

除了 HTTP 请求,GA 还支持更方便的Measurement Protocol ,开发者可以发送一个原始数据(raw data)给GA,来一次性传输大量用户行为。这个协议的初衷是让开发者可以统计所有环境下的用户行为,比如开发者可以将离线状态下的用户行为记录下来,当在线时一次性发送。或者当内网不支持外部访问时,先记录下用户行为,随后再定时一次性发送到 GA。

初衷是好的,不幸的是,这个过程仍然是无需认证身份,所以更方便了垃圾信息发送者。垃圾信息发送者可以通过一次请求即发送大量假数据,他只需要得到你的 UA-ID(UA-XXXXXXX-XX)即可。

在这个原始数据包中,一切皆可伪造。Hostname?没问题!Referral?全改了!URL path?当然也可以改……

如何避免

对网站主来说,这种垃圾信息有几点危害:1、浪费时间,就像传统垃圾邮件一样。2、干扰 GA 状态栏,特别是如果网站流量不是很大(比如我)。3、传播病毒。

所以,有没有完美的解决方法呢?实际上,没有。

要知道,数据一旦录入到 GA,就没有办法删掉了。能做的只有两件事,一是阻止垃圾信息进一步加入到 GA,二是在视图中过滤掉已经添加进来的垃圾信息,眼不见为净。

第一步:使用过滤器阻止未来的垃圾信息

在语言项中,一般字符数是5-6个,很少有超过10个的,所以我们可以认为语言项超过15个字符的就一定是垃圾信息。

此外,有一些字符是不可能出现在合法的语言项中,但垃圾信息会利用这些字符来组成URL,比如: “secret google com”, “secret,google,com”, “secret!google!com”,所以我们也一并排除空格、点号、逗号、惊叹号。

.{15,}|\s[^\s]*\s|\.|,|\!|\/

在admin中选择Filter,然后新增一个如图所示的过滤器即可。

设置好了之后,可以验证一下是否会拦截掉我们想拦截的内容:

没有问题,未来的语言项垃圾信息会直接被拦截掉。

第二步:通过Segment净化已有数据

过滤器从你开始设置时生效,而历史信息无法修改。不过 GA 提供了 custom segment 功能,在生成报告时,选择性过滤掉一些数据。

Segment 就是数据片段,指的是在完整的数据中取出我们需要的片段进行分析。比如我们可以单独取出24岁以下的用户的行为,对比24岁以上的用户行为有何不同。而这个功能正好可以让我们把“语言”不规范的数据过滤掉。

如下图,在All Users的旁边有一个 + Add Segment 的按钮,点击之后就可以配置我们的 segment。

一定要注意是选择“does not match regex”,里面填上之前的正则。

创建好了新的 segment 之后,就会看到过滤之后的全新报告。

下次再进入时,又会默认进入到 All Users 视图,这时可以在 All Users 里的 custom 里找到我们的自定义 segment,勾选即可。

如果经常需要查看这个 segment,推荐点击 shortcut 来新增快捷方式。

它会保存当前的 segment 和排序等,下一次可以直接从 Short 项目进入到这个快捷目录。

以上就是完整的过滤方法了,这样应该可以过滤掉大部分语言spam的攻击。GA提供的 filter 和 segment 的功能很强大,如果后续发现有新的垃圾信息,可以继续通过今天学习的方法来更新完善我们的过滤器。

参考资料: Language Spam – The Latest Google Analytics SpamGuide to Removing Referrer Spam in Google Analytics



相关推荐

面向未来的跨界开发技术(上)

面向未来的跨界开发技术(下)



此文已由作者授权腾讯云技术社区发布,转载请注明文章出处,获取更多云计算技术干货,可请前往腾讯云技术社区

欢迎大家关注腾讯云技术社区-博客园官方主页,我们将持续在博客园为大家推荐技术精品文章哦~

时间: 2024-12-16 19:28:10

Google分析language垃圾信息的相关文章

根据google地图抓去全国信息- 抓去全国小区以及新建楼盘信息

本案例由于google每天每个账户能post20000次所以我们需要相对较长的时间来抓去google的数据信息. 主要思路:通过一定的zoom一个相对较大的zoom.我们尽可能的搜索我们的所有数据. 之后我们获取google的搜索数据如下图 我们要抓去的就是上面的小红点了. 我这边抓去全国的小区信息用一台服务器跑了20天左右将全国的小区信息基本上都抓到了. 小到县 镇 的小区信息也抓到了. 相对还是比较理想.当时分析消耗了大量的时间. 由于我需要获取这个小区名称以及地图的坐标点所以这块还是有一定

2015年1月不良与垃圾信息:不良网站2.6万件次 升23%

IDC评述网(idcps.com)02月28日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年1月举报受理情况月报>.根据报告显示,1月份,12321举报中心共收到不良与垃圾信息举报175,755件次,较上月减少13,585件次.其中,垃圾邮件举报6,946件次:互联网不良网站26,409件次等.下面,请看相关数据分析: 1. 垃圾邮件举报情况 1月份共收到6,946件次垃圾邮件举报,环比上月降低5.7%.对中文邮件内容进行分析,可知:违法出售票.证类的比重最

10月不良与垃圾信息:不良网站超3万件次 升8.9%

IDC评述网(idcps.com)11月26日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年10月举报受理情况月报>.根据报告显示,10月份,12321举报中心共收到垃圾邮件举报10775件次.不良网站举报30927件次等.接下来,IDC评述网将对10月不良与垃圾信息举报受理情况进行分析. 1. 垃圾邮件举报情况 10月份共收到垃圾邮件的举报10775件次,环比上月上升14.2%.对中文邮件内容进行分析,可知会展类占比依旧最大,为25.1%.接着是违法出售票

11月不良与垃圾信息举报:垃圾邮件7,976件次 升59.2%

IDC评述网(idcps.com)12月25日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2014年11月举报受理情况月报>.根据报告显示,11月份,12321举报中心共收到不良与垃圾信息举报219,921件次,较上月减少92,474件次.其中,垃圾邮件举报7,976件次:互联网不良网站22,349件次等.下面,请看相关的具体数据: 1. 垃圾邮件举报情况 在11月,共收到7,976件次的垃圾邮件举报,环比上月,上升了59.2%.对中文邮件内容进行分析,各类举报情况

3至4月不良与垃圾信息:垃圾邮件38,528件次

IDC评述网(idcps.com)06月01日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年3至4月举报受理情况月报>.根据报告显示,3至4月,12321举报中心共收到不良与垃圾信息举报383,552件次.其中,垃圾邮件举报38,528件次:互联网不良网站61,558件次等.下面,请看具体数据分析: 1. 垃圾邮件举报情况 3至4月份共收到垃圾邮件的举报38,528件次,相比2月,明显增多.对中文邮件内容进行分析,可知举报会展类的邮件数量占中文垃圾邮件总举报

社会化统计工具分享之Google分析、cnzz、51la、百度统计和Js比较

流量统计作为互联网站点最基础的数据分析工具,几乎与每个站长.互联网从业者相关.在互联网这个没有硝烟的战场上,流量统计工具就像打仗用的武器.能否选好适合自己的武器.用好武器,很大程度上决定了我们的胜败. 流量统计作为互联网站点最基础的数据分析工具,几乎与每个站长.互联网从业者相关.在互联网这个没有硝烟的战场上,流量统计工具就像打仗用的武器.能否选好适合自己的武器.用好武器,很大程度上决定了我们的胜败. 以下一些方面是各统计软件可能存在的不同点: 1. 定义不同:不同统计软件对各种关键指标的技术定义

8月不良与垃圾信息:涉嫌欺诈类违法短信占60.4%

IDC评述网(idcps.com)09月22日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年8月举报受理情况月报>.根据报告显示,8月份,12321举报中心共收到垃圾邮件举报7902件次.不良网站举报34035 件次等.下面,IDC评述网将对相关数据进行具体分析. 1. 垃圾邮件举报情况 8月份共收到垃圾邮件的举报7902件次,环比上月增加69.9%.对中文邮件内容进行分析,可获悉:比例最大的是会展类,为24.6%:其次是网站推广类,占比达到21.6%:违法

6至7月不良与垃圾信息举报:垃圾短信占52.3%

IDC评述网(idcps.com)09月08日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年6至7月举报受理情况月报>.根据报告显示,6至7月,12321举报中心共收到不良与垃圾信息举报277,957件次.其中,垃圾邮件举报8,550件次:互联网不良网站75,541件次等.下面,请看相关数据分析: 1. 垃圾邮件举报情况 在6至7月份,共收到垃圾邮件的举报8,550件次,相比5月份,大幅度减少.对中文邮件内容进行分析,各类举报情况如图2所示:会展类占24.7

2月不良与垃圾信息:垃圾邮件5,384件次 降22.5%

IDC评述网(idcps.com)04月03日报道:近日,工业和信息化12321网络不良与垃圾信息举报受理中心发布了<2015年2月举报受理情况月报>.根据报告显示,2月份,12321举报中心共收到不良与垃圾信息举报151,369件次,环比上月,减少24,386件次.其中,垃圾邮件举报5,384件次:互联网不良网站23,152件次等.接下来,请看相关数据分析: 1. 垃圾邮件举报情况 在2月份,共收到垃圾邮件的举报5,384件次,相比上月,减少了22.5%.对中文邮件内容进行分析,可获悉违法出