腾讯技术工程 |腾讯移动分析系统揭密

作者简介:foreach,2012年加入腾讯,一直专注于腾讯大数据产品建设,重点参与腾讯移动分析(MTA)、腾讯移动推送(信鸽)等核心产品研发,亲身经历两款产品从0开始到数十万开发者使用的过程。目前专注于系统改造优化,以及广告与金融领域高价值服务建设。

腾讯移动分析(Mobile Tencent Analytics,简称MTA)是一款专业的第三方移动统计分析运营平台,是腾讯大数据对外开放的核心产品之一。平台不仅提供大数据的指标统计,满足常规的移动App运营诉求;还提供个性化、精细化的运营工具,能够有针对性去解决产品研发、运营中遇到具体领域问题;同时,还通过数据的开放生态,输出腾讯在大数据领域积累的能力,帮助企业快速、低成本使用或构建数据平台,提升企业竞争力。

目前,平台每天接入的设备超过10亿台,每天新增日志条数超过5000亿条。十亿的设备账号和千亿的数据如何做计算处理、关联分析、多维交叉是一个不小的技术挑战,下面会分享构建海量数据分析平台的关键技术以及一系列思路与做法。

开始之前,先简单介绍下MTA系统。MTA主要通过采集App、H5&小程序、Hybrid、智能终端等应用数据,通过数据关联,计算处理,为开发者提供实时数据统计分析服务,监控版本质量、渠道状况、用户画像属性及用户细分行为,通过数据可视化展现,协助产品运营决策。平台已累计接入全球上百万款应用,支撑数十万开发者日常统计分析工作。

MTA平台主要分为三个部分:终端数据采集、后台数据存储与处理、运营平台,平台主要特点有:

1. 全平台覆盖:包含原生的Android和iOS应用,智能硬件应用,Hybrid混合应用,H5&小程序,基本上覆盖了主流的终端应用类型;

2. 多模式计算:覆盖离线计算、实时计算、智能计算和数据挖掘;

3. 数据生态开放:支持业务指标前台导出、REST API数据对接,可无缝对接业务自建的运营平台,做数据二次开发。

要构建海量数据分析平台,关键技术主要有3点:

1. 数据连接:数据连接是作为一个数据分析平台的基础,要保证不同的App,甚至不同类型的应用比如原生App与H5 App上报的数据是可关联的,这主要涉及到设备标识、账号关联以及数据的沉淀如用户画像和机型库;

2. 数据处理:离线计算、实时计算、多维实时分析、数据挖掘、机器学习、可视化等;

3. 数据生态:数据导出、平台对接、数据价值、赋能企业大数据能力;

首先,我们先看看设备ID识别。在移动互联网,设备ID的识别一直是个痛点也是个难点。比如Android平台,由于权限等因素IMEI、MAC很可能采集不到真实数据,甚至存在大量的刷机刷量行为,导致采集到的设备ID基本上不可用。

MTA根据移动平台的特点,专门设计了一套设备唯一标识(Mobile ID,简称MID)体系,特点有:

全匿名:MID的生成算法与终端硬件属性没有依赖关系,是后台随机生成,通过安全协议下发到终端SDK;

唯一性:后台通过算法唯一生成,全局保证唯一性;

关联性:可用于关联设备属性、IMEI、MAC、账号等信息;

防伪造:MID字符串本身含有自检验信息,同时,后台存储MID与设备的关联信息,可防止伪造;

可运营:支持在线运营,分配的MID是具有生命周期的,可在线重置或回收。同时,通过特征分析、数据挖掘,还可识别异常的MID,并做逻辑修正。

MID的核心在于其跨域关联性,可以做到一度关联、二度关联,如此扩散,可从单个App扩散到App间,甚至是全网。

解决了数据的连接性难题,下面我们来看看如何构建海量数据处理系统,总的来说,可以按照商业复杂度和时效性2个关键因素,按照不同的数据指标,不同的场景,选用不同的技术。

离线分析平台:全量的指标计算、严格的时序类计算、按天汇总的基础数据报表等;

秒级实时分析:对时效性要求非常高的场景,比如监控告警、质量诊断指标等;

多维实时分析:对数据的归类聚合,比如用户分群、用户标签、设备属性

在线预测分析:对未来的在线预测能力,比如潜流失用户、潜付费用户

参考开源的Strom流式计算解决方案,我们自研了一套纯C++实现的秒级实时系统,主要用于新增、活跃等通用指标的实时计算,系统可以保证“终端日志采集->上报后台->后台计算->存储->前台展示”全流程控制在3秒内,达到秒级刷新。

主要特点有:

1. 增量计算模型:ESP负责计算单位时间(通常为1秒)内的数据增量,然后发送到ESA节点汇总,定期写入Redis,供前台查询;

2. 全整数运算:系统将所有非int类型通过ESA编码模块转换成int,并将映射关系存储在LevelDB,供查询时翻译;

3. 全内存处理:为减少磁盘IO耗时,所有的数据计算和处理都在内存中;

4. 智能容灾策略:系统关键节点有主备异地部署,支持自动监控和切换。

在数据分析过程中,多维交叉分析是一个常见的应用场景,比如用户分群,就是通过一系列的属性条件(例如:活跃情况、用户渠道、用户画像、用户属性和用户行为等)筛选出一批符合相应条件的用户集合,涉及到大量的高维组合操作,通常使用离线系统来处理。为了解决多维交叉的实时性问题,我们引入Roaring Bitmap位图压缩算法和改进后的Druid,将维度和设备ID映射到bitmap上,通过维度的预聚合的bitmap数据来完成实时用户分群功能。一方面通过数据的预聚合,可以大大的压缩原始的数据;另一方面,配合列式存储、针对维度的inverted index,将字符串操作转换成SET的与或非操作,可以准确定位到目标数据而不需要扫描整个数据集,从而将用户发起查询到返回结果的整个过程控制在3秒左右。

用户分群同时支持基于规则和基于算法的分群,客户可以容易通过MTA与广告平台的打通,直接对接广点通和win,甚至可以通过数据开放网关,对接业务自建平台。

甚至,还可以通过移动推送平台(信鸽)导入功能,导入MTA分群好的用户设备标识或号码包,针对不同的用户群推送不同的方案,有针对性的营销推广,达到精准触达的目的。

作为一个公共平台,客户的接入门槛是否够低也是一个事实上的衡量标准。MTA一直强调简洁高效,只需要在终端简单的一两行代码便可对接整个数据服务系统,同时,还支持埋点的可视化操作,运营人员可以不需要通过开发在项目中硬编码埋点,而是将常用的自定义事件以可视化界面呈现,可见即可得,大大降低接入和使用门槛,助力客户挖掘数据价值。

腾讯大数据产品总监洪桃李Torryhong再三强调:大数据能力是企业必备的技能,作为一个公共平台,有义务低成本开放腾讯大数据沉淀的大数据处理能力,帮助企业洞察用户、行业变迁及资本走向,支持公司战略决策,精细化运营。未来,MTA将继续提升平台的能力,继续优化并构建一套高效率、高可伸缩的统一计算平台,并在广告和金融等垂直领域深耕细作,通过整合大数据能力,给客户带来更多的价值。

专题介绍

ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会,参会者数量1000+。其中,出品人及演讲嘉宾中高级技术专家比例占79%,90%拥有10年以上开发经验。本次“TEGer在全球架构师峰会”专题将带来TEG人在会上的系列主题分享。


你认为,如何结合大数据、云计算和人工智能技术赋能企业更多的大数据价值?


原文地址:http://blog.51cto.com/13591395/2067645

时间: 2024-10-02 17:11:33

腾讯技术工程 |腾讯移动分析系统揭密的相关文章

腾讯技术工程 |腾讯公司副总裁姚星:每次浪潮前 腾讯都在革自己的命

<中国人工智能之路(一线人物第三季)>是由财新视频与澜亭资本联合出品的高端纪录访谈节目,是国内第一档聚焦被视为"人类第四次工业革命核心驱动力"的新一轮人工智能浪潮在中国发展历史.现状与未来趋势的主题性专业探讨节目. 从"政策与战略篇"."产业与机遇篇"."风险与挑战篇"."人才与教育篇"四大章节进行全方位探讨.审视与建议,亲临体验图像分析.语音识别.智慧出行.机器人服务.信息与内容平台.智能社交

腾讯技术工程 | 腾讯AI Lab 现场陈述论文:使众包配对排名聚合信息最大化的 HodgeRan

前言:腾讯AI Lab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议AAAI 2018.腾讯技术工程官方号编译整理了现场陈述论文<使众包配对排名聚合信息最大化的 HodgeRank>(HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation),该论文被AAAI 2018录用为现场陈述报告(Oral Presentation),由中国科学院信息工程研究所.腾讯AI

腾讯技术工程 |腾讯AI Lab刷新人脸识别与检测两大测评国际记录,技术日调用超六亿

2017年12月18日,深圳 - 腾讯AI Lab研发的Face R-FCN和FaceCNN算法分别在国际最大.最难的人脸检测平台WIDER FACE与最热门权威的人脸识别平台MegaFace多项评测指标中荣膺榜首,刷新行业纪录,展现其在计算机视觉领域中,特别是人脸技术上的强劲实力. 研究上,目前腾讯AI Lab已通过arXiv平台发表论文公开人脸检测算法部分技术细节,促进企业与学界"共享AI"研究成果:应用上,该人脸技术已接入腾讯互联网+公共服务平台等多个应用场景,每日技术调用量超六

腾讯技术工程 |腾讯海外计费系统架构演进

作者简介:abllen,2008年加入腾讯,一直专注于腾讯计费平台建设,主导参与了腾讯充值中心.计费开放平台.统一计费米大师等项目,见证了米大师从0到1,业务营收从PC到移动多终端再到全球化的跨越过程.20+篇支付专利主撰写人.目前专注于跟团队一起为腾讯业务提供稳定高效安全的全球化个人和企业市场计费服务. 经过海外3年建设,腾讯Midas(米大师)计费逐步构建起了一个分布式的全球计费系统,来助力公司及业内产品计费扬帆出海,走向深蓝.在刚过去的北京全球架构师峰会上,腾讯计费平台部架构师陈宁国分享了

腾讯技术工程 |腾讯企业级消息中间件CMQ技术解密

作者简介:ziza,2012年加入腾讯,一直专注于腾讯中间件产品的建设,主导参与了腾讯消息中间件CMQ.CKafka.MQ for IoT 等项目,见证了腾讯云消息服务从0到1的整个过程.目前专注于于分布式服务开发与治理平台TSF的建设. 大规模分布式系统的快速发展使得消息中间件已经成为系统间通信的核心手段.本文将对腾讯TEG基础架构部中间件团队研发的企业级消息中间件CMQ原理进行分享介绍. 背景介绍 可以使用消息队列的场景有很多,常见的有以下几种: 1.服务解耦:同步变异步,数据最终一致性:

腾讯技术工程 |腾讯报告TensorFlow首个安全风险 谷歌确认并致谢

日前,腾讯发现谷歌人工智能学习系统TensorFlow存在严重安全风险,可被黑客利用带来安全威胁.据悉,该风险是TensorFlow首个自身安全风险,腾讯安全平台部预研团队已向谷歌报告这一风险并获得致谢. 腾讯安全平台部预研团队发现,攻击者可以生成Tensorflow的恶意模型文件,对AI研究者进行攻击,对受害者自身的AI应用进行窃取或篡改.破坏.该风险危害面非常大,一方面攻击成本低,普通攻击者即可实施攻击:另一方面迷惑性强,大部分AI研究者可能毫无防备:同时因为利用了TensorFlow自身的

腾讯技术工程 | 基于Prophet的时间序列预测

预测未来永远是一件让人兴奋而又神奇的事.为此,人们研究了许多时间序列预测模型.然而,大部分的时间序列模型都因为预测的问题过于复杂而效果不理想.这是因为时间序列预测不光需要大量的统计知识,更重要的是它需要将问题的背景知识融入其中.为此,Prophet充分的将两者融合了起来,提供了一种更简单.灵活的预测方式,并且在预测准确率上达到了与专业分析师相媲美的程度.如果你还在为时间序列预测而苦恼,那就一起走进兴奋而又神奇的Prophet世界吧. 前言 时间序列预测一直是预测问题中的难点,人们很难找到一个适用

腾讯技术分享:GIF动图技术详解及手机QQ动态表情压缩技术实践

本文来自腾讯前端开发工程师" wendygogogo"的技术分享,作者自评:"在Web前端摸爬滚打的码农一枚,对技术充满热情的菜鸟,致力为手Q的建设添砖加瓦." 1.GIF格式的历史 GIF ( Graphics Interchange Format )原义是"图像互换格式",是 CompuServe 公司在1987年开发出的图像文件格式,可以说是互联网界的老古董了. GIF 格式可以存储多幅彩色图像,如果将这些图像((https://www.q

走近支付宝移动支付测试,了解思科安卓先进测试技术,与讯飞人共舞。

走近支付宝移动支付测试,了解思科安卓先进测试技术,与讯飞人共舞.还在等什么?!!!赶快加入讯飞测试技术嘉年华(报名地址: http://itest.iflytesting.com/).前20名报名者将有机会获得精美礼品,并且有机会与来自支付宝.思科的嘉宾进行face to face的交流.时不我待,快快打开你的IE.火狐.chrome.先到既是赚到.如果您愿意前来分享您的经验.您的技术,那么我们也欢迎您到这个舞台来一场个人秀(提交主题地址: http://itest.iflytesting.co