美图数据统计分析平台架构演进 当时我一个人,一天能够做四五个统计需求,而抽象后一天从了解需求开始到实现大概能做七八个统计需求,整体效率有不错的提升。

小结:

1、

一个有追求的程序员的话,可能不会甘于每天做重复的工作。因为在平时接触业务与实现过程中,深有体会统计业务逻辑的流程基本上是一致的,所以考虑抽象出这样一个相对通用的业务处理的流程,基本的流程是从数据源Query出数据,然后做一些业务方面的聚合或者过滤,最终把数据存储到DB。那在代码实现层面做了一层抽象,抽象一个统计的组件,包含Query、Aggregator以及DBStore,然后分别有一些不同Query和Store场景的实现。当做了一层这样的抽象以后,相比于前面的方案,生产力还是得到了比较大的提升。当时我一个人,一天能够做四五个统计需求,而抽象后一天从了解需求开始到实现大概能做七八个统计需求,整体效率有不错的提升。

2、

基于上面的痛点,我们来介绍一下我们是如何解决这些事情的。我们考虑去做一个平台,让业务在我们这个平台去使用,我们提供服务就好。图 4 是我们当时做平台化的大概思路,比如左边这个业务方有非常多的报表数据需求,也可能有App的数据场景、商业广告等的数据需求,我们希望能够提供这样的一个平台,业务的数据需求方在这个平台上面配置他们想要的数据指标,而这个平台负责数据的计算、存储,以及最终吐出相应的数据给数据应用方。

更进一步,在做这个平台时,我们可能需要考虑以下几个比较重要的点:第一,我们可能需要对统计任务有一个比较清晰的元数据描述,可以描述出这些统计任务的计算方式是什么样子,算子是什么。第二是这个统计任务的数据源来自于哪里,以及数据需要存储在什么地方更合适业务查询。第三个是需要有一个调度中心来统一调度所有统计任务的执行。第四要确保任务的最终的正确执行。

https://mp.weixin.qq.com/s/9j6HF1OM-f1dNzGnMzNshw

卢荣斌 Go中国 2017-08-31

原文地址:https://www.cnblogs.com/yuanjiangw/p/10854510.html

时间: 2024-11-12 10:44:10

美图数据统计分析平台架构演进 当时我一个人,一天能够做四五个统计需求,而抽象后一天从了解需求开始到实现大概能做七八个统计需求,整体效率有不错的提升。的相关文章

美图数据统计分析平台架构演进

摘要:美图拥有十亿级用户,每天有数千万用户在使用美图的各个产品,从而积累了大量的用户数据.随着App的不断迭代与用户的快速膨胀,产品.运营.市场等越来越依赖于数据来优化产品功能.跟踪运营效果,分析用户行为等,随之而来的有越来越多的数据统计.分析等需求,那么如何应对和满足不断膨胀的数据统计与分析需求?业务的不断发展又怎么推进架构实现的改造?本文将介绍大数据业务与技术的碰撞产物之一:美图大数据统计分析平台的架构演进,希望通过这次分享能给大家带来一些解决数据业务与架构方面的思考. 如果有做过大数据相关

3款移动应用数据统计分析平台对比

 本文由雷锋网整理自ZDnet,内容有改动,仅供各位热衷于移动应用开发推广运营的朋友参考. 目前市面上比较常见,使用比较多的移动应用统计平台大概有3.4家,国外比较流行的是Flurry,功能上非常全面:另外就是Google Analytics也推出了移动版,由于你懂的原因,在国内基本无法正常使用.而国内的统计分析平台目前比较有名的是友盟以及TalkingData. 此外,一些应用市场,也有专门的统计分析工具,为其开发者平台上的应用开发者提供数据服务. 我们将重点放在Flurry.友盟,以及T

转: 58同城高性能移动Push推送平台架构演进之路

转: http://geek.csdn.net/news/detail/58738 文/孙玄 本文详细讲述58同城高性能移动Push推送平台架构演进的三个阶段,并介绍了什么是移动Push推送,为什么需要,原理和方案对比:移动Push推送第一阶段(单平台)架构如何设计:移动Push推送典型性能问题分析解决,以及高可用.高性能.高稳定性如何保证. 什么是移动Push推送 移动Push推送是移动互联网最基础的需求之一,用于满足移动互联环境下消息到达App客户端.以转转(58赶集旗下真实个人的闲置交易平

美图WEB开放平台环境配置

平台环境配置 1.1.设置crossdomain.xml 下载crossdomain.xml文件,把解压出来的crossdomain.xml文件放在您保存图片或图片来源的服务器根目录下,比如: http://example.com.cn,那么crossdomain.xml的路径为:http://example.com.cn/crossdomain.xml.需要注意的是crossdomain.xml必须部署于站点根目录下才有效, crossdomain.xml的目的是授权来自美图域下的flash向

魔镜—58可视化数据智能平台架构与实践

背景 魔镜是数据产品研发部基于大数据平台开发的一套可视化数据智能平台.传统机器学习建模流程对非数据科学专业人员来说,整体门槛较高,其中主要体现在几个方面: 1. 机器学习概念较为抽象 比如训练集.验证集.测试集.特征.维度.标签泄露.欠拟合.过拟合.学习曲线.验证曲线.ROC曲线.混淆矩阵等等,除了需要了解概念外,需要了解具体的使用场景.使用方法. 2. 机器学习建模流程复杂 数据准备.数据预处理.统计分析.特征工程.模型训练与建模.模型评估与对比等,尤其是统计分析以及特征工程,涉及大量的特征生

1年时间业务量疯长40倍,谈人人车的平台架构演进之路

人人车业务平台从最初典型的LNMP单机单服务部署架构,发展到如今分布式服务化架构,五百多台虚拟机部署,一路走来,踩过不少坑,也遇到过不少挑战,特别是对于基于云服务进行业务开发的场景,以及从零开始服务化与SOA之路更是颇有心得,希望通过此次分享全面回顾人人车业务平台技术架构发展之路,重点分享如下内容: 创业初期技术架构选型思考,那些年我们趟过的坑,云服务与三方服务使用心得: O2O型互联网创业公司,重线下团队技术型公司,技术架构优化之路,分享我们人人车是如何做服务拆分.如何做服务化.如何做SOA.

倪江利:魅族推荐平台的架构演进之路

摘要:魅族拥有超大规模的用户量及海量数据,魅族推荐平台实现了在海量的数据中对算法模型进行在线及离线训练,在高并发的场景下实时进行预测为用户推荐更感兴趣的信息.同时支撑多算法组合A/B测试,以供算法进行在线实验,并能在线进行动态机器资源分配以达到资源的最大化利用. 魅族整个产品线都有用到推荐,包括资讯.视频.应用中心.个性化中心.广告等业务,魅族的推荐平台在其中起到了关键的作用,下文将会全面分析从开始到现在的架构演进,以及其中涉及的技术难点分析,以期给读者带来更多的思考. 一.魅族推荐平台架构演进

通过 GOOGLE 大数据计算平台演进理解 APACHE FLINK 前世今生

一.背景 2019年1月,伴随 APACHE FLINK 母公司 Data Artisans 被 收购 ,FLINK 毫无争议成为继 SPARK 之后的新一代大数据计算平台,本文希望通过 GOOGLE 计算平台演进来更好的理解 FLINK. 二.GOOGLE 大数据计算平台演进 GOOGLE 作为搜索引擎的顶级公司,需要处理海量数据,其大数据计算平台的演进是行业的风向标:本文通过 GOOGLE 在该领域发表的论文进行剖析,希望从中提取一些演进的主线. 2.1 分布式的三篇经典 2003年,[Th

腾讯技术工程 |腾讯海外计费系统架构演进

作者简介:abllen,2008年加入腾讯,一直专注于腾讯计费平台建设,主导参与了腾讯充值中心.计费开放平台.统一计费米大师等项目,见证了米大师从0到1,业务营收从PC到移动多终端再到全球化的跨越过程.20+篇支付专利主撰写人.目前专注于跟团队一起为腾讯业务提供稳定高效安全的全球化个人和企业市场计费服务. 经过海外3年建设,腾讯Midas(米大师)计费逐步构建起了一个分布式的全球计费系统,来助力公司及业内产品计费扬帆出海,走向深蓝.在刚过去的北京全球架构师峰会上,腾讯计费平台部架构师陈宁国分享了