论数据提取的正确打开方式

  在WX时做了两年的数据提取,处理了七八百个需求,基本是每天都有。曾经有段时间,我还挺喜欢提数据的,因为简单轻松不用太动脑。虽然领导时不时也会强调一下,在提取数据时要多和业务方讨论。但讨论的目的是砍掉一些意义不大的指标,以减少数据提取的耗时,因为领导觉得数据提取是一件很low的事情,没啥技术含量。所以在WX的时间里,我一直以为数据提取就只是数据提取。

  所以,它的正确处理方式就应该是:需求方发来一封邮件,上面简要写着分析背景,分析目的以及详细的指标体系。收到邮件后,我需要先认真阅读邮件中的每一个指标,把自己认为有歧义的指标和需求方进行沟通确认,然后编写提取代码,最后将结果数据导成一个excel回复给需求方,任务就到此结束。我能额外做的就是,将需求中经常提到的指标的计算代码保存下来,模块化,以便下次提取时只需要做简单修改,不需要完全重新编写。为了进一步减少代码编写的时间,我甚至还写了几个模板框架,用于不同类型的指标提取。每次只需要做很小的改动,就可以提出绝大部分的指标,而剩下的那小部分指标,就还是需要老老实实完成。

  到VIP后,部门里全是分析师,他们的任务也和以前差不多,业务方发来需求邮件,他们提取数据,再将结果已邮件回复。大致看上去差不多,但不同之处就在于对需求的理解上,即使需求方发来的是非常详细的指标体系,他们也会逐一地和需求方沟通。沟通的目的虽然也是向砍掉一部分意义不大的指标,但更主要的是想知道详细的分析背景和目的,然后从问题出发,以专业的角度重新梳理指标。待提出数据后,再将结果进行加工分析,最后以半结论半数据的方式反馈给需求方。如此以来,就很少有需求方会提出具体的指标,而是提出问题,让分析师来提供分析方案,从而留给分析师更大的发挥空间,进入良性循环。

  而在老东家,数据提取是由ETL小组在完成,被定位成了程序员的工作,所以一直不受重视。外部数据需求由ETL组完成了,那数据分析小组就需要自己去开拓业务。但新业务拓展一直不太顺利,需求较少,队伍也就慢慢萎缩,由曾经的12人变成了现在的4,5人吧。如果能回到以前,最佳工作方式应该是由数据分析小组对接所有数据提取需求,他们在提取过程中同时完成分析。ETL小组专注于数据仓库,开发宽表,完善数据平台,协助分析小组。分析小组将需求中的共性抽离出来,形成数据产品,同时还要引导需求方如何更好的使用数据。绝大多数需求方对数据的理解都是有限的,所以他们的需求也是有限的。如果要拓展业务,就要首先教会他们如何更好的使用数据,如何基于数据完成决策。业务和数据应该是一体的

时间: 2024-08-15 09:49:49

论数据提取的正确打开方式的相关文章

【分享】WeX5的正确打开方式(7)——数据组件详解

本文是[WeX5的正确打开方式]系列的第7篇文章,详细介绍WeX5中数据组件的增删改查以及数据定位方法. 前言 上一篇 数据组件初探 我们简单介绍了数据组件的引入和底层结构以及特性,并实现了简单的数据展示和数据改动.上一篇中简单提到了,数据组件就是后台数据库表在前端的一个映射,前后端开发人员只要预定好数据组件的内容,就可以简单实现前后端开发的分离.既然数据组件是一个数据库表的映射,那它的基本结构就是一张 2 维表格,举个栗子,定义一个 html5开发工具 的数据组件,xid 为 devtool

任务队列和异步接口的正确打开方式(.NET Core版本)

任务队列和异步接口的正确打开方式 什么是异步接口? Asynchronous Operations Certain types of operations might require processing of the request in an asynchronous manner (e.g. validating a bank account, processing an image, etc.) in order to avoid long delays on the client si

区块链技术是版权保护的“正确打开方式”

21世纪是互联网的时代,也是知识经济时代.在互联网发展成熟的现阶段,网络成为了众人获取信息.知识.消遣的主要渠道.越来越多的人开始进入新媒体,网络的创作者人数也日益增加,同时网络上也带来了大量的网络版权问题.今天墨者安全就给大家说一下版权保护方面的事情. 为什么说区块链技术是版权保护的正确打开方式呢? 首先是因为区块链独有的特性,有着去中心化.高安全性.不可篡改.公开透明的特性.通过区块链技术可以完整的记录作品和创作者的详细信息,并全部公开:所有的节点都可以共同记录,共同维护:并且盖上不可篡改的

关于格子之表白的正确打开方式

飞碟说69期:<表白的正确打开方式>优酷视频在线观看.你可能想不通, 我身高177.体重117.长相不错.家庭不错.成绩好.体育好.器大活还好,为啥她不喜欢我?飞碟君教你三招: 知己知彼才好下套.自恋和自卑是表白大忌.再牛的技术也比不上真情流露 .自古表白多白表,要经历多少次“十动然拒”,才能学会表白的正确打开方式? 飞碟说谈恋爱系列: 表白的正确打开方式 文字版台词 闽江学院男生赖国森向他心仪的蕾蕾,送出了一封212天写的16万字的情书,内容是回忆两人一起吃过的沙县,他将其装订成册,并取名&

Xcode 的正确打开方式——Debugging(转载)

Xcode 的正确打开方式——Debugging 程序员日常开发中有大量时间都会花费在 debug 上,从事 iOS 开发不可避免地需要使用 Xcode.这篇博客就主要介绍了 Xcode 中几种能够大幅提升代码调试效率的方式. “If debugging is the process of removing bugs, then programming must be the process of putting them in.”——Edsger W. Dijkstra 添加条件 有时候我们可

swf文件的正确打开方式

软件下载链接在此,可不必看下面的解释 最近在看新东方的英语口语视频教程(<新东方4+1英语口语教程>,也在此向大家推荐一下),可是在播放过程中,老是出现自己跳转到视频的起始位置并暂停的状况,很让人抓狂,我试了好几款视频播放器,结果都是一样.想着可能是视频文件的问题吧,也就没管它了,迁就着看了几集. 可是,第二天我贼心不死,百度之.在筛掉几个错误答案之后,发现了这款ZzFlash播放器,下载试了下,视频果然不跳了. 原来视频跳转的原因是:课程设定有跟读的内容环节,一般的视频播放器没有识别出这个东

转载:淘宝前端团队的干货《论版本号的正确打开方式》

引用原文评论的一句话:条理清晰, 如此甚叼! 论版本号的正确打开方式 作者: 法海 发表于: 2016-08-04 版本号广泛运用于开发的各种场景:NPM 包的版本定义.对 NPM 包的特定版本的依赖指定.git 的 daily 版本号分支…… 面对如此多的场景,版本号的命名却存在很大问题.举些例子: 开始写一个新项目 / 模块时,不管三七二十一,都从 0.0.1 起版本,直到项目不再维护时,版本还停留在 0.0.48,前两位永远都是 0. API 变化巨大,而版本号雷打不动一步一个脚印.一个二

【Android开发笔记】返回到上一个Activity的正确打开方式

技术支持 http://stackoverflow.com/questions/12276027/how-can-i-return-to-a-parent-activity-correctly 首先,在网上看到有人这么写: 1 @Override 2 public boolean onOptionsItemSelected(MenuItem item) { 3 switch (item.getItemId()) { 4 case android.R.id.home: 5 this.getActi

Java循环删除集合多个元素的正确打开方式

首先说下不正确的打开方式: 第一:使用for循环删除集合的元素,示例代码如下 1 ArrayList<String> list = new ArrayList<String>(Arrays.asList("a", "b", "c", "d")); 2 for (int i = 0; i < list.size(); i++) { 3 list.remove(i); 4 } 5 System.out