前几天和一朋友A聊天,一个在我看来完全可以在大部分行业领域公司独当一面的数据分析师,目前仍谦虚的以“数据猿”自称。从事数据分析的他,半路出家,起初虽然懂一些数据库的知识,但仍然和很多人一样,艰难地上了路。于是我们就索性一起讨讨经,“一本正经”地聊起工作来,留下点感悟。
数据分析如何起步?
说入门很简单一定是骗你的,A说自己是从记数据开始的,记数据一方面是为了应付领导的提问,另一方面也是在培养数据的敏感度。确实,分析的源头一般是某些指标有了明显的变动,熟悉每天的交易数据或用户数据能让你一眼就看出问题在哪里,哪些数据有关联,然后再做分析。而我是从Excel做起的,大部分时间都是在取数,做“表哥”,还要抵挡来自业务的需求攻击。后来,他去做了数据挖掘,我从BI再从数据平台转做了技术。
万事开头难,但一旦数据分析有了动力,就要开始完善自己的知识体系,这也是真正入门的开端。那如何完善数据分析的知识体系?
1、基本的计算机知识和统计知识
数据库+SQL语言
一些常用的数据库如Oracle、SQL Sever、DB2、MySQL,这些数据库或者说日常接触的数据库都要有所了解,懂最常用的就好,最重要的还是要会写SQL。
数学/统计学知识
一些基本的数学统计方法如描述性统计、多元统计分析、回归分析等,重要性不言而喻。
数据挖掘知识:方差分析、回归分析、因子分析、聚类分析等等。这些东西作为入门多多少少都要会一些,虽然有可能不会全用到,但一旦用时方恨少。
数据分析可视工具
数据分析可视化工具很宽泛。首推Excel,中小公司很依赖,熟练使用数据透视表,这是必备技能。中大型公司都是用报表工具或者BI来做报表,但有了SQL+Excel的基础,这些工具上手都很快。
2、业务知识
数据分析师要与公司的各业务打交道,所以对于各部门的业务知识要有深入的了解。某业务领导需要知道某个指标,你需要知道这个指标由哪些数据构成?数据统计的口径是什么?数据怎么取出来?这个指标对于行业的意义是什么,处于什么范围分别对应什么样的情况,是好还是坏。然后慢慢摸索这个指标层面多维度的规律,如何设定最合理。
明确自己的位置,快速成长
附上网上的一张数据分析师能力体系图,用于参考。
数据分析是一向比较专业的工作,要时刻警惕自己能力是否有提升,目前是什么样的水平,习惯反思自己:
这里引用知乎上@任明远的回答
1、你了解你所整理的数据的来源吗?是自己公司的业务数据,还是与合作伙伴交换的数据?是自己公司相关部门采集的,还是从第三方获取的?获取过程中,具体的指标和逻辑是什么?
2、这些数据是真实的吗?采集和整理过程中会不会出现什么问题?技术上的逻辑和业务上的逻辑是不同的概念,有没有技术上没有瑕疵,但并不符合业务逻辑的数据流程?
3、到你手里的数据经过了什么处理?你又做了什么处理?为什么他们和你要做这些处理?
4、谁需要你的数据?你处理后的数据流向哪里?他们用数据做什么?这些数据最终又拿去做了什么?比如,为客户做了什么服务,公司发布了什么内容,或向管理层证明了什么KPI,或支持了哪个部门的评估?
5、你做整理的周期是什么?为什么是这样的周期?
6、公司有其他的部门在处理其他的数据吗?是什么样的数据?和你有什么关系?为什么这些数据要分开处理?
7、近一年,你自己的电脑上应该已经积累了不少数据,试试做个分析,从一段较长的时间来看,你负责的这一块数据发生了什么变化?为什么会有这个变化?和公司的产品、经营、业务有关,还是和行业有关?具体怎么有关?
如何进一步提升?
业务上
1.业务为核心,数据为王
- 了解整个产业链的结构
- 制定好业务的发展规划
- 了解衡量的核心指标
- 有了数据必须和业务结合才有效果
需要懂业务的整体概况,摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
2.思考指标现状,发现多维规律
- 熟悉产品框架,全面定义每个指标的运营现状对
- 比同行业指标,挖掘隐藏的提升空间
- 拆解关键指标,合理设置运营方法来观察效果
- 争对核心用户,单独进行产品用研与需求挖掘
业务的分析大多是定性的,需要培养一种客观的感觉意识。定性的分析则需要借助技术、工具、机器。而感觉的培养,由于每个人的思维、感知都不同,只能把控大体的方向,很多数据元素之间的关系还是需要通过数据可视化技术来实现。
3.规律验证,经验总结
发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。
技能上
1.Excel是否精钻?
除了常用的Excel函数(sum、average、if、countifs、sumifs、offset、match、index等)之外,Excel图表(饼图、线图、柱形图、雷达图等)和简单分析技能也是经常用的,可以帮助你快速分析业务走势和异常情况;另外,Excel里面的函数结合透视表以及VBA功能是完善报表开发的利器,让你一键轻松搞定报表。
2.你需要更懂数据库
常用的数据库如MySQL,Sql Server、Oracle、DB2、MongoDB等;除去SQL语句的熟练使用,对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时,如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。
3.掌握数据整理、可视化和报表制作
数据整理,是将原始数据转换成方便实用的格式,Excel在协同工作上并不是一个好工具,报表FineReport比较推荐。项目部署的Tableau、FineBI、Qlikview一类BI工具,有没有好好培训学习,这些便捷的工具都能淡化数据分析时一些重复性操作,把精力更多留于分析。