在明确了自己在大数据方向里的具体模块后,就只剩下来加强自己这一方面的突破跟技术积累了。我选择是数据分析及可视化两个方向。行业是传统行业,为什么是这样?下面就从业务角度来层层分析。
一直以来,都觉得太过高深的技术是没有的!只不过是你在平时的积累跟细节的把控。而数据分析,现在各行各业都需要,小到年终的财务总结报告。大到公司的CRM系统。但是传统行业对新技术都是处于一个观望的态度。传统的盈利模式已经使传统行业对互联网这个时刻变行的行业心生畏惧。所以说,数据分析,对于大数据在传统行业里,是一个很好的切入点。而如何让对方感知到效益,这一点,也是非常重要!记得我的数据挖掘老师张磊(数据挖掘领域大牛)跟我们说过,在传统行业,如果你的数据挖掘不能让客户与业务部门在半年内见到效益,那你将是一个非常失败的数据分析师!
中国人善于总结流程,并且见微知著。基于大量的观察而去推测即将要发生的事情。这也是一种数据分析,而真正与大数据关联的,可能是与用户能够直接接口的数据。而这一些数据前期的整理,清洗,分析.....基本上都是在一些EXCEL,或一些TXT,WORD中。而此时,你的业务分析逻辑是非常重要的,也就是你要对用户的数据业务信息有相当的了解才行。当后期,当用户或业务部门发现你数据分析的价值的时候,这个时候,不用你说,他们就会再给你更大量的数据让你去分析。
当你有了更大的数据的时候,你就可以考虑数据库的相关技术了,如何去存取你那原本存不下来的EXCEL,或TXT文档。这时,你可以试一试结构化数据库。此时,技术上的投入估计也就是数据库的购买,但它的投入会远远小于你给公司业务创造的价值。数据如何获取,如何读入数据库中,是你要考虑和重要。同时也要告知业务部分他们的关键数据在何处存取。
当你在单机上分析到一定程度时,数据会越来越多,你也要开始考虑多个维度的数据了。因为并不要只依考一个单一维度的数据去推测你的目标客户。这样,会有效果,但效果很低,想想那些给你推荐广告的系统吧!是不是挺失败的。而影视行业的“猜你喜欢”这个选项是否对你有更多的价值。好了,当你开始从多个维度来给客户带来价值的同时,你就要开始对算法有一些了解了,毕竟,这一块,是直接决定着你的结果成功率是高是低。
数据越来越多,一台存储根本储存不了怎么办!接下来就该搭建分布式架构了,异地容灾,互为主备。服务器,路由,这一些的技术概念就要开始出场了,因为接下来,你最好是系统的学习一下系统架构方面的知识。比如,网络上的,负载均衡,TCP单边加速,TCP代理。服务器里的浪甬保护,双活中心。存储方面的磁盘阵列,SSD存储。CPU方面的高性能运算.......到这一步,你就要开始加强你的技术能力了。
有人说,现在都开始云化了,这些我都不用管,全部托管不就可以了。我只负责我的业务运行不就行了吗?但真正在云上开始跑数据了,你是否就不会再招一个人来管理了吗?技术的发展,只会淘汰低端的网络及IT的运维,转而开始是对高端的运维需求越来越多。
好了,今天就先写这么多吧!也算是对自己的思维有一个小的梳理。下一次再接着这个话题写下去。