想入行大数据,面对开发语言和分析软件时,该如何选择?

先开门见山的给出结论:在职场中,学习任何一门技术,优先考虑工作需求本身,其次是职业发展所需,最后才是兴趣和好奇驱动。本末颠倒的话,不仅学习效率低下,而且还可能竹篮打水一场空,浪费时间成本。

就拿我自己说事,读书期间在做「数学建模」时,因为不是计算机\软件相关的专业,唯一接触过的C语言(The C Programming Language)也只懂皮毛,所以每一次比赛为了去「收集数据、处理数据、分析数据和构建模型」,只能借助人力、Excel、Matlab和SPSS去操作。

当然,这些工具也足够去满足比赛的技能要求了,而且比赛的核心也不在于非要用更高级的编程语言,相反它们只是解决问题的一种形式罢了,关键在于要快速上手,要能解决需求痛点。

所以,在这样的一个情况之下,我并没有牺牲大量的学习成本,重新去提高C语言的编程能力,甚至是从0到1去学习Java语言。

临近秋招前,我开始去了解工业上常用的数据开发软件和开发语言,简直是琳琅满目,有Python、R、Eviews、SAS、SPSS、Tableau、水晶易表,一大堆。还有Java、C、C++、Hadoop各种词汇都浮现于眼前。

那时候就有点不知所措了,完全不知道该学什么,所以最后都选择接触了一遍,但结果真的是白费努力,浪费时间。

后面实习入职了一家互联网电商平台,部署了6~7个节点的分布式集群去做大数据计算,当时还以为自己终于能玩「大数据」了,可没想到最后用的最多的却是SQL\HQL、Excel、PPT、SPSS。而且它们已经足够解决日常的工作需求了。

所以说,学习任何一门技术,最好能在实际工作中有所使用,毕竟你的工作时间限制了你的学习精力,否则你很难去达到熟练的程度,更别提深入专研。

但不管如何,从行业的发展趋势上,很多新技能是必须要学习和掌握的,如果工作中真的没有机会去接触和使用的话,那就只能换一个更合适的平台。

当初我就是这样去考虑的,毕竟「大数据」的热潮已经全面铺开了,再不抓紧就只有看夕阳西下了。

所以,在后面几年的工作经历中,我都是在接触Hadoop、Spark相关的开源软件,从0到1的去学过Python、Java、Hive、MapReduce(基于Java实现)、Shell 、Scala、Spark Streaming这些技能。

但是不管如何,这一切的新知识学习都是为了去适应工作环境,为了更快捷和更高效去解决工作需求的问题。同时因为工作中常常接触到,所以才能熟练起来,也才有机会去深入思考更底层的问题。

总而言之,我认为任何技术都是为了更好的服务于业务,业务是驱动技术发展的关键因素。

当然,从行业趋势上,我也打算在后期引入深度学习的计算框架,也会去考虑高并发的计算效率优化等等,但是回归本质都是为了提升业务模型的效果,解决更多业务需求痛点。

因此,要想去学习新技能,引入新技术,大前提是现有的业务需求已经得到有所解决,而且能够得到业务的支持和信任,这样在后期技术的推进上才能有时间去摸索,有机会去尝试。否则,你同样只能学个皮毛。

好了,讲述完了我自己,最后来谈谈大多数朋友的局面,这也是大家所关心的。

① 首先,作为数据小白,应该先学习什么数据技能?

毫无疑问,这时候你需要先把「入门」作为首要目标,不要过于浮躁,优先考虑去学习SQL、Excel、SPSS、PPT,这样你才有机会进入一个平台,能够接触数据,开始数据分析,尝试撰写报告。利用好这个跳板,你才能向「成长」进阶。

② 其次,作为业务人员(含分析师、产品经理),应该学习什么数据技能?

这时候你需要去进一步提高自己的专业技能,这样才有机会去更了解数据,训练数据感,写出更有深度的分析报告,甚至是以后的转岗。所以你需要一把利剑,我会优先推荐Python,节省以后学习其他语言(Java、Scala)的时间成本。

③ 另外,作为数据开发,应该先学习什么数据技能?

我的建议是,你先去做好一个Java工程师,掌握一定的专业技能,再来考虑从事大数据开发呢。

当然,这样的时间成本或许挺高,而且现阶段开源这套技术框架基本稳定和易上手了。

④ 最后,作为数据挖掘,应该先学习什么数据技能?

数据挖掘这个岗位,严格上区别于算法工程师,前者是一个偏业务、重数据、看实践的岗位,通俗易懂就是在探索海量数据中的经济价值。

所以,大部分数据挖掘工程师,首当其冲的痛点是需要思考一个问题:如何将以往熟练的这套技术和流程与「大数据」和「业务」相结合。

别想着利用Python\R去直连生产环境的数据做分析,很多平台都有堡垒机,也不允许本地环境与生产环境的直接交互。即使你load到了线上数据,但是只凭借DataFrame这样的操作,我认为很难去分析出什么数据价值,更别提能不能单机运算的效率。

所以,做数据挖掘工作时,除了思考模型的效果提升,也要考虑清楚自己的模型后期将如何去与线上业务结合,以及它的计算效率和自动化工作。

因此,我建议优先去考虑一下分布式集群的计算方式,如果平台缺乏团队和资金的话,要么考虑单独增加本机的计算资源和优化模型的计算效率,要么考虑换一个工作环境。

最后,对于大部分数据挖掘工程师来说,一定要加强SQL、Excel的使用,这是最基本,也是最重要的。

所讲的这些,是为了让大家正确的做数据。学习这些技能,是为了让大家轻松的做数据。归根到底,都是为了提高核心竞争力,花最短的时间,输出最大的价值,让自己更值钱!

原文地址:https://www.cnblogs.com/labixiaoxinhefengjian/p/12179598.html

时间: 2024-11-11 18:48:07

想入行大数据,面对开发语言和分析软件时,该如何选择?的相关文章

想入坑大数据?必须要规划学习路线

? ? ? ? 干货走起,闲话不多说,以下就是小编整理的大数据学习思路 第一阶段:linux系统 本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop.habse.NoSQL.saprk.storm等众多技术要点. 另:目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段:大型网站高并发处理 本阶段的学习是为了让大家能够了解大数据的源头,数据从而而来,继而更好的了解大数据.通过学习处理大型网站高并发问题反向的更加深入的学习Linux,同事站在

大数据data开发有哪些好的辅助工具?

作为一个程序员开发工具好比是人的手和脚,只有把这些开发工具用好,才能做好一个产品的需求.大多使用SQL数据库存储/检索数据,如今很多情况下,它都不再能满足我们的需求.下面小编就介绍一些大数据data开发常用的辅助工具. 开源企业搜索平台:Solr 用Java编写,来自Apache Lucene项目.Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口.用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操

学大数据需要什么语言基础?,学前必知

首先,学习大数据是需要有java,python和R语言的基础. 1) Java学习到什么样的程度才可以学习大数据呢? java需要学会javaSE即可.javaweb,javaee对于大数据用不到.学会了javase就可以看懂hadoop框架. 2) python是最容易学习的,难易程度:python java Scala . python不是比java更直观好理解么,因为会了Python 还是要学习java的,你学会了java,再来学习python会很简单的,一周的时间就可以学会python.

《Hadoop大数据技术开发实战》新书上线

当今互联网已进入大数据时代,大数据技术已广泛应用于金融.医疗.教育.电信.政府等领域.各行各业每天都在产生大量的数据,数据计量单位已从B.KB.MB.GB.TB发展到PB.EB.ZB.YB甚至BB.NB.DB.预计未来几年,全球数据将呈爆炸式增长.谷歌.阿里巴巴.百度.京东等互联网公司都急需掌握大数据技术的人才,而大数据相关人才却出现了供不应求的状况. Hadoop作为大数据生态系统中的核心框架,专为离线和大规模数据处理而设计.Hadoop的核心组成HDFS为海量数据提供了分布式存储:MapRe

大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark ZooKeeper Redis MongoDB 机器学习 云计算

培训大数据架构开发.挖掘分析! 从零基础到高级,一对一培训![技术QQ:2937765541] ----------------------------------------------------------------------------------------------------------------- 课程体系: 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广,一直在线为你培训解答!):    获取视频资料和培训解答技术支持地址

大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程

培训大数据架构开发.挖掘分析! 从零基础到高级,一对一培训![技术QQ:2937765541] ------------------------------------------------------------------------------------------------------------------------------------------- 课程体系: 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广,一直在线为你培训解答!):    获取视频资料和培

大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka机器学习 云计算

培训大数据架构开发.挖掘分析! 从零基础到高级,一对一培训![技术QQ:2937765541] --------------------------------------------------------------------------------------------------------------- 课程体系: 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广,一直在线为你培训解答!):    获取视频资料和培训解答技术支持地址

【LINK】程序员想玩转大数据:需要知晓的12种工具

http://www.csdn.net/article/2012-12-20/2813054-Database http://blog.csdn.net/qjfpjie/article/details/8439119 [LINK]程序员想玩转大数据:需要知晓的12种工具

大数据Storm开发实时数据分析平台视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv