2015年获得大数据顶尖职位必备的9项技能

  在大数据商品化之前, 利用大数据分析工具和技术来取得竞争优势已不再是秘密。2015年, 如果你还在职场上寻找大数据的相关工作, 那么, 这里介绍的9种技能,将帮助你得到一个工作机会。

       1.Apache Hadoop

Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈。由于大数据平台的强大, Hadoop可能是一个挑剔的怪兽, 它需要熟悉的技术人员细心的照顾和喂养。掌握Hadoop最核心技术 (例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN) 的技术人员在职场上的需求将越来越大。

2.Apache Spark

如果说Hadoop在大数据世界中已广为人知, 那么Spark就是一匹黑马, 它所蕴含的原始潜力使Hadoop黯然失色。无论是否是Hadoop架构, 快速崛起的内存计算技术被认为是MapReduce风格分析框架更快和更简洁的替代方案。Spark最佳的定位应当是大数据技术族中重要的一个成员。Spark仍然需要专业技术进行编程和运行, 这为知晓该技术的工程师提供了不错的工作机会。

3. NoSQL

在大数据的操作层面, 诸如 MongoDB 和 Couchbase 等分布式、可扩展的 NoSQL 数据库正在接管市场份额极为庞大的的 SQL 数据库, 例如 Oracle 和 IBM DB2。在 WEB 和移动 app 层面, NoSQL数据库常常被做为 Hadoop分析的数据源。在大数据领域, Hadoop 和 NoSQL 分别成为良性循环的两个端点。

4. Machine Learning and Data Mining

人们习惯于对收集的数据进行挖掘,但是, 在当今大数据的世界里, 数据挖掘已经达到了一个全新的高度。机器学习成为去年大数据技术最热门的领域之一, 2015年顺理成章地成为它的突破之年。大数据将会使那些能够利用机器学习技术去构建和训练像分类、推荐和个性化系统等预测分析应用程序的人成为职场宠儿, 取得就业市 场上的顶级薪金。

5. Statistical and Quantitative Analysis

这就是大数据。如果你有定量推理背景和数学或统计学等方面的学位,那么你就成功了一半。此外,再加上一些使用统计工具经验,例如 R, SAS, Matlab, SPSS, 或者是 Stata, 你就能够锁定这些工作岗位啦。在过去,许多量化工程师都会选择在华尔街工作, 但由于大数据的快速发展, 现在各行各样都需要大量的具有定量分析背景的 极客。

6. SQL

以数据为中心的语言已有超过40年的历史了, 但是这种祖父级的语言在当前的大数据时代仍然具有生命力。尽管它难以应对大数据的挑战 (见上文NoSQL部分), 但是, 简化了的结构化语言使其在许多方面变得十分容易。同时应该感谢来自于Cloudera所发布的Impala等开源项目, SQL获得了新生, 成为下一代Hadoop规模的数据仓库的通用语言。

 7. Data Visualization(数据可视化)

大数据可能不是那么容易理解, 但在某些情况下, 通过鲜活的数据吸引眼球仍然是不可替代的方法。你可以一直采用多元或逻辑回归分析方法解析数据, 但是, 有时候使用类似 Tableau 或 Qlikview 这样的可视化工具探索数据样本能够直观的告诉你所拥有的数据的形态, 甚至是发现那些能够改变你处理数据方法的一些隐蔽细节。当然,如果你长大后想成为数据艺术家, 那么, 精通一个甚至是更多的可视化工具就是必不可少的了。

8. General Purpose Programming Languages

在类似 Java, C, Python, 或 Scala 等通用语言中拥有编程应用经验能够使你相对于那些局限于分析技术的人更具有优势。根据 Wanted Analytics的统计, 招聘具有数据分析背景的“计算机编程”职位的数量增长了 337%。具有传统应用程序开发和新兴数据分析能力的人将会有极大的就业选择空间, 能够自由的在终端用户企业和大数据创业公司之间进行流动。

9. Creativity and Problem Solving

无论你在高级分析工具和技术方面有多大优势,自主思考能力仍然是无可替代 的。大数据处理工具会不可避免的进行演化发展,新技术会不断涌现并替代这里所列 出的技术。但是,如果你能出于本能的渴求新的知识,并且能够像猎犬一样发现问题 的解决方案,就会有大量的工作机会在等着你。

时间: 2024-10-27 20:58:21

2015年获得大数据顶尖职位必备的9项技能的相关文章

要想月薪达到5万,要必备以下9项技能,阿里前大数据工程师说的

现在已经进入了大数据时代,哈佛大学社会学教授加里·金说:"这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界.商界还是政府,所有领域都将开始这种进程." 目前很火,数据源头,各种炫酷新技术,搭建hadoop.Hive.Spark.Kylin.Druid.Beam~,前提是你要懂Java,很多平台都是用Java开发的.这里面要解决的是实时.近实时和离线的大数据框架如何搭建,各数据流之间如何耦合和解耦我是一名大数据程序员,建了一个大数据资源共享群593188212 每天分享

大数据分析师和大数据工程师职位,孰轻孰重(个人角度)

在互联网盛行的今天,能够预测未来需要依靠更多数据支持,从数据的趋势和分析中,就可以把未来的发展动向掌握得淋漓尽致.在大数据背景之下,精通大数据的专业人才将成为企业最重要的业务角色,大数据从业人员薪酬持续增长,人才缺口巨大. 最近在回答粉丝问题中,我发现一个问题:很多人对于大数据的职位体系不了解,一些对于想入门与大数据的人一直处于迷茫阶段,不知道自己该不该转行学习大数据,不知道自己是否要转大数据专业,这里就给大家分析一下( 个人观点) 数据分析师指的是不同行业中,专门从事行业数据搜集.整理.分析,

2015阿里天池大数据竞赛-Solution

竞赛介绍:链接 这篇文章记录2015阿里天池大数据竞赛中,我的一些代码,由于目前还在比赛中,仅分享一个naive solution,基于规则,代码主页在我的github上:链接,下面是代码说明.有兴趣的请看代码注释,恕不详述. 本repo目录说明 data 存放数据 preprocess 数据预处理 rule 根据规则生成提交文件 model 训练机器学习模型(暂时不分享) 代码使用说明 fork本repo,非Github用户请点右下角的Downlown ZIP 解压后,将tianchi_mob

2015年主宰大数据技术的五大发展趋势

大数据技术自出现以来以一种异常火热的速度发展着,且种种迹象表明这种发展趋势在2015年将会继续持续下去.MapR联合创始人兼首席执行官John Schroeder预测,2015年将有五大发展趋势主导大数据技术,MapR是致力于Hadoop分发版的专业公司. 仅仅几年时间里,大数据技术就从之前的炒作阶段逐渐发展成为新数字时代中的核心技术之一.2014年,企业内部的大数据计划慢慢地从测试阶段走向研发和生产.Schroeder表示,2015年,企业的大数据技术将会进一步推进,并向前发展,甚至会产生更多

献给那些前端学习迷茫的人 -----前端开发必备的11项技能!!!

你也许会觉得前端开发是一个很简单的工作,对呀,你就是刚刚从网页设计转型过来的.但当你深入其中时,一定会发现好像前端开发不是那么简单,光网站性能优化.响应式.框架就让你焦头烂额, 确实,做前端开发就是先易后难,想成为一个优秀的前端开发,没有那么简单. 不过,天下事难则不会,会则不难,你只需要掌握11项技能就可以成为前端"大拿",下面,就告诉你这11项技能是什么?以及每项技能的要点,最后是相关的专业图书. 入门必备的技能:   第1项技能:HTML超文本标记语言: 技能要点: HTML文件

2016年大数据工程师必备的9项技能

Apache Hadoop Hadoop现在已经进入第二个10年发展期了, 但不可否认的是, Hadoop在2014年出现了井喷式发展, 由于Hadoop从测试集群向生产和软件供应商方向不断转移, 其越来越接近于分布式存储和处理机架构, 因此, 这一势头在2015年会更加猛烈.由于大数据平台的强大, Hadoop可能是一个挑剔的怪兽, 它需要熟悉的技术人员细心的照顾和喂养.掌握Hadoop最核心技术 (例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, H

阿里大数据架构师必备技能,你“佩奇”了嘛?

这两天真的是被<啥是佩奇>这支广告片刷屏了.佩奇明明是个喜剧角色,却把所有人都给看哭了! 中间的剧情,小孙子一句:"想要佩奇",结果爷爷就开始了满村子的寻找佩奇,到最后寻找到了小编认为是最好看的佩奇 不知道大家看了之后是什么感觉,反正我看了之后的感觉是非常感动了.不过经过几天的发酵,"佩奇"这两个字似乎有了更多的含义了!各种"佩奇"齐出不穷,女人的"佩奇"是什么样的?程序员的"佩奇"是什么样的?

大数据工程师的必备技能

一.数据可视化 R不仅是编程语言,同时也R具有强大的统计计算功能和便捷的数据可视化系统.在此,推荐大家看一本书,这本书叫做<R数据可视化手册>.<R数据可视化手册>重点讲解R的绘图系统,指导读者通过绘图系统实现数据可视化.书中提供了快速绘制高质量图形的150多种技巧,每个技巧用来解决一个特定的绘图需求. Python 出现了很多新的Python数据可视化库,弥补了一些这方面的差距.matplotlib 已经成为事实上的数据可视化方面最主要的库,此外还有很多其他库,例如vispy,b

大数据微职位学习心得

写了几年代码,看到这些年大数据,AI闹得火热火热,也想系统学习下大数据方面的东西,给自己充电一下.其实随着IT技术的发展,我们行业(地理信息)也已经开始拥抱大数据了.越来越多的带有位置的非结构化的数据需要处理,需要进一步挖掘.好了,废话不多说了.下面开始分享下,学习大数据这门过程中的一些心得.其实,大数据这门课,学起来还是得要有些知识储备的,比如最基本的linux操作,以及操作hive以及mysql的一些语句(如果懂关系型数据库里的sql,那操作起这些语句就简单了),Python的一些东西,如果