????????数据科学家

励志篇:IT屌丝如何成为数据科学家?

数据科学家
风格
7个月前 (09-26) 1359浏览
0评论

数据科学家被《财富》杂志誉为21世纪最性感的职业,但遗憾的是大多数企业里都没有真正的数据科学家人才。根据麦肯锡报告,仅仅在美国市场,2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。

那么,对于不同职业经历和专业背景的IT人士来说,如何才能尽快转型,加入数据科学家的钻石王老五的行列呢?

Ofer Mendelevitch近日在Hortonworks官方博客发表文章给出了自己的观点。

Mendelevitch认为无论是Java程序员还是业务分析师都有机会成为数据科学家,以下是他对不同人群给出的具体建议:

Java程序员

作为Java开发者,你对软件工程的规则已经了然于心,能够设计软件系统执行复杂任务。数据科学正是关于开发“数据产品”的一门科学,主要是基于数据和算法的软件系统。

对于Java程序员来说,第一步需要了解机器学习的各种算法:现在有哪些算法,都能解决哪些问题以及如何实现。另外还需要学习使用R和Matlab等建模工具,此外WEKA、Vowpal Wabbit和OpenNLP等库也为大多数常见算法提供了经过验证的实现方法。如果你还不太熟悉Hadoop,学习map-reduce、Pig、Hive和Mahout将很有帮助。

Python程序员

如果你是Python程序员,对软件开发和脚本编写一定很熟悉,也许已经在使用很多数据科学中常见的库例如NumPy和SciPy。

Python对数据科学应用的支持很好,尤其是NumPy/Scipy, Pandas, Scikit-learn, IPython 等用于探索性分析的库,以及可视化方面的Matplotlib。

在处理大型数据集方面,多学些Hadoop及其与Python的流式集成。

统计学家与应用科学家

如果你有统计学或者机器学习的背景,那么你很可能很多年前就开始使用诸如R, Matlab 或 SAS进行回归分析、聚类分析等机器学习相关任务。

R、Matlab和SAS是很强大的统计分析和可视化工具,对于很多机器学习算法都有很成熟的实现方法。

但是,这些工具通常被用于做数据勘探和模型开发,很少单独用来开发产品级的数据产品。在开发端到端的数据产品时,大多数情况下,你需要需要同时用到其他软件模块如Java、Python等,并与Hadoop等数据平台整合。

显然,熟悉一门或者多门现代编程语言,例如Python或Java是你的首要任务。此外,与有经验的数据工程师紧密合作将有助于更好地理解他们开发生产级数据产品所用到的工具和方法。

业务分析师

如果你的背景是SQL,那么说明你已经跟数据打交道很多年了,你很清楚如何通过数据获取业务分析结果。Hive能让你以你熟悉的SQL语言访问Hadoop上的大数据集,因此是你步入大数据殿堂的首选。

数据产品通常需要使用SQL无法胜任的高级机器学习和统计,因此对于业务分析师来说,进入数据科学领域的第二个重要步骤就是在理论层面深入了解此类算法(例如推荐引擎、决策树、NLP),并熟悉目前的实现工具如Mahout, WEKA,或Python的 Scikit-learn。

Hadoop开发者

作为Hadoop开发者,你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉Pig、Hive、HBase并有丰富的Java经验。

第一步,你需要深入了解机器学习和统计,以及这些算法面向大数据集的高效实现方法。Mahout是个不错的开始,可以在Hadoop上实现上述很多算法。

另外一个需要关注的领域是数据清理(data cleanup),很多算法在建模前都会为数据分配基本结构。但不幸的是,现实中数据大多很“脏”,清理这些数据是数据科学中一项很繁重的工作。Hadoop通常是建模前大规模数据清理和预处理的工具选择。

总结

通向数据科学殿堂之路不可能一帆风顺,你必须学习很多新规则、编程语言,更重要的是还要积累实战经验。这些都需要时间、精力和投入,但最终你会发现一切都物超所值。

via:ctocio

End.

????????数据科学家

时间: 2024-10-09 07:15:17

????????数据科学家的相关文章

42步进阶学习—让你成为优秀的Java大数据科学家!

作者 灯塔大数据 本文转自公众号灯塔大数据(DTbigdata),转载需授权 如果你对各种数据类的科学课题感兴趣,你就来对地方了.本文将给大家介绍让你成为优秀数据科学家的42个步骤.深入掌握数据准备,机器学习,SQL数据科学等. 本文将这42步骤分为六个部分, 前三个部分主要讲述从数据准备到初步完成机器学习的学习过程,其中包括对理论知识的掌握和Python库的实现. 第四部分主要是从如何理解的角度讲解深入学习的方法.最后两部分则是关于SQL数据科学和NoSQL数据库. 接下来让我们走进这42步进

自学成才的数据科学家告诉你5个学习大数据的正确姿势!

对于数据科学来说,现在是发展的黄金时期.这是个新领域,但增长迅速,同时数据科学家的缺口也很大,据说他们的平均年薪可以达到10万美元.哪里有高薪,哪里就吸引人们,但是数据科学技能的差距意味着许多人需要努力学习.      第一步当然是询问“我怎么学习数据科学”,这个问题的答案往往是一长串的课程和书籍阅读,从线性代数到统计数据,这几年我也是这样学习过来的.我没有编程背景,但我知道我喜欢处理数据. 我比较不能理解在完全没有理解别人的背景时就给他一份长长的书单或者技能表.这就类似于一个老师给你一堆教科书

数据科学家应该掌握的5个工具

本文转自:http://www.36dsj.com/archives/34020 当谈及到分析你编纂的数据时,有大量的工具可以帮助你更好的理解数据,本文总结出了一个包括5个数据科学工具的列表,同时这也是你在当今的社会形势下人们应该掌握的5个数据科学工具. 即使是知识渊博的数据科学家也能提升他们的技术水平.当谈及到分析你编纂的数据时,有大量的工具可以帮助你更好的理解数据.我们与我们的数据科学指导者探讨了很久,最后总结出了一个包括5个数据科学工具的列表,同时这也是你在当今的社会形势下应该掌握的5个数

为什么数据科学家们选择了Python语言?

本文由 伯乐在线 - HanSir 翻译,toolate 校稿 英文出处:Quora [伯乐在线导读]:这个问题来自 Quora,题主还补充说,“似乎很多搞数据的程序员都挺擅长 Python 的,这是为什么呢?”下面是 Jeff Hammerbacher 的回复.(693 赞) Python是一种解释型.动态语言,具有明确而高效的语法.Python具有良好的REPL(Read-Eval-Print Loop ,‘读取-求值-输出’循环),还可以通过dir()和文档字符串从REPL中开发新模块.这

基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征——及时解释听众不懂的词语,必要时提高10%的音调,正确和恰当的手势,氛围的营造

[TD精选] 基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征 相信大部分人一定试图寻找过使得自己的演讲变得更加吸引人,更加有气势的方法.现如今,在大数据工具和机器学习技术的辅助下,找到完美演讲的答案已经变得十分容易.Noah Zandan, CEO of Quantified Communications, 为人们提供了第一个能够分析,衡量,评估以及提高人们交流和演讲技巧的分析平台.Zandan 的数据团队分析了100,000多篇来自于企业家,政治家和演说家的演讲.他们将分析重点

几个新角色:数据科学家、数据分析师、数据(算法)工程师

大数据分析的几个新角色:数据科学家.数据分析师.数据(算法)工程师 数学科学家:(发明算法) 运用统计分析.机器学习.分布式处理等技术,从大量数据中提取出对业务有意义的信息,以易懂的形式传达给决策者,并创造出新的数据应用服务的人才. 对享有的模型进行优化.改进,所以涉及到对具体算法的精通和理解,并不断通过AB Test进行验证. 例如:Google的搜索PageRank算法的创始人拉里佩奇Larry Page,他是博士而且在读书期间创造的此算法. 李开复也应该算一个,解决中文搜索及尝试了语音识别

成为数据科学家并不难

几个菜鸟程序员在Coursera上免费注册学习了几天"机器学习"课程后,赢下了Kaggle预测模型建模大赛. 企业界在IT业制造的大数据人才恐慌(麦肯锡是始作俑者)中纷纷提高了对大数据和高级分析人才的期待和要求,数据科学家也一夜之间成为最性感的职业,其光环直追体育明星.数据科学家被描绘成神一般的人物,他们通晓数学.计算.社会学.物理学等各学科知识,同时又洞察世事,深谙企业运作之道,存世数量堪比特级珍稀保护动物.这些都让有志从事大数据分析的IT从业人员高山仰止,望而止步. 但越来越多的证

数据科学家可能成为2015年最热门职业

腾讯科技讯 1月3日,你擅长数学,会用Python编程,而且还对某个行业了如指掌? 如果你拥有这样的技能集,那你就有可能当上数据科学家.而如果你当上了数据科学家,那你的日子就可以过得风风光光了--LinkedIn的最新投票结果显示,"统计分析和数据挖掘" 是2014年最大的求职法宝. 美国招聘网站Glassdoor的报告称,数据科学家的平均年薪为118709美元(约合人民币737550元),而程序员的平均年薪为64537美元(约合人民币400974元).麦肯锡公司的一份研究预测称,到2

数据科学家:神话 & 超能力持有者

一个打破神话的季节,正在降临. 我将坦诚地揭穿人们关于数据科学家所持有的惯有看法.在下文中,我将一个一个展示这些观点,宛如将一个又一个的玻璃瓶子摔碎在墙壁上一样. 关于数据科学家的神话主要是这些:        神话#1: 数据科学家们本身就是一种神奇生物,就像独角兽一样神奇叵測. 数据科学家实际上是很真实的.从人们開始进行多元统计分析.时间序列分析和运用其它核心分析方法时,他们就已经存在了.在某种程度上,假设你建立模型,并使用各种分析工具来找寻那些不显著的数据模型,那么你也许也是一位数据科学家

数据科学家:神话 & 超能力持有者

一个打破神话的季节,正在降临. 我将坦诚地揭穿人们关于数据科学家所持有的惯有看法.在下文中,我将一个一个展示这些观点,犹如将一个又一个的玻璃瓶子摔碎在墙壁上一样. 关于数据科学家的神话主要是这些:        神话#1: 数据科学家们本身就是一种神秘生物,就像独角兽一样神秘叵测. 数据科学家实际上是非常真实的.从人们开始进行多元统计分析.时间序列分析和运用其他核心分析方法时,他们就已经存在了.在某种程度上,如果你建立模型,并使用各种分析工具来找寻那些不显著的数据模型,那么你或许也是一位数据科学