大数据开发可以自学吗?有哪些需要注意的地方?

我们在学习大数据开发前需要先找到适合自己的方式方法,首先需要审视一下自身的情况,是否是以兴趣为出发点,对大数据是不是自己是真的感兴趣吗,目前对大数据的了解有多少,自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。根据不同基础水平可以分为三类:

第一类:零基础学员,对大数据行业和技术一无所知;

第二类:有一定的编程基础,对大数据行业略知一二,无发真正应该用;

第三类:有工作经验的工程师,对大数据行业了解,想转行大数据开发。

在搞清楚了自身的状况之外,我们要针对不同阶段、不同基础的同学制定不同的学习方案。

对于零基础想要自学大数据,不是说不可能,但是很多以失败告终,客观原因:学习环境不好;主观原因:基础不好,看不懂,学不会,枯燥无味直接放弃。

对于零基础想要学习的大数据的同学,最好的方案是:先关注一些大数据领域的动态,让自己融入大数据这样一个大的环境中。然后找一些编程语言的资料(大数据的基础必备技能)和大数据入门的视频和书籍,基本的技术知识还是要了解的。

在学习了一段时间之后,如果觉得自己还能应付的来,就继续寻找大数据基础视频和书籍,一步一个脚印的来;如果觉得觉得自己入门都很难,要么放弃,要么舍得为自己投资一把,去选择一家靠谱的培训机构。

数据科学特点与大数据学习误区解析

1、大数据学习要业务驱动,不要技术驱动:数据科学的核心能力是解决问题。

大数据的核心目标是数据驱动的智能化,要解决具体的问题,不管是科学研究问题,还是商业决策问题,抑或是政府管理问题。

所以学习之前要明确问题,理解问题,所谓问题导向、目标导向,这个明确之后再研究和选择合适的技术加以应用,这样才有针对性,言必hadoop,spark的大数据分析是不严谨的。

不同的业务领域需要不同方向理论、技术和工具的支持。如文本、网页要自然语言建模,随时间变化数据流需要序列建模,图像音频和视频多是时空混合建模;

大数据处理如采集需要爬虫、倒入导出和预处理等支持,存储需要分布式云存储、云计算资源管理等支持,计算需要分类、预测、描述等模型支持,应用需要可视化、知识库、决策评价等支持。

所以是业务决定技术,而不是根据技术来考虑业务,这是大数据学习要避免的第一个误区。

2、大数据学习要善用开源,不要重复造轮子:数据科学的技术基因在于开源。

IT前沿领域的开源化已成不可逆转的趋势,Android开源让智能手机平民化,让我们跨入了移动互联网时代,智能硬件开源将带领跨入物联网时代,以Hadoop和Spark为代表的大数据开源生态加速了去IOE(IBM、ORACLE、EMC)进程,倒逼传统IT巨头拥抱开源,谷歌和OpenAI联盟的深度学习开源(以Tensorflow,Torch,Caffe等为代表)正在加速人工智能技术的发展。

数据科学的标配语言R和Python更是因开源而生,因开源而繁荣,诺基亚因没把握开源大势而衰落。

为什么要开源,这得益于IT发展的工业化和构件化,各大领域的基础技术栈和工具库已经很成熟,下一阶段就是怎么快速组合、快速搭积木、快速产出的问题,不管是linux,anroid还是tensorflow,其基础构件库基本就是利用已有开源库,结合新的技术方法实现,组合构建而成,很少在重复造轮子。

另外,开源这种众包开发模式,是一种集体智慧编程的体现,一个公司无法积聚全球工程师的开发智力,而一个GitHub上的明星开源项目可以,所以要善用开源和集体智慧编程,而不要重复造轮子,这是大数据学习要避免的第二个误区。

3、大数据学习要以点带面,不贪大求全:数据科学要把握好碎片化与系统性。根据前文的大数据技术体系分析,我们可以看到大数据技术的深度和广度都是传统信息技术难以比拟的。

大数据只有和特定领域的应用结合起来才能产生价值,数据科学还是数据工程是大数据学习要明确的关键问题。

大数据学习一定要清楚我是在做数据科学还是数据工程,各需要哪些方面的技术能力,现在处于哪一个阶段等,不然为了技术而技术,是难以学好和用好大数据的。

原文地址:https://www.cnblogs.com/labixiaoxinhefengjian/p/12288856.html

时间: 2024-11-08 16:48:40

大数据开发可以自学吗?有哪些需要注意的地方?的相关文章

如何自学大数据开发?

大数据技术怎么自学?大数据开发如何自学? 我们在学习大数据开发前需要先找到适合自己的方式方法,首先需要审视一下自身的情况,是否是以兴趣为出发点,对大数据是不是自己是真的感兴趣吗,目前对大数据的了解有多少,自己的学习能力和理解能力是否适合学习.如果是跨行业转岗是否做好了心理准备.根据不同基础水平可以分为三类: 第一类:零基础学员,对大数据行业和技术一无所知; 第二类:有一定的编程基础,对大数据行业略知一二,无发真正应该用; 第三类:有工作经验的工程师,对大数据行业了解,想转行大数据开发. 在搞清楚

月薪30-50K的大数据开发工程师们,他们背后是如何学习的

推荐一个大数据学习群 119599574晚上20:10都有一节[免费的]大数据直播课程,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享, 这两天小编去了解了下大数据开发相关职位的薪资,主要有hadoop工程师,数据挖掘工程师.大数据算法工程师等,从平均薪资来看,目前大数据相关岗位的月薪均在2万以上,随着项目经验的增长工资会越来越高. 那么对于新手来说,应该如何开始学习,才能够早日的实现月薪2万多的目标.就小编了解的来说,新手一般需要一年以上的时间才能够达

程序员入门必备的大数据开发实战系列丛书

想要入行大数据却不知从哪里开始?作为入行十年的码农为大家推荐一套"一站式实战型大数据应用开发学习指导"丛书,帮助读者踏上由开发入门到大数据实战的"互联网+大数据"开发之旅! 此套丛书以实用性.案例丰富见长.由国内知名的IT教育机构课工场创始人肖睿主编,人民邮电出版社出版.编撰此书时为满足企业对人才的技能需求,课工场大数据开发教研团队,通过对数百位BAT一线技术专家进行访谈.上千家企业人力资源情况进行调研.上万上企业招聘岗位进行需求分析,在此基础上,整合了大量案例说明

java开发转行大数据开发的学习路径

从Java开发通过大概3个月的学习转到大数据开发,主要分享一下学习路径: 第一阶段: 01.Linux学习(跟鸟哥学就ok了) 02.Java 高级学习(<深入理解Java虚拟机>.<Java高并发实战>) 第二阶段: 03.Hadoop (董西成的书) 04.HBase(<HBase权威指南>) 05.Hive(<Hive开发指南>) 06.Scala(<快学Scala>) 07.Spark (<Spark 快速大数据分析>) 08

转型进入IT行业,0基础学习大数据开发需要什么基础?

IT行业发展速度快,市场需求大,而且,程序员薪酬高.福利待遇高,成为很多从业者向往的职业,当然,也刺激了很多非计算机专业的从业者进入该领域.转行进入IT行业在最近的几年一直是个热门,那么对于0基础的求学者,入行大数据开发需要什么基础呢? 在很多人眼中大数据都是一个高端的行业,而且,一联想到IT.数据,很多人就开始纠结,学习大数据开发是否需要数学.英语等基础呢?是不是0基础就无法真正的学懂大数据开发呢? 首先:数学.英语不是限制,逻辑思维是关键 学程序开发,入行IT领域要有一定的逻辑思维能力,而逻

联合国“全球脉动”计划 《大数据开发:机遇与挑战》

联合国"全球脉动"计划发布<大数据开发:机遇与挑战>2012 年 5 月 29 日,联合国"全球脉动"( Global Pulse)计划发布<大数据开发:机遇与挑战>报告,阐述了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战,并为正确运用大数据提出了策略建议.1. 引言技术创新和数字设备的普及带来了"数据的产业革命".对日益扩大的数字数据的分析将揭示关于集体行为的潜在联系,并有可能改进决策方式.大数

基于大数据开发套件定时调度带资源文件的MapReduce作业

MaxCompute里的MR作业,很少是只要跑一次就好了的.如果需要周期性调度,目前MaxCompute(原名ODPS)只提供了计算引擎,任务调度可以使用大数据开发套件来实现.这篇帖子从基础开始,介绍了3种周期性调度的方法.同时还介绍了如何使用资源文件. 代码开发 代码以文档里的WordCount 作为例子.在这个基础上,增加资源文件的读取方法,修改Reduce类.主要的逻辑是读取资源文件,资源文件里的数据格式是字符串1,字符串2.代码逻辑是如果word count里的word如果有在字符串1里

从0-1体验大数据开发

觉得裸用MaxCompute(原ODPS)门槛较高?想做数据开发,却苦于没有好的管理工具? 想体验下数加(阿里云大数据)推出的Data IDE,却苦于: 开通云账号—实名认证—购买MaxCompute—创建AK—创建/绑定项目, 经过5步,最后终于能开始体验了,是不是瞬间: 想从开通云账号后立即进入体验吗? 为此,我们提供了大数据开发免费体验环境,点击进入:https://data.aliyun.com/experience 我们还提供了使用教程,手把手教您基于MaxCompute做数据开发:点

Spark修炼之道(基础篇)——Linux大数据开发基础:第一节、Linux介绍、安装及使用初步

本节主要内容 Linux简史 Linux特点 Ubuntu Linux安装 Linux使用初步 1. Linux简史 要讲述大名鼎鼎的Linux,必然要先从UNIX系统谈起,下面这幅图给出了Unix系统的进化图: 图片来源:http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEmGRDUwqsQMIV4jCKHvdkSPr3Lq 从进化图中可以看到,目前所有的主流操作