到底什么是大数据?新手学习大数据的路径是什么?

大数据具体是什么意思?虽然都知道高薪,但如何学习大数据呢?有哪些学习路径和方法?今天我们就来具体看一下

大数据是什么?

来看看维基百科的定义

大数据(英语:Big data或Megadata),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

在总数据量相同的情况下,与个别分析独立的小型数据集相比,将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性,可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等;这样的用途正是大型数据集盛行的原因。

上面那段看起来比较绕,可以一起看看通俗解释:

如果你是负责做淘宝网的产品推荐工作的,想知道购买首饰的用户是否也会购买电子产品,然后再决定是否给三星做推荐。

在这种条件下就需要调用前一段时间(例如一年)的用户数据,只有通过大量数据的证明才能确认两者是否有关联性,如果使用传统数据处理方法,就会耗费大量时间,等确认正相关的时候,三星的促销期都已经过去了,而像淘宝、京东等每天数据量动辄以TB计数,要迅速处理、分析并给出精准恰当的投放推荐,这就是大数据的作用。

.在入门学习大数据的过程当中有遇见学习,行业,缺乏系统学习路线,系统学习规划,欢迎你加入我的大数据学习交流裙:××× ,裙文件有我这几年整理的大数据学习手册,开发工具,PDF文档书籍,你可以自行下载。

与大数据相关的工作?

在美国,与大数据相关的职位统称为“数据科学家”;而在国内,与大数据相关的岗位则细分得多,主要分为数据分析、数据挖掘、数据工程师、数据架构师四类。

?数据分析:运用工具,提取、分析、呈现数据,实现数据的商业意义

?数据挖掘:机器学习,算法实现

?数据工程师:开发运用简单数据工具,实现数据建模等功能,需要业务理解

?数据架构师:高级算法设计与优化;数据相关系统设计与优化,有垂直行业经验最佳

关于大数据学习

很多人在问大数据处理技术怎么学习?

在这里,对于大数据工程师,我们给出一个具体的学习路径

java基础----linux----hadoop-----hive、hbase----scala—spark

首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。

Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?

只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了;

当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybites也能连接数据库啊,为什么不学习一下,我这里不是说学这些不好,而是说学这些可能会用你很多时间,到最后工作中也不常用,我还没看到谁做大数据处理用到这两个东西的,当然你的精力很充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

其他的技术顺次学习就可以了。

另外2个基础的学科,也是必须要修炼的:

?统计学

?计算机(或许还能加上点机器学习的知识)

这两门学科是大数据基础中的基础,跨过这两道坎就有了从事大数据工作的资格。所以也有人说,大数据工程师是一个精通统计学的程序员,而不会编程的统计狗也不是好的大数据专家。

统计学:多元统计分析、应用回归

计算机:R、python、SQL、数据分析、机器学习

matlab和mathematica两个软件也是需要掌握的,前者在实际的工程应用和模拟分析上有很大优势,后者则在计算功能和数学模型分析上十分优秀,相互补助可以取长补短。

原文地址:https://blog.51cto.com/14296550/2445349

时间: 2024-10-08 21:08:38

到底什么是大数据?新手学习大数据的路径是什么?的相关文章

零基础大数据新手学习路线教程

大数据-数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求. 如何学好大数据? 第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴<码出高效>编码规约 知识点 一.Java基础入门:Java编程入门:Java编程初体验,Java运行机制; Java语法基础:Java程序的组织形式与命名规则,变量类型和定义,表达式和运算符; 程序的流程结构:分支结构,循环结构;函授:函数的定义,函数调用,函数递归定义和

基于php(Thinkphp)+jquery 实现ajax多选,反选,不选 删除数据 新手学习向

jquery多选源码来源素材火http://www.sucaihuo.com/ (有什么问题可以私本人邮箱[email protected],也可加qq来时表明来意即可) 建议有js基础,了解jquery,thinkphp,废话不说多下面就上代码 <----HTML----> 1 //thinkphp循环显示把data里fid赋予多选框 2 <volist name="data" id="vo"> 3 <tr> 4 <td&

大数据新手的0基础学习路线,从菜鸟到高手的成长之路

大数据作为一个新兴的热门行业,吸引了很多人,但是对于大数据新手来说,按照什么路线去学习,才能够学习好大数据,实现从大数据菜鸟到高手的转变.这是很多想要学习大数据的朋友们想要了解的. 今天我们就来和大家分享下大数据新手从0开始学习大数据,实现菜鸟到高手的转变的学习路线.希望能够帮助想要学习大数据的朋友. 如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群529867072 这样大家学习的话就比较方便,还能够共同交流和分享资料 以下是大数据新手学习路线的正文: Linux:因为大数据相关软

大数据人才缺口多大?data大数据工程师好就业吗?这是大家学习大数据最关心的问题

小编来告诉你,大数据工程师年薪50万以上,技术人员缺口150万,高端技术人才未来会遭到企业疯抢.大数据方向由于人才稀缺度较高,薪资普遍更高,待遇涨幅也会超过其他岗位.接下分析大数据人才缺口和data工程师就业的问题. 高薪的背后是人才的紧缺,根据主流数据媒体调查,全国目前的大数据人才仅46万,未来3-5年内大数据的人才缺口将高达150万.有机构对一线城市2018年国内科技领域热门职位薪酬范围及跳槽涨幅进行了预测: 大数据方向由于人才稀缺度较高,相同工作年限的情况下,大数据工程师的薪资普遍更高,待

学习大数据需要掌握的知识(不得不看)

大数据已经成为时代发展的趋势,很多人纷纷选择学习大数据,想要进入大数据行业.大数据技术体系庞大,包括的知识较多,系统的学习大数据可以让你全面掌握大数据技能.学习大数据需要掌握哪些知识? 1.学习大数据首先要学习Java基础 怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种计算机编程语言.Java是大数据学习需要的编程语言基础,因为大数据的开发基于常用的高级语言.而且不论是学习hadoop,还是数据挖掘,都需要有编程语言作为基础.因此,如果想学习大数据开发,掌握Java基础是必不可少的.

零基础学习大数据需要掌握的基础

大数据已经成为时代发展的趋势,很多人纷纷选择学习大数据,想要进入大数据行业.大数据技术体系庞大,包括的知识较多,系统的学习大数据可以让你全面掌握大数据技能.学习大数据需要掌握哪些知识? 我还是要推荐下我自己创建的大数据资料分享群142973723,这是大数据学习交流的地方,不管你是小白还是大牛,小编都欢迎,不定期分享干货,包括我整理的一份适合零基础学习大数据资料和入门教程. 1.学习大数据首先要学习Java基础 怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种计算机编程语言.Java是

大数据学习方法,学习大数据需要的基础和路线

大数据基础学习 大数据基础入门 为什么要学习大数据 1.目的:要份很好工作(钱) 2.对比:Java开发和大数据开发 什么是大数据? 举例: 1.商品推荐:问题: (1)大量的订单如何存储? (2)大量的订单如何计算? 2.天气预报:问题: (1)大量的天气数据如何存储? (2)大量的天气数据如何计算? 如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群251956502 这样大家学习的话就比较方便,还能够共同交流和分享资料 什么是大数据,本质? (1)数据的存储:分布式文件系统(分布

学习大数据需要具备四种条件?你具备几种?

现在学习大数据的越来越多了,可是你知道学习大数据需要什么条件吗?我来说说四个必备条件. 大数据现已成为年×××展的趋势,很多人纷纷挑选学习大数据,想要进入大数据职业.大数据技术体系巨大,包含的常识较多,体系的学习大数据能够让你全面把握大数据技术.学习大数据需求把握哪些常识? 1.学习大数据首先要学习Java根底 怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种核算机编程言语.Java是大数据学习需求的编程言语根底,由于大数据的开发根据常用的高档言语.而且不论是学习hadoop,仍是数据

新手入门大数据,理清学习路线是关键

学习大数据,首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后.Java:大家都知道Java的方向有JavaSE.JavaEE.JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet.JSP.Tomcat.Struts.Spring.Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下