大数据难学吗?如何学习大数据?(附学习路线)

因为大数据前景好,薪资高,很多人想通过参加学习大数据,然后进入大数据行业发展。但是因为大数据的门槛较高,对于学习人员有一定的要求,那么学习大数据需要什么基础知识呢?
大家一起来了解下对于大数据学习者本身的学历水平的要求。
目前大多数的机构,对于大数据学习者要求必须是大专学历以上,而且大专学历还要求是理工科相关专业的,如果是本科及本科以上的,则对专业要求适当的放宽。同时大数据分为两大方向:大数据开发和数据分析。
这两大方向的对于基础知识的要求不同,数据分析偏向应用层面,对于编程要求不高,相较而言对于基础知识这块要求低一点。大数据学习群142973723

一、大数据相关工作介绍
大数据方向的工作目前主要分为三个主要方向:
大数据工程师
数据分析师
大数据科学家
其他(数据挖掘等)
二、大数据工程师的技能要求
附上大数据工程师技能图:

Java高级(虚拟机、并发)
Linux 基本操作
Hadoop(HDFS+MapReduce+Yarn )
HBase(JavaAPI操作+Phoenix )
Hive(Hql基本操作和原理理解)
Kafka
Storm/JStorm
Scala
Python
Spark (Core+sparksql+Spark streaming )
辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条
机器学习算法以及mahout库加MLlib
R语言
Lambda 架构
Kappa架构
Kylin
Alluxio
学习路径
假设每天可以抽出3个小时的有效学习时间,加上周末每天保证10个小时的有效学习时间;
3个月会有(213+4210)3=423小时的学习时间。
(基础阶段)
1)Linux学习
Linux操作系统介绍与安装。
Linux常用命令。
Linux常用软件安装。
Linux网络。
防火墙。
大数据学习群142973723

Hadoop入门,了解什么是Hadoop
1、Hadoop产生背景
2、Hadoop在大数据、云计算中的位置和关系
3、国内外Hadoop应用案例介绍
4、国内Hadoop的就业情况分析及课程大纲介绍
5、分布式系统概述
6、Hadoop生态圈以及各组成部分的简介
7、Hadoop核心MapReduce例子说明
二、分布式文件系统HDFS,是数据库管理员的基础课程
1、分布式文件系统HDFS简介
2、HDFS的系统组成介绍
3、HDFS的组成部分详解
4、副本存放策略及路由规则
5、NameNode Federation
6、命令行接口
7、Java接口
8、客户端与HDFS的数据流讲解
9、HDFS的可用性(HA)
三、初级MapReduce,成为Hadoop开发人员的基础课程
1、如何理解map、reduce计算模型
2、剖析伪分布式下MapReduce作业的执行过程
3、Yarn模型
4、序列化
5、MapReduce的类型与格式
6、MapReduce开发环境搭建
7、MapReduce应用开发
8、更多示例讲解,熟悉MapReduce算法原理
四、高级MapReduce,高级Hadoop开发人员的关键课程
1、使用压缩分隔减少输入规模
2、利用Combiner减少中间数据
3、编写Partitioner优化负载均衡
4、如何自定义排序规则
5、如何自定义分组规则
6、MapReduce优化
7、编程实战
五、Hadoop集群与管理,是数据库管理员的高级课程
1、Hadoop集群的搭建
2、Hadoop集群的监控
3、Hadoop集群的管理
4、集群下运行MapReduce程序
六、ZooKeeper基础知识,构建分布式系统的基础框架
1、ZooKeeper体现结构
2、ZooKeeper集群的安装
3、操作ZooKeeper
七、HBase基础知识,面向列的实时分布式数据库
1、HBase定义
2、HBase与RDBMS的对比
3、数据模型
4、系统架构
5、HBase上的MapReduce
6、表的设计
八、HBase集群及其管理
1、集群的搭建过程讲解
2、集群的监控
3、集群的管理
九、HBase客户端
1、HBase Shell以及演示
2、Java客户端以及代码演示
十、Pig基础知识,进行Hadoop计算的另一种框架
1、Pig概述
2、安装Pig
3、使用Pig完成手机流量统计业务
十一、Hive,使用SQL进行计算的Hadoop框架
1、数据仓库基础知识
2、Hive定义
3、Hive体系结构简介
4、Hive集群
5、客户端简介
6、HiveQL定义
7、HiveQL与SQL的比较
8、数据类型
9、表与表分区概念
10、表的操作与CLI客户端演示
11、数据导入与CLI客户端演示
12、查询数据与CLI客户端演示
13、数据的连接与CLI客户端演示
14、用户自定义函数(UDF)的开发与演示
十二、Sqoop,Hadoop与rdbms进行数据转换的框架
1、配置Sqoop
2、使用Sqoop把数据从MySQL导入到HDFS中
3、使用Sqoop把数据从HDFS导出到MySQL中
十三、Storm
1、Storm基础知识:包括Storm的基本概念和Storm应用
场景,体系结构与基本原理,Storm和Hadoop的对比
2、Storm集群搭建:详细讲述Storm集群的安装和安装时常见问题
3、Storm组件介绍: spout、bolt、stream groupings等
4、Storm消息可靠性:消息失败的重发
5、Hadoop 2.0和Storm的整合:Storm on YARN
6、Storm编程实战

原文地址:http://blog.51cto.com/14052410/2313870

时间: 2024-11-10 13:18:49

大数据难学吗?如何学习大数据?(附学习路线)的相关文章

怎样找到一份深度学习的工作(附学习材料,资源与建议)

原文地址:How to get a job in deep learning 原文翻译与校对:@戴丹 && @胡杨 && 寒小阳 时间:2016年10月. 出处:http://blog.csdn.net/han_xiaoyang/article/details/52777661 声明:版权所有,转载请联系作者并注明出 如果你是一个软件工程师(或者你现在正在学习这一方面),你肯定有机会听说过深度学习(有时候深度学习缩写为"DL").它现在是一个热门.且快速

Python入门学习指南--内附学习框架

Python入门学习指南 最近开始整理python的资料,博主建立了一个qq群,希望给大家提供一个交流的同平台: 78486745 ,欢迎大家加入共同交流学习. 对于初学者,入门至关重要,这关系到初学者是从入门到精通还是从入门到放弃.以下是结合Python的学习经验,整理出的一条学习路径,主要有四个阶段 NO.1 新手入门阶段,学习基础知识 总体来讲,找一本靠谱的书,由浅入深,边看边练. 网上的学习教程有很多,多到不知道如何选择.所有教程在基础知识介绍方面都差不多,区别在于讲的是否足够细(例如运

云计算与大数据要学啥?零基础能学云计算吗?

云计算从字面上可以拆成"云"和"计算"两个部分,要理解它的概念,需要从IT的传统技术讲起,了解什么"软件".什么是"网络". "云计算"中的"云"指的就是计算机网络.位于计算机网络中的设备通常称为云端,位于人们身边的输入/输出设备通常称为终端.就像我们不关心信是经历了哪些机构送出的,只关心信寄出之后对方什么时候能够收到一样:我们并不关心计算机网络具体是由什么组成的,我们只关心申请的宽带带

大数据学习路线×××?大数据需要学什么

这几年来大数据非常的热门,到处都有大数据分析的演讲. 演讲内容通常是宣传各种大数据分析成功的案例. 但实际上大数据该怎么做呢? 大部份的讨论似乎都仅止于怎么搜集大量的数据, 然后用个工具(hadoop/spark)后就会马上变出商机和钱来.大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式 (highly scalable programs.) 学习大数据开发不能急于求成,要分阶段分步骤来一步步完成,大概可以分为四步: 第一个阶段:了解大数据的基本概念 首先,学习一门课程的时候,要对

成都0基础学习hadoop怎么学?怎么进行大数据入门学习

学hadoop需要什么基础?没有基础怎么学习hadoop?怎么学习大数据?Hadoop作为大数据工业中的主引擎,Hadoop就像是大数据世的一把钥匙,想要进入数据世界,首先你得显得得到这把钥匙,才能打开大门.那么科多大数据带你来看看. 学hadoop需要什么基础?Hadoop是一个分布式计算架构,更重要的是它是一个可扩展的生态系统,像IBM,EMC,Amazon,微软,甲骨文等大型IT公司都已经有了基于Hadoop的商业化大数据产品.虽然现在还有比Hadoop更为先进的分布式架构(Dremel,

云计算需要学什么课程?新手小白如何学习云计算大数据

如今,大数据的发展趋势正在迅速转变,但专家预计机器学习.预测分析.物联网.边缘计算将在未来几年对大数据项目产生重大影响.新手小白如何学习云计算大数据呢? 如今大数据已不再只是一个流行术语.调研机构Forrester公司的研究人员发现,在2016年,将近40%的企业正在实施和扩展大数据技术的应用,另外30%的企业计划在未来一年内采用大数据.同样,来自NewVantage Partners的"2016年大数据执行调查"发现,62.5%的企业现在至少有一个大数据项目投入使用,只有5.4%的企

学习大数据为什么先学Java?

学习大数据是否必须会java? 很多零基础学员想学大数据都知道,学大数据部分课程之前要先学习一种计算机编程语言.大数据开发需要编程语言的基础,因为大数据的开发基于一些常用的高级语言,比如Java和.Net.不论是hadoop,还是数据挖掘,都需要有高级编程语言的基础. 因此,如果想学习大数据开发,还是需要至少精通一门高级语言. 常用计算机编程语言 计算机编程语言有很多,目前用的多一点的就是Java,c++,R,python等等.目前大多数学习大数据的人都是选择学习Java,很多培训机构针对零基础

干货 | 学习大数据为什么要先学Java?

计算机编程语言有很多,目前用的多一点的就是Java,C++,Python等等. 目前大多数学习大数据的人都是选择学习Java,那Java到底好在哪呢?为什么学大数据之前要先学Java呢?我们今天就来分析一下. 不少想学习大数据的零基础学员都知道,学大数据部分课程之前要先学习一种计算机编程语言.大数据开发需要编程语言的基础,因为大数据的开发基于一些常用的高级语言,比如Java和.Net. 不论是hadoop,还是数据挖掘,都需要有高级编程语言的基础.因此,如果想学习大数据开发,还是需要至少精通一门

学大数据需要什么编程基础?大数据学习步骤是什么?

学大数据需要什么编程基础?大数据学习步骤是什么? 大数据是什么? 有很多朋友问过我,大数据到底是什么?一句话来- 学大数据需要什么编程基础?大数据学习步骤是什么?大数据是什么? 有很多朋友问过我,大数据到底是什么?一句话来概括 针对非软件行业的朋友 根据你平时在超市,加油站,饭店等地方的一些消费行为,通过大数据这个技术,我们可以知道你现在的年龄范围,是否婚配,是否有孩子,孩子大致是几岁,是否有固定住宅,车大致是什么价位的等信息. 针对软件行业的朋友 平时我们写的程序都是在一台机器上运行,处理能力