大数据学习计划

首先我们可以看看大数据岗位的能力要求

一 大数据工程师岗位要求

公司A:

公司B:

二 在面试岗位前,我们必然要经历岗位考核,而考核的内容主要以数据结构和算法为主。

基础算法学习网站如下:

https://leetcode.com

https://visualgo.net/en

三. 接下来是技能要求,

1.首先是基础编程能力:

推荐看Oracle的Java tutorial

https://docs.oracle.com/javase/tutorial/index.html

2.熟悉Linux shell系统:

https://www.learnshell.org/en/Hello%2C_World%21

http://linuxcommand.org/lc3_lts0010.php

https://www.geeksforgeeks.org/introduction-linux-shell-shell-scripting/

3.掌握Mysql数据库的使用及其常用SQL命令以及了解非关系型数据库MongoDB的使用:

https://www.w3schools.com/sql

https://www.codecademy.com/courses/learn-sql/lessons/manipulation/exercises/sql?action=resume_content_item

https://university.mongodb.com

4.Hadoop及其生态系统:

大数据学习基石Hadoop、数据串行化系统与技术、数据的统计分析、分布式集群、流行的队列、数据迁移、大数据平台分析

重点掌握基本模块例:HDFS、MapReduce、Yarn、Common

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

Hadoop家族其它组件举例:

Hadoop 生态系统

1)  Hadoop:分布式存储、分布式计算、资源调度和任务管理、hdfs、mapreduce、yarn、common

2) Nutch:开源的搜索引擎

3) Hbase/Cassandra:基于google的 bigtable开源的列式存储的非关系型数据库

http://hbase.apache.org/book.html#arch.overview

4) Hive:基于SQL的分布式计算引擎

https://cwiki.apache.org/confluence/display/Hive/LanguageManual

http://hive.apache.org/

  Pig:基于Pig Latin脚本的计算框架

  

http://pig.apache.org/docs/r0.15.0/start.html

http://pig.apache.org/docs/r0.15.0/basic.html

5) Thrift/Avro:RPC框架、用于网络通信

6) Lucene:索引检索工具包

7) BigTop:项目测试、打包、部署

8) Oozie/Azakban:大数据工作流框架

9) Chukwa/Scribe/Flume:数据收集框架

10) Whirr:部署为云服务的类库

11) Sqoop:数据迁移工具

12) Zookeeper:分布式协调服务框架

13)HAMA:图计算框架

14)Mahout:机器学习框架

5.服务器的基础配置知识(偏向运维)

http://nginx.org/en/

6.数据结果的可视化

https://echarts.baidu.com/download-theme.html

https://plot.ly

四.学习大数据分析(硕士学习课程举例)

重点如下课程:

Data Analysis

Data Science Programming

Data Mining

Machine Learning

Parallel and Distrubuted Computing

Big Data Application

学习与应用网站:

https://www.kaggle.com/learn/overview

原文地址:https://www.cnblogs.com/zhichun/p/11361145.html

时间: 2024-10-10 23:03:37

大数据学习计划的相关文章

如何制定一份可实施的2018年大数据学习计划?

我们习惯了"间歇性踌躇满志.持续性混吃等死", 那么2018年快过了一半了,又该做点什么呢? 其实,要想做出改变并非难事,你缺少的只是一个计划(去做).学习大数据分析更是如此,因为大数据是一门综合性的学科,复杂且具有一定系统性,所以大数据的学习更加需要有一个明确的目标和计划,然后按部就班的执行. 那么如何才能制定出一份可行性强的大数据学习计划呢? 我们可以从以下几个方面去制定. 一.目标 首先你需要制定一个明确的你想要实现的长远的目标.比如,半年内学习相关课程,初步掌握大数据基础知识:

制定一份可实施的2018年大数据学习计划?

如何制定一份可实施的2018年大数据学习计划? 我们习惯了"间歇性踌躇满志.持续性混吃等死", 那么又该做点什么呢? 其实,要想做出改变并非难事,你缺少的只是一个计划(去做).学习大数据分析更是如此,因为大数据是一门综合性的学科,复杂且具有一定系统性,所以大数据的学习更加需要有一个明确的目标和计划,然后按部就班的执行. 那么如何才能制定出一份可行性强的大数据学习计划呢? 我们可以从以下几个方面去制定. 大数据学习交流群:716581014 如何制定一份可实施的2018年大数据学习计划?

你如何制定一份可实施的2019年大数据学习计划?

那么如何才能制定出一份可行性强的大数据学习计划呢? 我们可以从以下几个方面去制定. 一.目标 首先你需要制定一个明确的你想要实现的长远的目标.比如,半年内学习相关课程,初步掌握大数据基础知识:比如,一年内熟悉并能在实际项目中应用:再比如,1年内达到市面上对大数据分析师的基本要求,成功找到一份大数据分析师的工作. 在这里还是要推荐下我自己建的大数据学习交流群:529867072,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相

零基础大数据学习框架

大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发.这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架.科多大数据大数据来带你看看. Java语言是王道就是这个道理,Java的核心代码是开源的,是经过全球能人牛人共同学习共同研发共同检验的,所以说Java是最经得住检验的语言,而且任何人都可以学习Java核心技术并且使用核心技术开发出像android一样的系统和H

好程序员大数据学习路线分享hive的运行方式

好程序员大数据学习路线分享hive的运行方式,hive的属性设置: 1.在cli端设置 (只针对当前的session) 3.在java代码中设置 (当前连接) 2.在配置文件中设置 (所有session有效) 设置属性的优先级依次降低. cli端只能设置非hive启动需要的属性.(log属性,元数据连接属性) 查找所有属性: hive>set; 查看当前属性的值:通常是hadoop hive> set -v; 模糊查找属性: hive -S -e "set" | grep

大数据学习的流程方案

大数据成为了当下发展的一种趋势,很多人去追求大数据的学习,但是苦于无从下手,今天编者根据自己的经验系统总结一下大数据学习的方略: 第一步:感性认识,找准思路 (1)看一些大数据发展及应用,了解市场形势 (2)阅读大数据相关书籍,了解知识架构 对上面基本知识有一个了解过程之后,明确自己的思路,就可以进入下一步学习; 第二步:理论学习,扎实基础 大数据平台学习路径:   预备课程 1. 大数据平台Linux基础 2. 大数据平台Java基础 3. 大数据平台Python基础   基础课程 1.  大

揭秘java大数据学习路线图

很多的同学在学习JavaEE的路上都过得的是坎坷,可以说是夜以继日的敲代码在学习,却发现自己是事倍功半,有的时候遇到一个bug真的很难受,无限互联java大数据培训专家为大家整理了一篇很值得大家去借鉴的学习路线图文章,希望大家在学习的路上一能帆风顺! 一.Java的核心 这就是学习Java的基础,掌握程度的深与浅甚至直接影响后面的整个学习进程. Java的核心主要包括了几个部分: 一. java大数据学习路线图 1.初级的有语法基础.面向对象思想. 学习任何一门语言语法都是必须的,因为Java的

大数据学习一般都学什么

大数据已经成为发展的趋势,大数据的培训学习也就应运而生,可是大数据具体学习什么内容呢,众说纷纭: 那么大数据学习到底应该掌握哪些知识呢,笔者根据自己的经验总结如下: 学习要根据自身情况来定,如果你是零基础,那就必须先从基础java开始学起(大数据支持很多开发语言,但企业用的最多的还是JAVA),接下来学习数据结构.linux系统操作.关系型数据库,夯实基础之后,再进入大数据的学习,具体可以按照如下体系: 第一阶段 CORE JAVA (加**的需重点熟练掌握,其他掌握) Java基础** 数据类

大数据学习线路图

近期开始大数据的学习,在学习之前给给自己定义了一个大数据学习路线 大数据技术学习路线指南 一.Hadoop入门,了解什么是Hadoop 1.Hadoop产生背景2.Hadoop在大数据.云计算中的位置和关系3.国内外Hadoop应用案例介绍4.国内Hadoop的就业情况分析及课程大纲介绍5.分布式系统概述6.Hadoop生态圈以及各组成部分的简介7.Hadoop核心MapReduce例子说明二.分布式文件系统HDFS,是数据库管理员的基础课程1.分布式文件系统HDFS简介2.HDFS的系统组成介