大数据微职位学习心得分享

大数据学习可以基本分为六大模块:
一。linux
1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力:熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;学完此阶段可解决的现实问题:搭建负载均衡、高可靠的服务器集群,可以增大网站的并发访问量,保证服务不间断地对外服务;学完此阶段可拥有的市场价值:具备初级程序员必要具备的Linux服务器运维能力。1.内容介绍:在大数据领域,使用最多的操作系统就是Linux系列,并且几乎都是分布式集群。该课程为大数据的基础课程,主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。2.案例:搭建互联网高并发、高可靠的服务架构。

二: MapReduce、Hadoop 集群
在学习MAPREDUCE后,我们了解:1 MAPREDUCE快速上手为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式。2 MAPREDUCE程序的运行机制MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化通过以上各组件的详解,深刻理解MAPREDUCE的核心运行机制,从而具备灵活应对各种复杂应用场景的能力
Hadoop核心技术框架学完此阶段可掌握的核心能力:1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用;2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发;3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发;4、掌握Hive数据仓库工具的工作原理及应用开发。学完此阶段可解决的现实问题:1、熟练搭建海量数据离线计算平台;2、根据具体业务场景设计、实现海量数据存储方案;3、根据具体数据分析需求实现基于mapreduce的分布式运算程序;学完此阶段可拥有的市场价值:具备企业数据部初级应用开发人员的能力

三、hive/impala
这章学习了HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制。
学完此阶段可掌握的核心能力:
1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;
2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;
3、通过电商系统点击流日志数据挖掘系统实战项目,掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程。

学完此阶段可解决的现实问题:
1、可根据企业具体场景设计海量数据分析系统的通用架构
2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;
3、根据具体需求搭建起整套离线数据分析系统;
4、简单数据仓库模型的设计和架构
5、各环节具体功能模块的开发实现学完此阶段可拥有的市场价值:具备企业数据部中高级应用开发和初级架构师能力

四、python
是否具备code的能力是数据分析的一个分水岭,senior的数据分析师会至少精通一种数据分析语言,并且如果想做数据挖掘,网络爬虫,交互可视化等等都是需要一定的代码处理和理解能力的。这里主要说Python,就我理解Python是一种万能的语言,适用性非常强,除了数据分析还能够做很多的事情,比如编写程序,网站开发,深度学习等等。如果你决定使用Python,那么你需要了解的点主要是各种包的搜索和调用,函数的编写和嵌套,数据类型的把握(list, tuple, series, dict),条件判断,循环迭代等等。最好的开发环境推荐Anaconda。

五、流式计算
1.流式计算核心技术流式计算核心技术主要分为两个核心技术点:Storm和Kafka,学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。学完此阶段可掌握的核心能力:(1)、理解实时计算及应用场景(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理(3)、具备Kafka与Storm集成使用的能力

六、机器学习
首先是数学:线性代数、数学分析、概率论和数理统计。其次是机器学习基础。基本功要打扎实。

接下来就是我总结的学习资源推荐:
01.Apache 官网
02.Stackoverflow
04.github
03.Cloudra官网
04.Databrick官网
05.过往的记忆(技术博客)
06.CSDN,51CTO
07.至于书籍当当一搜会有很多,其实内容都差不多

原文地址:http://blog.51cto.com/12682031/2073544

时间: 2024-11-08 10:14:36

大数据微职位学习心得分享的相关文章

大数据微职位学习心得

写了几年代码,看到这些年大数据,AI闹得火热火热,也想系统学习下大数据方面的东西,给自己充电一下.其实随着IT技术的发展,我们行业(地理信息)也已经开始拥抱大数据了.越来越多的带有位置的非结构化的数据需要处理,需要进一步挖掘.好了,废话不多说了.下面开始分享下,学习大数据这门过程中的一些心得.其实,大数据这门课,学起来还是得要有些知识储备的,比如最基本的linux操作,以及操作hive以及mysql的一些语句(如果懂关系型数据库里的sql,那操作起这些语句就简单了),Python的一些东西,如果

大数据分析师和大数据工程师职位,孰轻孰重(个人角度)

在互联网盛行的今天,能够预测未来需要依靠更多数据支持,从数据的趋势和分析中,就可以把未来的发展动向掌握得淋漓尽致.在大数据背景之下,精通大数据的专业人才将成为企业最重要的业务角色,大数据从业人员薪酬持续增长,人才缺口巨大. 最近在回答粉丝问题中,我发现一个问题:很多人对于大数据的职位体系不了解,一些对于想入门与大数据的人一直处于迷茫阶段,不知道自己该不该转行学习大数据,不知道自己是否要转大数据专业,这里就给大家分析一下( 个人观点) 数据分析师指的是不同行业中,专门从事行业数据搜集.整理.分析,

零基础如何转行大数据?系统学习路线在此

都知道大数据薪资高,前景好.而大数据又需要Java基础.对于稍微懂些Java的童鞋来说,到底如何转行大数据呢?今天小编给你一个大数据工程师具体的学习路线图.[ps:无java基础也可以学习大数据] 分享转行经验路线 对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里掌握Java语言是有一定优势的. 在这里还是要推荐下我自己建的大数据学习交流群:5298

需要同时掌握AVA和Linux,才可以继续大数据课程的学习

大数据包含的技术知识很多,如果是从头学起,一般是从两个方面入手,一是基础:二是专业技能.下面我们不妨从这两个方面给出一个简单的学习过程.希望对你有所帮助. 一.基础 学习大数据的两大基础就是JAVA和Linux,学习顺序不分前后.需要同时掌握,才可以继续大数据课程的学习. 在这里小编建了一个大数据学习交流扣扣群:529867072,我自己整理的最新的大数据进阶资料和高级开发教程,如果有想需要的,可以加群一起学习交流 Java:大家都知道Java的方向有JavaSE.JavaEE.JavaME,学

了解大数据,才能更好地学习大数据(附学习路线)

其实简单的来说,大数据就是通过分析和挖掘全量的非抽样的数据辅助决策. 大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测.比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同的.再比如精准营销.百度的推广.淘宝的喜欢推荐,或者你到了一个地方,自动给你推荐周边的消费设施等等. 随着大数据行业的快速发展,也随之出现了一些问题,比如大数据人才的缺失就是目前急需解决的一个问题,那么很多学大数据的人又出现了一些问题,就是大家普遍担心的就是零基础能不能学习大数据,会不会不好学? 零

大数据工程师微职位学习分享

随着各行各业的数据量快速增长,无论是从对数据的存储.分析.处理和挖掘等方面提出了越来越高的要求.IT行业正在逐渐向"DT"行业转变,未来是以数据为驱动的.所以我认为大数据是未来一个主流方向,了解和学习大数据对我们以后的工作和生活都有一定帮助. 近期我个人学习了大数据工程师微职位这门课,并且已经通过了所有的考核.下面切入正题,分享一下我的学习心得,因为篇幅关系,不涉及具体知识点. 因为这门课是偏大数据分析的,基本上不涉及大数据组件的开发,所以这门课撇开了冗长的java课程.另外,因为涉及

从金融行业转型大数据,一路学习点滴的分享!

大数据学习之路,很漫长,但是请放心,Java 转大数据很轻松,零基础学大数据也很轻松,我会陪着你们一起搞起来,干就完事了. 本篇文章有点长,都是我的真实感受.分为:开始.转折.成长.New Flag.关于此号.推荐.总结七个部分. 开始 我大学学的是软件工程专业,2018 年毕业.据统计,近几年毕业生中平均薪资最高的专业就是软件工程!还好我没有拉低平均水平,凭借自己努力和运气毕业去了一家金融大厂(杭州)实习. 我所在的部门是最挣钱的部门--资管,我们的系统覆盖了全部的金融业务,除了保险业务.每天

零基础学习大数据的完整学习路线

最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天软妹子专门整理了一份针对大数据初学者的大数据开发学习路线. 下面分十个章节来说明大数据开发要学习的内容: 以上就是一个大数据新手,想要学会大数据开发,需要学习的内容,大数据学习是一个持续的过程,只要用心学,没有学不会的东西哦!我要推荐下我自己建的大数据开发学习群:119599574,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享都是学大数据开发的,如果你正在学习大数据,欢迎初学和进阶中的小伙伴.

如何成为一个大数据工程师? 学习路线图是什么?

看到很多小伙伴都在学习大数据开发的路上很迷茫,不知道该如何成为一名合格的大数据开发工程师,也不知道该学习哪些技术,下面就给大家谈谈如何成为一个大数据开发工程师! 想要成为大数据工程师,首先要更新自己的技术库,也就是说需要将自己以前学习的技术知识找回来,还要增加一些大数据专业技术知识,先让自己对大数据技术有一个基本的概念,然后再继续深入学习! 阶段一.大数据基础--java语言基础方面 (1)Java语言基础 Java开发介绍.熟悉Eclipse开发工具.Java语言基础.Java流程控制.Jav