想转行大数据,如何开始学习 Hadoop?

学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。

这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark——算法。

所以学习hadoop是第一步,在这里声明一下,在学习hadoop之前需要有java基础,因为hadoop底层全是用java写的;还需要系统层面学会使用linux的基本shell命令,因为你学习hadoop得首先会安装hadoop。Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

下面谈谈一谈如何开始学习hadoop。

本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。

安装不是目的,通过安装认识Hadoop才是目的。

Hadoop环境搭建,需要更多大数据学习视频教程可以点击扣扣群领取606859705
第一部分:Linux环境安装

Hadoop是运行在Linux,虽然借助工具也可以运行在Windows上,但是建议还是运行在Linux系统上,第一部分介绍Linux环境的安装、配置、Java JDK安装等。

第二部分:Hadoop本地模式安装

Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。

第三部分:Hadoop伪分布式模式安装

学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块,伪分布式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的,并不是真正的分布式。

第四部分:完全分布式安装

完全分布式模式才是生产环境采用的模式,Hadoop运行在服务器集群上,生产环境一般都会做HA,以实现高可用。

第五部分:Hadoop HA安装

HA是指高可用,为了解决Hadoop单点故障问题,生产环境一般都做HA部署。这部分介绍了如何配置Hadoop2.x的高可用,并简单介绍了HA的工作原理。

安装过程中,会穿插简单介绍涉及到的知识。希望能对大家有所帮助。

上面环境的搭建只是讲了一下框架,由于时间有限,具体如何操作可以留言与我交流。需要大数据学习视频教程可以进入扣扣群领取
环境搭建好后,然后尝试编写mapreduce进行打包运行。当你对hadoop应用编程层面没有疑问的时候,可以尝试去深入了解mapreduce的核心思想,尤其是map,shuffle,join,reduce等。

对于新手来说入门会遇到很多问题,这是正常的,不过遇到问题不可怕,只要想办法解决了自己的能力就会一点一点的提高,在这里预祝在大数据之路上求仙的伙伴们学有所成

原文地址:https://blog.51cto.com/14342636/2420188

时间: 2024-10-11 02:28:48

想转行大数据,如何开始学习 Hadoop?的相关文章

3分钟解读2018年想转行大数据,该如何开始呢?

你在公司里表现很好,布置的任务总是能又好又快的完成,但两年来你的工资一直是1万3,多次跟领导提出加薪,结果领导每次都是哦哦哦知道了.你心里知道,现在的工作遇到了瓶颈,薪资想要有50%以上的增长已经很难了,能做的也只有转行. 问你个问题: 你是不是曾无数次下定决心要做大数据工作,但因为不知如何开始而放弃? 是不是曾经去面试过大数据工作,但因为没有经验屡屡碰壁? 你在公司里表现很好,布置的任务总是能又好又快的完成,但两年来你的工资一直是1万3,多次跟领导提出加薪,结果领导每次都是哦哦哦知道了. 你心

零基础如何转行大数据?系统学习路线在此

都知道大数据薪资高,前景好.而大数据又需要Java基础.对于稍微懂些Java的童鞋来说,到底如何转行大数据呢?今天小编给你一个大数据工程师具体的学习路线图.[ps:无java基础也可以学习大数据] 分享转行经验路线 对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里掌握Java语言是有一定优势的. 在这里还是要推荐下我自己建的大数据学习交流群:5298

大数据零基础学习hadoop入门教程

1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效.可伸缩的特点 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 ? 2.HDFS 源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障 HDFS简化了文件一致

java开发转行大数据开发的学习路径

从Java开发通过大概3个月的学习转到大数据开发,主要分享一下学习路径: 第一阶段: 01.Linux学习(跟鸟哥学就ok了) 02.Java 高级学习(<深入理解Java虚拟机>.<Java高并发实战>) 第二阶段: 03.Hadoop (董西成的书) 04.HBase(<HBase权威指南>) 05.Hive(<Hive开发指南>) 06.Scala(<快学Scala>) 07.Spark (<Spark 快速大数据分析>) 08

想学习大数据却搞不懂Hadoop?阿里云工程师带你三步解读Hadoop!

一.什么是Hadoop? Google发表了两篇论文:描述如何以分布式方式存储海量数据的Google文件系统和描述如何处理大规模分布式数据的MapReduce:大型集群上的简化数据处理.受这两篇论文的启发,DougCutting实现了这两篇基于OSS(开源软件)的论文的原则,Hadoop诞生了. Hadoop是一个用于分布式存储和处理大型数据的开源平台.Hadoop作为一个大规模的分布式数据处理平台,已经成为许多程序员的重要技能. 二.Hadoop能做什么? 大数据时代已经到来,给我们的生活.工

想学大数据发展的小伙伴注意了,这十大点你清楚吗

现在由于人工智能的大热,这方面的人才稀缺,薪资水平不用说,行业中的NO.1,所以各路人马纷纷集结互联网行业,有转行的,有转岗的.对于初学者在学习这方面肯定有许多疑问,是什么疑问呢,我在这里一 一给你解答. 分享之前我还是要推荐下我自己创建的大数据学习交流Qun: 710219868 进Qun聊邀请码填写 南风(必填)我就知道是你了 一.首先要搞清楚一个概念,什么是大数据. 大数据又称巨量资料,就是数据量大.来源广.种类繁多(日志.视频.音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据

IT技术人员转行大数据,应该考虑那些问题

大数据人才需求迫切,高薪资.高福利,因此转行的大数据的人也很多,那么对于一些普通技术开发人员,在进行转行大数据开发时有哪些必要的考虑因素呢? 关于从事一个行业的要求,最简单的方式莫过于从求职网站上查看信息,下面就是针对于大数据行业的一些职业要求,而这也是转行大数据人必须要考虑的. 分享之前我还是要推荐下我自己创建的java架构师: 697558955无论是大牛还是想转行想学习的大学生小编我都挺欢迎,今天的已经资讯上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2018年学习的大数据教

想学大数据?先看完这几本书再说

真正的数据爱好者有很多需要阅读的内容:大数据,机器学习,数据科学,数据挖掘等.除了这些技术领域,还有一些特定的技术和语言需要你继续研究:Hadoop,Spark,Python,和R等等,还有无数实现自动化的工具等等,这些工具几乎每天都会用到,这就需要你不断的学习.幸运的是,以上提到的这些都不缺关于它们的书籍. 如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入.每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目

需要同时掌握AVA和Linux,才可以继续大数据课程的学习

大数据包含的技术知识很多,如果是从头学起,一般是从两个方面入手,一是基础:二是专业技能.下面我们不妨从这两个方面给出一个简单的学习过程.希望对你有所帮助. 一.基础 学习大数据的两大基础就是JAVA和Linux,学习顺序不分前后.需要同时掌握,才可以继续大数据课程的学习. 在这里小编建了一个大数据学习交流扣扣群:529867072,我自己整理的最新的大数据进阶资料和高级开发教程,如果有想需要的,可以加群一起学习交流 Java:大家都知道Java的方向有JavaSE.JavaEE.JavaME,学