阿里年薪50万的JAVA工程师转大数据学习路线

大数据有两个方向,一个是偏计算机的,另一个是偏经济的。你学过Java,所以你可以偏将计算机的。

Java程序员想转大数据可行吗?Java是全世界使用人数最多的编程语言。不少程序员选择Java做为了自己的编程第一语言,但随之而来的是Java程序员接近饱和的人才市场。由此,随着大数据时代的到来,有很多Java程序员想要转行大数据。 不得不说,大数据行业可以说是为Java程序员量身打造的一个朝阳行业?为什么要这么说呢?

互联网是当下流行趋势,且未来可期。大数据的发展亦是时代发展的必然,如果大家还想要了解更多大数据的相关问题,欢迎加入qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

一、目前我国并没有科班出身的大数据专业人才(海归除外)

由于大数据行业在我国刚刚兴起,我国高等教育反应相对滞后,因此,直到今年,我国才通过了35家高校的申请,开通了大数据专业,也就是说,在最近的这3-4年间,我国是没有“国产”的科班大数据人才的。近100%的大数据人才都是半路出家,因此Java程序员想要转行大数据并不需要有太大的心理压力,相对于其他大多数专业,Java专业已经与大数据十分接近了。

二、Java与大数据相关性强,转行容易

Java转行大数据有着先天的优势。因为Java是大数据技术的基础语言,大数据技术中大多数平台使用的都是Java语言。因此,对于大数据技术的学习来说,Java程序员已经占尽了先机。在别的学员都还在研究Java编程时,Java程序员已经可以开始进行大数据核心技术的学习了。加上Java编程学习中所锻炼的程序员专业的思维方式,能帮助Java程序员理解大数据相关知识更加容易。

总而言之,Java程序员学习大数据具有很多别人不具备的先天优势,相信学习起大数据来也是如鱼得水,游刃有余。想要转行大数据的Java程序员不用顾虑太多,时代的机遇稍纵即逝,及时抓住才是硬道理。

三 、大数据的学习技术点

Hadoop核心

(1) 分布式存储基石:HDFS

HDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示

(2) 分布式计算基础:MapReduce

MapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优

(3) Hadoop集群资源管家:YARN

YARN基本架构 资源调度过程 调度算法 YARN上的计算框架

离线计算

(1) 离线日志收集利器:Flume

Flume简介 核心组件介绍 Flume实例:日志收集、适宜场景、常见问题

(2) 离线批处理必备工具:Hive

Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数(内置,窗口,自定义函数) 表的分区、分桶和抽样 优化

(3) 速度更快的Hive:Impala

Impala在大数据架构中的角色 架构 数据处理过程 一般使用步骤:创建表,分区表,查询等 常用查询演示:统计,连接等、Impala与Hive的比较 常用配置与最佳使用建议(查错,调优等)

(4) 更快更强更好用的MR:Spark

Scala&Spark简介 基础 Spark编程(计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引)Spark SQL和DataFrame 实例:使用Spark SQL统计页面PV和UV

实时计算

(1) 流数据集成神器:Kafka

Kafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示:生产并消费行为日志

(2) 实时计算引擎:Spark Streaming

Spark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序? 如何监控Streaming程序? 性能调优

(3) 海量数据高速存取数据库:HBase

HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式

大数据ETL

(1) ETL神器:Sqoop,Kettle

数据同步ETL介绍 Kettle常用组件介绍 、抽取Mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战

(2) 任务调度双星:Oozie,Azkaban

ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享

大数据应用与数据挖掘

(1) 大数据全文检索引擎:Elasticsearch

全文检索基础知识,ES安装及初级介绍,ES深入理解,使用经验介绍

(2) 数据仓库搭建

为什么要构建大数据平台 大数据平台的的经典架构 深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介

(3) 数据可视化

什么是数据可视化,数据可视化常用工具与必备技能介,Tableau和ECharts实操讲解 ECharts介绍,知名互金公司可视化经验介绍

(4) 算法介绍

介绍数据挖掘,机器学习,深度学习的区别,R语言和python的介绍,逻辑回归算法的介绍与应用,以及主要的推荐算法介绍

互联网是当下流行趋势,且未来可期。大数据的发展亦是时代发展的必然,如果大家还想要了解更多大数据的相关问题,欢迎加入qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

原文地址:http://blog.51cto.com/14042734/2315475

时间: 2024-08-28 03:03:21

阿里年薪50万的JAVA工程师转大数据学习路线的相关文章

转载:年薪50万美金的工程师到底牛在哪里?

年薪 50 万美金的工程师他们究竟做哪些事情,或是拥有哪些技术,让他们如此值钱?这些东西有办法"学"吗? 之前 Business Insider 出了一篇某个 Google 工程师拒绝年薪 50 万工作,因为 Google 每年附他 300 万美金的文章,有个对这数字很有兴趣的人就上 Quora 问了,我要怎么作才会跟他一样?我也要到 Google 上班然后年薪 300 万美金这样(谁不想啊?) 这位叫 Amin Ariana 的创业家就上 Quora 写了一则被赞到破表的回答,本文译

年薪50万美金的工程师到底牛在哪里?-- 转

[年薪50万美金的工程师到底牛在哪里?-- 转] 年薪 50 万美金的工程师他们究竟做哪些事情,或是拥有哪些技术,让他们如此值钱?这些东西有办法“学”吗? 之前 Business Insider 出了一篇某个 Google 工程师拒绝年薪 50 万工作,因为 Google 每年附他 300 万美金的文章,有个对这数字很有兴趣的人就上 Quora 问了,我要怎么作才会跟他一样?我也要到 Google 上班然后年薪 300 万美金这样(谁不想啊?) 这位叫 Amin Ariana 的创业家就上 Qu

做了五年大数据开发工程师总结的的大数据学习路线

先扯一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化.非结构化文本.日志.视频.图片.地理位置等: 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来: 处理时效性高,海量数据的处理需求不再局限在离线计算当中. 现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的: 文件存储:Hadoop HDFS.Tachyon.KFS 离线计算:Hadoop MapReduce.Spark 流式.实时计算:Storm

这些年薪50万+的90后Java程序员经历了什么?内附java资料分享!

如果说薪资是检验一家公司对你认可的标准,那么年纪轻轻就能达到年薪 50 万+,一定程度上说明了公司对他创造的价值的认可.小编深访了10+ 名这样的程序员,把他们最常见的三种成长途径梳理了出来在一家公司的初期加入,并伴随着自己的业务线在短期内共同成长为细分条线的负责人,拿到年薪 50万+最后,如果大家如果在自学遇到困难,想找一个java的学习环境,可以加入我们的java学习圈,点击我加入吧,会节约很多时间,减少很多在学习中遇到的难题. 一步一步向知名大公司靠拢,通过自己技术的进步证明自己的实力,最

资深程序员告诉你如何做到年薪 50 万!

每天的工作就是和程序员以及 offer 打交道,回答问题应该很合适. 程序员都很诚恳,薪水没达到预期,会反思是不是自己的技术水平不够. 但事实上,技术能力并不是决定薪酬的唯一因素,供需关系对薪酬的影响非常大. 很多时候,两个能力差不多的程序员却在薪水上有较大的差异.并不鼓励轻易跳槽,但了解市场行情是很有必要的. 达到五十万以上年薪,最重要的是,公司有这样的招聘需求而求职者正好匹配,所以在求职时选择正确的方向十分重要. 总结一下我遇到的年薪超过 50 万的程序员在哪些公司工作,大致可以分为以下几类

少走些弯路吧,java这么学就废了!一位年薪70万的java大牛告诫

提醒:一定要看完哦! 少走些弯路吧,java这么学就废了!一位年薪70万的java大牛告诫参加工作后的很多java程序员都知道,学java的弯路多得数不完,坑多得踩不完.不到自己真正跌倒,永远不知道自己是错的!如果有名师或者有好的朋友可以提醒,就会走很多弯路,我当时学的时候就是因为没人教,自己随便找点资料就看,资料不系统,不全面,总是这儿看一点,那学一点,最后半瓶醋瞎晃悠,说不会吧,稍微懂点,说会吧,就是个入门.如果这种情况下去找工作,肯定是拿不到offer 的,更别提进什么大厂.最后,如果大家

年薪50万的web前端,都需要经历哪些阶段?

也许你现在还是刚接触web前端,也许你现在是个初级的web前端开发工程师,相信每个人心中都希望自己可以达到年薪50万! 今天就为各位分享web前端起步阶段.提升阶段.成型阶段都应该学习哪些知识?如何去学习这些知识? 起步阶段 1.基本知识的掌握 在梳理的知识架构中,按照分析的两个维度里最前置的.最浅显的部分,作为打基础的阶段,必须要在这个过程中更多投入到实践中去,通常做的多了.熟练了,就认为这部分知识和内容掌握了. 2.常用工具的掌握 对于常用工具的掌握应该掌握一些有大公司或专业团队背景的流行工

年薪50万码农转行卖凉皮~Why?

今年5月份,一位码农哥的一篇<十年码农自述:我为什么辞职卖凉皮>文章在互联网上引起了不小的轰动.是什么原因让这位码农哥放弃了互联网行业年薪50万的工作而转向又脏又累的餐饮行业呢?DevStore小编也带着同样的疑问带着大家去看看转行背后的故事. 个人经历篇~ 高考落榜,选择了北漂的生活,偶然的机会知道了一个叫PHP编写网站的服务器脚本语言,借用表哥的一台当时赛扬CPU主频只有800mhz的电脑学习PHP,跟着大伙集体在一个面积狭小的屋子里共同学习编程,冬天冷了只有自制煤炉取暖,遇到编程问题就问

年薪50万码农转行卖凉皮,互联网思维又一次颠覆?

我出生在陕西西安农村家庭,从小学习也一般,记得我们上幼儿园的时候,学生们都背着家里给自己用布缝制的书包,教室的窗口是用农村的白色蛇皮袋子,到了冬天北风呼啸,教室里因为没有桌子板凳而风从窗口呼啸. 从小学开始我就特别羡慕那些学习特好的同学,羡慕他们快速的解题速度,每次有很多和我一样的人都拼命非常努力,但是总是成绩平平,所以我们每天的生活都是做题,解题,高分数,你每天都得跟别人比,渐渐让我感觉从此你的人生就只能平庸,学习好的学生上好的学习,找好的工作,挣高的工资,尤其在我们印象最深的是高考,三天一大