月薪3万+的大数据人都在疯学Flink,为什么?

身处大数据圈近5年了,在我的概念里一直认为大数据最牛的两个东西是Hadoop和Spark。18年下半年的时候,我突然发现身边很多大数据牛人都是研究学习Flink,甚至连Spark都大有被冷落抛弃的感觉。何以至此,Flink是个什么鬼?

Apache Flink(简称Flink)是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。

大数据生态圈很庞大,优秀的框架和组件就笔者了解的不下20个,为何Flink如此受宠?那么多人而且还是薪资待遇不错的大数据技术人要痴迷于它?笔者总结一下,大概以下几个原因:

1. 从技术角度来说,目前大数据计算引擎中, 能够同时支持流处理和批处理的计算引擎,只有Spark和Flink。其中Spark的技术理念是基于批来模拟流的计算。而Flink则完全相反,它采用的是基于流计算来模拟批计算。从技术发展方向看,用批来模拟流有一定的技术局限性,并且这个局限性可能很难突破。而Flink基于流来模拟批,在技术上有更好的扩展性。

2. 从语言方面来说,虽然Flink和Spark都支持多种语言,但Flink核心语言是Java,而Spark核心语言是Scala。Java语言毫无疑问用户基础更大,无论从技术选型还是团队人员稳定方面考虑,以Java作为核心语言的Flink更受偏爱。

3. 大公司的风向标作用, 阿里全面转向Flink无疑是一个催化剂。目前,阿里巴巴所有的业务,包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。其实不光阿里,国内很多一线的公司都投入很多人力和财力在Flink实时计算上。

4. 这个框架的性能表现确实很优秀, Flink最初上线阿里巴巴只有数百台服务器,目前规模已达上万台,此等规模在全球范围内也是屈指可数;基于Flink,阿里内部积累起来的状态数据已经是PB级别规模;如今每天在阿里Flink的计算平台上,处理的数据已经超过万亿条;在峰值期间可以承担每秒超过4.72亿次的访问,最典型的应用场景是阿里巴巴双11大屏。对这方面感兴趣的同学可以看看 阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲内容 —— 阿里巴巴为什么选择Apache Flink?

5. 想弯道超车,大家都知道,大数据已经火了好几年了,进入这行早的当然是沾尽了趋势红利,有新的好东西出来自然也有精力有兴趣去研究学习。而稍晚的同学,也想弯道超车,占领更好的“坑”,提薪更不在话下。如果你已经在做大数据,学会Flink提薪5K不是难事,如果你还没有进大数据这个领域,那么以Flink为主要方向不失为明智的想法。

那么,如何快速学习、学会Flink甚至成为Flink高手呢?现阶段最直接的方式有三个:

1. 通过翻阅官方文档,这种方式适合学习很多大数据技能,不过这种方式对个人英语水平要求高,同时也比较费时,学习起来相对费力,碰到问题也不太容易解决,需要找到组织,多人一起学习一起交流。有兴趣的同学可加QQ群:732021751。

2. 通过看书学习,很遗憾,Flink这块目前还没有系统、实战性强的书出来,预计还得再等等。

3. 看Flink老鸟的分享视频,这个确实是一个可选方案,适合想快速学好Flink并积累一些项目经验的同学。目前各大IT学习平台比较热门的应该要数《Flink大数据项目实战》这套视频啦,感兴趣的 -> 戳此链接

原文地址:https://www.cnblogs.com/dajiangtai/p/10654533.html

时间: 2024-08-06 14:11:34

月薪3万+的大数据人都在疯学Flink,为什么?的相关文章

大数据应用领域都有哪些(一)

大数据现在是越来越火了,很多人都热衷于大数据的学习,也是因为当前大数据的应用领域有很多,那么大数据应用领域都有哪些呢?我们在这篇文章中给大家介绍一下这些内容. 首先就是了解和定位客户,了解和定位客户这是大数据目前最广为人知的应用领域.很多企业热衷于社交媒体数据.浏览器日志.文本挖掘等各类数据集,通过大数据技术创建预测模型,从而更全面地了解客户以及他们的行为.喜好.这样我们能够了解很多的内容. 然后就是了解和优化业务流程.现如今,大数据也越来越多地应用于优化业务流程,我们可以对供应链或配送路径进行

研究生阶段的大数据专业都学习什么科目?

相较本科阶段要学习的计算机编程语言,比如:java,linux,mysql等,研究生的大数据专业会更加深入一点,更多的是接触学习数据的采集与分析(Python.Scala),大数据的存储(hbase.hive.sqoop),学习处理软件,学习数学建模软件等等这方面的东西. 以武汉大学为例: 必修课主要包括:<大数据分析>.<多元统计分析与大数据建模>.<学科前沿进展> 选修课主要包括:<软件项目管理>.<信息安全技术>.<移动服务构架设计&

大数据就业前景怎么样,学完大数据怎样就业

对于想要学习大数据专业,或者正在学习大数据专业的同学来说,最关心的应该就是就业问题.大数据就业前景怎么样?学完大数据应该怎样就业?一.大数据就业前景:首先得明确当下市场对大数据人才的需求,大数据技术人才目前在我国的供需状态,是严重的供不应求,虽然近年来,学大数据的人数有所增加,但是这还未满足我国对大数据人才的需求,我国对大数据人才的需求缺口高达20万.零基础的朋友也都知道自己可以学大数据,但是想找份好的大数据工作,那么必须自己拥有真材实料,靠自学大数据,太慢并且能不能学成还是个疑问,怎么想也不太

大数据学习之小白如何学大数据?(详细篇)

大数据这个话题热度一直高居不下,不仅是国家政策的扶持,也是科技顺应时代的发展.想要学习大数据,我们该怎么做呢?大数据学习路线是什么?先带大家了解一下大数据的特征以及发展方向. 大数据的三个发展方向,平台搭建/优化/运维/监控.大数据开发/设计/架构.数据分析/挖掘. 先说一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化.非结构化文本.日志.视频.图片.地理位置等; 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来; 处理时效性高,海量数据的处

月薪过万的程序员,都掌握了什么编程语言?

写给想要入行IT业的朋友,职业选择的背后,更多是抉择而不是选择,选错一件衣服可以重来,而选错一个行业,选错一个岗位所面对的结果,是非常让人痛苦的. 那么对于一个想要入行IT的新人,怎样选择一个前景好的编程语言十分很重要! IT为什么吃香,看这里就明白了 既然为的是满足职业发展,那一定是跟公司的需求相关,我们按照公司的逻辑来看分为四个大类: 想法层:产品经理.UI设计.策划: 实现层:Web前端.PHP.Java.C++.iOS.Android.Python: 维护层:Linux运维.Web安全.

年薪50万的大数据分析师养成记【摘抄】

以下是一位在数据分析领域打滚了N年后,写下的一些体会,一定能给新人一些借鉴的地方.(总结的不错,大家可以借鉴学习哦) 一.数据分析师有哪些要求? 1.理论要求及对数字的敏感性,包括统计知识.市场研究.模型原理等. 2.工具使用,包括挖掘工具.数据库.常用办公软件(excel.PPT.word.脑图)等. 3.业务理解能力和对商业的敏感性.对商业及产品要有深刻的理解,因为数据分析的出发点就是要解决商业的问题,只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求. 4.汇报和图表展现能力

年薪50万的大数据分析师养成记

以下是一位在数据分析领域打滚了N年后的分析师写下的一些总结和体会大家可以借鉴学习! 一.成为数据分析师有哪些要求? 1.理论知识要宽泛,涉及数学.市场和技术.要求及对数据敏感,包括统计知识.市场研究.模型原理等. 2.常规分析工具的使用,包括数据库.数据挖掘.统计分析工具,常用办公软件(Excel.PPT.思维导图)等等. 3.有一定的业务理解能力,能理解业务背后的商业逻辑.因为只有理解了商业问题,才能转换成数据分析的问题,从而满足部门的要求. 4.数据报告和数据可视化的能力.数据分析得再好,如

大数据开发都需要什么技术?

大数据是对海量数据存储.计算.统计.分析等一系列处理手段,处理的数据量是TB级,甚至是PB或EB级的数据,是传统数据处理手段无法完成的,大数据涉及分布式计算.高并发处理.高可用处理.集群.实时性计算等等,汇集的是IT最热门.最流行的IT技术,大数据是机器学习.深度学习.AI等尖端可以领域的基础架构. 大数据技术为决策提供依据,在政府.企业.科研项目等决策中扮演着重要的角色,在社会治理和企业管理中起到了不容忽视的作用,例如我国.美国以及欧盟等国家都已将大数据列入国家发展战略,微软.谷歌.百度以及亚

年薪40万的大数据工程师是如何安装Strom

Strom集群的安装配置 主机规划 机器名 域名 IP地址 storm-01 192.168.33.31 Storm(minbus).zookeeper storm-02 192.168.33.32 Storm(supervisor).zookeeper storm-03 192.168.33.33 storm(supervisor).zookeeper Storm-04 192.168.33.34 storm(supervisor) 一.准备服务器 l  关闭防火墙 chkconfig ipt