从金融行业转型大数据,一路学习点滴的分享!

大数据学习之路,很漫长,但是请放心,Java 转大数据很轻松,零基础学大数据也很轻松,我会陪着你们一起搞起来,干就完事了。

本篇文章有点长,都是我的真实感受。分为:开始、转折、成长、New Flag、关于此号、推荐、总结七个部分。

开始

我大学学的是软件工程专业,2018 年毕业。据统计,近几年毕业生中平均薪资最高的专业就是软件工程!还好我没有拉低平均水平,凭借自己努力和运气毕业去了一家金融大厂(杭州)实习。

我所在的部门是最挣钱的部门--资管,我们的系统覆盖了全部的金融业务,除了保险业务。每天完成正常的任务之后,也学了很多金融的业务,在这里奉劝大家不懂股票的小白,千万不要入市。这个行业,水太深了。具体的东西就不说了。

转折

虽然金融行业薪水可观,但是限于技术老套,甚至还在使用 delphi。做了一段时间之后,发现不适合自己,由于就有了离职的想法。去年经济大形势不大好,于是也不敢轻易裸辞。此时的心情是:不甘心就这样下去。

当时还不确定之后要走什么方向,看我公众号的改名记录就知道了,但是脑子真的一团糟!

2018 的 3 月 5 号,我给自己定了一个 Flag,下面是在码农翻身的知识星球里面发的半年目标。此时斗志满满。

事实证明,四个月业余时间学大数据是不够的,坚持下来,时间超出了预期。Hadoop 生态 和 Spark 生态以及数据仓库,数据建模,机器学习等等。有些资料来自于网上,还有来自一些教育机构的资料,剩下的可以从官网上找到文档。

看完了《大型网站架构》、《深入理解Java虚拟机》这两本书,《图解HTTP》耽搁下了。毕业旅行也带女朋友去了,只不过没去四川,去了北京,天津,济南和青岛。

关于大数据方面的书籍,我看了《离线和实时大数据开发实战》、《数据仓库结构设计与实施》、《Spark技术内幕》、《推荐系统实践》。挑重点部分看的,结合自己学的技术进行消化。

这个过程中,我听得最多的是 Beyond 的歌。坚持不下的时候就打开音乐,听一会再接着学。日日夜夜,也曾怀疑自己。

成长

直到目前,写的文章数量不是很多,等到达一定里程碑的时候,我会专门整理成一系列目录的。目前的文章,暂且列一下:

简述大数据技术

什么是数据仓库?谈谈我的理解

PageRank 算法,搜索引擎的关键技术

Sqoop 不完全实战

Flume 原理,分析,架构

kafka 简介、架构、安装

Kafka 遇上 Spark Streaming

Kafka 的数据丢失和重复消费

HBase 架构分析

HBase RowKey 设计

HBase 数据模型,体系架构,组件功能说明等总结

Hbase 在微博中的表设计,部分

Zookeeper 的恢复模式,广播模式,选举流程

Hadoop HA 深度解剖

Spark 调优整合篇-汇总(长文)

Spark 的 数据本地化,提供最佳的计算节点,终于入门了

Spark 调优一瞥 | shuffle 调优

Spark 的 shuffle 文件寻址流程

从收集数据,集群分析数据,BI展示

Flink 干货来袭 | Flink Forward China 2018 大会资料整理

上面是 2018 年忙里偷闲写的 20 篇关于大数据技术的文章。

New Flag

2019 我也给自己定下了几个目标,其中一个就是更新数量以及频率要提上去。每篇文章尽量短而有用,给大家把大数据讲清楚,这个任重而道远啊。

2018 年,转折。2019 年,蜕变。

三个原则:自我激励,自我认知,自我驱动。

加入合适的圈子,比如「码农翻身」、「帅张和他的朋友们」。

离开舒适区,不能回避痛苦。

刚来上海一周,面试了两家公司。有一个给了 offer,年薪 23 w 对于刚毕业的我来说,比之前的金融岗位少,不过可以接受。那个公司我挺喜欢的,自身发展空间大一些。数据平台要从头开始创建,部门整合为中台大数据部门。

目前我还没有入职,打算继续面试。

未来的计划,「坚持」、「用心」完成每一篇文章,能帮到大家最好了。

对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手,其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享!

原文地址:https://blog.51cto.com/14217196/2379760

时间: 2024-10-10 23:43:24

从金融行业转型大数据,一路学习点滴的分享!的相关文章

进阶指南|三个月大数据工程师学习计划

申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学. 前言 一.背景介绍 本人目前是一名大数据工程师,项目数据50T,日均数据增长20G左右,个人是从Java后端开发,经过3个月的业余自学成功转型大数据工程师. 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干

大数据怎么学习?从零开始大数据学习路线

大数据.人工智能的崛起,都让很多人看到了信息技术的日新月异,也推动了更多传统型企业逐渐往互联网企业转型.如何更好的去分析客户群体,去抓住自己的客户所需,是离不开大数据的帮助的!为此,也有越来越多的企业看到大数据程序员岗位的重要性,不断的招兵买马,以求让自己的企业能够在这信息时代的竞争中立于不败之地!创一个小群,供大家学习交流聊天如果有对学大数据方面有什么疑惑问题的,或者有什么想说的想聊的大家可以一起交流学习一起进步呀.也希望大家对学大数据能够持之以恒大数据爱好群,如果你想要学好大数据最好加入一个

大数据云计算学习路线图(纯属个人看法和观点)

[ps:以下纯属个人观点和看法,有什么不对的,还请多多指教.] 1:之前发过一个Java攻城狮的学习路线图[ps:挺详细的~~~]:http://www.cnblogs.com/biehongli/p/5754555.html 恰恰是这个Java攻城狮学习路线图使我在学习编程的路上看到了希望,使迷茫的我找到了方向.现在还为此在努力...... 2:而今天呢,结合一些培训机构的学习路线图,今天发一个大数据云计算的学习路线图,也许有的人心中会有些疑问说这货是骗浏览量,点击量的吧,可是原因不是这样的哦

大数据最佳学习路线总结

一,题记 要说当下IT行业什么最火?ABC无出其右.所谓ABC者,AI + Big Data + Cloud也,即人工智能.大数据和云计算(云平台).每个领域目前都有行业领袖在引领前行,今天我们来讨论下大数据Big Data这个方向. 二,大数据里面的角色 角色一:大数据工程 大数据工程需要解决数据的定义.收集.计算与保存的工作,因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题,即大数据工程系统需要实时地为下游业务系统或分析系统提供数据服务: 角色二:大数据分析 大数据分析

大数据入门学习路线分享,请大家收下

大数据的学习技术点Hadoop核心(1) 分布式存储基石:HDFSHDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode.数据写入与读取过程.数据复制.HA方案.文件类型. HDFS常用设置 Java API代码演示(2) 分布式计算基础:MapReduceMapReduce简介.编程模型.Java API 介绍.编程案例介绍.MapReduce调优(3) Hadoop集群资源管家:YARNYARN基本架构 资源调度过程 调度算法 YARN上的计算框架离线计算(

大数据好学习吗?如何快速掌握大数据开发技能

大数据好学习吗?如何快速掌握大数据开发技能?经常被学员问到:大数据好学吗?想学大数据怕学不会等问题.我想说的是,大数据在当下是个非常热门的话题,大数据在深刻的影响着这个世界,在促进传统行业升级改造.引领新兴产业和新兴应用蓬勃发展.提升社会运行和管理效率等方面,大数据正引发新一轮革命.大数据是时代潮流,如果学一下就会了,那大数据行业现在恐怕已经被挤破门槛了吧,想学大数据还是得下苦功夫才行. 想学大数据,先把这几个技能学会再说: Apache Hive2.1 Hive是建立在Hadoop上的数据仓库

大数据怎么学习,在学习大数据之前,需要具备什么基础?

大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生.IT.金融.农业.通信等方面都有广泛应用.未来5年大数据行业呈井喷趋势,人才需求火爆,2018年大数据人才缺口更是高达900万.以后想要做大数据相关的工作,需要学习哪些技术知识? 罗马不是一天建成的,大数据工程师也不是短时间能锻造的.想要成为大数据开发工程师,也要看你是否骨骼惊奇,天赋过人!在学习大数据之前,你还需要有一定的基础!大数据学习资料分享群119599574 一.学习大数据需要的基础 1.java SE.EE(SS

零基础大数据新手学习路线教程

大数据-数据挖掘,越来越火,90%的企业都在运用或者都想要利用大数据为其带来更便利的服务,从而大数据高端软件类人才可谓供不应求. 如何学好大数据? 第一阶段:大数据新手入门系统教程Java+MySQL+关系型数据库+阿里巴巴<码出高效>编码规约 知识点 一.Java基础入门:Java编程入门:Java编程初体验,Java运行机制; Java语法基础:Java程序的组织形式与命名规则,变量类型和定义,表达式和运算符; 程序的流程结构:分支结构,循环结构;函授:函数的定义,函数调用,函数递归定义和

大数据如何学习,告诉你正确的学习姿势

现在是大数据的时代,也称作云数据,我们在网上的各种数据,最后把这些整理集合在一起,形成一个庞大的数据集合体,我们生活中大数据已经实时的应用了.那么,大数据如何学习?下面将会为大家介绍. 大数据如何学习 一.基础知识学习: 1.如果您此前对于数据库等方面的知识没有涉及,在学习大数据之前,建议先掌握基本的数据库知识,例如目前流行的关系型数据库管理系统MySQL, 非关系型数据库MongoDB,开源.支持网络.基于内存.键值对存储数据库Redis等相关的知识: 2.Java 是目前使用最为广泛的编程语