大数据架构师技能图谱

大数据通用处理平台

  1. Spark
  2. Flink
  3. Hadoop

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

  1. Spark Mlib
  2. TensorFlow (Google 系)
  3. Amazon Machine Learning
  4. DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

  1. Pig
  2. Hive
  3. kylin
  4. Spark SQL,
  5. Spark DataFrame
  6. Impala
  7. Phoenix
  8. ELK

8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

  1. Kafka(纯日志类，大吞吐量)
  2. RocketMQ
  3. ZeroMQ
  4. ActiveMQ
  5. RabbitMQ

流式计算

  1. Storm/JStorm
  2. Spark Streaming
  3. Flink

日志收集

Scribe

Flume

编程语言

  1. Java
  2. Python
  3. R
  4. Ruby
  5. Scala

数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

  1. R
  2. D3.js
  3. ECharts
  4. Excle
  5. Python

机器学习

机器学习基础

  1. 聚类
  2. 时间序列
  3. 推荐系统
  4. 回归分析
  5. 文本挖掘
  6. 决策树
  7. 支持向量机
  8. 贝叶斯分类
  9. 神经网络

机器学习工具

  1. Mahout
  2. Spark Mlib
  3. TensorFlow (Google 系)
  4. Amazon Machine Learning
  5. DMTK (微软分布式机器学习工具)

算法

一致性

  1. paxos
  2. raft
  3. gossip

数据结构

  1. 栈，队列，链表
  2. 散列表
  3. 二叉树，红黑树，B树
  4. 图

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

  1. SaaS
  2. PaaS
  3. IaaS
  4. Openstack
  5. Docker

End.

转自：http://www.36dsj.com/archives/4520

来源：http://www.ha97.com/5734.html

时间： 2024-10-10 10:42:43

大数据架构师技能图谱的相关文章

史上最全java架构师技能图谱（上）

java架构师最全技能图谱上篇,包含:数结构算法.java进阶.web开发.框架与工具四大技能图谱.下篇将包含大数据以及性能.设计模式.UML.中间件.分布式集群.负载均衡.通讯协议.架构设计等技术图谱等章节本文作者,陈睿 优知学院创始人,免费提供系统的互联网产品技术进阶干货资料和课程,以及定期的线下实战活动. 一:数据结构算法 算法分析 时间复杂度和空间复杂度 算法思想 递推.递归.穷举.贪心.分治.动态规划.迭代.分枝界限 数据结构 数组.链表.堆.栈.队列.Hash表.二叉树等 算法 排序

系统架构师(java)和大数据架构师

架构师不是一个职业工种,而是一种能力,而且架构师也分很多种,不同领域的架构师是不一样的.比如互联网架构师和物联网架构师,没有什么可对比的.架构要考虑什么1.考虑系统能做什么,不能做什么,就是常说的系统边界2.确定架构内部的模块与模块之间的关系,以及module与外部是什么关系3.确定非功能性需要,架构的可扩展性,可用性,可维护性以及安全性4.架构确定以后要能够指导开发人员根据架构思想去设计和演化,确保开发出来的东西和架构的规划是一致的.Java系统架构师 系统的技术选型以及可行性评估 分布式技术

大数据架构师基础：hadoop家族，Cloudera产品系列等各种技术

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言. 我们可以带着下面问题来阅读本文章: 1.hadoop都包含什么技术 2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性 3. Spark与hadoop的关联是什么? 4. Storm与hadoop的关联是什么

北风网大数据架构师课程怎么样？

北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可

深入大数据架构师之路，问鼎40万年薪视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

迈向大数据架构师 - 架构师转型方法与架构设计理论

迈向大数据架构师 - 架构师转型方法与架构设计理论课程学习地址:http://www.xuetuwuyou.com/course/233课程出自学途无忧网:http://www.xuetuwuyou.com课程摘自<大数据系统架构分析师成长之路>:http://www.xuetuwuyou.com/course/200 1.课程目标通过本课程的学习,让学员了解到什么是系统架构师,什么大数据系统架构师,两者的区别与联系,程序员与架构师的不同,程序员如何向架构师转型,一个架构师工作日常及必须修炼的

阿里大数据架构师必备技能，你“佩奇”了嘛？

这两天真的是被<啥是佩奇>这支广告片刷屏了.佩奇明明是个喜剧角色,却把所有人都给看哭了! 中间的剧情,小孙子一句:"想要佩奇",结果爷爷就开始了满村子的寻找佩奇,到最后寻找到了小编认为是最好看的佩奇 不知道大家看了之后是什么感觉,反正我看了之后的感觉是非常感动了.不过经过几天的发酵,"佩奇"这两个字似乎有了更多的含义了!各种"佩奇"齐出不穷,女人的"佩奇"是什么样的?程序员的"佩奇"是什么样的?

史上最全java架构师技能图谱（下）

"java架构史上最全技能图谱分为上下两篇,这是java架构史上最全图谱下篇,包含:大数据以及性能.设计模式.UML.中间件.分布式集群.负载均衡.通讯协议.架构设计等技术图谱等章节.如果需要上篇内容:数结构算法.java进阶.web开发.框架与工具四大篇章技能图谱,请查看java架构史上最全图谱上篇(历史文章查看).本文作者,陈睿 BAT优知学院创始人,一线大厂资深CTO,免费提供系统的互联网技术进阶干货资料和系列课程,以及定期的线下项目实战. 架构师进阶六大要求程序设计要求WEB开发要求架构

【ZZ】大数据架构师基础：hadoop家族，Cloudera系列产品介绍

http://www.36dsj.com/archives/17192 大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言. 我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术?2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性?3.Spark与h