大数据技能图谱

下面是 StuQ 发布的大数据技能图谱,比较实用,供参考

大数据处理框架

Spark
- RDD
- Spark SQL
- Spark Streaming
- MLLib

Hadoop
- HDFS (分布式文件系统)
- Mapreduce(计算框架)
- Yarn(资源管理平台)
- Pig(piglatin 语句到 mapreduce 的映射)
- Hive(数据仓库,提供 SQL)
- Mahout(机器学习算法的 mapreduce 实现库)

Kafka
Storm
ELK
- ElasticSearch
- Logstash
- Kibana

数据库

- SQL
- MySQL
- MongoDB
- Cassandra
- Redis
- SQLite
- bsddb
- HBase

编程语言

- Python
- R
- Ruby

数据分析挖掘

- MATLAB
- SPSS
- SAS

数据可视化

- R
- D3.js
- ECharts
- Excle

人工智能

- 聚类
- 时间序列
- 推荐系统
- 回归分析
- 文本挖掘
- 决策树
- 支持向量机
- 贝叶斯分类
- 神经网络

算法

一致性
- paxos
- raft
- gossip

数据结构
- 栈,队列,链表
- 散列表
- 二叉树,红黑树,B树
- 图

常用算法
- 排序(插入排序、桶排序、堆排序、快速排序)
- 最大子数组
- 最长公共子序列
- 最小生成树
- 最短路径
- 矩阵的存储和运算

云计算

- 云服务(SaaS、PaaS、IaaS)
- Openstack
- Docker

时间: 2024-10-16 14:53:18

大数据技能图谱的相关文章

Nlpir大数据知识图谱的落地指南

知识图谱技术作为一门新兴的技术,是人工智能技术的重要组成部分,其建立的具有语义处理能力与开放互联能力的知识库,可在智能搜索.智能问答.个性化推荐等智能信息服务中产生应用价值.就覆盖范围而言,知识图谱也可分为通用知识图谱和行业知识图谱.通用知识图谱注重广度,强调融合更多的实体,较行业知识图谱而言,其准确度不够高,并且受概念范围的影响,很难借助本体 库对公理.规则以及约束条件的支持能力规范其实体.属性.实体间的关系等.通用知识图谱主要应用于智能搜索等领域.行业知识图谱通常需要依靠特定行业的数据来构建

大数据云计算高级实战Hadoop,Flink,Spark,Kafka,Storm,Docker高级技术大数据和Hadoop技能

大数据和Hadoop技能可能意味着有你的梦想事业和被遗忘之间的差异.骰子引用:“技术专业人员应该志愿参与大数据项目,这使他们对目前的雇主更有价值,对其他雇主更有销路.” 1.与Hadoop的职业:根据福布斯2015年的一份报告,约有90%的全球性组织报告了中高级别的大数据分析投资,约三分之一的投资者称其投资“非常重要”.最重要的是,约三分之二的受访者表示,数据和分析计划对收入产生了重大的可衡量的影响. Hadoop技能是需求的 - 这是不可否认的事实!因此,IT专业人士迫切需要使用 Hadoop

大数据分析师培训项目

摘要:Big Data“大数据”是继云计算.物联网之后IT产业又一次颠覆性的技术变革.对国家治理模式.对企业的决策.组织和业务流程.对个人生活方式都将产生巨大的影响.美国将大数据提升为国家战略,中国虽然还没有明确提出,但已经把大数据上升为与国防一样的高度.我国政府对大数据的敏感度快速提高,并正在采取措施.所以说,中国已经步入大数据时代,这种重视是由政府层面自上而下进行普及的,可能还未普及到普通百 大数据分析师培训项目 课程背景 Big Data“大数据”是继云计算.物联网之后IT产业又一次颠覆性

你了解大数据的就业前景吗?

大数据是目前最火热的一个词了,想必所有人,只要你接触网络,那你就应该听说过这个词.然而更多的人也只是听说过而已,对大数据并没有过多的了解,前几天我好多朋友就问我,大数据这么火,那它到底是做什么呢,这么火热的大数据前景究竟怎么样?今天我们就来探讨一下. 一.大数据的前景 中国拥有世界上五分之一的人口,很多行业内专业人士断定中国在未来将成为大数据最重要的市场.中国的发展正在处于快速的上升期,中国产生的数据将是巨大的,而巨大的数据对大数据的发展将起到促进的作用,而大数据在中国市场的发展也将领先. 如今

大数据架构和模式(二)——如何知道一个大数据解决方案是否适合您的组织

简介 在确定投资大数据解决方案之前,评估可用于分析的数据:通过分析这些数据而获得的洞察:以及可用于定义.设计.创建和部署大数据平台的资源.询问正确的问题是一个不错的起点.使用本文中的问题将指导您完成调查.答案将揭示该数据和您尝试解决的问题的更多特征. 尽管组织一般情况对需要分析的数据类型有一些模糊的理解,但具体的细节很可能并不清晰.毕竟,数据可能具有之前未发现的模式的关键,一旦识别了一种模式,对额外分析的需求就会变得很明显.要帮助揭示这些未知的未知信息,首先需要实现一些基本用例,在此过程中,可以

工信部<<大数据产业发展规划>>

大数据产业发展规划 (2016-2020年) 发布时间:2017-01-17  来源:规划司 数据是国家基础性战略资源,是21世纪的"钻石矿".党中央.国务院高度重视大数据在经济社会发展中的作用,党的十八届五中全会提出"实施国家大数据战略",国务院印发<促进大数据发展行动纲要>,全面推进大数据发展,加快建设数据强国."十三五"时期是我国全面建成小康社会的决胜阶段,是新旧动能接续转换的关键时期,全球新一代信息产业处于加速变革期,大数据技

老男孩教育大数据课程体系2折起超值优惠开班

老男孩教育大数据课程体系2折起超值优惠开班 大数据与云计算的未来发展趋势和前景已经极其广阔,未来的互联网就是大数据和云计算的天下,大数据和云计算将成为每一个IT人员必须会的技术了.老男孩教育也顺势而为重金聘请一流核心骨干讲师,打造互联网大数据课程,绝对让同学们心悦诚服,绝对物超所值,让同学在技术道路上捷足先登,做IT技术达人,成为人生赢家.必须要要学大数据的里有见本文结尾. 虽然价格极低,但课程含金量坚决不低于18000的价值! 一.开课信息 1.开课时间:2016年2月23日(如果满30人,1

大数据架构和模式(二)如何知道一个大数据解决方案是否适合您的组织

本文收藏于http://kb.cnblogs.com/page/510979/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:20  阅读: 1542 次  推荐: 0   原文链接   [收藏] 摘要:本文介绍一种评估大数据解决方案的可行性的基于维度的方法.通过回答探索每个维度的问题,您可以通过自己对环境的了解来确定某个大数据解决方案对您是否适合.仔细考虑每个维度,就会发现有关是否到了改进您的大数据服务的时候的线索. 简介 在确定投

大数据开发入门你必须知道的事情

昨天和三个学计算机专业的学生聊天时聊到了大数据开发方面的话题,他们三个人中,有两个已经进入企业开始工作,另外一个还是大二学生,但已经开设了自己的工作室.他们都是从事程序开发方面工作的.大数据开发自然都有关注到,只是目前的大数据技能水平只能说是"小菜鸟"吧,连入门还谈不上.当然了,大数据开发方面我也只能算是个"小学生",也是跟在师傅后面学.自然hadoop.区块链火了以后,发现很多从事程序开发的"码农"朋友们也陆续投入到大数据开发的怀抱.对于有多年