大数据职位体系


我们接触过很多家互联网企业,目前最为普遍也是职位需要比较大的莫过于大数据方向的岗位,以下是我通过各位技术前辈对于大数据方向各个职位的整理,方便我们猎头朋友更好地理解职位需求,同时对大数据方向感兴趣的同学也可以参考,以下是详细的文档,其中脑图我也整理整理了一份,供大家参考,另外关于技术方向是不断进化和演变的过程,希望大家共同补充和提出不同的见解。
大数据职位体系
1.大数据涉及职位从技术趋势角度来来
大数据系统研发类人才
1>大数据应用开发类人才
2>大数据应用开发工程师
3>大数据分析类人才
4>大数据分析师
2.企业方向划分
1>产品市场分析---通过算法来测试新产品的有效性,\n是一个相对较新的领域
2>安全和风险分析---数据科学家们知道需要收集哪些数据、\n如何进行快速分析,并最终通过分析\n信息来有效遏制网络入侵或抓住网络罪犯。
3>商业智能
3.热门岗位
1>ETL研发:ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
2>有不同的数据类型
随着数据种类的不断增加,企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。
3>负责内容
ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
4>应用领域
应用领域:商业智能领域,是构建数据仓库的底层基础技术
ETL行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL
4.Hadoop开发:Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台,其核心部件是HDFS与MapReduce
1>核心思想
2>HDFS---HDFS负责Hadoop生态圈的数据存取工作
3>MapReduce---_MapReduce负责Hadoop生态圈的数据运算工作
4>hadoop生态圈----Hadoop生态圈使用HDFS文件系统进行存取数据,数据被分散的保存在集群的各个服务器上,在计算数据时使用MapReduce结合HDFS进行逻辑运算取出数据。
5>信息架构开发---- 大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等
6>可视化工具开发----量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上,通过操作界面元素,由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据,经过时间考验,完全可扩展的,功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合,以用来构建极其丰富的用户界面。
过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。
7>数据仓库研究---数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。
9>数据科学研究---这一职位过去也被称为数据架构研究,数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和行为。因此,数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说,数据科学家是分析师、艺术家的合体,需要具备多种交叉科学和商业技能。
10>数据预测分析---营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
11>企业数据管理---企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家的人,需要保证市场数据的完整性,准确性,唯一性,真实性和不冗余。
12>数据安全研究---数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验,具备运维管理方面的知识和能力,对企业传统业务有较深刻的理解,才能确保企业数据安全做到一丝不漏。

原文地址:https://www.cnblogs.com/lietouwenl/p/9979703.html

时间: 2024-11-05 17:26:49

大数据职位体系的相关文章

引跑科技助力传统企业构建大数据价值体系

2015年8月11日,在工信部信息化推进司指导下,由国家两化融合创新推进联盟主办的第二届<云计算应用创新推进大会>在北京西苑酒店成功召开.大会将以"推进产业互联.探索工业4.0发展道路"为主题,深度探讨企业"云化"过程面临的挑战与问题,寻求最佳技术解决方案和实施路线,推进"企业云"建设,实现企业信息化的全面升级. 本次会议上共计有超过10多家的国有大中型企业及IT服务和供应商分享在云计算.大数据领域的实践和应用成果. 国家两化联盟,全

老男孩教育大数据课程体系2折起超值优惠开班

老男孩教育大数据课程体系2折起超值优惠开班 大数据与云计算的未来发展趋势和前景已经极其广阔,未来的互联网就是大数据和云计算的天下,大数据和云计算将成为每一个IT人员必须会的技术了.老男孩教育也顺势而为重金聘请一流核心骨干讲师,打造互联网大数据课程,绝对让同学们心悦诚服,绝对物超所值,让同学在技术道路上捷足先登,做IT技术达人,成为人生赢家.必须要要学大数据的里有见本文结尾. 虽然价格极低,但课程含金量坚决不低于18000的价值! 一.开课信息 1.开课时间:2016年2月23日(如果满30人,1

大数据理论体系总结--数据仓库管理与全链路数据体系

前言 就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家.也有很多伙伴执迷于数据,成为了行业的数据研发专家.当然还有很多小伙伴,热衷于工具系统开发,成为了数据技术专家.那么我们回过头来考虑,什么是大数据,什么又是数据仓库,什么又是数据技术.大数据其实是个非常笼统的感念,它是由数据仓库演化而来的数据与技术方法论,那么我们先说一下数据仓库的由来: 早在多年以前在Hadoop.Spark.Storm.Kafka等系列分布式计算与存储.消息中间件还没有成熟的时候,

想学习大数据?这才是完整的大数据学习体系

大数据 干货走起,闲话不多说,以下就是小编整理的大数据学习思路 第一阶段:linux系统 本阶段为大数据学习入门基础课程,帮大家进入大数据领取打好Linux基础,以便更好的学习Hadoop.habse.NoSQL.saprk.storm等众多技术要点. 另:目前企业中无疑例外是使用Linux来搭建或部署项目的 第二阶段:大型网站高并发处理 本阶段的学习是为了让大家能够了解大数据的源头,数据从而而来,继而更好的了解大数据.通过学习处理大型网站高并发问题反向的更加深入的学习Linux,同事站在了更高

大数据的体系

1. 存储阶段: 描述:用户信息,行为信息存储进硬盘 问题: 数据总量-大 产生速度-快 数据类别-多 2. 挖掘 清洗 筛选: 描述:根据产品需求筛选出符合企业用于盈利需求的数据) 3. 分析: 描述:通过数学分析,商业分析,将挖掘出来的数据进行产品匹配盈利分析 问题: 1.时效要求 2.实时要求 3.数据模型 4.业务领域 4.产品调整: 描述:根据分析进行产品的上下架,迭代开发,达到产品迎合更多用户的选择或者销售出更多的产品 5.产品下一步的规划: 描述:譬如新开一个产品线,可以根据数据来

武汉城市大数据评分体系商业化应用探讨

1.在底层数据指标基础上,根据实际生活场景,抽象提取新指标,发展为武房特色指标. 根据之前市场部门的反馈,普遍遇到一个情况.客户说"你们这些数据百度上也有啊".在底层数据层面上,目前确实难以做到拥有独有的数据源或者渠道.鉴于此,可以在这些共有的数据上,抽象提取凝练出新的概念或者指标,既能更好地展现城市中的某一面,又能在短期内做到一枝独秀. 2.每一项分指数作为产品对待,以产品运营的思维去拓展.应用该指数. 综合多方面因素(数据获取.数据全面性.指标创新等方面)先挑选出两三个分指数如环境

民生银行十五年的数据体系建设,深入解读阿拉丁大数据生态圈、人人BI 是如何养成的?(转载)

早在今年的上半年我应邀参加了由 Smartbi 主办的一个小型数据分析交流活动,在活动现场第一次了解到了民生银行的阿拉丁项目.由于时间关系,嘉宾现场分享的内容非常有限.凭着多年对行业研究和对解决方案的嗅觉与敏感性,意识到这个阿拉丁项目的完整性和独特性超出了以往我所接触过的所有 BI 领域的项目案例,很值得再次深入的探讨.学习与研究.对于很多公司在建设自身的 BI 或者大数据平台体系上,这个项目案例有很好的参考与借鉴意义.(另外一个我个人比较推崇的大数据建设的案例是美的的大数据平台建设案例.) 在

工信部&lt;&lt;大数据产业发展规划&gt;&gt;

大数据产业发展规划 (2016-2020年) 发布时间:2017-01-17  来源:规划司 数据是国家基础性战略资源,是21世纪的"钻石矿".党中央.国务院高度重视大数据在经济社会发展中的作用,党的十八届五中全会提出"实施国家大数据战略",国务院印发<促进大数据发展行动纲要>,全面推进大数据发展,加快建设数据强国."十三五"时期是我国全面建成小康社会的决胜阶段,是新旧动能接续转换的关键时期,全球新一代信息产业处于加速变革期,大数据技

(转)我所经历的大数据平台发展史(四):互联网时代 ? 下篇

编者按:本文是松子(李博源)的大数据平台发展史系列文章的第四篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统行业与非传统行业.是对数据平台发展的一个回忆,对非互联网.互联网,从数据平台的用户角度.数据架构演进.模型等进行了阐述. 在互联网时代被弱化的数据模型 谈起数据模型就不得不提传统数据平台架构发展,我相信很多朋友都晓得传统数据平台的知识,其架构演进简单一句话说“基本上可以分为五个时代.四种架构”,但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点,从高阶架构上