数据架构师的职责

一个数据架构师做什么?只是设计表?那是我能第一时间想的。但事实证明,这并不是。数据架构师的主要职责是:
数据建模与分析(45%)
数据加载和交付(25%)
数据可用性,性能,安全性保证(15%)
数据质量与治理(10%)
其他(5%)

 

1. 数据建模与分析

了解数据(Understand the data)
在组织机构中理解数据是最重要的职责。如果他在证券机构工作,他需要了解什么是收益率等专业名词。一个不能真正理解数据意义的架构师是无法创造出完整实用的功能。

数据建模(Data modelling)
它不只是设计数据库表。也包含着对XML文件和架构(XSD),OLAP多维数据集,接口文件格式定义等。不只是表的设计还要包含着索引、日志、分区、数据库和数据服务器、触发器,审计等等。物理数据模型和逻辑数据模型。虽然我们会经常忽略数据库的物理组成,把这部分工作交给DBA。

数据分析(Data Analysis)

我们经常会把数据分析的工作交给专门的数据分析师。我们一贯认为自己的工作是设计数据模型,业务分析不是我的工作内容。这是个错误的观点。作为一个数据架构师要知道所有的事情。可以帮助我们更好的设计数据架构。

 

2. 数据加载

数据是不能够自己按照我们的要求跑到我们数据库中,而是需要经过一个复杂的过程一步一步的更新/插入到我们的数据仓库中。我们的需要理解整个数据加载的详细细节。理解整个加载程序架构,他们中间每一步具体做了什么。如果用了调度工具比如Autosys, 要理解它的工作原理。怎么去创建一个条件预警,一个循环,如何检测加载时间等等。当然其中的很多任务是由产品支持团队(Production Support)在做, 但是设计整个加载的流程/框架是数据架构师的职责。

如果一个数据架构师,只知道数据模型而不了解数据加载的过程,那么他跟盲人没什么区别。什么时候通过什么样的方式将数据加载到数据库中,对那些数据会产生明显的变化。

 

*************************************

(未完待续)。。。。

时间: 2024-10-12 08:09:32

数据架构师的职责的相关文章

CSDN日报20170509 ——《互联网时代架构师的职责与思考》

[程序人生]互联网时代架构师的职责与思考 作者:木小鱼 在当下的互联网时代,架构师是互联网行业的热点关键词,人云亦云者居多,那互联网架构师到底是做什么的,如何来评价互联网架构师的优劣呢? 点击阅读全文 [Android]手把手教你构建 Android WebView 的缓存机制 & 资源预加载方案 作者:Carson_Ho 由于H5具备 开发周期短.灵活性好 的特点,所以现在 Android App大多嵌入了 Android Webview 组件进行 Hybrid 开发,但我知道你一定在烦恼 A

.NET 高级架构师0003 架构师之路(2)---架构师的职责

2 架构师的职责 近来看到CSDN上有个CTO俱乐部,里面聊得是不亦乐乎.我怀着无比崇敬的态度,拜读了一下牛人们的发言.里面有个哥们发起一个话题:"CTO, 你多久没有写程序了?".有人回答:"不写代码的CTO,属于......这公司问题大了!".看到这里,我就赶紧撤了,怕忍不住反驳几句,反而遭到牛人们的群殴.试想,一个上点规模的IT公司,还得靠CTO来写程序的话,那是不是才叫问题大了呢.当然,我没有做过CTO,所以我有我的不同看法,而且还愿意表达出来,无知者无畏.

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言. 我们可以带着下面问题来阅读本文章: 1.hadoop都包含什么技术 2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性 3. Spark与hadoop的关联是什么? 4. Storm与hadoop的关联是什么

系统架构师的职责和作用(转)

系统架构师的职责和作用(转) [职业名称] 系统架构师(System Architecture) [职业定位] 系统构架,是对已确定的需求的技术实现构架.作好规划,运用成套.完整的工具,在规划的步骤下去完成任务. 系统架构师(又称企业架构师或者系统设计师)是一个最终确认和评估系统需求,给出开发规范,搭 建系统实现的核心构架,并澄清技术细节.扫清主要难点的技术人员.他/她主要着眼于系统的“技术实现”.因此他/她应该是特定的开发平台.语言.工具的大 师,对常见应用场景能马上给出最恰当的解决方案,同时

(原创)谈谈架构师的职责(一)

很早就想写一篇文章来谈谈架构师的职责了,因为自己做架构设计也有几年了,有得有失,想以此文来谈谈自己对架构师职责的认识.架构师这个话题很大,在这里不打算深入详谈,只是简要的谈谈,想到哪里说到哪里.在谈架构师之前我想谈谈什么是架构,关于架构有很多种专业的定义,我这里就用最好理解的一种定义来介绍架构是什么,架构就是决策.从技术选型,到架构选型,从业务建模到系统建模,无一不是在做着决策. 要成为一个好的架构师,首先要掌握一些基本理论和技能: 面向对象设计的理论.如果连面向对象的基本理论都不知道就开始做设

架构师的职责

架构师的职责 近来看到CSDN上有个CTO俱乐部,里面聊得是不亦乐乎.我怀着无比崇敬的态度,拜读了一下牛人们的发言.里面有个哥们发起一个话题:"CTO, 你多久没有写程序了?".有人回答:"不写代码的CTO,属于......这公司问题大了!".看到这里,我就赶紧撤了,怕忍不住反驳几句,反而遭到牛人们的群殴.试想,一个上点规模的IT公司,还得靠CTO来写程序的话,那是不是才叫问题大了呢.当然,我没有做过CTO,所以我有我的不同看法,而且还愿意表达出来,无知者无畏.我情

北风网大数据架构师课程怎么样?

北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可

深入大数据架构师之路,问鼎40万年薪视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

迈向大数据架构师 - 架构师转型方法与架构设计理论

迈向大数据架构师 - 架构师转型方法与架构设计理论课程学习地址:http://www.xuetuwuyou.com/course/233课程出自学途无忧网:http://www.xuetuwuyou.com课程摘自<大数据系统架构分析师成长之路>:http://www.xuetuwuyou.com/course/200 1.课程目标通过本课程的学习,让学员了解到什么是系统架构师,什么大数据系统架构师,两者的区别与联系,程序员与架构师的不同,程序员如何向架构师转型,一个架构师工作日常及必须修炼的