花旗软件DWH实习回顾

Data warehouse是一个不大的部门,当时里面有一个vp一个manager两个assistant manager,其他就是senior developer和basic developer,当时还有将近20个人,属于花旗内部的员工大概就是4个人,其他都是外派,来自文思海辉、华钦、奥杰斯这几家。

工作流程上,部门接收其他部门的数据,主要依靠的是大机的推送,自动化运行,当天处理前一天的数据,推送好了之后会有时间戳,在Linux/Unix等服务器上进行查找,通过datastage进行ETL的设计,Tivoli进行作业的调度。

数据要经过几个平台才能正式发布,包括DEV环境、SIT环境和UAT环境。然后还有ORP,说实话这个平台当时还问过他们,后来又忘了这个名字的含义的,也是一个数据处理的过程吧。

东哥教我们多一些,有在邮件中别人给我们提出一个需求,他会告诉我们需要跑什么job,我们就对照着邮件中给出的job_name,country_name,schema_name等等出现的参数到oracle中的8张表里查询出对应的结果,然后对这8张表里的列进行更新或者从这表的查询结果中找到需要的参数,在数据库中修改好之后再到Linux或者aix或者unix上去找到对应国家或者对应目录下去修改对应的参数,或者是对比数据库中的参数是否和服务器上的参数是一致的,对比修改无误之后,就再服务器上执行脚本,那个会对数据库进行更改或者调用到datastage进行运行。

有时候还需要根据需求在服务器上部署对应的文件,因为每个人的负责的模块不一样,每个人的权限也不一样,所以就需要这边配置好对应的文件,别人才能够运行好job或者别的需求,我们就在有需求的时候到对应服务器上配置文件,将模板文件进行修改后部署到不同的国家目录下去,再对脚本文件作相应修改后运行,也会根据不同的需求在不同的环境下运行,比如dev/sit/uat等环境

我学姐还会让我修改完善datastage的job设计,比如datastage上已经画好了流程,但是里面的组件并没有设置过参数,我就需要根据她给我的需求文档来对每个组件进行设计,但是她让我做的还是比较简单的,就是做一些函数的设计之类的,让我熟悉一下datastage的组件。

manager一开始是让我们做了一些oracle的练习题目,具体题目我忘记了,但是印象中是不难的,还是很容易做出来,然后他还让我们做一些简单的练习,但是就要用到shell命令来修改或者配置好不同国家的参数,如果手工做的话也可以做,但是他就想让我们试试能不能用脚本来实现,我就回去试了一晚,还是把脚本给写出来了,这个脚本不复杂,也不长,写的时候学到或者用到了grep/sed/awk、循环控制、正则表达式、管道等等之类的写法。然后他还教了我们用excel的函数比如vlookup之类的来对比数据之类的。

我换了一次座位之后,我的邻座是一个比较senior的人,然后也比较爱说话,我就问了他关于花旗EDW的流程、各个模块的分类、数据仓库的架构之类的东西,他讲解的还是挺让我觉得醍醐灌顶的,因为之前确实也没接触过真正的项目,对这些理念还是不懂,他给我讲讲觉得好很多,然后我的毕设论文也是他来教我的,流程啊、架构啊、论文的框架啊什么的,反正他对我的帮助还是蛮大的。

然后其实我们ETL部门老大还是挺不爱搭理我们的,虽然也让我们做东西,但是其实我觉得就是一些挺简单的事情,比如conference call之类的,也比如他有时候会发给我一些excel表,让我对这些表进行修改,到服务器或者数据库上找文件,找到对应的东西后再把这些复制到excel表中去,再把excel的表的格式改改好看,弄好之后再发给他就行了,对技术上的锻炼我觉得还是挺少的。

时间: 2024-10-29 04:30:24

花旗软件DWH实习回顾的相关文章

STM32学习笔记1—实习回顾1

一.四步设置GPIO串口 RCC->APB2ENR|=1<<3;    //使能PORTB时钟 GPIOB->CRL&=0XFF0FFFFF;  //位初始化 GPIOB->CRL|=0X00300000;//PB.5  推挽输出 GPIOB->ODR|=1<<5;      //PB.5  输出高 二.三种方法设置io口电平 1.宏定义方式:#define BEEP PBout(8)  BEEP=0; 2.GPIOB->ODR|=1<&

拿到腾讯、美图算法工程师实习offer---找实习两个月回顾

首先介绍一下,本人是厦大的研究生,计算机视觉方向,是一个标准的中等生,实验室重算法轻开发,找实习的过程中所用到的知识或者说是技能60%都是通过平时跟导师交流沟通学习来的(甚至很多对深度学习,最新前沿技术的理解面试过程中都是老师原话,高度自然不一样),最应该感谢的是我的导师和其他实验室老师们. 有找实习这个想法是从年后开学开始的,虽然之前工作过一年(比亚迪软件工程师),但是以后想去的还是互联网公司,在这个 "互联网+" 的浪潮下,我们总应该去在自己兴趣范围的前提下做点什么,之前的工作环境

2017ACM省赛总结与生涯回顾

省赛本身的内容没有太多可说的,和去年一样和swt和ly这对情侣一队. 先说比赛相关的内容.热身赛A题不会,B题和C题都是水题,但是没有找出C的坑点,所以热身赛只做出了一题,赛后我也没有去解决,这次我纯怀打酱油的心理,没有怎么复习过.晚饭碰到聪神,安慰我说是给明天攒人品.晚上也按时睡觉了.正赛早上闹钟起来,挺困的,洗了头出门了.总之一切也比较平常.先看了三道比较水的题,我感觉我看的F比较水,先上去敲了,过一会裁判发来提示关于G的mod印刷问题,我以为只是一般的解释,没有在意直接关了,其实是他们正在

30岁程序员回顾人生、展望未来

一.回顾毕业以来这么多年走过的路 从2007年7月份走出校门到今天2014年12月份,已经整整7年半了.想想7年半之前的自己,再看看现在的我,这么多年走过的路,感慨真的很多.大一.大二的时候由于积极参与学校社团的活动,还经常出入网吧,没有在学习上面花多少功夫,完全靠着高中的底子,混了过去.到了大三才认识到自己不是来玩的,是来学习并为未来工作做准备的.于是大三开始就像完全变了一个人似的,整天来往于自习室,一旦去网吧上网玩游戏,内心就会感到不安和空虚,唯有在自习室看书.学习才会觉得踏实,才觉得没有对

逛自己的微博,回顾曾经的那个“我”

今天下午做了一件非常无聊的事情--逛了一下午自己的微博.我是2010年07月30日加入的微博,如今已经4年多了,写了将近1.7k+条微博(今天删了许多).我很早就是个微博控,无论大小事都喜欢在微博上说,当时没什么followers,就是自己说给自己听.今天回顾以前的自己,却意外发现了很多有趣的事情,感觉自己在慢慢的.细微的变化着.成长着-- 我的第一条微博是"He knows most who speaks least",可能是当时有感而发也可能是刚学到的一句英语表达的名言. 下面以时

Android实习札记(5)---Fragment之底部导航栏的实现

Android实习札记(5)---Fragment之底部导航栏的实现 --转载请注明出处:coder-pig 在Part 4我们回顾了一下Fragment的基本概念,在本节中我们就来学习Fragment应用的简单例子吧! 就是使用Fragment来实现简单的底部导航栏,先贴下效果图: 看上去很简单,实现起来也是很简单的哈!那么接着下来就看下实现的流程图吧: 实现流程图: 看完流程图是不是有大概的思路了,那么接着就开始代码的编写吧: 代码实现: ①先写布局,布局的话很简单,一个FrameLayou

21 8.19 实习

今天是八月十九日,实际上是我的生日,虽然我不过阳历的生日,但也算是我年满21周岁的日子. 回顾这么多年,也许自己越来越孤独,从前过生日,还有不少同学朋友发祝福短信,或者在扣扣上面发祝福的礼物,虽然这在现在看来很幼稚.但是现在这一切都没有的时候,却感觉如此的孤独.也许我们的心已经无法平静,我们的脚步已经无法停止,我们的思绪早已与过去断裂.很多朋友也已多年未见,很久未联系. 既然无法停止,只有更坚定更踏实的前进. 今天我花了差不多一个上午加中午的时间来解决各种各样的出错,这让我感到崩溃. 先是因为p

实习第二天

2014/07/22 早上自主学习,看了一些教学视频,安装mvc4的相关功能. 下午看教学视频,了解mvc框架的基础知识,在陈总面前介绍自己,何总询问我们接触过哪些技术,并添加陈总QQ,发自己接触过的信息技术给他. 陈总给我们开了一个会,讲解如何做一个合格的职业人士. 陈总了解各个同事的相关基础能力,如沟通表达能力以及对事物的看法,被提问到时有一个不能回答,应注意. 首先,是自我管理能力,包含如下: 沟通能力(最主要的能力):1.沟通:要随时记录,用心倾听,阶段交流,与上级沟通时要发自内心的尊重

火车上的回顾--一个程序猿的成长史(6)

火车已经缓缓启动了,代是雄就要离开这个自己生活了将近三年的城市了.一座城市不会由于一个人的到来感到高兴,也不会由于一个人的离开而感到忧伤.可是,一个人却会由于离开一座城市而感慨万千. 2008年的国庆节后的第一天,也就是10月6号,代是雄得知自己有希望被免试推荐读研的消息,他的心里是多么的高兴.第二天,也就是10月7号,怀揣着梦想.他踏上了北上的火车,经过一天的旅途奔波,他到了南京,来到了如今称之为母校的校门口.并见到了自己研究生的导师.在经过简单的面试之后,代是雄成功保研.那时候的他虽不大明确