informatica 厂商培训资料

1、informatica中domain与node的理解:

domain 类似于局域网,node就是局域网中的节点或者计算机。

node应与repository在数据库中存储在不同的scheme中,此处node指informatica操作的内容。

2、informatica中Repository Service 与 Intergration Service

IS:工作引擎;RS:管理引擎,管理repository;

IS与RS工作流程为:客户端发请求到IS,IS调用RS完成各种ETL操作,其中,RS工作过程中会访问repository进行元数据信息、T规则等访问,并将task,workflow的结果状态等存储到repository。

一般一个IS对应一个node,当一个一个IS要对应多个node时,涉及grid,将多个node放在一个grid下,一个grid对应一个IS。

3、server与client端driver配置

一般配置driver时,尽可能选择native dirver,native dirver的性能高于ODBC,但是ODBC的兼容性和适用性高。

server 端driver:用于ETL过程中实际存取读写数据;

client 端driver:用于导入source/target 表,即元数据。

4、informatica中数据处理方式为并行处理,即管道式处理。

5、分区

分区使处理方式由单线程变成多线程,一个连接变成多个连接。

分区后,当使用汇总、关联等组件时informatica可自动保证数据结果的正确性。

在汇总、关联之前,若数据已进行排序,且组件中已排序属性已勾选,则数据为流式通过;否则,需数据全量到达然后进行处理。

6、集群:

informatica既可支持单机,也可建立集群环境。而且,集群环境可以异构,即不限定OS,version等;

在集群环境中,任务可通过以下三种方式分发:

第一种:轮询;

第二种:动态控制,需在config文件中进行配置;

第三种:建立task与node的映射表(,然后在config文件中进行配置该映射表?)。

无论采取哪种方式,都可以保证task的执行顺序,因为task的执行顺序是由repository中workflow表(表名貌似是OPB_WORKFLOW)存储。

7、增值服务组件:HA,可自动接管坏点

启用方式为:运行workflow时以auto recovery方式运行;

要求:需在磁盘中建立共享存储,并配置主从节点。

8、规则文档映射

informatica中mapping可导出成excel文件,并包含各种transformation rule。

使用方式:在客户端repository组件中,选择要导出的mapping,右键菜单 export metadata。

9、批量开发

利用visio组件,可实现批量ETL过程开发,尤其适用于平推。(具体转化方式不详)

10、CDC 增量采集

主要适用于可做增量log的DB,如 oracle。先capture,然后apply。(具体抓取方式需查询相关文档)

11、下推优化:

指导方针:平衡DB sever 与informatica server的负载。

原理:将下推部分转化成sql,在DB中实现。可实现source下推和target下推。

使用方法:session中mapping 菜单下有pushdown 选项。

12、数据校验插件 data validation

可创建valid rule,代替手工校验。

13、前瞻监控 rulepoint

14、调优:

1、减少port field

2、减少过程中数据量,尽早filter

3、避免不必要排序,sort is expensive

4、expression 中符号比表达式性能高

expression 中有变量端口,可生成中间量,重复使用

expression中尽量少嵌套,可用高级函数代替

5、尽量避免类型转换

6、high precision is expensive

15、read write transformation 的统计信息除了在workflow monitor中,session log中也有

16、session中各参数

DTM memory:session占用的全部内存(内存块个数)

buffer block size:内存块大小(mapping中所有source的数据量的整数倍)

line sequential buffer length:当源是文件时,文件记录长度

max memory:最大内存块数

17、session 调优:

尽量关闭日志;

目标加载前利用pre sql 删除索引约束,加载完成后利用post sql 重建索引约束;

提交间隔可稍微设置大一些;

关闭统计信息收集;

设置各种参数;

数据装载方式尽量选择loader

18、temp文件与cache文件的区别:

具体参见各组件使用的文件夹配置名称,如sort组件使用temp文件夹,join组件使用cache文件夹。

时间: 2024-11-10 14:33:17

informatica 厂商培训资料的相关文章

SAP FICO hande汉得培训资料---I 总帐模块篇.pdf

SAP FICO hande汉得培训资料---I 总帐模块篇.pdf 电子版 淘宝上好价钱 https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-5741239872.2.LkMKkv&id=44491214074

SAP FICO hande汉得培训资料---V 控制模块篇.pdf 电子版 PDF 版

SAP FICO hande汉得培训资料---V 控制模块篇.pdf 电子版 PDF 版 https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-5741239872.10.mKqRbP&id=523968607473

asp.net web api内部培训资料

参考页面: http://www.yuanjiaocheng.net/webapi/mvc-consume-webapi-get.html http://www.yuanjiaocheng.net/webapi/mvc-consume-webapi-post.html http://www.yuanjiaocheng.net/webapi/mvc-consume-webapi-put.html http://www.yuanjiaocheng.net/webapi/mvc-consume-web

VTK及计算机图形学培训资料

本文由Markdown语法编辑器编辑完成. 上周由于项目的需要,领导安排让我进行VTK的一个小培训.为了这个培训,我也准备了将近三天的时间.通过这三天的准备,我对VTK也有了一个全面的了解.通过给别人分享,然后再一起讨论,这样可以起到更好的学习效果. 回顾这次培训的过程,我在准备ppt的过程中,尽量站在一个接受培训的人员的眼中来准备,把他们最想了解到的知识结构都呈现出来,尽量做到图文并茂,尽量能够以能够运行的例子让大家对VTK有一个直观的认识.最终,做了将近58页的ppt,讲解和讨论花了2个多小

【jquery】 API讲解 内部培训资料

资料在百度云盘 一.jquery  API讲解 1.jquery  api如何使用 jquery  api http://www.hemin.cn/jq/ 2.常用api讲解 选择器: 通过$()获取jquery对象的常用方式: #div1          根据元素id获取 .red             根据class获取 div               根据标签名字获取 #div1 ul li input  混合模式 li.red 查找带red这个class的li input[typ

BLDC 无刷电机FOC驱动 STM32官方培训资料

STM32 PMSM FOC SDK V3.2 培训讲座一http://v.youku.com/v_show/id_XNTM2NjgxMjU2.html?from=s1.8-1-1.2STM32 PMSM FOC SDK V3.2 培训讲座二 http://v.youku.com/v_show/id_XNT ... -87.3.6-2.1-1-1-5-0 STM32 PMSM FOC SDK V3.2 培训讲座三 http://v.youku.com/v_show/id_XNT ... 5.3.

Android培训资料准备之Android开发环境的搭建

Android开发环境的搭建主要分为以下四步: (1)下载JDK并安装 (2)配置JDK环境变量 (3)下载安装Android Studio (4)配置Android Studio 环境变量(可执行可不执行) 第一步:下载JDK并安装 我们先上Oracle挑选适合自己电脑版本的JDK(我这里挑选的是window x64 jdk-8版本) 现在我们看看安装的过程 默认情况下安装到C盘中,我们可点击更改到自定义目录下,这里我选择安装到D:\Program Files\Java\jdk1.8.0_60

数据恢复培训资料:BMP文件详解

BMP是一种与硬件设备无关的图像文件格式,使用非常广.它采用位映射存储格式,除了图像深度可选以外,不采用其他任何压缩,因此,BblP文件所占用的空间很大.BMP文件的图像深度可选lbit.4bit.8bit及24bit.BMP文件存储数据时,图像的扫描方式是按从左到右.从下到上的顺序. 由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准,因此在Windows环境中运行的图形图像软件都支持BMP图像格式.典型的BMP图像文件由三部分组成:位图文件头数据结构,它包含BMP图像文件的

2017最新传智播客黑马java 32期全套培训资料

HTML&CSSJavaScriptJQuery基础与实战BootStrap响应式页面开发mysql&jdbc回顾mysql多表&jdbcjdbc连接池&dbutilxmlHttp&TomcatJavaWeb核心技术JDBC加强AJAX&JqueryListenerFilter基础加强LinuxredisJavaWeb综合项目实战hibernatestrutsspringssh综合项目实战oraclemaven实战物流BOS系统mybatis基础mybati