初始化数据抽取、初始条件与增量条件

声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4297069.html

注:非后勤模块信息包不能选择下面第三种初始化方式:

初始化的过程会做的三件事:

1、加载初始数据

2、打初始标记(主要记录初始化时数据过滤条件是什么,在增量抽取时使用与初始化同样的过滤条件,并且你可以查看增量类型的InfoPackage信息包的选择条件是不能输入值的,只有初始化才能输入过滤条件值)

3、初始化完成后会生成 Delta Queue(可使用RSA7查看)

注:“Initialize Without Data Transfer”类型的信息包不会加载初始数据,只打初始标记,但初始数据一般由“Full Update”类型的信息包在初始标准打过后抽取

只有当初始化标记打完之后(即Delta Queue生成后),才能让用户使用ECC系统,因为用户做的修改数据需要存放到Delta Queue中的

Full Update:全量抽取,会将初始数据,即设置表Setup Table里的数据全抽取过来(注:后勤数据全量只是从设置表里抽,并不包括Delta-QUEUE中的数据,但如果是财务数据源,则会将应用表中的所有数据抽取过来),一般此类型的信息包与第二种类型(只做标记,不传数据)的初始化信息包一同使用,在执行过只做标记不传数据类型的初始化信息包后,可以再执行全量更新类型的信息包,这样就可将初始数据慢慢抽过来。

增量信息包在运行时会使用Initial初始化信息包的过滤条件,所以一定是要在初始化之后,才能进行Delta增量信息包的运行:

时间: 2024-10-27 02:22:01

初始化数据抽取、初始条件与增量条件的相关文章

ETL工具kettle怎么进行增量数据抽取:一、通过标志位

在平时的操作过程中可能大家需要经常进行增量的数据抽取,方法有很多种,接下来几天讲给大家介绍几种我本人经常使用的几种方式:首先给大家介绍我最喜欢的一种,就是通过标志位:操纵方法如下,在源表中增加一个标识字段,比如tongbu,当然可以为它设个默认值N,然后我们再增加一个索引nvl(tongbu,'N'),增加索引是为了提高查询的速度,接下来我们来写具体的流程:我写的这个流程非常简单,有的朋友们会非常疑惑为什么我会有更新组件,先卖个关子咱们继续:在写 表输入中的sql时,我们引入了一个伪列gx,并赋

《BI项目笔记》增量ETL数据抽取的策略及方法

增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据.在ETL使用过程中.增量抽取较全量抽取应用更广.如何捕获变化的数据是增量抽取的关键.对捕获方法一般有两点要求:准确性,能够将业务系统中的变化数据按一定的频率准确地捕获到:性能,不能对业务系统造成太大的压力,影响现有业务.目前增量数据抽取中常用的捕获变化数据的方法有:a.触发器:在要抽取的表上建立需要的触发器,一般要建立插入.修改.删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线

财务模块数据抽取

声明:原创作品,转载时请注明文章来自SAP师太技术博客:www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4296810.html 财务模块没有 Setup Table设置表.Extracties Queue抽取队列.Update Table更新表 这些概念,因为财务模块采用的时间戳来实现的,Pull拉的方式抽数,抽数的过程不需要经过这些中间临时缓

3.使用OGG进程进行初始化数据

开始初始化数据的时候要满足下面的条件: 1.disable掉目标段表的外键约束 2.disable掉目标端表的触发器 3.删除目标段表的索引,加快初始化速度 4.目标端表结构创建完成 源端配置初始化抽取进程 GGSCI (db11) 72> edit params IHREMD1 Extract IHREMD1 ------------------------------------------------------------------- -- Initial Load extract f

HR数据抽取:通过 Read Master Data 转换规则读取时间相关主属性数据

声明:原创作品,转载时请注明文章来自SAP师太技术博客:www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4287014.html 员工 0HR_PA_0 业务数据源中有一个CALMONTH日历年/月的字段,只要员工还在职,每个员工每个月都会产生一条数据:   人事事件 0HR_PA_1 业务数据源中有一个CALDAY日历天的字段,只要员工发生人事

应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(一、同构数据抽取)

一.概述 本案例是一个小型数据抽取分析类系统,通过抽取数据共享中心中生产管理系统.营销管理系统.计量自动化系统的配网台区(一个台区一个配变)的相关数据进行整合,完成有关台区的50多个字段按照日.月.多月等维度的集中计算展示,其中有17个指标字段需要系统进行自动计算,并于每天对不同部门关注的台区指标进行超标告警,除开这些基本要求之外,用户还要求支持历史报表的查询以及可以对部分计算参数进行配置修改,甚至可以修改计算参数后对历史报表产生影响. 经过数据量分析,配变基本数据方面,生产有300多万个功能位

BI项目中的ETL设计详解(数据抽取、清洗与转换 )

ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败.ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率更高,为项目后期开发提供准确的数据. ETL的设计分三部分:数据抽取.数据的清洗转换.数据的加载.在设计ETL的时候也是从这三部分出发.数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一些数据的清洗和转换),在抽取的过程中需要挑选不同的抽取方法,尽可能的提高ETL的运行效率.ETL三个部

什么是数据抽取

什么是数据抽取 数据抽取是指从源数据源系统抽取目的数据源系统需要的数据.实际应用中,数据源较多采用的是关系数据库. [编辑] 数据抽取的方式 (一) 全量抽取 全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来,并转换成自己的ETL 工具可以识别的格式.全量抽取比较简单. (二) 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据.在ETL 使用过程中,增量抽取较全量抽取应用更广.如何捕获变化的数据是增量抽取的关键.对捕获方法一般

Appium运行脚本初始化数据

class MyTestCase(unittest.TestCase): def setUp(self): desired_caps = {} #以下是初始化数据 desired_caps['platformName'] = 'Android' desired_caps['platformVersion'] = '5.1' desired_caps['deviceName'] = 'Android Emulator' desired_caps['appPackage'] = 'com.andro