BW财务数据增量抽取限制 0FI_GL_4

Note: The below scenario is applicable only for the datasources 0FI_GL_4 (General ledger: Line Items),0FI_AP_4(Accounts payable: Line Items), 0FI_AR_4 (Accounts receivable: Line Items)

Scenario

In BW, the delta extraction for 0FI_GL_4 from the source system can be loaded as per the processchain or infopackage schedule but where as, from source system will be able to fetch the delta records as per the timestamp defined, or depending on system predefined delta pointer. So even if the data is pulled multiple times Ex:- for every 30 minutes in the same day in the BW system, the deltas will fetch zero records, if the delta pointer is limited to certain period for Ex:- only once a day in the source system.

Check the below link:

Financial Accounting: Procedure for Line Item Extraction

Constraints

Per day, no more than one delta dataset can be transferred for InforSource 0FI_GL_4. The extracted data therefore has the status of the previous day. For further data requests on the same day, the InfoSource does not provide any data.

In delta mode, data requests with InfoSource 0FI_AR_4 and InfoSource 0FI_AP_4 do not provide any data if no new extraction has taken place with InfoSource 0FI_GL_4 since the last data transfer. This ensures that the data in BW for Accounts Receivable and Accounts Payable Accounting is exactly as up to date as the data for General Ledger Accounting.

Because in the source system delta extraction is based on CPU Time, the deltas are fetched once per day.

So if the source system delta extraction is to be achieved for the timely base, the same data can be pulled into BW easily by a process chain.

However, you can change this standard delivery. For more information, see note 485958.

Solution

It can be achieved by changing the settings at back end in the source system.

As the requirement is to get the deltas for every 30 minutes (1800 Secs), it needs to be update in the table BWOM_SETTING. We need to create an entry or change the existing entry for the field/Param_Name BWFINSAF with value 1800 (secs).

So now the Delta pointer for the datasource will be set to for every 30 mins, So that new deltas are created in source system.

Coming to BW side, we need to schedule the start variant in the process chain for every one hour ot two hours, depending on the time it takes for completion of the chain. So now the latest FI GL data can be reported.

So after loading the data into the cubes, the Bex queries will be able to fetch the latest financial data in the report output. Even the business object reports, OLAP universes based on the Bex queries will fetch the latest FI data and show the same data for the BO reports such as WebI or crystal reports based on the BO Universe.

http://scn.sap.com/people/ravikanth.indurthi/blog/2012/01/02/delta-extraction-for-0figl04-for-every-30-minutes

http://www.top-consultant.com/articles/sap%20bw.pdf

时间: 2024-08-02 00:15:00

BW财务数据增量抽取限制 0FI_GL_4的相关文章

使用Kettle增量抽取MongoDB数据实践

需求: 增量抽取MongoDB数据并加载到MSSQL 由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有: 增量时间的查询和参数控制 ETL的批次信息和调用参数的写入 第一个问题的解决如下: 使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常 第二个问题: 先为结果增加常量值, 如常量值固定则直接写死, 不固定的常量值先设置为空串, 在后面使用字符串替换组件传入命名参数, 最后用字段选择把空串的常量值移除

kettle 6.1 按时间循环增量抽取数据

场景:假设有一张表数据量很大,需要按一个时间来循环增量抽取 方法:主要是通过JOB自身调用,实现循环调用,类似于 函数自调用 的循环. 1.JOB全图: 2.获取增量时间,并设置增量时间环境变量 3.通过增量环境变更,获取本次 增量数据 4.判断增量时间是否大于当前时间,判断是否继续执行一次的增量 5.调用总JOB自身,实现循环调用

Informatica增量抽取时间的设置

使用数据库或者系统变量的当前时间 Informatica中的$$SYSDATE是表示当前系统时间的系统变量. 通过这个变量,我们对每天抽取的数据可以使用以下表达式来实现增量抽取: 时间戳字段>= TRUNC($$SYSDATE – 1) 这种方法的实现比较简单,但是缺乏灵活性.不但需要另外开发一套相应的程序实现全量抽取,想要改变抽取时间范围还需要对每一个任务程序修改代码.例如需要抽取三天前的数据,我们需要对上面的表达式做如下修改: 时间戳字段>= TRUNC($$SYSDATE – 3) Ø

ETL之增量抽取方式

1.触发器方式 触发器方式是普遍采取的一种增量抽取机制.该方式是根据抽取要求,在要被抽取的源表上建立插入.修改.删除3个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个增量日志表,ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据,同时增量日志表中抽取过的数据要及时被标记或删除.为了简单起见,增量日志表一般不存储增量数据的所有字段信息,而只是存储源表名称.更新的关键字值和更新操作类型(KNSEN.UPDATE或DELETE),ETL增量抽取进程首先根据源表名称和更

sql中使用TIMESTAMP增量抽取数据

最近的项目中需要对上百万级的数据进行增量抽取操作,因此了解了一下TIMESTAMP的应用,特此记录 timestamp -- 时间戳:数据库中自动生成的唯一二进制数字,与时间和日期无关的, 通常用作给表行加版本戳的机制.存储大小为 8个字节 每个数据库都有一个计数器,当对数据库中包含 timestamp 列的表执行插入或更新操作时,该计数器值就会增加.该计数器是数据库时间戳.这 可以跟踪数据库内的相对时间,而不是时钟相关联的实际时间.一个表只能有一个 timestamp 列.每次修改或插入包含

Informatic学习总结_day02_增量抽取

思想:通过定义变量,通过函数改变变量的值  从而实现增量抽取

ETL中的数据增量抽取机制

ETL中的数据增量抽取机制 (     增量抽取是数据仓库ETL(extraction,transformation,loading,数据的抽取.转换和装载)实施过程中需要重点考虑的问 题.在ETL过程中,增量更新的效率和可行性是决定ETL实施成败的关键问题之一,ETL中的增量更新机制比较复杂,采用何种机制往往取决于源数据系统的 类型以及对增量更新性能的要求. 1 ETL概述 ETL包括数据的抽取.转换.加载.①数据抽取:从源数据源系统抽取目的数据源系统需要的数据:②数据转换:将从源数据源获取的

hive表增量抽取到mysql(关系数据库)的通用程序(三)

hive表增量抽取到oracle数据库的通用程序(一) hive表增量抽取到oracle数据库的通用程序(二) 这几天又用到了该功能了,所以又改进了一版,增加了全量抽取和批量抽取两个参数.并且可以设置每批次抽取到记录数. 使用shell脚本可以直接方便到将hive中到表抽取到任何关系型数据库中. shell脚本到demo如下,为便于测试,将每批次处理改为2条记录: #!/bin/sh ## !!!注意lib中jar包兼容性问题: ## 如果包含log4j-slf4j-impl-2.6.2.jar

SQOOP增量抽取时,在HIVE中实现类似Oracle的merge操作

数据仓库建设中的数据抽取环节,常常需要增量抽取业务库数据.但业务库数据不是一层不变的,会根据时间发生状态变更,那么就需要同步更新变化数据到HIVE中.过去在Oracle上做数据仓库时,可以使用merge的方法合并新老数据.但hive中没有该功能,本文旨在通过sqoop抽取后,自动实现数据合并. 表设计 将抽取表分为三张, 一张_arc表,保存每日合并后的快照,根据pt字段分区 一张_inc表,用于保存当日抽取的增量数据,根据pt字段分区 一张不带后缀的表,指向最终表给后续ETL任务使用. 步骤