使用全量模拟增量

声明:原创作品,转载时请注明文章来自SAP师太技术博客( 博/客/园www.cnblogs.com):www.cnblogs.com/jiangzhengjun,并以超链接形式标明文章原始出处,否则将追究法律责任!原文链接:http://www.cnblogs.com/jiangzhengjun/p/4297257.html

如果有这么一类业务数据源:数据源本向不支持增量,也就是说只有全量;业务数据存在分期,并且当期以前的数据都不能再增加、删除、修改,这类数据可以使用全量来模拟增量。具体做法是:将当期之前的所有期使用全量抽上来,该全量信息包的数据选择Data Selection为小于当期的所有期的数据;然后再创建一个全量信息包,该信息包的数据选择Data Selection为当期时间(并且以后在运行时,都动态的取当期为选择条件值),再使用该信息包抽数据之前,删除掉DSO或Cube(如果Request已被压缩,则不能删除掉了,最好数据抽上来前先经过DSO)当前的数据之后,再存入。这样就可以通过带筛选条件的全量信息包来模拟增量抽取,只是不是很完美,因为每次抽取都是当期的全量数据,但相对于将所有期抽上来数据量少得多了,但相对于真正增量抽取来说,当期又有部分数据抽取是多余的,所以说不是很完美

使用带条件的全量信息包来模拟增量的前提是:该数据源不支持增量;业务数据是分期的,且当期之前的所有期的数据不会再发生变化;使用带Data Selection将当前以前的所有历史期数据抽取上来,不能包括当期的;在抽取当前数据时,需要先删除掉DSO或Cube(如果Request已被压缩,则不能删除掉了,最好数据抽上来前先经过DSO)当前的数据之后,再抽取当期数据

时间: 2024-10-23 10:53:28

使用全量模拟增量的相关文章

Mysql备份工具xtraback全量和增量测试

Mysql备份工具xtraback全量和增量测试   xtrabackup 是 percona 的一个开源项目,可以热备份innodb ,XtraDB,和MyISAM(会锁表) 官方网址http://www.percona.com/docs/wiki/percona-xtrabackup:start Xtrabackup是由percona开发的一个开源软件,此软件可以说是innodb热备工具ibbackup的一个开源替代品.这个软件是由2个部分组成的:xtrabackup和innobackupe

关于Subversion主从备份方式的调整(全量、增量脚本)更新

本文引用于http://blog.chinaunix.net/uid-25266990-id-3369172.html 之前对Subversion服务器作了迁移,关于SVN的架构也走了调整,有单一的服务器改为主从备份的方式.在"subversion迁移过程中增量备份脚本"中提到了增量备份的方式,但是运行一段时间,发现备份出错,提示导入的文件已存在,于是重新检查,修改了脚本.现在一直稳定运行着. 今天重新回顾,发现了之前文章很多错误的地方,对文章作了更新,附上Subsection 全量和

Python实现目录文件的全量和增量备份

目标: 1.传入3个参数:源文件路径,目标文件路径,md5文件 2.每周一实现全量备份,其余时间增量备份 1.通过传入的路径,获取该路径下面的所有目录和文件(递归) 方法一:使用os.listdir 代码如下: #!/usr/bin/env python #coding:utf8 import os,sys def lsdir(folder): contents = os.listdir(folder) print "%s\n%s\n" % (folder, contents) for

MySQL5.7.18 备份、Mysqldump,mysqlpump,xtrabackup,innobackupex 全量,增量备份,数据导入导出

粗略介绍冷备,热备,温暖,及Mysqldump,mysqlpump,xtrabackup,innobackupex 全量,增量备份 --备份的目的 灾难恢复:意外情况下(如服务器宕机.磁盘损坏等)对损坏的数据进行恢复和还原保证数据不丢失,最小程度地丢失需求改变:因需求改变而需要把数据还原到改变以前测试:测试新功能是否可用 --备份与恢复概述 根据备份的方法可以分为: 1.Hot Backup(热备) 2.Cold Backup(冷备) 3.Warm Backup(温备) Hot Backup是指

MySQL——全量、增量备份与恢复(理论+实操)

数据备份的重要性 1.在生产环境中,数据的安全性是至关重要的,任何数据的丢失都可能产生严重的后果 2.造成数据丢失的原因 程序错误 人为错误 计算机失败 磁盘失败 灾难和偷窃 数据库备份的分类 从物理与逻辑的角度,备份可分为: 1.物理备份:对数据库操作系统的物理文件(如数据文件.日志文件等)的备份 物理备份又可以分为脱机备份(冷备份)和联机备份(热备份): 冷备份:是在关闭数据库的时候进行的热备份:数据库处于运行状态,这种备份方法依赖于数据库的日志文件 2.逻辑备份:对数据库逻辑组件(如表等数

Xtrabackup全量备份/增量备份脚本

一.全量备份脚本 1.全量备份脚本 #!/bin/bash #Description:xtrabackup complete #Author:created by michael #2017-08-07 v0.1 # USER=root PASSWD=123456 BACKUP_DIR=/backup/mysql/complete DATE=$(date +"%F_%T") [[ -d $BACKUP_DIR ]] || mkdir $DATE_DIR innobackupex --u

MySQL 全量及增量备份,基于xtrabackup 2.3.5

昨天一个pgp加密盘坏了,东西全丢了...,我的笔记啊!我咋怎么2呢.. 备份个脚本吧,方便以后手机查看,话说我都快忘记帐号密码了 备注:脚步恢复时只能恢复到备份前的状态,如果需要恢复到当前状态,还需配合binlog,睡觉就这样 #!/bin/sh #################################################### # AUTHOR : JusonSummer # # VERSION : V1.0.0 # # DATE : 2016-08-13 # # CO

oracle 备份:全量、增量、0级、1级、差分、增量

2015-11-18 全量备份=0级增量备份 第1次1级差分增量备份=第1次1级累积增量备份 第2次1级差分增量备份<第2次1级累积增量备份 全量备份.增量备份.0级增量备份.1级增量备份.差分增量备份.累积增量备份 RMAN> backup database format '/u01/app/oracle/backup/full_%u.bak'; RMAN> backup incremental level 0 database format '/u01/app/oracle/back

svn全量和增量备份详解

1.svn的安装: yum安装: yum install -y subversion mkdir /data/svn svnadmin create project-1 svnadmin create project-2 用统一配置方法: cp authz passwd  /data/svn cp svnserve.conf /data/svn vim svnserve.conf 修改: anon-access = read  #匿名用户可读 auth-access = write   #授权用