QlikView实现部分载入数据的功能(Partial Load)

问题背景:

一直非常想不通,公司花了N多钱请了一帮QlikView的Consultant做出来的solution居然没有涉及Reload的部分,以至于每次刷新数据都须要刷新整个Data Model,之前和部门同事讨论的时候我还信誓旦旦的说QlikView就仅仅能这样了,找不到方法仅仅将新数据刷新到Data Model中而不用又一次load之前已经在Memory里面的数据。

幸而今天一位朋友提到了Add Load中的Partial Load,于是便查了一个小时的Google,经过回来试验之后,豁然开朗了,后续再过一年半载,小哥我能够又一次改写公司的solution。哈哈,美梦到此为止,以下開始进入主题:

什么是Partial Load:

顾名思义,Partial Load就是部分载入数据的意思,比方数据仓库中维度表的数据源有数据来要插入到数据库中的时候,会用Merge来控制仅仅添加?或者更新数据,而对已经存在于数据库中没有不论什么变化的数据不做处理。对QlikView,我们能够想象一下,因为QlikView将数据导入到内存中,那么在又一次载入数据到内存中的时候,有没有一种方法是对在内存中不变的数据不作处理,而仅仅用载入新的数据进去呢?今天我试验的结果是肯定的,用以下的方法就能够。

LET vTimeStart = Now();

FOR vI = 1 to 1000
	LOAD
		$(vI) as SellerId,
		$(vI) as Sales
	From
		TestAdd.csv;
Next;

TestAddTable:
Add LOAD
	SellerId,
	Sales
From
	TestAdd.csv
	(txt, codepage is 936, embedded labels, delimiter is ',', msq)
Where
	not Exists(SellerId);

LET vTimeEnd = Now();

注意:TestAdd.csv文件要和QVW文件放在一个文件夹下,否则须要写TestAdd.csv的全路径。将上面的QlikView代码复制到QlikView Script中去之后,点击Reload;

因为For ... Next语句里循环载入了1000条数据,TestAdd.csv文件里開始仅仅有以下一条数据:

SellerId, Sales
10000123,987654321

因此数据载入完成之后,在Data Model里面预览TestAddTale里的数据如为:

然后再往TestAdd.csv文件里新添加?一条数据,TestAdd.csv中的数据变为:

SellerId,Sales
10000123,987654321
12332112,312677876

在报表中新建一个文本对象,公式为:=Second(vTimeEnd - vTimeStart),结果为5秒左右表示整个Reload用了5秒。

以下激动人心的时刻到了,点击Partial Load(File - > Partial Reload),数据瞬间载入完成,页面上的文本对象已经变为了0,表示这次数据载入所用的时间差点儿为0. 再Preview一下Data Model里面的TestAddTable里的数据为: 新数据已经载入进去,老数据依旧在内存中没有变化。

因为加了Not Exists的过滤条件,因此第一条数据10000123,987654321,不会被再次载入到Data Model中。(我会在另外一篇文章中具体描写叙述Exists的作用) 某则将出现两条一模一样的数据。

Partial Load在实际工作中的使用展望:

在我发现这个功能之后,被小伙伴们质疑在现实项目中是否实用武之地,我想了想,肯定是实用的,仅仅是受制于如今的solution,假以时日等小哥技术成熟了,肯定能写出一套更好的solution。比方能够这样用:对于月更新的数据,就用一般的Load方式,对于每天要刷新的文件,就用Add Load的方式进行Partial Load,这样就不会每次刷新Daily文件的时候也把Monthly的数据一起刷新了。

结语,如今俺也是接触QlikView不久。有言论不对之处,各位小伙伴多多不吝赐教。

QlikView实现部分载入数据的功能(Partial Load)

时间: 2024-08-29 02:11:41

QlikView实现部分载入数据的功能(Partial Load)的相关文章

QlikView实现部分加载数据的功能(Partial Load)

问题背景: 一直很想不通,公司花了N多钱请了一帮QlikView的Consultant做出来的solution竟然没有涉及Reload的部分,以至于每次刷新数据都需要刷新整个Data Model,之前和部门同事讨论的时候我还信誓旦旦的说QlikView就只能这样了,找不到方法只将新数据刷新到Data Model中而不用重新load之前已经在Memory里面的数据. 幸而今天一位朋友提到了Add Load中的Partial Load,于是便查了一个小时的Google,经过回来试验之后,豁然开朗了,

最好用的兼容多种数据库通用高效的大数据分页功能

通用权限管理系统底层有一个通用分页查询功能,该功能可实现多种数据库的查询,支持多表关联分页查询,目前是最完善的分页功能实现. 下面代码是使用的方法截图: /////////////////////////////// 后台代码截图1 /////////////////////////////// 后台代码截图2 /////////////////////////////// 后台代码截图3 /////////////////////////////// 后台代码截图4 /////////////

Javascript加载talbe(包含分页、数据下载功能)

效果图如下: 首先简单说明一下,后面会给所涉及到的代码都贴上来的. 1.excel图标是一个用户控件,用来触发下载 2.首页.上页......每页多少条,这一块是一个整体,你可以选择放置在表格下面,或者表格上面都可以 3.表格则也是单独的一个,自己任意设置位置 4.复选框是否显示,自己设置,并可设置绑定的值,并有自带的方法可供你用于获取选中的复选框的对象跟值 5.表格的单行.双行.点击.悬浮.标题栏.表格的样式,都可以通过设置参数来修改,图为自带的效果 6.分页默认每页10行,分页的检测.复选框

纯javascript写的table加载,包含分页、数据下载功能

直接先上效果图看看先. 首先简单说明一下,后面会给所涉及到的代码都贴上来的. 1.excel图标是一个用户控件,用来触发下载 2.首页.上页......每页多少条,这一块是一个整体,你可以选择放置在表格下面,或者表格上面都可以 3.表格则也是单独的一个,自己任意设置位置 4.复选框是否显示,自己设置,并可设置绑定的值,并有自带的方法可供你用于获取选中的复选框的对象跟值 5.表格的单行.双行.点击.悬浮.标题栏.表格的样式,都可以通过设置参数来修改,图为自带的效果 6.分页默认每页10行,分页的检

ExtJs4.2应用:使用ExtJs扩展组件searchfield实现数据搜索功能

ExtJs4.2应用:使用ExtJs扩展组件searchfield 实现数据搜索功能 1.引入searchfield组件 在Ext目录下放入ux目录将searchfield组件放入ux目录下的form文件下,如图所示: 2.在对应Js文件中引入searchfield组件 dockedItems: [{ dock: 'top', /**在顶部显示*/ xtype: 'toolbar', /**以工具栏形式展示*/ items: { width: "25%", fieldLabel: 'L

android listView 滑动载入数据 该数据是服务端获取的

package com.sunway.works.applycash; import java.util.ArrayList; import java.util.Calendar; import java.util.HashMap; import java.util.List; import java.util.Map; import com.sunway.works.R; import com.sunway.works.applycash.ApplyCashListActivity; impo

android中listview分页载入数据

前段时间做的新浪微博项目一直想实现listview分页载入数据,今天最终实现了,哈哈!感觉挺好的,今天又写了个demo给大家分享下. 首先说下listview的优化方案,这也是面试中常考的题目.优化方案有三种:1,假设自己定义适配器,那么在getView方法中推断contentView是否为空,假设为空创建contentView并返回,假设不为空直接返回contentView.这样能尽可能少创建view.2.给contentView设置tag,传入一个viewHoder对象,用于缓存要实现的数据

AngularJS:实现页面滚动到底自动加载数据的功能

要实现这个功能,可以通过https://github.com/sroze/ngInfiniteScroll这个第三方控件来实现.步骤如下: 1. 下载ng-infinite-scroll.js程序http://sroze.github.io/ngInfiniteScroll/ 目前版本是1.0.0 2. 如果你是用的jQuery2.0以上版本,还需要修改ng-infinite-scroll.js程序,将所有的将所有的$window.xxx改为$(window).xxx, elem.xxx改为$(

ScrollViewer滚动究竟来触发载入数据的Behavior

近期项目中遇到载入数据的性能问题, 原因是.net4.0的虚拟化支持不够完毕,有好多bug在4.5才修复. 我们仅仅能利用大家通用的做法来延迟载入数据: 每次载入固定少量的数据.当拖动究竟后.继续载入兴许同样数量的数据. 思路: 监听ScrollViewer的VerticalOffsetProperty,假设值达到同意滚动的高度ScrollableHeight,则发出event通知外部处理载入逻辑. 用法: 1.对于ItemsControl编辑控件模板,在当中的ScrollViewer中增加be