SSIS 查找 组件

通过SSIS的“查找”组件进行不同数据源之间数据的合并操作

为了协助开发还原生产环境中的某些bug,需要将将生产环境的某些特定表数据导入到测试环境做测试,
之前一直都是暴力地truncate测试环境的表,然后用SSIS将生产环境对应的整张表数据导入测试环境,简便快捷
后来开发提出来,保留测试环境已有的数据,只同步差异的数据(根据主键),于是就尝试使用SSIS中的“查找”组件进行不同服务器之间的“存在则更新,不存在则插入”数据合并操作,
实际操作的时候只执行插入操作,达到同步数据的目的。

尝试之后觉得还是挺好使的,看起来跟简单,操作起来步骤还是挺多的,记录一下。

  首先最主要的一个组件就是如下截图的查找组件。

完整的测试结果如图所示,最主要的目的就是让源数据“兵分两路”,以不同的方式(更新或者插入)去同步到目标服务器中,当然数据源与数据目标可以是不同的服务器,不同类型的数据库或者文件,关键是一种实现方式。

开始操作步骤

新建SSIS任务什么的就不说了,操作一遍就回了,微软的IDE还是比较好用的。

首先是最基本的数据流任务,拖一个数据任务流到SSIS设计器中

双击进入源编辑界面,设置数据源的服务器和表

  

  

  添加查找组件,设置查找组件的服务器和表(导入数据的目标服务器和表)

  

  根据这里的需求,常规选项中一定要将设置为“将行重定向到无匹配输出”,因为这里是要执行“不存在就插入”的操作,因此“源”与“目标”中的数据进行匹配,匹配到的与没有匹配到的都要输出,只不过是处理方式不同

  注意有对于目标中的数据有三种缓存模式,这里选择默认的方式,不多说,有兴趣的可以上网搜

  

  继续编辑列映射属性

  

  分别拉一个OLE DB 命令 和 OLE DB目标,位置尽量摆放的好看一点

  

  分别设置个OLE DB 命令 和 OLE DB目标的属性信息

  

  

  列映射选项卡中编译映射信息,可用目标列中的Parama_0和Param_1分别代表两个上述SQL语句中的两个参数,

  因为SQL语句是update test_table1 set name = ? where id = ?,这里的参数的顺序要与占位符的?顺序表示的意义相同

  

  “左边”更新的操作分支属性编辑完成之后,编辑“右边”的插入分支的属性,这一步就简单了,设置好数据源与目标表即可。

  

接下来就可以执行了,将源数据“兵分两路”,分别执行“存在则更新,不存在则插入”的操作,因为这里已经示例的是源与目标匹配到了5999行,进行更新,没有匹配的是4999行,执行插入

执行完成后,源服务器与目标服务器数据一致。

一边测试一遍截图,比较乱,中间还是有一些细节的。

对于类似小众化或者说是平时用的不是太频繁的工具,时间久了可能会生疏,只要多实践,多摸索,多看报错信息,还是可以使用起来提高工作效率的。

原文地址:https://www.cnblogs.com/xubao/p/10954319.html

时间: 2024-08-24 05:22:34

SSIS 查找 组件的相关文章

通过SSIS的“查找”组件进行不同数据源之间数据的合并操作

原文:通过SSIS的"查找"组件进行不同数据源之间数据的合并操作 为了协助开发还原生产环境中的某些bug,需要将将生产环境的某些特定表数据导入到测试环境做测试,之前一直都是暴力地truncate测试环境的表,然后用SSIS将生产环境对应的整张表数据导入测试环境,简便快捷后来开发提出来,保留测试环境已有的数据,只同步差异的数据(根据主键),于是就尝试使用SSIS中的“查找”组件进行不同服务器之间的“存在则更新,不存在则插入”数据合并操作,实际操作的时候只执行插入操作,达到同步数据的目的.

ExtJs window(三)添加子组件,查找组件

一.通过items添加子组件 1.new Ext.button.Button创建组件:2.也可以通过通过别名xtype创建组件 二.查找组件 1.组件都有up,down方法,表示向上.向下查找,需要参数为组件xtype或者选择器  alert(btn.up('window').title); 2.最常用的查找方式 alert(Ext.getCmp('mywin').title); Ext.onReady(function(){ //在组件上,添加子组件:并进行针对组件的查找等操作 //通过ite

Camel查找组件方式

在前面的Camel示例中,路由的构建中调用了RouteBuilder的from,to方法,该方法的参数为一个uri字符串.Camel运行是由组件(component)进行组织的,而我们传递的参数为一字符串,所以Camel要根据这个uri字符串来查找到对应的组件,即要维护uri到组件之间的映射关系. 查找组件的过程是调用DefaultCamelContext中的getComponent(String name)方法来完成的,至于该方法什么时候被调用,调用该方法真正目的是什么在后面讲解Camel运行

SSIS Destination 组件使用Fast-Load mode出错

查看一个Package的历史Message 数据,发现 DataFlow Task 经常出错,错误信息的Description是: Description: "While reading current row from host, a premature end-of-message was encountered--an incoming data stream was interrupted when the server expected to see more data. The ho

Informatica 常用组件Lookup之四 查找组件

在映射中配置查找转换时,请定义以下组件: 查找源 端口 属性 条件 元数据扩展 查找源         您可以使用平面文件或关系表作为查找源.创建查找转换时,您可以从以下位置导入查找源: 资料库中的任何关系源或目标定义 资料库中的任何平面文件源或目标定义 PowerCenter Server 和 PowerCenter Client 机器都可以连接到的任何表或文件 查找表可以是单个表,您也可以使用查找 SQL 覆盖以将相同数据库中的多个表联接起来.PowerCenter 为所有传入查找转换的行,

SSIS: Lookup组件高级用法,生成推断成员(inferred member)

将数据导入事实表如果无法匹配维度表的记录一般有两种处理方式. 一是将不匹配记录输出到一个表中待后续处理,然后重新导入.二是先生成维度Key,后续再完善维度key,本文指导各位使用第二种方式. 背景 比如下图StoreID为1的经销商不存在于我们经销商维度表中,我们现在要使用lookup组件进行匹配,并生成维度key. 操作步骤 1. 先添加一个派生列组件,将StoreID转为字符,等会儿生成键值会用到. 2. 先进行匹配一次,然后把无法匹配到的记录传到下一个Lookup 组件  Insert 

查找字段 和查找组件

object ADOTbBugShop: TWideStringField //数据集中的查找(永久)字段 比如 部门名称 FieldKind = fkLookup FieldName = 'Shop'目标数据集-部门名称-就是查找字段 LookupDataSet = ADOTblShop //查找来源LookupKeyFields = 'ID'// 查找来源LookupResultField = 'Shop'//查找来源 - 部门名称-显示的 KeyFields = 'ShopID'//目标数

LiveBos---批量查找组件

使用SSIS Slow Changing Transformation组件管理缓慢变化维

最近尝试用SSIS自带的 Slow Changing Transformation组件处理缓慢变化维,看到有一篇文章写的很详细,就按照步骤进行操作同时进行翻译.原网址来自:Managing Slowly Changing Dimension with Slow Changing Transformation in SSIS. 介绍 作为数据库专家或者ETL的开发者你可能偶尔会碰到需要维护和管理缓慢变化唯的场景.在SQL Server中有多种方法来实现,最简单的是使用SSIS 数据流组件中的Slo