SSIS 组件点滴

最近尝试用SSIS自带的 Slow Changing Transformation组件处理缓慢变化维,看到有一篇文章写的很详细,就按照步骤进行操作同时进行翻译.原网址来自:Managing Slowly Changing Dimension with Slow Changing Transformation in SSIS. 介绍 作为数据库专家或者ETL的开发者你可能偶尔会碰到需要维护和管理缓慢变化唯的场景.在SQL Server中有多种方法来实现,最简单的是使用SSIS 数据流组件中的Slo

前几天完成了对ssis的整套流程的熟悉,今天对部署有了一个新的认识,记录一下 上一篇地址:SSIS 初次接触 + 开发记录 之前是使用的包部署模型对项目进行了部署,今天发现可以使用项目部署模型来进行部署,但是需要注意以下几点 1:sql server 端在 "Integration Services Catqalogs" 手动创建 “SSISDB” 数据库,然后自己 创建文件夹,创建包,总共三步 2:赋予登录账号(sa或其他账号)SSISDB访问权限 3:vs端(我使用vs2019),

一.物理基础结构 在开发BI项目之前,需要考虑关键服务器的分配和放置,还要考虑开发.测试和生产环境中安装的服务.虽然,MSSqlService2008将全部BI组件 安装在一台物理服务器上惊醒评估或开发,但在生产环境下很少这样做. 1.1 创建准确的基线调查 *物理服务器名称,实际位置,所有网络接口卡的IP地址,域成员. *每台物理服务器的操作系统配置,操作系统的版本.安装的服务包.管理员登录凭证.安装的核心操作系统服务,生效的组策略对象设置. *每台物理服务器上安装的逻辑服务器和服务. *开发

Microsoft SQL Server 2014 SP1 更新: SQLServer2014SP1-KB3058865-architecture-language.exe 安装完成后版本 12.0.4100.1. 主要特性包如下: Microsoft® SQL Server® Backup to Windows® Azure® Tool Microsoft SQL Server Backup to Windows Azure Tool 支持备份到 Windows Azure Blob 存储,加

原文:如何在SSIS的脚本组件中访问变量 这是一个小问题,我们在SSIS的设计中很多地方都会用到变量,我习惯性地将"变量"和"表达式"称为SSIS的灵魂,虽然不见得绝对准确,但它们确实是保证一个SSIS包灵活性的根本. 同时,我们可能也会在数据流任务中添加"脚本组件",用我们熟知的C#或者VB.NET编写一些数据转换处理的逻辑.这里可能就有一个需求,我们希望在脚本组件中访问变量(读或者写),但默认情况下,这个需求并不是那么容易实现.我们来看下面的

原文:通过SSIS的"查找"组件进行不同数据源之间数据的合并操作 为了协助开发还原生产环境中的某些bug,需要将将生产环境的某些特定表数据导入到测试环境做测试,之前一直都是暴力地truncate测试环境的表,然后用SSIS将生产环境对应的整张表数据导入测试环境,简便快捷后来开发提出来,保留测试环境已有的数据,只同步差异的数据(根据主键),于是就尝试使用SSIS中的“查找”组件进行不同服务器之间的“存在则更新,不存在则插入”数据合并操作,实际操作的时候只执行插入操作,达到同步数据的目的.

查看一个Package的历史Message 数据,发现 DataFlow Task 经常出错,错误信息的Description是: Description: "While reading current row from host, a premature end-of-message was encountered--an incoming data stream was interrupted when the server expected to see more data. The ho

昨天实验CDC,在数据库中执行以下语句的时候出错. EXEC sys.sp_cdc_enable_table @source_schema = N'stg', @source_name = N'CDCSalesOrderHeader', @role_name = N'cdc_role', @supports_net_changes = 1; Msg 22832, Level 16, State 1, Procedure sp_cdc_enable_table_internal, Line 623

Connetion的属性RetainSameConnection是个boolean值,指定是否保持相同的链接,默认值是false,表示每个component都会单独的使用connection,在component开始时打开connection,在component结束时关闭connection.不同的componet之间使用的是不同的connection. 由于局部临时表的生命周期是在当前连接,在链接关闭时就会终止,临时表就不存在了.在SSIS中不同组件间使用临时表,需要设置Connetion的