数据仓库之SSIS开发

1.从cdc捕获到数据以后, 连接ssis进行执行数据的抽取以及转换工作,把需要的数据导入到数据仓库,

并且做好对应的日志记录表.现在先说一下比较重要的.

选择参数化设置数据连接, 以方便后面的配置.

因为要动态可维护, 这里使用 可执行exe程序进行封装, 然后配置在windows计划任务里面

下面开始写代码

首先引入命名空间 和程序集

using DTS = Microsoft.SqlServer.Dts.Runtime;
using Microsoft.SqlServer.Dts.Runtime;

然后开始开发代码

        static void Main(string[] args)
        {
            //更改SSIS包里面的 变量
            string path = @"E:\开发测试实例\SSIS2012\ConSSIS\ConSSIS\SSISPackege\xm_xmbj.dtsx";

            DTS.Package dtsPackage = null;
            DTS.Application dtsApplication = null;

            dtsApplication = new DTS.Application();
            //指定文件路径加载 package 
            dtsPackage = dtsApplication.LoadPackage(path, null);

            Connections v = dtsPackage.Connections; //获取所有的  数据源连接,包括输入和输出
            for (int i = 0; i < v.Count; i++)
            {
                if (v[i].Name == "XIANGZX.JGBDB.sa")
                {
                    //指定数据库连接
                    v[i].ConnectionString = "Provider=SQLOLEDB.1;Persist Security Info=False;User ID=sa;Password=sa123.;Initial Catalog=JGBDB;Data Source=xiangzx";
                }
            }

            DTS.Variables packageVariables1 = dtsPackage.Variables;
            packageVariables1["cdc_xm_xmbj"].Value = "exec [opr_].[cdc_xm_xmbjxx] ‘2016-05-30 00:00:00‘,‘2016-05-31 00:00:00‘"; //传递参数 

            DTS.DTSExecResult packageResult = dtsPackage.Execute();

        }

特别说一下, 这里 的    Connections v = dtsPackage.Connections; 获取的是 数据库连接配置, 具体的可以查看 dts包文件.

XIANGZX.JGBDB.sa 是数据库连接的名称.

这里对其进行修改.(包里面的是测试环境的,现在要发布到正式环境上)

DTS.Variables packageVariables1 = dtsPackage.Variables;
packageVariables1["cdc_xm_xmbj"].Value="";

这里要说一下的是, 这里的 "cdc_xm_xmbj" 是变量.

有了这些以后,就可以实现从 生产库到数据仓库的数据转换.

时间: 2024-11-03 17:03:58

数据仓库之SSIS开发的相关文章

FocusBI:《DW/BI项目管理》之SSIS执行情况

微信公众号:FocusBI关注可了解更多的商业智能.数据仓库.数据库开发.爬虫知识及沪深股市数据推送.问题或建议,请关注公众号发送消息留言;如果你觉得FocusBI对你有帮助,欢迎转发朋友圈或在文章末尾点赞[1] 在 FocusBI:SSIS体系结构.<SSIS开发案例>这两篇文章中讲到SSIS 开发完最终是要被执行的,但是被执行后会出现什么样的情况,如何去监控它的执行情况:这也是在BI实施中遇到的难题,当有上百个包我们应该如何管理这个SSIS的ETL 项目,虽然SSIS执行出错是有邮件通知出

SSIS 学习之旅 序章 和 简介

SSIS 学习之旅目录: 第一章: SSIS 学习之旅 第一个SSIS 示例(一) 第二章: SSIS 学习之旅 第一个SSIS 示例(二) 第三章: SSIS 学习之旅 数据同步 第四章: SSIS 学习之旅 FTP文件传输-FTP任务 第五章: SSIS 学习之旅 FTP文件传输-脚本任务 第六章: SSIS 学习之旅 FTP访问类 SSIS是Microsoft SQL Server Integration Services的简称,是生成高性能数据集成解决方案,是Microsoft BI 解

数据仓库应用(三): SQL Server 2005的数据仓库应用--联机分析OLAP

关联文章: 数据仓库应用(一):数据仓库模型设计 数据仓库应用(二):数据抽取.转换.加载(ETL) 前言:有关数据仓库的研究,并不仅仅停留在理论上.目前,几种主要的RDBMS产品,如Oracle.SQL Server.Informix和 Sybase等,都可以为用户提供数据仓库项目的开发工具:而一些通用的应用程序开发平台,如Delphi等,也能对数据仓库项目的开发提供有效的支持.我们将使用Microsoft SQL Server 2005提供的数据仓库工具SSAS对数据仓库中的数据进行OLAP

数据仓库建设步骤

1.系统分析,确定主题 确定一下几个因素:     ·操作出现的频率,即业务部门每隔多长时间做一次查询分析.     ·在系统中需要保存多久的数据,是一年.两年还是五年.十年.     ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年.     ·用户所能接受的响应时间是多长.是几秒钟,还是几小时. 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台,包括数据库.建模工具.分析工具等.有许多因素要考虑,如系统对数据量.响应时间.分析功能的要求等,以下是一些公认的选择标准:

数据仓库构建步骤

数据仓库构建步骤 数据仓库是面向主题的.集成的.不可更新的.随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法. 数据仓库系统的原始需求不明确,且不断变化与增加,开发者最初不能确切了解到用户的明确而详细的需求,用户所能提供的无非是需求的大的方向以及部分需求, 更不能较准确地预见到以后的需求.因此,采用原型法来进行数据仓库的开发是比较合适的,因为原型法的思想是从构建系统的简单的基本框架着手,不断丰富与完 善整个系统.但是,数据仓库的设计开发又

如何调试SSIS包之跟踪变量赋值

在SSIS开发工具SQL Server Data Tools中提供了调试功能,可以让我们方便的跟踪参数赋值或者数据流条数.本文主要介绍了如何使用SSDT的调试功能. Part A: Script task 的调试 情景:在一个SSIS package中参数rating的默认值是0,我们假设在Scrit Taks中需要把rating值更改为10.   在Scripttask里面加入C#赋值代码,来把Rating 的值赋值为10. public void Main() { // TODO: Add

数据仓库的构建步骤

数据仓库是面向主题的.集成的.不可更新的.随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法.       数据仓库系统的原始需求不明确,且不断变化与增加,开发者最初不能确切了解到用户的明确而详细的需求,用户所能提供的无非是需求的大的方向以及部分需求,更不能较准确地预见到以后的需求.因此,采用原型法来进行数据仓库的开发是比较合适的,因为原型法的思想是从构建系统的简单的基本框架着手,不断丰富与完善整个系统.但是,数据仓库的设计开发又不同于一般

SQL Server SSIS 参考资料

1. 如何在 SQL Server 中创建链接服务器 http://www.cnblogs.com/spring_wang/p/5409394.html 2. 如何安装 SSIS 开发工具 在安装 SQL Server 时,选中 SSIS 选项即可 3. SSIS 的使用示例 http://www.cnblogs.com/heqichang/archive/2012/09/19/2693214.htmlhttps://wenku.baidu.com/view/915f4ce1d1f34693da

SSIS 目录

微软 BI 系列随笔 - SSIS 2012 基础 - SSIS 目录 上一篇讲解了使用SSIS参数与环境,由于涉及到了SSIS目录的相关知识和概念,本篇将对其进行讲解. 注:在之前的版本中,是使用整合服务服务器下面的运行程序包(Running Packages)文件夹和存储程序包(Stored Packages)文件夹两个节点来管理程序包. 关于SSIS目录 “SSISDB”目录(Integration Services Catalog)是SQL Server 2012新引入的一个功能.它是管