实例学习SSIS(五)--理论介绍SSIS

原文:实例学习SSIS(五)--理论介绍SSIS

导读:

实例学习SSIS(一)--制作一个简单的ETL包

实例学习SSIS(二)--使用迭代

实例学习SSIS(三)--使用包配置

实例学习SSIS(四)--使用日志记录和错误流重定向

实例学习SSIS(五)--理论介绍SSIS

   一、概述

Integration
Services 是用于生成高性能数据集成和工作流解决方案(包括针对数据仓库的提取、转换和加载 (ETL) 操作)的平台。

Integration Services 包括:

a)生成并调试包的图形工具和向导;

b)执行如 FTP 操作、SQL 语句执行和电子邮件消息传递等工作流功能的任务;

c)用于提取和加载数据的数据源和目标;

d)用于清理、聚合、合并和复制数据的转换;

e)管理服务,即用于管理 Integration Services 包的 Integration
Services 服务;

f)用于对 Integration Services 对象模型编程的应用程序接口
(API)。

    

   二、SSIS体系结构

SSIS由四大部分组成:服务、对象模型、运行时和数据流。

下面这张大图显示了各部分之间的关系:

服务

在Configuration Manager中可以看到SSIS的服务:SQL Server
Integration Services。

提示:

1、设计和执行IS包不需要启动该服务,可以使用 SQL
Server 导入和导出向导、SSIS 设计器、执行包实用工具以及 dtexec 命令提示实用工具运行包。

2、如果要通过SQL Server Management Studio监视包,则需要启动该服务。

使用SSMS监视时,可以看到两个顶级文件夹:“正在运行的包”和“已存储的包”。

在“正在运行的包”文件夹下可以停止某个运行的包。

对象模型

对象模型包括用于访问 Integration Services 工具、命令行实用工具以及自定义应用程序的本机和托管应用程序编程接口 (API)。

工具介绍:

Business
Intelligence Development Studio(BIDS)

创建和调试包。

BIDS中的设计器

如下图:

命令

dtexec:运行现有的包;

如执行包:dtexec /f "c:\pkgOne.dtsx"

dtutil:可以对包进行访问,复制、删除、移动和
签名等;

如复制包:dtutil /FILE c:\myTestedPackage\package.dtsx /DestServer myserver
/COPY SQL;newpackage

运行时

包的运行时,为日志记录、断点、配置、连接和事务提供支持。

数据流

数据流任务封装数据流引擎。数据流引擎提供将数据从源移动到目标的内存中的缓冲区,并且调用从文件和关系数据库中提取数据的源。

三、典型用途

合并来自异类数据存储区的数据

合并存储在不同数据存储系统中的数据,提取这些数据合并到单个一致的数据存储系统中。

 

填充数据仓库和数据集市

数据仓库和数据集市中的数据具有更新频繁和加载量大的特点,SSIS专门提供了一个从平面文件大容量加载到 SQL
Server的任务。

清除数据和数据标准化

Integration
Services 包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。

将商业智能置入数据转换过程

Integration
Services 提供了用于将商业智能置入 SSIS 包的容器、任务和转换。

可能需要根据数据值对数据进行汇总、转换和分发,SSIS
包中的逻辑可能需要执行以下类型的任务:

a)合并来自多个数据源的数据。

b)计算数据并应用数据转换。

c)根据数据值将一个数据集拆分为多个数据集。

d)将不同的聚合应用到一个数据集的不同子集。

e)将数据的子集加载到不同目标或多个目标。

使管理功能和数据加载自动化

管理功能自动化,例如备份和还原数据库等,可以使用 SQL Server 代理作业安排SSIS 包。

参考:ms-help://MS.SQLCC.v9/MS.SQLSVR.v9.zh-CHS/extran9/html/c4398655-5657-4ae4-a690-a380790fe84f.htm  

时间: 2024-10-07 19:47:46

实例学习SSIS(五)--理论介绍SSIS的相关文章

SSIS从理论到实战,再到应用(5)----流程控制之Foreach循环

原文:SSIS从理论到实战,再到应用(5)----流程控制之Foreach循环 上期回顾: SSIS从理论到实战,再到应用(4)----流程控制之For循环 上一期讲了For循环,Foreach循环相比而言要更复杂一点,里面涉及变量的类型,数据接收问题,下面我用一个简单的示例来演示Foreach循环容器: 假设我们有这样一个需求: 从数据库中取出一列数据,循环输出这列数据的每个值 一,拖入sql任务,定义一个Object类型的变量接收取到的数据 二,设置好接收变量 三,拖入Foreach循环容器

SSIS从理论到实战,再到应用(6)----SSIS的自带日志功能

原文:SSIS从理论到实战,再到应用(6)----SSIS的自带日志功能 上期回顾: SSIS从理论到实战,再到应用(5)----流程控制之Foreach循环 博主最近新负责了一个ssis大项目的架构,压力山大,所以都没有怎么正儿八经的更文章了,给园友们说声抱歉,接下来的一些文章可能都比较偏重于实用技巧方面^_^. 我们都知道,不论在任何一个项目,日志系统的重要意义都是不言而喻的. 如果你的SSIS项目管理到了以百为级别,那很有必要去为它专门构建一个日志管理平台,这个时候你可以参考@BIWork

SSIS从理论到实战,再到应用

原文:SSIS从理论到实战,再到应用 一,是什么(What?) 1.SSIS是Microsoft SQL Server Integration Services的简称,是生成高性能数据集成解决方案(包括数据仓库的提取.转换和加载 (ETL) 包)的平台. 以上的这段文字来自于百度,脱离这个概念,我一直再思考如何向普通人解释SSIS这一套体系:我觉得我自己解释很有可能不到位,所以特意去知乎里面问了这个问题: 如何解释SSIS 貌似没有很好的效果,我所理解的SSIS是这样的: 一个强壮的肌肉男,能搬

SSIS从理论到实战,再到应用(7)----常用的数据类型转换操作

上期回顾: SSIS从理论到实战,再到应用(6)----SSIS的自带日志功能 在抽取各种应用的数据时候,经常会遇到数据需要转换类型的操作,比如日期在源数据库是dbtime类型,在本地需要用到字符串,这个时候有两种常用的方案来解决: 1.通过语法在源数据库进行类型转换,类似sqlserver的convert(要转换的类型,长度).... 2.利用ssis自带的组件进行类型转换 本期选用第二种方案做演示.(背景,将excel的数据导入数据库中) 1)拖入数据流任务控件,双击进入具体的设计 2)拖入

SSIS从理论到实战,再到应用(1)----创建自己的第一个包

原文:SSIS从理论到实战,再到应用(1)----创建自己的第一个包 其实,如果你使用sql2008的导出导入工具的时候,你就已经在使用包了. 目标:使用sql2008 导入导出工具,导入excel数据,并得到一个package,然后查看package的设置 ====>最后得到SSIS包 我们梳理一下,我们的目标是什么:将excel的数据导入到了数据库中,那必然有这几个动作 1.创建表 2.将数据导入到我们创建的表中 Ok,这样我来将这个包打开来看看是否有至少两个动作 首先,我们新建一个SSIS

SSIS从理论到实战,再到应用(4)----流程控制之For循环

原文:SSIS从理论到实战,再到应用(4)----流程控制之For循环 上期回顾: SSIS从理论到实战,再到应用(3)----SSIS包的变量,约束,常用容器 在SSIS体系中,控制流可能经常会遇到,比如你取得一列数据,需要循环这列数据然后做相应的操作时,就需要用到循环,下面,我来操作两种循环方式,FOR循环和Foreach循环. 一,For循环 写过代码的知道,For循环的常用写法是这样的:For(var i = 0 ; i < 10 ; i++){  //do sth;}; 这里面包含三个

SSIS从理论到实战,再到应用(3)----SSIS包的变量,约束,常用容器

原文:SSIS从理论到实战,再到应用(3)----SSIS包的变量,约束,常用容器 上期回顾: SSIS从理论到实战,再到应用(2)----SSIS包的控制流 首先我们来看看包里面的变量 SSIS包变量分为两种,一种是系统的内置变量,是一个SSIS包初使化都会自带的,一种是用户自己定义的变量. 在SSIS包中,常用的变量的类型包含以下:Int32,String,Boolean,DateTime,Object...... 二,让我们来看看包里面的约束(线) 如图中所示的线就是约束,官方的解释是这样

SSIS从理论到实战,再到应用(2)----SSIS包的控制流

原文:SSIS从理论到实战,再到应用(2)----SSIS包的控制流 前文回顾: SSIS从理论到实战,再到应用(1)----创建自己的第一个包 上次说到创建了自己的第一个包,完成了简单的数据从数据库=>数据库,以及Excel文件=>数据库过程,这一次咱们回看看一个包里面到底有哪些好玩的元素构成: 咱们一般写过代码的人都知道,很多的看似很复杂的功能都是由:顺序,选择,循环构成的.SSIS也不例外,咱们可以看到SSIS包里面工具选项卡里面已经写出他的本质了: SSIS包里面功能元素包含以下图所示

CloudStack(一)简介及相关理论介绍

简介 CloudStack(cloudstack.apache.org)是IaaS类型云计算的一种开源解决方案,同类的解决方案有OpenStack.OpenNebula等,CloudStack是以java语言所研发并具有高可用性.可扩展性.丰富的UI功能.Hypervisor 的多样性等等..(更多请见http://www.cloudstack-china.org/2013/11/2702.html),它可以帮助用户利用自己的硬件提供类似于Amazon EC2那样的公共云服务.CloudStac