SSIS常用的包—大量插入任务(Bulk Insert task)

大量插入任务允许像 BULK INSERT 语句或者bcp.exe 命令行工具一样 从 txt文件(也叫做平面文件)中插入数据。这个 task工具箱中的 Control Flow Items中,它不会产生数据流。这种 task的一个缺点是在插入的时候不允许任何形式的数据转换。同时,它可以以最快的速度向 SQL Server中写入大量的数据,不论数据量是的是小。

创建一个大量插入任务,然后设置它的属性,打开编辑页面(图 3-2)。像大多数 task一样编辑页面可以命名,描述这个 task。注意命名要说明这个task完成的任务就像“准备存储” Prepare Staging,这将会帮助在以后的部署和调试工作。

图3-2

最重要的配置是连接 Connection,在 Connection编辑页面中允许你设置数据的源和目的地。从下拉列表里面选择数据的目的地,选择一个数据表。当设置了连接之后,还需要在 File下拉列表中设置连接文件的名字。源和目的连接都使用 Connection Manager 。如果还没有简历这样的共享连接,需要从下拉列表中选择 <New Connection…> 新建一个连接。

设置好连接之后,可以设置插入数据的文件的类型和它的分割符号。选择 UseFile或者从 Format下拉列表框中选择。如果你选择 User File,你将选择一个大量插入文件的格式,它告诉 task文件时如何组织的(文本的行间隔符)。通常选择 Format下拉列表指定文件的格式。选择项中设置间隔符。大多数情况下,默认的间隔符用来指定文件格式。行间隔符 columndelimiter执行行之间的间隔符号默认情况下是制表符分割,也有的是逗号分隔。

注意。格式文件一定要在 SQL Server上,保证选项生效。如果在本地 SQL Server 上没有,也可以使用远端访问路径(//MachineName/ShareName/FileName.csv)

在 Option标签页面中,可以设置几个不为人知的选项。可以为源文件设置内码列表,默认选项是 RAW。数据文件类型选项可以指定源文件的种类。选项值包含 char, native, widechar, and widenative。大体上说是 char类型,有时也会有文本文档类型。你将会看到使用命令行语句参数 -n调用bcp.exe创建的文件。

在 Option标签页面中如果想只插入数据行忽略表头也可以设置 first row 和 last row。 BatchSize选择项显示一次何以写入多少数据。如果设置为 0,是一次将全部记录写入。如果记录多于 100000,可以设置该值为 50000.

在选项 Option的下拉列表框中包含了 5个可选择的值

· Check Constraints: 这个选项将在执行时检查表和列中的约束,这个选项是唯一默认为 true的选项。

· Keep Nulls: 这个选择项将文本中所有的空白替换成 NULL然后写入 SQL Server中

· Table Lock: 这个选择项将确保在执行 task的时候目标表不能被插入和更新,这个设置将加快 bulk insert ,但是会给其他的更新造成中断。设置时保证 bulk insert 执行的时候没有其他的 task正在执行。

· Fire Triggers: 默认情况下,为保证执行速度 bulk insert将忽略触发器,设置此选择项, task在执行 bulk insert的时候不再忽略触犯器。

在 Options标签选项中还有其他的选择项, SortedData选项指定插入数据的时候指定按照一个行的排列循序插入。默认设置是 nothing,如果愿意,可以选择一个你需要的排序的列的列名。 MaxErrors选择项指定在 task停止执行之前可以忍受的最大的错误个数。默认情况下,只要有一行没有正常插入整个 task将失败。

注意: Bulk Insert 任务不会记录出现错误的行,如果想把这种异常的行记录到一个文件或表中,可以选择 Data Flow任务。

时间: 2024-08-08 20:22:07

SSIS常用的包—大量插入任务(Bulk Insert task)的相关文章

SSIS常用的包—消息队列任务

通过消息队列任务可以从Microsoft Message Queuing (MSMQ)中接收或向它发送消息.消息的格式可以是字符串,文件或者变量.消息队列任务的优点是你可以在package正在运行的时候相互通信.可以通 过这种任务可以扩展package,让多个package平行执行,在检验点检验得到的数据.这个任务还可以通过网络分发文件.例如,在运行的时候通过消 息队列想不通的办公室分发文件,接收文件的SSIS包可以下载文件到各自的SQL Server中. 在编辑页面,可以通过MSMQConne

SSIS常用的包—WMI数据读取任务和WMI事件监听任务

Windows Management Instrumentation (WMI)是Windows的最高机密之一,它允许你通过一个脚本界面来管理Windows平台.WMI数据读取任务通过WQL语言(WMA专用语言)来 接触管理服务器或者工作平台(例如查看系统日志).查询语句可以将结果输出到变量中.WMI数据读取任务可以完成下面的工作. 在事务日志中查询可能的错误信息 查询正在运行的应用程序 查询在包运行过程中有多少可用RAM 判断有多少可用的磁盘空间 在编辑界面中可以配置WMI数据读取任务,如图3

SSIS常用的包—脚本和组件任务

脚本任务允许利用Microsoft Visual Studio环境来使用VB.NET语言创建和执行脚本.ActiveX任务允许从SQL Server 2000中执行脚本.与ActiveX任务相比,脚本任务有一些优点.如下列举. 一整套智能设计环境 轻松地向脚本传递参数 轻松地在脚本代码中设置断点 可以以二进制形式预编译脚本 在脚本任务的编辑界面内如图3-17有一个脚本语言选项用来选择编辑语言,对于SQL Server来说只能选择VB.NET.如果PreCompileScriptIntoBinar

SSIS常用的包—执行程序包任务

执行程序包任务Execute Package task可以从当前package中执行子程序包中的一个package,在SQL Server 2000 DTS中这中任务是不存在的.在图3-16中你可以看到package标签下的ExecuteOutofProcess属性,将它设置为true,它将执 行子过程中的任务.这个任务的默认设置是true,这需要耗费更多的内存,但是会提高任务的执行性能.另外一个和SQL Server 2000不同的地方是它不再将参数放在子任务中,子任务将会从父任务中取得配置值

SSIS常用的包—Web服务任务

Web服务任务是一个在SSIS中新添加的任务,它可以连接一个webservice并执行服务中的一个方法.执行方法之后可以将结果写回到一个变 量或者文件中.这个任务适合处理第三方应用中的信息.例如可以利用这个任务执行webservice中的方法获得亚马逊的更新后的产品列表,并把这些信息 写入到本地的服务器中. 在web服务任务 的编辑页面中的HttpConnection选项中打开HTTP Connection Manager Editor新建一个HTTP连接.与OLE DB连接有些不同的是HTTP

SSIS常用的包—发送Email任务

这种任务可以通过SMTP发送Email.在SQL Server 2000中需要通过MAPI来发送email,这意味着需要在执行package的机器上需要安装Outlook.这里不再需要安装Outlook也能发 送email.发送Email任务的编辑页面如图3-19,SMTPConnection选项用来配置SMTP连接. 图3-19 大多数的配置选择项是见名知意的,MessageSourceType选项用来指定邮件消息是从一个文件中读取还是直接填写在MessageSource选项中.

SSIS常用的包—数据流任务

数据流任务 如果你对 SQL Server 2000 DTS比较熟悉,对这种数据流任务不会有了解,因为同其他任务比较它是一种很特殊的任务.主要说明数据怎样写入系统.SQL Server 2005中最大的改进是不必要创建一个存储表来接收数据,所有这些都将在内存中进行. 执行数据流任务 数据流任务会执行一个 Windows或者控制台应用程序,自从 SQL Server 2000之后这个任务得到很大的改进,并且在错误处理工作上更加健壮.例如,可以将异常信息写入一个变量中以便后来读取,所有输出信息都可以

Java常用jar包用途

Java常用jar包用途: USAGE INDEX JAR NAME USAGE 1 ASM asm-2.2.3.jar ASM字节码库 2 ASM asm-commons-2.2.3.jar ASM字节码库 3 ASM asm-util-2.2.3.jar Java字节码操纵和分析框架 4 COMMONS commons-discovery-0.2.jar 用来发现.查找和实现可插入式接口,提供一些一般类实例化.单件的生命周期管理的常用方法. 5 COMMONS commons-beanuti

java中最常用jar包的用途说明

java中最常用jar包的用途说明,适合初学者 jar包 用途 axis.jar SOAP引擎包 commons-discovery-0.2.jar 用来发现.查找和实现可插入式接口,提供一些一般类实例化.单件的生命周期管理的常用方法. jaxrpc.jar Axis运行所需要的组件包 saaj.jar 创建到端点的点到点连接的方法.创建并处理SOAP消息和附件的方法,以及接收和处理SOAP错误的方法.   wsdl4j-1.5.1.jar Axis运行所需要的组件包 activation.ja