SSISDB6:使用数据分流

数据分流就是类似于数据流Path的Data Viewer,数据分流能够将数据导入一个file中,便于查看数据流中的数据。数据流分流必须通过代码来实现。

To add data taps, the instance of the execution must be in the created state (a value of 1 in the status column of the catalog.operations (SSISDB Database)view) . The state value changes once you run the execution.

Declare @execution_id bigint
EXEC [SSISDB].[catalog].[create_execution]
    @package_name=N‘Package.dtsx‘,
    @execution_id=@execution_id OUTPUT,
    @folder_name=N‘Demo‘,
    @project_name=N‘ISStudy‘,
    @use32bitruntime=False,
    @reference_id=1

Select @execution_id

DECLARE @var0 smallint = 1
EXEC [SSISDB].[catalog].[set_execution_parameter_value]
        @execution_id,
        @object_type=50,
        @parameter_name=N‘LOGGING_LEVEL‘,
        @parameter_value=@var0

exec SSISDB.catalog.add_data_tap
    @execution_id=@execution_id,
    @task_package_path=N‘\Package\Data Flow Task‘,
    @dataflow_path_id_string=N‘Paths[OLE DB Source.OLE DB Source Output]‘,
    @data_filename=N‘datatap.csv‘

EXEC [SSISDB].[catalog].[start_execution] @execution_id
GO

@data_filename:是存储数据分流的文件名称,文件路径是固定的,不能更改,通常在SQL Server按照目录的Folder中创建数据分流文件

@task_package_path:是Data Flow Task的 PackagePath 属性值

@dataflow_path_id_string:是Data Flow Path的 IdentificationString 属性值

参考文档:

catalog.add_data_tap

add_data_tap [ @execution_id = ] execution_id
[ @task_package_path = ] task_package_path
[ @dataflow_path_id_string = ] dataflow_path_id_string
[ @data_filename = ] data_filename
[ @max_rows = ] max_rows
[ @data_tap_id = ] data_tap_id
OUTPUT

[ @task_package_path = ] task_package_path  

The package path for the data flow task. The PackagePath property for the data flow task specifies the path. The path is case-sensitive. To locate the package path, in SQL Server Data Tools right-click the Data Flow task, and then click Properties. The PackagePath property appears in the Properties window.

The task_package_path is a nvarchar(max).

[ @dataflow_path_id_string = ] dataflow_path_id_string      

The identification string for the data flow path. A path connects two data flow components. The IdentificationString property for the path specifies the string.

To locate the identification string, in SQL Server Data Tools right-click the path between two data flow components and then click Properties. The IdentificationString property appears in the Properties window.

The dataflow_path_id_string is a nvarchar(4000).

[ @data_filename = ] data_filename    

The name of the file that stores the tapped data. If the data flow task executes inside a Foreach Loop or a For Loop container, separate files store tapped data for each iteration of the loop. Each file is prefixed with a number that corresponds to an iteration.

By default, the file is stored in the <drive>:\Program Files\Microsoft SQL Server\110\DTS\DataDumps folder.

The data_filename is a nvarchar(4000).

Remarks 

To add data taps, the instance of the execution must be in the created state (a value of 1 in the status column of the catalog.operations (SSISDB Database)view) . The state value changes once you run the execution. You can create an execution by calling catalog.create_execution (SSISDB Database).

The following are considerations for the add_data_tap stored procedure.

  • If an execution contains a parent package and one or more child packages, you need to add a data tap for each package that you want to tap data for.
  • If a package contains more than one data flow task with the same name, the task_package_path uniquely identifies the data flow task that contains the component output that is tapped.
  • When you add data tap, it is not validated before the package is run.
  • It is recommended that you limit the number of rows that are captured during the data tap, to avoid generating large data files. If the machine on which the stored procedure is executed, runs out of storage space for the data files, the package stops running and an error message is written to a log.
  • Running the add_data_tap stored procedure impacts the performance of the package. It is recommended that you run the stored procedure only to troubleshoot data issues.
  • To access the file that stores the tapped data, you must be an administrator on the machine on which the stored procedure is run. You must also be the user who started the execution that contains the package with the data tap.
时间: 2024-11-03 21:59:34

SSISDB6:使用数据分流的相关文章

PPTPVPN 数据分流

VPN数据分流设置 PPTPVPN拨号后,上网数据也走VPN,造成访问互联网变慢,增加VPN服务器的负载. 通过注入静态路由来完成访问服务器,走VPN链路,访问互联网走宽带链路. 先进行VPN拨号,成功获取地后. 然后断开VPN,重新进行拨号,并添加静态路由

SAS 中的数据分流到不同的文件当中

在一个文件中,对于一个变量,可能存在不同的类型,比如:性别,类别:男.女.共生 但是可能特定的情况下,只需要其中一个类型的信息,并且需要将信息保存到本地文件当中. 思路: 原始数据为一个 excel 文件 (1)首先将本地文件(包含所有的信息),全部读取到 SAS 数据集当中 1 proc import out=Mysas.person2 datafile="C:\Users\hr\Desktop\person\raw.xlsx" dbms=excel replace; 2 range

如何处理大量数据并发操作

文件缓存,数据库缓存,优化sql,数据分流,数据库表的横向和纵向划分,优化代码结构! 锁述的概 一. 为什么要引入锁 多个用户同时对数据库的并发操作时会带来以下数据不一致的问题: 丢失更新 A,B两个用户读同一数据并进行修改,其中一个用户的修改结果破坏了另一个修改的结果,比如订票系统 脏读 A用户修改了数据,随后B用户又读出该数据,但A用户因为某些原因取消了对数据的修改,数据恢复原值,此时B得到的数据就与数据库内的数据产生了不一致 不可重复读 A用户读取数据,随后B用户读出该数据并修改,此时A用

有赞大数据实践: 敏捷型数据仓库的构建及其应用

有赞大数据实践: 敏捷型数据仓库的构建及其应用 有赞大数据实践: 敏捷型数据平台的构建及其应用 前言 数据仓库设计 总体架构 数据仓库实例 基础指标层 分层的好处 数仓工具 数据仓库与数据分析 即席查询系统 多维分析系统 搜索分析系统 固定报表系统 数据仓库在信息检索中的应用 小结 前言 互联网公司一般发展迅速. 一方面, 业务飞速发展, 当前应用的形式和模型每天都在变化; 企业的产品也在经历不断的下线上线过程. 数据仓库如何拥抱变化, 是难点之一. 互联网的运营人员从了解经营状况转化为精细化运

用大数据处理思路保护数据

面对虚拟化.非结构化数据等新挑战,昆腾提出的解决思路其实很简单,也很直接,就是区分不同的数据类型和需要,然后采取不同的更有针对性的保护方式.这其实就是今天人们处理大数据的基本思路. 在云计算.大数据等新概念出现后,主存储,也就是在线存储,其性能.可靠性.可管理性.可扩展性等会得到用户更大的关注;二级存储,也就是备份数据,对它的保护和快速.可靠的访问也必须得到应有的重视.举一个简单的例子,当用户的服务器都虚拟化后,如果仍然采用原有的针对物理环境设计的备份工具和设备,那么虚拟环境中的数据保护效率肯定

并发问题:大数据量的訪问

今天突然关注到这个问题,从网上看了非常多,受益良多.记录下来,以后回想~ 之前在工作中就遇到过这样的情况.两个用户同一时候操作一条记录,A用户查询某条记录,B用户把这条记录删除,A用户将查询的某条记录的某些值保存到其它的表里.这个bug也是困扰了好久,由于A用户的这种方法特别复杂,运行的时间比較长,所以这个问题出现的概率还非常高的呢.后来的解决方法是,A用户在最后保存前,再查一下这条记录.是从代码逻辑方面解决的这个问题,确实好了非常多,但始终认为是治标不治本. 今天看完以后认为有更好的解决方法的

并发问题:大数据量的访问

今天突然关注到这个问题,从网上看了很多,受益良多.记录下来,以后回顾~ 之前在工作中就遇到过这种情况,两个用户同时操作一条记录,A用户查询某条记录,B用户把这条记录删除,A用户将查询的某条记录的某些值保存到其他的表里.这个bug也是困扰了好久,因为A用户的这个方法特别复杂,执行的时间比较长,所以这个问题出现的概率还很高的呢.后来的解决方法是,A用户在最后保存前,再查一下这条记录.是从代码逻辑方面解决的这个问题,确实好了很多,但始终觉得是治标不治本.今天看完以后觉得有更好的解决方法的呢. part

{网络分流器}网络分流器之园区网审计系列解决方案--湖南戎腾专业解决方案

网络分流器专业研发制造商湖南戎腾该方案为湖南戎腾公司原创,欢迎致电技术咨询业务咨询:18774055368{微信同号} 销售支持:尹亮 **园区网审计前端解决方案1.园区网审计系统园区网审计系统是防止在网上发布非法信息.泄密的事后取证系统.通常在园区网出入口处建立内容审计系统,对通过的流量进行应用恢复与还原,对非法流量进行自动备份,并由此确定发送者.系统自动运行,不需要人工干预.内容审计系统具有证据保留的作用,可作为司法追究的依据.园区网审计系统主要有以下作用:(1)监控网络用户在网络上发表的言

大数据技术之_18_大数据离线平台_02_Nginx+Mysql+数据收集+Web 工程 JS/JAVA SDK 讲解+Flume 故障后-如何手动上传 Nginx 日志文件至 HDFS 上

十一.Nginx11.1.介绍11.2.常见其他 Web 服务器11.3.版本11.4.Nginx 安装11.5.目录结构11.6.操作命令十二.Mysql12.1.介绍12.2.关系型数据库(SQL)种类12.3.特征12.4.术语12.4.与非关系型数据库比较(Not Only SQL)12.4.1.种类12.4.2.特征12.4.3.总结十三.数据收集13.1.收集方式13.2.数据的事件类型13.2.1.Launch 事件13.2.2.PageView 事件13.3.Nginx 日志收集