FocusBI:《DW/BI项目管理》之SSIS执行情况

微信公众号:FocusBI
关注可了解更多的商业智能、数据仓库、数据库开发、爬虫知识及沪深股市数据推送。问题或建议,请关注公众号发送消息留言;
如果你觉得FocusBI对你有帮助,欢迎转发朋友圈或在文章末尾点赞[1]

在 FocusBI:SSIS体系结构、《SSIS开发案例》这两篇文章中讲到SSIS 开发完最终是要被执行的,但是被执行后会出现什么样的情况,如何去监控它的执行情况;这也是在BI实施中遇到的难题,当有上百个包我们应该如何管理这个SSIS的ETL 项目,虽然SSIS执行出错是有邮件通知出错了,但是它无法通知你具体是哪个地方出错,当一个项目有上百个包如何准确的定位出错和错误原因、如何清楚的知道这些包内部执行了哪些SQL 语句及包执行的时长起始时间等。

DW/BI项目管理:SSIS执行情况

这里我介绍《DW/BI项目管理》的第二个模块 SSIS执行情况,它能解决如何管理好上百个包及包内运行的状况等。

首先登录《DW/BI项目管理》 系统,单击SSIS执行情况 模块,在这个模块就会出现:SSIS执行包时间、SSIS执行的SQL、配置执行计划、配置邮件通知四个子模块,这里的配置执行计划就是把部署好的包选择好顺序会自动生成作业,这个功能在包比较少的情况下是没有多大意义的,只有当有上百个包,而且要迁移时才能帮你节省时间,如果要迁移也能做成存储过程一次性就迁移成功了,所以这个子模块就不在描述。配置邮件通知:这个子模块就是把SQL Server中的邮件模块引用进来我觉得没有多大意义,后面会取消这个模块。SSIS执行情况模块我重点讲一下执行包时间和执行的SQL 两个子模块。另外SSIS包执行错误和警告的信息在DW/BI项目管理 的首页 右侧 这个子模块是你一登录就会出现,为什么我要做成一登录就出现这些内容,即使有邮件通知SSIS的错误或警告但是毕竟是邮件有可能会遗漏。

DW/BI项目管理:SSIS执行包时间 

单击 模块 SSIS执行情况中的子模块SSIS执行包时间 就会出现这个页面,页面有执行日期的查询,这里默认的是当天包执行的情况;每天只要打开这个子模块就能清晰的看到包和数据流组件运行的开始时间、结束时间、执行时长、受影响的行数。在表格中看到类型字段这个字段的内容是1代表数据流、0代表包。这里很明显是每个包中包含有多个数据流,这是很简单的业务才这么做,如果是复杂的业务就需要每一个包只包含一个数据流,这里也没有做增量包,所以在更加复杂的业务场景中需要考虑的因素更多,不管怎么复杂这个模块都能管理的很好;执行时长字段就是统计了这个包或数据流执行的时间,这个做性能优化时是非常重要的参考因素。行数字段行数很明显是显示出这个数据流处理的数据行数,这里做的是全量清除和全量抽取,没有做增量,所以这个字段对于做增量比较有意义一些。

DW/BI项目管理:SSIS执行的SQL

单击模块 SSIS执行情况中的子模块 SSIS执行的SQL 就会出现下面这个页面,包下面的某个数据流执行了什么样的SQL 语句一目了然,不管你是执行的存储过程这里也会把存储过程给显示出来,在BI实施的过程出于项目的交付需要给甲方使用可能会给甲方自己维护,所以在实施的过程中尽量都是SQL来处理较为简单的业务、存储过程处理复杂的业务,这样方便统一管理也对技术人员不要有太高深的了解SSIS的高级功能就能看懂和维护。执行的SQL字段后面的都是DBA使用的数据用于调优SQL参考的。

总结

DW/BI项目管理中数据库表结构和SSIS执行情况两个模块结合起来使用对BI项目开发和维护非常的方便,能节约人力成本、提供开发速度、维护起来更加容易判断问题出在哪里。可以说离我的一个月只工作10天的梦想越来越近了,我需要更多系统化、智能化的思考BI项目的稳定和提前预防错误的方法。

原文地址:https://www.cnblogs.com/focusBI/p/9668337.html

时间: 2024-11-06 03:45:37

FocusBI:《DW/BI项目管理》之SSIS执行情况的相关文章

FocusBI: 《DW/BI项目管理》之数据库表结构 (原创)

关注微信公众号:FocusBI 查看更多文章:加QQ群:808774277 获取学习资料和一起探讨问题. <商业智能教程>pdf下载地址 链接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v 数据行业发展的很快,很多一起做BI的朋友都已转入大数据.云计算.人工智能等高大上的领域去了,而我还停留在原地做BI,导致能一起讨论问题的人越来越少,我还有太多BI领域的知识不会,需要深入学习,只好一个人慢慢前行一点一点的去学. 在做BI实施的

BI 项目管理之角色和职责

      DW/BI 系统在生命周期中需要许多不同的角色和技能,它们来自业务和技术领域.本文将介绍创建DW/BI 系统所涉及的主要角色.角色和人之间很少是一对一关系.与我们合作的团队小到只有一人,大到有40 人(听说有更大的),大部分DW/BI 团队在3-10 个全职成员之间,并根据需要增加其他人.       单个DW/BI 团队常常同时承担开发和操作任务,不同于大部分技术项目团队,这与DW/BI 项目开发周期的高度迭代相关. 下面的角色与设计和开发活动相关: ● DW/BI 经理负责项目的

html、css、js文件加载顺序及执行情况

今天看书,看到html,css,js加载执行情况,发现自己并不是真正的了解,网上搜了半小时依然未弄明白,就在这时我找到了让我恍然大悟的一段话,如下: HTML页面加载和解析流程 1. 用户输入网址(假设是个html页面,并且是第一次访问),浏览器向服务器发出请求,服务器返回html文件. 2. 浏览器开始载入html代码,发现<head>标签内有一个<link>标签引用外部CSS文件. 3. 浏览器又发出CSS文件的请求,服务器返回这个CSS文件. 4. 浏览器继续载入html中&

做BI项目管理的朋友,应关注什么

做BI项目管理的朋友,应关注什么呢?BI项目其实也是it项目的一种,一些it项目管理需要注意的事情,同样是需要做BI项目管理的朋友关注的.但是,对于BI项目来说,也尤其独有的一些管理细节需要做BI项目管理的朋友好好关注.注意这些细节,并且把这些方面的管理做到位,能够减少很多麻烦事情哦. 1.项目范畴制定和管理 很多人会自然地把这个步骤理解为用户需求的收集和制定.其实用户需求只是这个过程中的一个手段和结果.不管是自主开发,还是集成商为商业用户开放的项目,最终目的都是为用户解决工作中的问题,同时提高

It&#39;s import to know before start learning DW/BI

Data Warehousing and Business Intelligence Differences Between Data Warehousing and Business Intelligence Filed under: Business Intelligence,Data Warehousing — Vincent Rainardi @ 6:38 pm Tags: Business Intelligence, Data Warehousing Try asking your c

crontab定时任务不执行的原因及查看任务执行情况

肯定有很多人与我一样,遇到过在本地调用脚本,能够正常执行,但写入crontab定时任务后,就会出现一部分执行,一部分不执行的问题.或者是同样的脚本,同样的定时任务,但在有些服务器上可以执行,有些却不行. 经查阅相关资料发现,crontab总是不会缺省的从用户profile文件中读取环境变量,也就是说,要么是环境变量的问题,要么就是路径的问题.解决办法如下: 1.所用命令使用绝对路径: 2.调用的脚本开头部分添加如下内容,以便读到用户的环境变量参数,解决环境变量的问题:  例:#!/bin/bas

sqlserver 监控自动化作业执行情况

ALTER procedure [dbo].[monitorJob] @name varchar(100) as begin declare @bd varchar(100) ; if exists( select * from  msdb.dbo.sysjobhistory where job_id in (select job_id from msdb.dbo.sysjobs where [name][email protected] ) and run_date=convert(varch

Oracle EBS-SQL (PO-9):检查期间采购订单执行情况.sql

--采购订单执行情况查询(七天内接收情况)select pha.segment1       采购订单,         msib.segment1      物料编码,         pla.quantity           订单数量,         plla.need_by_date 需求日期,         ppf.FULL_NAME        采购员,         nvl(rcv.quantity,0)  接收数量from inv.mtl_system_items_b

【转】case: Java中try catch finally语句中含有return语句的执行情况(总结版)

Java中try catch finally语句中含有return语句的执行情况(总结版) 有一点可以肯定,finally块中的内容会先于try中的return语句执行,如果finall语句块中也有return语句的话,那么直接从finally中返回了,这也是不建议在finally中return的原因.下面来看这几种情况. 情况一(try中有return,finally中没有return): [java] view plain copy public class TryTest{ public