kettle转换提高性能拆分转换步骤_20161201

今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷,上过月刚跑的没问题,怎么会无缘无故的失败。

通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是在转换的步骤里设置的步骤过多,有很多个表输入,

由于kettle输出执行顺序是自上而下,但是输入是无序的,在很多步骤同时输入的时候就会占用很大的内存,性能就会很慢。

打开那个出问题的kettle转换文件,才发现自己在这个转换里添加了接近70个步骤,也怪前期没有了解这块,因此尝试分解步骤,把一个转换拆分成多个转换,每个转换的步骤数调试控制在不会报错的结果,下午测试成功,又积累了一个经验。

作业执行的时候也是按照那个顺序去执行因此整个流程下来很清晰

时间: 2024-12-06 03:49:00

kettle转换提高性能拆分转换步骤_20161201的相关文章

C++大小写转换和性能(C语言,C++,API,STL一共4种方法)

大小写转换和性能 前言 本文主要讨论最基本的一些大小写转换函数和API,不讨论一些常见的字符串程序库里面的大小写转换接口,另外本文的落脚点是这些转换函数的性能和日常开发中遇到的一些问题. 不考虑范围 其实ctype.h里面有定义一套宏,就是不考虑字符是否落在A-Z,a-z范围,直接计算(直接用加减法或者使用位与或计算,差别不是很大).显然这样的效率是最高的,但是使用可能是有问题的,遇到中文或者其他友邦的一些字符,可能就转换错了,当然如果已经提前确认过输入会落在A-Z,a-z范围,则是可以使用这种

C++大小写转换和性能

大小写转换和性能 前言 本文主要讨论最基本的一些大小写转换函数和API,不讨论一些常见的字符串程序库里面的大小写转换接口,另外本文的落脚点是这些转换函数的性能和日常开发中遇到的一些问题. 不考虑范围 其实ctype.h里面有定义一套宏,就是不考虑字符是否落在A-Z,a-z范围,直接计算(直接用加减法或者使用位与或计算,差别不是很大).显然这样的效率是最高的,但是使用可能是有问题的,遇到中文或者其他友邦的一些字符,可能就转换错了,当然如果已经提前确认过输入会落在A-Z,a-z范围,则是可以使用这种

《BI那点儿事》数据流转换——条件性拆分

原文:<BI那点儿事>数据流转换--条件性拆分 根据条件分割数据是一个在数据流中添加复杂逻辑的方法,它允许根据条件将数据输出到其他不同的路径中.例如,可以将TotalSugar< 27.4406的输出到一个路径,TotalSugar >= 27.4406的输出到另一个路径.如图.可以从上面的属性结构中拖放一个列或者代码段,然后根据逻辑重命名而不是使用默认值Case1,还可以编辑输出列的名字.

音频转换成mp3格式的步骤

现在的音乐格式的格式可以说非常的多,一般我们在上网的时候是直接在在线听歌曲的,但是随着人们对音乐的热爱,大家就会在一些不同场合时间段来听一些美妙的曲子,所以就需要在自己的手机上面下载歌曲,因为我们的手机只支持MP3格式,所以就需要将音频转换成通用格式,目前可以转换的工具还是比较多的,但是这款工具可就非常好了,通过使用它我们就可以来转换不同的格式了,快来和小编一起看看吧. 工具介绍: 迅捷音频转换器它是一款多功能的音频编辑处理软件,软件具有音频剪切.音频提取.音频合并和音频转换这四个功能,这款工具

拆分初始化负载,提高性能

拆分初始化负载,提高性能 1  在初始化时加载必要的javaScript,其余的JavaScript稍后再加载:避免给用户带来响应停顿的印象.(在初始化页面时,很多函数下载了,但并未执行): 2   寻找拆分的函数 Firebug的JavaScript性能分析器能显示出在触发onload事件之前执行的函数名.我们可以通过这个列表,把js代码拆分成一个页面初始化需要加载的文件:另一个可以延迟加载.(需要保留醋无处理以及条件判断的代码) Doloto可以自动拆分javascript代码的系统,可以拆

使用kettle把XML文档转换成数据表结构

 在kettle中Get data from xml 步骤和 XML Input Stream (StAX)步骤读取并解析xml文件.Get data from xml 步骤使用dom方式解析,比较消耗内存,当文件很大时,就不可取.XML Input Stream (StAX)步骤使用完全不同的方式解析大而复杂的文件,且能快速载入数据,所以建议使用该步骤. 下面通过示例来展示如何使用该步骤,源xml文件内容如下: <?xml version="1.0"?> <ti

EF提高性能

实体框架 5 性能注意事项 作者:David Obando.Eric Dettinger 等 发布时间:2012 年 4 月 1.简介 对象关系映射框架是一种在面向对象的应用程序中提供数据访问抽象的便捷方式.对于 .NET 应用程序,Microsoft 推荐的 O/RM 是实体框架.但任何抽象都要考虑性能. 本白皮书旨在介绍在使用实体框架开发应用程序时的性能注意事项,使开发人员了解能够影响性能的实体框架内部算法,以及提供有关进行调查及在使用实体框架的应用程序中提高性能的提示.网络上有大量很好的有

Java 编程:如何提高性能?(简单总结篇)

开发者在编程中除了要有编程规范,还要注意性能,在 Java 编程中有什么提高性能的好办法呢? 本文转自国内 ITOM 行业领军企业 OneAPM Cloud Insight(一款能够优雅监控多种操作系统.数据库.中间件.云主机的解决方案)美女工程师陈永梅简书. 开发者在编程中除了要有编程规范,还要注意性能哦,今天就工作中遇到的一些问题进行了一个简单总结,希望攻城狮来批评指正. 作为一个QA,从质量管理方面得到的认识: 一行代码能解决的问题 尽量不要使用多行,代码行数越多 维护成本越高,出现缺陷的

【续】使用泛型编写通用的C#预处理类型转换方法(使用委托提高性能)

优化后的代码: public static class Converter { /// <summary> /// 转换为其他继承IConvertible的类型 /// </summary> /// <typeparam name="T">转换的类型</typeparam> /// <param name="value">要转换的值</param> /// <param name=&quo