KETTLE使用javascript步骤过滤特殊字符

使用kettle在抽取大量excel数据时,总是遇到excel中有一些特殊字符,导致ExecuteSQL script步骤执行失败,本文记录一些方法过滤一些特殊字符。同行有更好的方式实现,欢迎指点,共同学习。

完整的实现转换截图如下

1、  使用javascript步骤过滤所有string字段的字符

使用javascript步骤可以通过代码来实现,避免增加过多的步骤,且一次性过滤所有的字段;代码如下:

for (vari=0;i<getInputRowMeta().size();i++){
/

var valueMeta=
getInputRowMeta().getValueMeta(i);

if (valueMeta.getTypeDesc().equals("String")) {

var fStr= row[i];

fStr=replace(row[i],‘\n‘,‘‘);

fStr=replace(fStr,‘\r‘,‘‘);

fStr=replace(fStr,‘\t‘,‘ ‘);

fStr=replace(fStr,‘;‘,‘;‘);

fStr=replace(fStr,‘·‘,‘‘);

fStr=replace(fStr,"‘","‘‘");

row[i]=fStr;

}

}

2、 使用正则表达式,过滤重复字符

实际项目中遇到excel文件中有若干个-号,数量不确定,上面的方式就不行了,replace in String步骤可以解决。useRegEx是开关,确定是否使用正则表达式,search 中填入表达式,replaceWith使用字符串去替换。

3、 截取长度

如果数据源的内容超过数据库字段长度,插入报错,使用String cut步骤可以实现;

时间: 2024-10-12 16:07:20

KETTLE使用javascript步骤过滤特殊字符的相关文章

kettle中javascript步骤错误处理

javascript步骤错误处理 如果你熟悉kettle转换的错误特性,你可能想知道在javascript步骤如何使用.支持错误机制的步骤用户界面机制是相同的,在javascript步骤右击,选择"定义错误处理"启用错误处理并配置.javascript代码可以识别错误行,并将他们转发到配置的错误处理步骤,通过使用_step_对象的putError()方法,需要以下几个参数: 1)    RowMetaInterface对象描述行结构 2)    当前的错误行 3)    在此行检测的错

练习JavaScript实现过滤特殊字符

for循环遍历特殊字符和用户输入字符,然后做比较,返回结果. <script type="text/javascript"> var name = prompt("请输入用户名"); function ifname(value) { var astr = ["~","!","@","#","$","%","^",&q

kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询

kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询 假设你需要实现非传统的数据库查询操作,为了讨论这种情景,我们假设你需要读取数据库中的正则表达式,然后检查输入的每行的字段匹配表达式的个数. 在javascript步骤执行数据库查询 在javascript步骤初始化的时候,查询数据库,获取正则表达式记录集.然后每一行的输入数据循环检查是否匹配表达式,如果匹配,记录变量加一,最后把结果写到到前行的新增字段中.思路很清楚,但是如何在javascript步骤实现数据库

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询

kettle中使用javascript步骤和fireToDB函数实现自己定义数据库查询 如果你须要实现非传统的数据库查询操作.为了讨论这样的情景,我们如果你须要读取数据库中的正則表達式,然后检查输入的每行的字段匹配表达式的个数. 在javascript步骤运行数据库查询 在javascript步骤初始化的时候,查询数据库.获取正則表達式记录集.然后每一行的输入数据循环检查是否匹配表达式,假设匹配.记录变量加一,最后把结果写到到前行的新增字段中. 思路非常清楚,可是怎样在javascript步骤实

JavaScript过滤特殊字符

1.设计实例 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="C

jquery过滤特殊字符及js字符串转为数字

//替换特殊字符 $(this).val($(this).val().replace(/[~'!<>@#$%^&*()-+_=:]/g, "")); 方法主要有三种 转换函数.强制类型转换.利用js变量弱类型转换. 1. 转换函数: js提供了parseInt()和parseFloat()两个转换函数.前者把值转换成整数,后者把值转换成浮点数.只有对String类型调用这些方法,这两个函数才能正确运行:对其他类型返回的都是NaN(Not a Number). 一些示

html、javascript、url特殊字符的转义诠释及使用方法详解

html.javascript.url特殊字符转义在实际编程中都是有用到的,有的人对特殊字符转义的使用不是很清楚,下面就对html,javascript,url特殊字符的转义做一下说明和归纳. html特殊字符转义 html特殊字符转义的格式规定: & + 实体(Entity)或#加上实体(Entity) + “;” 例如:& 转义后变成了 & amp; 还 记得刚学习html那会,做网页布局,需要用到很多空格,于是就不停地按空格来影响布局,可是看到效果却一点没有变化.原因是htm

MVC 记录操作日志与过滤特殊字符

最近进行的MVC系统需要用到记录操作日志和过滤特殊字符的功能,如果每个action中都调用记录日志的方法就太麻烦了,所以根据需要结合mvc的过滤机制 写了个特殊字符验证与记录操作日志的公用类: 1 public class CustomFilterAttribute : ActionFilterAttribute 2 { 3 public CustomFilterAttribute() 4 { 5 IsLog = false; 6 FilterSpecialChar = true; 7 } 8

JSON转换类(一)--过滤特殊字符,格式化字符型、日期型、布尔型

/// <summary> /// 过滤特殊字符 /// </summary> private static string String2Json(String s) { StringBuilder sb = new StringBuilder(); for (int i = 0; i < s.Length; i++) { char c = s.ToCharArray()[i]; switch (c) { case '\"': sb.Append("\\\