Talend 数据转换

2个系统都有客户信息,产品信息. 要从一个系统a导出数据给另一个系统b用. 有2个方法.

1.在a系统的客户表,产品表加一个字段,记录b系统对应的ID,导出时直接用sql转换了.

2. 用ETL工具转换. a系统导出的客户信息,产品信息的csv, 在ETL工具里,有一个ID对应表, 查找替换.

我们试试用Talend来做吧.

Talend 有个去重复的工具tUniqRow

查找替换工具tReplaceList

放了2个tReplaceList, 一个查找客户信息,一个查找替换产品信息.

有2个地方要注意的: csv是以什么符号分隔的, talend默认是用;分割的,如果你从数据库导出,可能是\t或,分隔,要在组件设定里修改

查找替换的2个字段,类型要相同,我刚试了用Integer和String,2个不同的字段类型,总是找不到的.

时间： 2024-10-04 10:44:47

Talend 数据转换的相关文章

六种主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)

六种主流ETL 工具的比较(DataPipeline,Kettle,Talend,Informatica,Datax ,Oracle Goldengate) 比较维度\产品 DataPipeline kettle Oracle Goldengate informatica talend DataX 设计及架构适用场景主要用于各类数据融合.数据交换场景,专为超大数据量.高度复杂的数据链路设计的灵活.可扩展的数据交换平台面向数据仓库建模传统ETL工具主要用于数据备份.容灾面向数据仓库建模

每年为联想省去一个亿 ——Talend大数据解决方案实例

联想公司是一家价值 340 亿美金的个人技术公司和世界上最大的个人电脑供应商.一个企业组织如何构建其愿景.团队和平台以便于更了解其客户的特征是联想面临的最大问题. 2013年, 联想需要将所有数据管理从他们的外包供应商迁移出去.没有预算,没有团队, 没有平台, 联想必须从零开始. 挑战什么特定产品具有最大的获利能力? 我们应该展示的产品的正确配置是什么? 价格促销及相应竞争是什么? 哪些客户受营销策略的影响并有可能改变他们的采购? 不同组的用户体验的区别是什么? 在他们放弃现有购物车中选定的产

现代C++学习笔记之二入门篇2,数据转换

static_cast: 这种强制转换只会在编译时检查. 如果编译器检测到您尝试强制转换完全不兼容的类型,则static_cast会返回错误. 您还可以使用它在基类指针和派生类指针之间强制转换,但是,编译器在无法分辨此类转换在运行时是否是安全的. dynamic_cast: dynamic_cast在运行时检查基类指针和派生类指针之间的强制转换. dynamic_cast 是比 static_cast 更安全的强制类型转换,但运行时检查会带来一些开销. const_cast: con

LINQ之路 7：子查询、创建策略和数据转换

在前面的系列中,我们已经讨论了LINQ简单查询的大部分特性,了解了LINQ的支持计术和语法形式.至此,我们应该可以创建出大部分相对简单的LINQ查询.在本篇中,除了对前面的知识做个简单的总结,还会介绍几种创建更复杂查询的方式,让我们在面对更复杂的场景时也能轻松面对,包括:子查询.创建策略和数据转换. 子查询在创建一个复杂的查询时,通常我们需要用到子查询.相信大家都记得SQL查询里的子查询,在创建LINQ查询时也是如此.在LINQ中,对于方法语法,一个子查询包含在另外一个查询的lambda表达式

将COleDateTime类型数据转换成char *数据

用OpenCV做多摄像头校准时间,在图像上显示时间信息,需求要将COleDateTime类型数据转换成char *数据具体代码如下: 1: COleDateTime m_checkDate; 2: COleDateTime timeCur; 3: timeCur = COleDateTime::GetCurrentTime(); 4: COleDateTime timeStart(timeCur.GetYear(), timeCur.GetMonth(), timeCur.GetDay(),

Json数据与Json数据转换

1.json数据 [{\"IS_DISTRIBUTOR_LIMIT\":0,\"PROVISION_PRICE\":null,\"PRO_STATUS\":\"1\",\"ATTACHMENT\":\"fangan_photo.png,716\",\"DIS_LABEL\":15,\"PRODUCT_NAME\":\"55\",

Excel数据和MySql数据转换

from: http://hi.baidu.com/harite/item/963e9f3f6fe905637d034b6a 假如要把如图所示的Excel表格导入到MySql数据库中,如图: ,步骤一:选取要导入的数据快儿,另外要多出一列,如下图: 步骤二:将选中的数据快儿拷贝到一个新建的表格工作薄,然后“另存为” ->“文本文件(制表符分割)(*.txt)”,假如存到“D:\data.txt”这个位置里.如图: 步骤三:根据要导入的数据快儿建立MySql数据库和表,然后使用命令load dat

NSData 数据转换

NSData,数据,当我们需要把一些信息写入到文件里或发送到网络上,我们需要把这些数据转换下,变成纯粹的0.1字符流数组转 NSData NSData *GLYtime = [NSKeyedArchiverarchivedDataWithRootObject:Gtime]; 字符串转NSData 1 NSString * str = @"hello, world!"; 2 NSData * data = [str dataUsingEncoding:NSUTF8StringEncod

4.使用Jackson将Json数据转换成实体数据

Jar下载地址:http://jackson.codehaus.org/ 注意:类中的属性名称一定要和Json数据的属性名称一致(大小写敏感),类之间的嵌套关系也应该和Json数据的嵌套关系一致. 4.使用Jackson将Json数据转换成实体数据,布布扣,bubuko.com