2019第52周日

SpringBatch 是一个大数据量的并行处理框架。通常用于数据的离线迁移,和数据处理,?持事务、并发、流程、监控、纵向和横向扩展,提供统?的接?管理和任务管理;考虑易用性、可扩展性,灵活性,可编程性,Spring Batch会比较适合有点编程基础(特别是使用Spring及SpringBoot框架)的开发人员,针对业务编程,可自由发挥。

kettle是一款可以可视化编程的开源ETL工具,把数据处理简化为Job和Transform,在Transform中,提供了各种数据读、写、转换、处理的工具。开发者仅需要以工具界面中拖拽相应的工具,进行步骤连接即可完成一个ETL工作,不同的工具及步骤结合起来可以形成相对复杂的作业流程,以完成ETL工作。但它易学难精,它提供的操作非常多,要把它们都熟悉而且做到相互结合来完成任务,是有一定难度的。二是对于一些复杂的的逻辑判断及操作,kettle虽然可以做,但操作起来就很复杂。三是不方便调试,尽管它内置有调试功能,但由于在转换中,操作都是并行的,单步调试比较难实现。四是内存消耗,本身kettle界面跑起来已经是比较耗内存的,而作业中数据量大的时候,内存消耗更大。

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,从架构上而言也是设计得很简洁的,它作为数据搬运工,支持任意数据类型的同步工作,跟Spring Batch有异曲同工之妙,DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。但是不常维护更新,github上最近的更新是去年(2018);二是二次开发有难度。三是使用规则操作起来不是很灵活,基本是通过json配置文件,按规则进行配置,想自定义规则是不行的。

使用arthas,可以诊断stack、thread、class、function的性能及调用分析,jmap加上eclipse mat就可以覆盖性能分析、heap分析的全部要求了。

原文地址:https://www.cnblogs.com/doit8791/p/12079628.html

时间: 2024-08-30 11:48:11

2019第52周日的相关文章

2019第11周日

2019过去1/5了,你的目标实现进度达到1/5了吗? 时间不会因为你没准备好而停止,时间也不会因为你悔恨而倒退,时间总是以最简单规律不紧不慢的往前走,时间总是馈赠那些珍惜它用好它的朋友. Rod,Juergen 和 Yann 于 2003 年 2 月左右开始合作开发该项目 .Yann 为新框架创造了“Spring”的名字.Yann Caroff 在早期离开了团队,Rod Johnson 在 2012 年离开,Juergen Hoeller 仍然是 Spring 开发团队的积极成员. 自 200

2019第23周日

端午遇上高考,1031万考生奔赴考场,背后有上亿个关心加油的人.护航2019高考,6月7日至9日,全国举行2019年高考.高考首日,北京试卷从各区的教育招生和考试中心运送至考点,全程GPS跟踪和移动视频监控,确保试卷保密性. 高考能改变人的一生,但高考不能决定人的一生. 一个远程接口调用服务要保存服务地址信息,同时要处理地址的立即更新,这里会存在同步问题,根据同步代码执行时间要确定同步方法,是否用读写锁,是否用读写互斥的读写锁.Java中大部分锁.同步工具都是基于AQS实现的,它又是基于通过JN

第52周日

2014年最后一个周末,想起来总忍不住感慨时间的流逝,原来定下的2014三大目标只实现了一个:找对对象,拿到驾照和出国旅游只能放到2015了,尤其是驾照,不能以将来可能会自动驾驶为借口不去学驾照,要尽快学习并拿到.另外2014想让自己成为一名业余投资者和业余编辑目标也没成功,在2015要再往这两方面努力.个人核心方向还是更健康更智慧更富有更个性化.努力,让自己变得越来越好! 来自为知笔记(Wiz)

2019第2周日-要点回顾

消息中间件的可靠性是指对消息不丢失的保障程度:而消息中间件的可用性是指无故障运行的时间百分比,通常用几个 9 来衡量.不存在绝对的可靠性只能尽量趋向完美.并且通常可靠性也意味着影响性能和付出更大的成本,因此实际应用时还要根据业务需求,对真正关键的信息来做可靠性保证,并要从生产者.消息队列.消费者三个维度来努力. 如果在发送消息时采用了事务机制或者publisher confirm机制的话,服务端的返回是在消息落盘之后执行的,这样可以进一步的提高了消息的可靠性.但是即便如此也无法避免单机故障且无法

2019第3周日-回顾

ActiveMQ常用的三种持久化存储方案:KahaDB.LevelDB.关系型数据库.其中KahaDB和LevelDB的工作原理基本类似,都采用内存+磁盘介质的方案:内存用于存放信息的位置索引,磁盘介质上存放消息内容.而关系型数据库的方案,ActiveMQ将完全通过JDBC对数据库进行操作完成消息的存储和修改.某种存储方案的性能,除了这种存储方案的工作原理以外对其有直接影响外,还要考虑它的工作环境.只有根据软件团队预估的系统压力.综合建设方案.考虑后续扩容方式,来确定采用哪一种存储方案,才是科学

2019第5周日

农历腊月二十九,假期第2天,法定假日前一天. 减少写作焦虑,更要减少应付,没啥好写的就推荐自己遇到最好的文章,并思考为啥自己觉得好.哪怕只是一个故事段子笑话让人一乐也行. 看到李想的创业经验,年轻人创业和发展七个要点: 方向.目标.意愿.方法.毅力.成果.自我观察. 方向.目标很多人表面都很重视,但如果真要他讲清楚自己的方向.目标是什么,为什么要这样,估计很少人能做到.为什么?没有足够的重视,没有强烈的意愿,自然也没有时刻把它们放在心上,在现代社会诱惑一多,很容易被琐事占据自己的时间精力.影响自

2019第6周日

2月10号,大年初六,春节假期最后一天. 这一周是春节休息的一周,走亲访友的同时看了李善友在混沌大学的大课,他讲的第二曲线.第一性原理让我对思维模型有新的认识. 随着科技发展越来越快,未来社会出现越来越多的非连续性,不光是企业,我们每个人都需要第二曲线,它可能是从第一曲线中某一个点放大形成的.我们以往学习多是通过归纳法总结经验的方式,但它有个前提要求是事物是连续的,但从第一曲线跳到第二曲线时往往是不连续的,而我们要跨域的方法就是运用第一性原理,找到第一曲线和第二曲线的底层的第一性原理(往往是相同

2019第7周日

春节后上班第1周,原以为请教的人比较多吃饭会比较空,结果大部分都按时上班回到公司吃饭反而更挤了.这也算是想象与真实差距很大的例子,其实还有很多想象很美好的人和事,当事实上根本不是那样,我们想要更好就必须拥有智慧看到事实的真相. 春节期间看了很多关于思维模型相关的视频和文章,也更意识到学习思维模型的重要性.它是人类文明进化过程中形成的金字塔顶端的蓝宝石,是重要学科的重要理论,是顶尖高手每天都在刻意练习和使用的思维工具. 模型思维:以结构思维为框架,碎片化知识填充,形成了稳固可视化模型,左右脑协同记

2019第8周日

在以前的Java版本中,日期和时间相关的类存在诸多问题: Java的日期/时间类的定义并不一致,在java.util和java.sql的包中都有日期类,此外用于格式化和解析的类在java.text包中定义. java.util.Date同时包含日期和时间,而java.sql.Date仅包含日期,将其纳入java.sql包并不合理.另外这两个类都有相同的名字,这本身就是一个非常糟糕的设计. 对于时间.时间戳.格式化以及解析,并没有一些明确定义的类.对于格式化和解析的需求,我们有java.text.