先前一直使用的是postgresql，因为网速的原因，所以打算将数据统一放到HDFS上，但是一条一条写HDFS是很慢的，全部写到本地文件再传到HDFS上也是一样慢，这样一来就有了本文，将部分先放到内存数据库中，然后再写到HDFS上，这样数据抽取和写入的速度一下翻了好几倍！好了，说说怎么在kettle中使用H2
先去下载H2,点击下载
我测试的时候下的是windows版本，解压后，执行h2/bin/h2.bat，执行成功后，会打开下图的界面
红框中的内容输入什么见下面代码
Database URLs Embedded //嵌入式 jdbc:h2:~/test ‘test‘ in the user home directory jdbc:h2:/data/test ‘test‘ in the directory /data jdbc:h2:test in the current(!) working directory In-Memory //内存式 jdbc:h2:mem:test multiple connections in one process jdbc:h2:mem: unnamed private; one connection Server Mode //服务器模式 jdbc:h2:tcp://localhost/~/test user home dir jdbc:h2:tcp://localhost//data/test absolute dir Server start:java -cp *.jar org.h2.tools.Server Settings //配制模式(这个我不多用) jdbc:h2:..;MODE=MySQL compatibility (or HSQLDB,...) jdbc:h2:..;TRACE_LEVEL_FILE=3 log to *.trace.db
我先试用的是内存模式，但是试了以后才发现，H2支持的场景对我不适用，因为内存模式，要求所有的链接都在一个进程内，这对于kettle来说是不现实的，如果非要用，那只能将创建表的语句，和使用表的模块放到一个transform中，如下图
看到了，最上面的图标是建表语句，下面的是往表中插入数据，必须这样使用，放到JOB中无效，只能在一个transform中，好了，看下图看看我们怎么用kettle连接内存模式的H2
以上这两种方式都可以连接到内存模式的H2，选择一种使用即可。
下面说说适合我场景的嵌入式模式
先看连接方式，只能这样连接
使用嵌入式模式的好处是，创建表的模块和入库的模块可以在两个不同的transform中，因为嵌入式的模式是将数据写到默认的硬盘上了，好了就先写到这儿了，快去试试，有啥问题，直接留言。
时间： 2024-08-05 23:00:19