首先,概览下任务图:
流程是,先用tHDFSDelete将hdfs上的文件删除掉,然后将oracle中的机构表中的数据导入到HDFS中;建立hive连接-》hive建表-》tJava获取系统时间-》tHiveLoad将hdfs上的文件导入到hive表中。
下面介绍每一个组件的设置:
tHDFSDelete_1:
机构:
tHDFSOutput_1:
hive:
tHiveCreateTable:
tJava_1:
tHiveLoad_1:
在Context下面建一个内容变量:
这个内容变量riqi, 在tJava_1中赋值,然后在tHiveLoad_1中被使用,这样插入的分区就是程序运行是的系统日期。
[[email protected] root]$ hive Logging initialized using configuration in file:/etc/hive/conf/hive-log4j.properties SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hadoop/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hive/lib/hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] hive> use zhangchao; OK Time taken: 1.023 seconds hive> show tables; OK jigou Time taken: 0.255 seconds, Fetched: 1 row(s) hive> select * from jigou limit 10; OK d64ceb0d-c85a-43ca-a705-c34f4258e938 002 成都高新区西园社区卫生服务中心 CDGXQXYSQW 1 09465203-3 程小川 oracle.sql.OPAQUE@7cfa3f14 510109 13323434 821028cc-30cc-461b-a197-28d62abc92dc 002 成都高新区中和社区卫生服务中心 CDGXQZHSQW 1 45081237-2 贾朝勇 028-85658497 成都市高新区中和大道3段56号 oracle.sql.OPAQUE@11437a26 13323434 0a49de29-5562-4951-abf3-829b0cff9692 004 成都高新区肖家河社区卫生服务中心 CDGXQXJHSQ 1 岳晖 028-85178759 成都高新区肖家河巷8号 oracle.sql.OPAQUE@65085da4 13323434 fd6d1f13-e435-4461-8cdc-d2fe48158c8c 001 高新区合作社区卫生服务中心 GXQHZSQWSF 1 45085201-6 罗洪林 028-87876286 成都高新区合作清江小区清源环街171号 oracle.sql.OPAQUE@83bedce 510109 13323434 94ac1712-199f-4461-9761-5d5ed3410a7f 003 高新区芳草社区卫生服务中心 GXQFCSQWSF 1 003 管理员 oracle.sql.OPAQUE@1679739b 13323434 d64ceb0d-c85a-43ca-a705-c34f4258e938 002 成都高新区西园社区卫生服务中心 CDGXQXYSQW 1 09465203-3 程小川 oracle.sql.OPAQUE@3116aa4b 510109 2015-06-29 821028cc-30cc-461b-a197-28d62abc92dc 002 成都高新区中和社区卫生服务中心 CDGXQZHSQW 1 45081237-2 贾朝勇 028-85658497 成都市高新区中和大道3段56号 oracle.sql.OPAQUE@47063b1a 2015-06-29 0a49de29-5562-4951-abf3-829b0cff9692 004 成都高新区肖家河社区卫生服务中心 CDGXQXJHSQ 1 岳晖 028-85178759 成都高新区肖家河巷8号 oracle.sql.OPAQUE@6a124c63 2015-06-29 fd6d1f13-e435-4461-8cdc-d2fe48158c8c 001 高新区合作社区卫生服务中心 GXQHZSQWSF 1 45085201-6 罗洪林 028-87876286 成都高新区合作清江小区清源环街171号 oracle.sql.OPAQUE@57552dfc 510109 2015-06-29 94ac1712-199f-4461-9761-5d5ed3410a7f 003 高新区芳草社区卫生服务中心 GXQFCSQWSF 1 003 管理员 oracle.sql.OPAQUE@193e282f 2015-06-29 Time taken: 0.807 seconds, Fetched: 10 row(s) hive>
时间: 2024-08-05 09:04:35