ETL调度开发(5)——连接数据库运行数据库命令子程序

ETL调度中读写数据信息,都须要连接数据库,以下的子程序通过传入的数据库连接字符串和数据库命令(或SQL)运行所须要的操作:

#!/usr/bin/bash
#created by lubinsu
#2014
source ~/.bash_profile
values=`sqlplus -S $1 << EOF
  set heading off feedback off pagesize 0 verify off echo off
    WHENEVER SQLERROR exit SQL.SQLCODE ROLLBACK
    $2
    commit;
    exit
EOF`
echo "${values}"

參数的參数依次是:数据库连接字符串,数据库命令(或SQL语句)

时间: 2024-11-13 10:39:31

ETL调度开发(5)——连接数据库运行数据库命令子程序的相关文章

ETL调度开发(5)——连接数据库执行数据库命令子程序

ETL调度中读写数据信息,都需要连接数据库,下面的子程序通过传入的数据库连接字符串和数据库命令(或SQL)执行所需要的操作: #!/usr/bin/bash #created by lubinsu #2014 source ~/.bash_profile values=`sqlplus -S $1 << EOF set heading off feedback off pagesize 0 verify off echo off WHENEVER SQLERROR exit SQL.SQLCO

ETL调度开发(1)——编写说明

前言: 在数据库运行维护过程中经常会需要在系统之间进行文件传输,对数据进行抽取.转换.整合等操作.并且在数据整合之后进行统计调度,这里将会对本人开发的一个ETL调度进行详细的说明. 需求概述: 调度分为如下方式: ü  一个是SHELL编写的ETL调度,支持小时.日.周.月文件的调度. ü  一个是流程调度,主要是根据配置表调用指定过程,并发执行. 进程描述: 文件调度进程每分钟起一次,文件调度后的后续处理进程也是每分钟起一次,自动预警进程每5分钟检查一次. 预警描述: 每日文件在指定时间内未到

ETL调度开发(2)——配置表说明

根据需求我们需要创建部分所需的配置表,各表说明如下: 1.文件FTP主机配置表:SHELL_HOST_CFG COLUMN_NAME DATA_TYPE COMMENTS LATN_ID NUMBER HOST_ID NUMBER 主机ID HOST_NAME VARCHAR2 主机名 HOST_IP VARCHAR2 主机IP HOST_PORT VARCHAR2 主机端口 USERNAME VARCHAR2 用户名 PASSWD VARCHAR2 密码 HOST_PATH VARCHAR2

ETL调度开发(4)——FTP加载文件子程序

ETL工具中最基础的功能是加载远程服务器的文件,如下小程序以二进制方式获取远程服务器上的文件: #!/usr/bin/bash #created by lubinsu #2014 source ~/.bash_profile filename=$6 srcdir=$4 descdir=$5 ftpip=$1 ftpusr=$2 ftppwd=$3 #get files ftp -i -in <<! open ${ftpip} user ${ftpusr} ${ftppwd} bin cd ${

系统设计与架构笔记:ETL工具开发和设计的建议

最近项目组里想做一个ETL数据抽取工具,这是一个研发项目,但是感觉公司并不是特别重视,不重视不是代表它不重要,而是可能不会对这个项目要求太高,能满足我们公司的小需求就行,想从这个项目里衍生出更多的东西估计难.昨天领导让我写写自己的见解,今天写了点,不过说见解还真不敢,所以取了个名字叫建议了,今天把这个文档贴到自己博客里和大伙分享分享. 贴文档之前,我想很多朋友估计并不熟悉ETL,如果接粗过数据挖掘一定对ETL很熟悉了,ETL是数据挖掘里非常重要的一环,具体什么是ETL,大家看下面这段文字: ET

C# Unity游戏开发——Excel中的数据是如何到游戏中的 (二)

本帖是延续的:C# Unity游戏开发——Excel中的数据是如何到游戏中的 (一) 上个帖子主要是讲了如何读取Excel,本帖主要是讲述读取的Excel数据是如何序列化成二进制的,考虑到现在在手游中应用很广泛的序列化技术Google的ProtoBuf,所以本文也是按照ProtoBuf的方式来操作的.ProtoBuf是一个开源库,简单来说ProtoBuf就是一个能使序列化的数据变得更小的类库,当然这里指的更小是相对的.好了ProtBuf的东西就不在多说,以后会专门写一篇帖子的.本帖其实就相当于上

&nbsp; &nbsp; JAVA SCRIPT SLIDESHOW 嵌入式开发的 VOID 运行链接开发

运行程序正在开始 简单地说,从不同的创建中来通过运行代码的原始去进行识别,应用代码编写如下: 嵌入式输入一段代码: 这段代码是从线路视频中去探访:<div id="anvsoftJavaScriptSlideshow" style="width: 650px; height: 370px; position: relative;"> <script src="anvsoftJavaScriptSlideshow-1.0.0.min.js?

每篇半小时1天入门MongoDB——4.MongoDB索引介绍及数据库命令操作

准备工作 继续连接到mongo C:\Users\zouqi>mongo MongoDB shell version: 3.0.7 connecting to: test 查看数据库和集合 > show dbs demo 0.078GB local 0.078GB myDatabase 0.078GB myTest 0.078GB > use myTest switched to db myTest > show collections persons system.indexes

App开发:模拟服务器数据接口 - MockApi

App开发:模拟服务器数据接口 - MockApi 为了方便app开发过程中,不受服务器接口的限制,便于客户端功能的快速测试,可以在客户端实现一个模拟服务器数据接口的MockApi模块.本篇文章就尝试为使用gradle的android项目设计实现MockApi. 需求概述 在app开发过程中,在和服务器人员协作时,一般会第一时间确定数据接口的请求参数和返回数据格式,然后服务器人员会尽快提供给客户端可调试的假数据接口.不过有时候就算是假数据接口也来不及提供,或者是接口数据格式来回变动--很可能是客