采用SHELL，通过SQL LOAD导入一定格式的txt文件至数据库中

1。 准备工作，window中可直接通过sqlload直接导入文件，linux下，需要有sqlload的相关软件。

2。 SQL脚本（MID_DFDZ.ctl）

  1. LOAD DATA
    INTO TABLE MID_T0_TRANS
    truncate
    FIELDS TERMINATED BY ‘|‘
    (
    stldate,
    merno,
    termno,
    pan,
    transamt,
    refno,
    termssn,
    batno,
    transdate,
    workdate,
    fee
    )

3.shell脚本（getDFDZ.sh）

　　#!/bin/bash

　　if [ $# -lt 2 ]
　　then
　　echo "miss arguments"
　　exit -1
　　fi

　　#parameters

　　BATDATE=$1
　　SEQ_NO=$2

　　FILE_DFDZ=DFDZ_${BATDATE}
　　#FTPADDR=172.16.3.8
　　FTPADDR=144.131.254.186
　　FTPUSER=dc
　　FTPPSWD=dc2012
　　#home/liushui/
　　LOCAL_PATH="/100600/xqfdzwj/dfdz"
　　#FTP_PATH="/weblogic/100600/xqfdzwj/dfdznew/"
　　FTP_PATH="/dc/jy/dfdz/"
　　DFDZPATH=/dc/jy/dfdz
　　DFDZFILE=$DFDZPATH/"DFDZ_"$BATDATE.txt
　　LOCFILE=/dc/jy/ctl
　　ftp -in $FTPADDR << !
　　user $FTPUSER $FTPPSWD
　　bin
　　lcd $FTP_PATH
　　cd $LOCAL_PATH
　　echo pwd
　　get $FILE_DFDZ
　　bye
　　!

　　DBUSER=dc
　　DBPWD=dc_2015
　　DBNAME=dcdb

　　DFDZCTLFILE=$LOCFILE/MID_DFDZ.ctl

　　DFDZBADFILE=$LOCFILE/${BATDATE}_dfdz.bad
　　DFDZLOGFILE=$LOCFILE/${BATDATE}_dfdz.log

　　sqlplus -s ${DBUSER}/${DBPWD}@${DBNAME}<<!
　　ALTER TABLE TB_MAINTENANCE nologging
　　!
　　sqlldr userid=${DBUSER}/${DBPWD}@${DBNAME} control=$DFDZCTLFILE data=$DFDZFILE log=$DFDZLOGFILE bad=$DFDZBADFILE 　　errors=1000000 rows=10000
　　RESULT=$?
　　if [ $RESULT -ne 0 ]
　　then
　　SetCmdRslt $SEQ_NO 3
　　exit -1
　　fi

　　RESULT=$?
　　if [ $RESULT -ne 0 ]
　　then
　　exit -1
　　fi
　　exit 0

4。 txt格式文件（T0_H_20151009.txt）

　　20151009|898340150399030|01086952|6214855491055386|1300.00|000789608053|000308|000001|133904|20151009|0.65
　　20151009|898320559990126|55447203|6225768706558846|4085.00|000789614773|001363|000001|134011|20151009|0.00
　　20151009|898620950130467|942E0166|6259654270166308|7930.00|000789615305|000218|000001|134011|20151009|3.97
　　20151009|898654059982123|65412446|6217858300020175452|42097.00|000789614807|000069|000001|134013|20151009|21.05
　　20151009|898430153980696|21183401|6222060012065499|97555.00|000789615795|000102|000001|134014|20151009|48.78
　　20151009|898210245112423|15061518|4062522603299967|59900.00|000789615371|000833|000001|134016|20151009|29.95
　　20151009|898411459982063|41145254|4512893437225106|16000.00|000789615837|000121|000003|134017|20151009|16.00
　　20151009|898532550394078|TF407801|4581242413584282|22000.00|000789614459|000361|000001|134020|20151009|11.00

时间： 2024-10-23 23:32:18

采用SHELL，通过SQL LOAD导入一定格式的txt文件至数据库中的相关文章

SQL SERVER 使用BULK Insert将txt文件中的数据批量插入表中（1）

1/首先建立数据表 CREATE TABLE BasicMsg( RecvTime FLOAT NOT NULL , --接收时间,不存在时间相同的数据 AA INT NOT NULL, --24位地址码 . FlightID Varchar(10) NULL, --航班号) 2/ 建立存储过程 USE DF17DataProIF EXISTS (SELECT * FROM SYS.PROCEDURES WHERE OBJECT_ID = OBJECT_ID(N'[DBO].[BulkDataP

C#读取固定文本格式的txt文件

C#读取固定文本格式的txt文件 一个简单的C#读取txt文档的程序,文档中用固定的格式存放着实例数据. //判断关键字在文档中是否存在 var isTr = File.ReadAllLines("1.txt").Any(x => x.Split(',')[0] == "设备ID:107157061").ToString(); //获取序列中满足查询条件的第一条数据 var a = File.ReadAllLines("1.txt").Fi

向Sql Server数据库中导入固定格式的txt文本数据

文本数据量比较大的时候,一条条的输入基本不可能,写个程序来中转一下也是很麻烦,幸运的是sql server提供了比较简洁的方法. Bulk insert 表名 from 'C:\你的文本文件.txt' with (FieldterMinator ='以什么符号分割数据', RowterMinator= '以什么符号加\n结尾') --\n是回车的意思,就是回车前面是什么符号,如果没符号直接单引号\n Bulk insert #temp from 'C:\test.txt' with (Field

MySQL库database导入到另一台服务器的数据库中

Copying MySQL Databases to Another Machine In cases where you need to transfer databases between different architectures, you can use mysqldump to create a file containing SQL statements. You can then transfer the file to the other machine and feed i

python实现将json数据以json格式写入txt文件

json.dumps中indent参数是设置json缩进量的 举例: tmp = { "aaa" : "111", "bbb" : '222'} import json with open("tmp.txt", "w") as fp: fp.write(json.dumps(tmp,indent=4)) 打开tmp.txt查看效果 原文地址:https://www.cnblogs.com/VseYoung/

PL/SQL Developer导入导出Oracle数据库方法

前一篇博客介绍了Navicat工具备份Oracle的方法,这篇博客介绍一下使用PL/SQL Developer工具导入导出Oracle数据库的方法. PL/SQL Developer是Oracle数据库用于导入导出数据库的主要工具之一,本文主要介绍利用PL/SQL导入导出Oracle数据库的过程. 1.Oracle数据库导出步骤 1.1 Tools→Export User Objects...选项,导出.sql文件. 说明:此步骤导出的是建表语句(包括存储结构). 1.2 Tools→Expor

导入txt文件到SQL SERVER 2008

最近在学习数据库,想要试处理大量数据.大量的数据手动输入是不可能的了,所以需要导入.本人上网看了不少的教程,然后下载了txt格式的一万条彩票开奖记录数据.但是把这些数据导入到SQL Server 2008中仍然花费了一天半的时间.上网上找的教程始终没有很好的解决我在导入过程中的遇到的问题.为此写这篇博客以供参考!下面先图解导入步骤,最后再说注意事项.(本篇博客只对菜鸟有用) 第一步,打开导入导出工具.(win7 32位系统下SQL自带,64位系统下好像要装) 第二步,选择源文件的格式.这里txt

ORACLE和SYBASE数据库中实现数据查询条数限制的SQL语句实现

一.概述 对于某些需要通过数据库与大量数据打交道的软件来说,处理性能相当的重要.为了保证软件能够将所有数据处理完而不至于崩溃,分批处理的思想应运而生.分批处理的具体做法是编写SQL语句,每次返回规定条数的数据给软件处理,待这一批数据处理完之后,再接着处理下一批. 本文通过对具体的数据库表(tb_employeeinfo)的操作过程,展示了ORACLE和SYBASE数据库中分批处理SQL语句的编写方法. 二.ORACLE数据库中的处理 首先,建立tb_employeeinfo表,其定义如下: be

【转】使用SQL Server 2012的FileTable轻松管理文件

一 .FileStream和FileTable介绍 我们经常需要把结构化数据(int.Char等)和非结构化数据(如Varbinary(max))一起存储,那我们在怎么存储的呢? 1. 在SQL Server 2008之前,我们通常在数据库中存储结构化的数据,并且将非结构化数据(例如文档.音频.视频等)存储在NTFS文件系统中,然后在数据库中存放这些文件的路径.但是显而意见,很难保证文件系统和数据库的一致性. 2. 在SQL Server 2008,新增了FileStream,它允许我们将Var