spool 的学习及使用
spool 常用的命令设置:
SET echo off --在用start命令执行一个sql脚本时,是否显示脚本中正在执行的SQL语句;
SET feedback off --是否回显本次sql命令处理的记录条数,缺省为on;
SET heading off --是否显示列标题,缺省为on;
SET pagesize 50000 --设置每页有多少行数,缺省为14。当值设为0时,输出内容为一页且不显示列标题,为了避免分页,我们通常可设定为0。
SET termout off --是否在屏幕上显示输出的内容,或脚本中的命令的执行结果,缺省为on;
SET trimout on; --去除标准输出每行后面多余的空格,缺省为off;
SET timing off --显示每个sql语句花费的执行时间;
SET trimspool on --去除重定向(spool)输出每行的拖尾空格,缺省为off;
SET NULL text --显示时,用text值代替NULL值;
SET serveroutput off --是否显示用DBMS_OUTPUT.PUT_LINE包进行输出的信息;--编写存储过程时,大多会将必要的信息输出;
SET newpage none --设置页与页之间的分隔{1|n|NONE};当值为0时在每页开头有一个小的黑方框;当值为n时在页和页之间隔着n个空行;当为none 时,会在页和页之间没有任何间隔;
SET linesize 1000 --设置一行可以容纳的字符数{80|n};输出内容大于设置的行可容纳的字符数,则折行显示.据实际字符设置,过大导出速度慢;
SET wrap on --输出行长度大于设置行长度时(用set linesize n命令设置);值为on时,多余的字符另起一行显示,否则多余的字符将被切除,不予显示;
SET verify off --是否显示替代变量被替代前后的语句;
SET colsep‘ ‘; --域输出分隔符;
------------------------------------------------------------------
导出文本数据的建议格式:
SQL*PLUS环境设置--
SET echo off --在用start命令执行一个sql脚本时,不显示脚本中正在执行的SQL语句
SET heading off --不显示字段的名称
SET pagesize 0 --设置输出每页行数,为了避免分页,可设定为0。设置为0时,输出内容为一页且不显示列标题具有SET heading off 包含的功能。
SET newpage none --页与页之间没有分隔
SET trimout on --去除标准输出每行后面多余的空格
SET trimspool on --去除重定向(spool)输出每行的拖尾空格
SET linesize 1000 --设置一行可以容纳的字符数
SET feedback off --是否回显本次sql命令处理的记录条数,缺省为on;
工作运用时导出文本数据的常用格式:
SET echo off
SET pagesize 0
SET feedback off
SET trimout on
SET trimspool on
SET linesize 1000
spool 路径+文件名
需要执行的SQL代码
spool off
注:linesize 要稍微设置大些,免得数据被截断,它应和相应的 trimspool 结合使用防止导出的文本有太多的尾部空格。但是如果 linesize 设置太大,会大大降低导出的速度,另外在WINDOWS下导出最好不要用PLSQL导出,速度比较慢,直接用COMMEND下的 SQLPLUS 命令最小化窗口执行。
对于字段内包含很多回车换行符的应该给与过滤,形成比较规矩的文本文件。通常情况下,我们使用SPOOL方法,将数据库中的表导出为文本文件的时候会采用两种方法,如下述:
方法一:采用以下格式脚本
set colsep ‘|‘ --设置|为列分隔符
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
set num 18
set feedback off
spool 路径+文件名
select * from tablename;
spool off
方法二:采用以下脚本
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select col1||‘,‘||col2||‘,‘||col3||‘,‘||col4||‘..‘ from tablename;
spool off
比较以上方法,即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,方法二将分隔符拼接在SELECT语句中,即手工控制输出格式。
在实践中,发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sqlldr导入的时候出错的可能性在95%以上,尤其对大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。
而方法二导出的数据文件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本都可以导入成功。
有网友在linux 服务器上直接编辑脚本实现:
将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i 操作系统 SUSE LINUX Enterprise Server 9)
spool_test.sh脚本如下:
#!/bin/sh
DB_USER=zxdbm_ismp #DB USER
DB_PWD=zxin_smap #DB PASSWORD
DB_SERV=zx10_40_43_133 #DB SERVICE NAME
sqlplus -s $DB_USER/[email protected]$DB_SERV$amp;set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool promt.txt
select taskindex||‘|‘||commonindex||‘|‘||tasktype||‘|‘||to_number(to_char(sysdate,‘YYYYMMDD‘)) from ssrv_sendsms_task;
spool off
EOF
执行./spool_test.sh后生成sp_test.txt,内容如下:
83|115|1|20080307
85|115|11|20080307
86|115|10|20080307
84|115|2|20080307
6|5|14|20080307
7|5|12|20080307
9|5|15|20080307
注:上面自测例中,spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数,如果将上述逻辑代码封装为一个function,然后来调用这个function的话,则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码,封装后则spool函数失效。
对于promt.txt在相对路径下,下面2中方法在shell环境中执行时,两者只能择一,两者并存则spool函数会失效。假设promt.txt文件生成的路径为:/home/zxin10/zhuo/batchoperate/spoolfile
方式[1]
echo "start spool in shell.."
sqlplus -s zxdbm_ismp/zxin_smap$amp;set pagesize 0
set echo off feed off term off heading off trims off
set colsep ‘|‘
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt
select batchindex||‘|‘||productid||‘|‘||contentid||‘|‘||optype||‘|‘||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
方式[2]
echo "start spool in shell.."
cd /home/zxin10/zhuo/batchoperate/spoolfile
sqlplus -s zxdbm_ismp/zxin_smap$amp;set pagesize 0
set echo off feed off term off heading off trims off
set colsep ‘|‘
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool promt.txt
select batchindex||‘|‘||productid||‘|‘||contentid||‘|‘||optype||‘|‘||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
因此,实践中建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。