使用expdp(非本地)远程导出数据

背景

前段时间,需要从异地一个测试数据库中将测试数据(一张表)导入本地库,表数据量大约500万,字段160多个,开始用了exp/imp方式,速度奇慢,不能忍,于是转而使用expdp/impdp方式。

expdp/impd介绍

从10g开始,除了传统的exp/imp导入导出工具外,Oracle提供了expdp/impdp的数据泵导入导出工具。

从官方文档上看(http://docs.oracle.com/cd/E11882_01/server.112/e22490/dp_overview.htm#SUTIL802),Oracle数据泵由三部分组成:

>The command-line clients, expdp and impdp

>The DBMS_DATAPUMP PL/SQL package (also known as the Data Pump API)

>The DBMS_METADATA PL/SQL package (also known as the Metadata API)

The Data Pump clients, expdp and impdp, invoke the Data Pump Export utility and Data Pump Import utility, respectively.
数据泵客户端(expdp/impdp),分别会调用数据泵Data Pump Export/Import Utility应用工具。

The expdp and impdp clients use the procedures provided in the DBMS_DATAPUMP PL/SQL package to execute export and import commands, using the parameters entered at the command line. These parameters enable the exporting and importing of data and metadata for a complete database or for subsets of a database.
expdp/impdp客户端使用由DBMS_DATAPUMP PL/SQL包提供的存储过程来执行export/import命令,并且可以在命令行中添加参数,这些参数可以导入导出数据库中的数据和元数据或其中的一部分。

When metadata is moved, Data Pump uses functionality provided by the DBMS_METADATA PL/SQL package. The DBMS_METADATA package provides a centralized facility for the extraction, manipulation, and re-creation of dictionary metadata.

如果需要导入导出元数据,数据泵会使用DBMS_METADATA PL/SQL包提供的函数。DBMS_METADATA包会提供便捷的方法,用于抽取、控制和重建数据字典元数据。

The DBMS_DATAPUMP and DBMS_METADATA PL/SQL packages can be used independently of the Data Pump clients.

DBMS_DATAPUMP和DBMS_METADATA的PL/SQL包可以独立于数据泵客户端使用。

All Data Pump Export and Import processing, including the reading and writing of dump files, is done on the system (server) selected by the specified database connect string. This means that for unprivileged users, the database administrator (DBA) must create directory objects for the Data Pump files that are read and written on that server file system. (For security reasons, DBAs must ensure that only approved users are allowed access to directory objects.) For privileged users, a default directory object is available. See "Default Locations for Dump, Log, and SQL Files" for more information about directory objects.

所有的数据泵导入导出过程,包括读取和写入的dump文件,都在数据库服务器(server)上。这意味着对于非授权用户,DBA必须为数据泵文件创建服务器端可读写的目录对象,处于安全考虑,DBA必须确保只有授权用户可以访问这些目录对象。对于授权用户,可以使用默认的目录对象。

总结

数据泵工具expdp/impdp工具,执行时其实是调用的两个PL/SQL包(一个对应数据,一个对应元数据),读取和写入的dump文件存储于服务器上directory目录对应的文件夹中。

问题来了,如果没有服务器的账号,即使可以导出,但如何获取到导出的dump呢?

现在的需求是,从本地服务器使用expdp从远程服务器导出一张表的数据,然后使用impdp导入到本地库,且没有远程服务器的登录账号。

一个远程数据表的导入导出问题,当然这里使用exp/imp完全可以做到,现在看看expdp/impdp如何做。

解决方案:通过dblink实现远程数据的导入导出。

1. 本地库创建dblink指向远程库。

create database link gf_local connect to username identified by password using ‘tnsname‘;

2. 本地库创建directory目录对象。

create directory expdp_dir as ‘/home/oracle11g/expdp_dir/‘;

3. 本地库创建数据泵导出参数文件。

vi exp.par:

userid=username/password  //本地库的用户名密码,可用上面创建的dblink和directory目录。

directory=expdp_dir  //本地库创建的directory目录。

dumpfile=gf_expdp.dump  //dump文件名。

logfile=gf_expdp.log  //日志文件名。

tables=depkf15.t_cp  //要导出的表。

query=‘"where rownum<1000001"‘ //导出条件,前100万行。

network_link=gf_local  //dblink名。

注意,这里有个小问题值得注意,tables=depkf15.t_cp,如果待导出表和登录用户不同,则这里需要添加导出的对象schema(用户),否则会报错。

4. 执行导出命令。

expdp parfile=exp.par

开始报错了,提示:

ORA-31631:需要权限

ORA-39149:无法将授权用户链接到非授权用户

此时需要授予远程数据库用户exp_full_database权限:

GRANT exp_full_database TO username;

接下来就是等待了,dump文件会存储至本地的expdp_dir指向路径下。

总结

1. expdp/impdp是10g以上提供的数据泵工具,运行时会调用两个PL/SQL包,当然也可以直接运行这两个PL/SQL包,没试过,如果大家试过,也可以分享出来。

2. 导入数据库账户需要有imp_full_database权限,导出数据库账户需要有exp_full_database权限。

3. expdp比exp更优,还有一些地方,比如从help=y可以看到expdp有更多的参数可选,其中expdp有COMPRESSION压缩参数可选,解释如下:

Reduce the size of a dump file.

Valid keyword values are: ALL, DATA_ONLY, [METADATA_ONLY] and NONE.

可参考secooler的这篇文章(http://blog.itpub.net/519536/viewspace-630005/),比对了四种参数的压缩比。

4. 由于我的实验中,远程库和本地库之间网络不是很好,因此实际效果上,exp和expdp都比较慢,也是因为用了dblink的方式,就没再深入了,这里只是为了说明expdp/impdp如何实现远程数据库的导出。

后经同事测试,一个800MB的文件,使用exp导出大约用了1小时,expdp只需要不到10分钟,请注意,这里未使用COMPRESSION参数。

有人说这是由于exp和expdp导出机制决定的,exp导出过程实际是由select执行的加载数据,放到buffer cache,再传到export客户端写入dump文件。expdp则是采用直接路径模式,直接从磁盘读取,写入PGA,再传到export客户端写入dump文件。没有经过buffer cache缓存就一定程度决定了他的导出速度。

5. 网上有人说“expdp/impdp是服务端程序,影响他的只有磁盘IO”,从上面的介绍看,是不完全准确的,expdp/impdp是客户端工具,执行时调用的是数据库服务器端的两个PL/SQL包,上面的实验也是通过dblink进行的远程导入,并未在服务器端使用。

时间: 2024-09-29 07:26:23

使用expdp(非本地)远程导出数据的相关文章

利用DBLink实现数据泵远程导出数据

在数据库B服务器上利用数据泵导出数据库A中数据的简单实现.前提是2个数据的版本要一致. 1.数据库B上(以管理员身份)创建导出使用的用户SQL> create user daochuB identified by daochuB; 2.1授予连接角色,资源角色给用户SQL> grant connect,resource to daochuB;2.2授权创建数据链接SQL> grant create table,create database link to daochuB;或者直接给DB

oracle使用exp与imp在本地导入导出数据

导出: exp user/password owner=user file=你要输出的目录以及文件名,后缀为dmpexp IOTMON/iotmon owner=QSMES file=/home/oracle/iotmon.dmp导入:imp user/password file=文件所在的地址 (必须加full=y)imp qsmes/qsmes file=C:/files/qsmes.dmp full=y

mongodb远程数据库的连接以及备份导入导出数据

环境win10; 运行cmd cd到目录mongodb的bin目录: 连接远程mongodb: 连接命令:mongo -u username -p pwd host:post/database(数据库名) 当该用户有相应权限时,可以查看collection==>查看集合命令:show collections 导出命令:mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径 详细解释: -h:mongodb所在的服务器地址(必须指定端口),不

expdp远程导出oracle库

1.手动在本地建目录 E:\lvchengData 2.执行命令 create or replace directory data as 'E:\lvchengData\'; 3.为本地system用户建立权限 grant read, write on directory data to system; 4.建立link连接, lc为本地配置的远程oracle服务名 green5为远程oracle用户名.用户名 create database link lc connect to green5

Oracle 导入导出数据 imp/exp impdp/expdp

IMPDP/EXPDP 一.创建逻辑目录,该命令不会在操作系统创建真正的目录,最好以system等管理员创建.         create directory dpdata as '/opt'; 二.查看管理理员目录(同时查看操作系统是否存在,因为Oracle并不关心该目录是否存在,如果不存在,则出错)         select * from dba_directories; 三.给scott用户赋予在指定目录的操作权限,最好以system等管理员赋予.         grant rea

PLSQL_数据泵Datapump导入导出数据IMPDP / EXPDP(概念)(Oracle数据导入导出工具)

2014-08-31 BaoXinjian 一.摘要 在平常备库和数据库迁移的时候,当遇到大的数据库的时候在用exp的时候往往是需要好几个小时,耗费大量时间.oracle10g以后可以用expdp来导出数据库花费的时间要远小于exp花费的时间,而且文件也要小很多. 二.exp/imp与expdp/impdp区别 (1) 把用户usera的对象导到用户userb,用法区别在于fromuser=usera touser=userb ,remap_schema=’usera’:'usera’ . 例如

使用Exp和Expdp导出数据的性能对比与优化

1.前言 数据备份对信息系统的安全运行至关重要,我们的用户中,使用RMan或第三方专业备份软件的越来越多,但是很多用户仍然保留了传统的Exp作为备份策略的一部分,主要是由于这种备份方式简单易用,而且恢复到其他机器上也很方便,所以,虽然有其他的备份方式,但是Exp方式仍然会同时使用,甚至还有不少的用户只有这种备份方式. 随着用户的数据量增长,Exp导出方式存在的问题也日渐突出,主要就是耗时长,有的甚至超过3个小时,加上常见的后台自动作业:汇总表的计算,自动费用的计算,统计信息的收集等工作,使一个晚

EXPDP IMPDP 导入导出数据

1.创建目录mkdir /tmp/dump 2.导出数据sqlplus / as sysdbacreate or replace directory dump_dir as '/home/oracle/oracleDump';grant read,write on directory dump_dir to BBGO,BBGPS;exit expdp "'/ as sysdba'" schemas=BBGO dumpfile=BBGO.dmp DIRECTORY=dump_dir lo

oracle 数据泵expdp导出数据

1.登录数据库 sqlplus  zqb/zqb123@zqb; 2.创建逻辑目录 create or replace directory dmp as 'd:/dmp'; 3.为用户赋访问权限 grant  read.write on directory dmp to zqb; 4.导出数据 expdp zqb/zqb123@zqb directory=dmp  dumpfile=20160321.expdp   nologfile=Y  schemas=zqb; 原文地址:https://w