GreenPlum数据的装载与卸载之gpload的使用

Greenplum的gpload工具使用可读外部表和Greenplum并行文件服务器(gpfdist或者gpfdists)来装载数据。它处理并行的基于文件的外部表设置并且允许用户在一个单一配置文件中配置他们的数据格式、外部表定义以及gpfdist或者gpfdists设置。使用gpload工具,需要编写gpload的控制文件,这个控制文件是一个yaml格式文件,如下图所示:

然后执行gpload进行装载操作,如下:

控制文件的说明:
1、gpload的控制文件,同级的参数一定要保持一致的缩进;
2、"-"后面一定要有空格,如果":"后面要跟参数值,那么":"后面也一定要有空格;
3、gpload控制文件中也可以写一些SQL语句,如上图中,装载之前(before)truncate表,装载完成后(after)收集表的统计信息;
4、针对gpfdist的参数,也可以在控制文件中指定,比如上述指定了MAX_LINE_LENGTH、port参数。
参考文献:
1、gpload官方手册
2、Greenplum中文手册

原文地址:https://blog.51cto.com/candon123/2411154

时间: 2024-10-11 03:04:17

GreenPlum数据的装载与卸载之gpload的使用的相关文章

GreenPlum数据的装载与卸载之copy命令的使用

Copy是PostgreSql数据库自带的数据工具,它不仅支持表于表之间的数据加载,也支持文件于表之间的数据加载和表对文件的数据卸载.对于Greenplum数据库,使用copy命令进行数据加载,数据需要经过Master节点分发到Segment节点;同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件,这样就限制了数据加载与卸载的效率,数据量较小的情况下,使用copy命令就非常方便. 1.创建测试表 由于在建表语句中,没有指定具

GreenPlum数据的装载与卸载之外部表以及gpfdist工具的使用

Greenplum的外部表和ORACLE的外部表一样,都是数据存储在数据库之外的表.它的外部表除了可以加载本地的数据,还可以通过gpfdist工具并行加载数据.由于本地方式加载的效率低,已经被gpfdist取代.本文先介绍本地方式加载,后介绍gpfdist方式. 1.本地方式加载 1.1.创建外部表 rhnschema=# CREATE EXTERNAL TABLE ext_rhn1 (package_id numeric, primary_xml bytea, filelist bytea,

GreenPlum数据加载

1. copy命令 对于数据加载,GreenPlum数据库提供copy工具,copy工具源于PostgreSQL数据库,copy命令支持文件与表之间的数据加载和表对文件的数据卸载.使用copy命令进行数据加载,数据需要经过Master节点分发到Segment节点,同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件,这样就限制了数据加载与卸载的效率,但是数据量较小的情况下,copy命令就非常方便.下面测试通过copy命令实现操

7. Oracle数据加载和卸载

在日常工作中:经常会遇到这样的需求: Oracle 数据表跟文本或者文件格式进行交互:即将指定文件内容导入对应的 Oracle 数据表中:或者从 Oracle 数据表导出. 其他数据库中的表跟Oracle数据库进行交互. 若是少量数据:可选择的解决方案有很多.常用的用 Pl/SQL developer工具,或者手动转换为 INSERT 语句,或者通过API.但数据量大:用上面的方法效率太烂了.本文来说说 Oracle 数据的加载和卸载. Oracle中的DBLINK Oracle加载数据-外部表

动态库的装载与卸载

相关的三个函数: (LoadLibrary,GetProcAddress,FreeLibrary) 动态载入 DLL 动态载入方式是指在编译之前并不知道将会调用哪些 DLL 函数, 完全是在运行过程中根据需要决定应调用哪些函数. 方法是:用 LoadLibrary 函数加载动态链接库到内存,用 GetProcAddress函数动态获得 DLL 函数的入口地址.当一个 DLL 文件用 LoadLibrary 显式加载后,在任何时刻均可以通过调用 FreeLibrary 函数显式地从内存中把它给卸载

模块查询,装载,卸载

[转帖]Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇)

Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇) http://www.postgres.cn/v2/news/viewone/1/454 原作者:姚延栋 创作时间:2019-05-08 17:25:25+08   采编:wangliyun 发布时间:2019-05-09 08:25:28 欢迎大家踊跃投稿,投稿信箱:[email protected] 评论:0    浏览:1620 作者介绍 姚延栋,山东大学本科,中科院软件所研究生.PostgreSQL中文社区委员

用HAWQ轻松取代传统数据仓库(十一) —— 数据管理

一.基本操作1. INSERT        在常用的增删改查数据库操作中,HAWQ仅支持INSERT和SELECT两种,不支持UPDATE和DELETE,这主要是因为HDFS是一个只能追加数据而不能更新的文件系统.SELECT语句最熟悉不过,它应该是数据库中最常用的语句了,在下一篇"查询优化"时再进一步讨论.INSERT语句用于创建表行,该命令需要表名和表中每个列的值.在HAWQ中,该命令有四种用法,其中三种是SQL中的常规用法,另一种是对标准SQL的扩展.(1)指定列名与列值   

Oracle外部表详解(转载)

(外部表创建主要注意创建目录访问权限问题.目录路径格式无空格等不相关字符,即必须是当前表访问用户可以访问:关于表中行数的限制问题,如果不加限制注意添加reject limit unlimited:表中数据格式与创建表时access parameters中的定义需保持同步,适当用skip=1) 外部表概述 外部表只能在Oracle 9i之后来使用.简单地说,外部表,是指不存在于数据库中的表.通过向Oracle提供描述外部表的元数据,我们可以把一个操作系统文件当成一个只读的数据库表,就像这些数据存储