gp数据库

查看服务器版本:

jdk:Java -version

操作系统:cat/etc/redhat-release

数据库:select * from v$versin;

查看jboss版本   cat /opt/jboss/server/tfr-job/log/boot.log | grep ‘Release ID:‘ | sed -e ‘s/.*] //g‘ -e ‘s/ (.*)$//g‘

根据日志不同路径填写标记颜色部分

查看端口方法

ps –ef  |grep  实例名。得到实例名的pid

netstat  -ntlup |grep 实例名的pid  即可获得端口

GreenPlum  采取的是PostgreSql框架,    163只是一个管理节点,数据库的数据都在计算节点上  计算机点包括:192.168.218.164 165 166 167  237 238. 
ssh 192.168.218.164 登录计算节点

gpstop -M fast                 停掉数据库

gpstate           查看数据库是否启动

启动数据库

a、切换用户

[[email protected] ~]# su  –  sgpadmin

b、启动

[[email protected] ~]$ gpstart -a

查看最大连接数

su - sgpadmin

psql dp_dw163

dp_dw163=# show max_connections;

调整最大连接数

su - sgpadmin

cd $MASTER_DATA_DIRECTORY

vim postgresql.conf
查看连接数

ps -ef | grep postgres | grep con

同时连所有节点服务器的

su - sgpadmin

cd /home/sgpadim

gpssh -f allhost

在sdw5上的日志是报错的

=> ps -ef|grep silent
[sdw4] sgpadmin 5255 29439 0 11:56 pts/2 00:00:00 grep silent
[sdw3] sgpadmin 23381 21538 0 11:53 pts/2 00:00:00 grep silent
[sdw1] sgpadmin 41885 37057 0 12:02 pts/2 00:00:00 grep silent
[sdw2] sgpadmin 15201 13516 0 12:04 pts/2 00:00:00 grep silent
[ mdw] sgpadmin 39356 38744 0 12:02 pts/26 00:00:00 grep silent
[sdw5] sgpadmin 6123 1 0 11:11 ? 00:00:00 /usr/local/greenplum-db-4.3.6.1/bin/postgres -D /data2/sprimary/gpseg9 -p 40001 -b 11 -z 12 --silent-mode=true -i -M mirrorl

一般在启动或是停止数据库之前

用gpssh 命令连接整个集群

通过查看各个服务器上的数据库进程,确认是不是停好或是启好

=> ps -ef|grep postgres|wc -l
[sdw4] 1
[sdw3] 1
[sdw1] 1
[sdw2] 1
[ mdw] 1
[sdw5] 132
[sdw6] 1

查看gp在跑job数:

select * from pg_stat_activity where current_query<>‘<IDLE>‘ order by query_start desc;

1、导入数据

[[email protected] ~]# su - sgpadmin //切换用户

[[email protected] ~]$ psql dp_dw163 //使用dp_dw163登陆数据库

psql (8.2.15)

Type "help" for help.

dp_dw163=# delete from datamart.t_dimension_conf; //删除源数据,datamart.t_dimension_conf是表名

DELETE 277

dp_dw163=# copy datamart.t_dimension_conf from ‘/home/sgpadmin/t_dimension_conf.data‘;  //执行导入命令,/home/sgpadmin/t_dimension_conf.data 为导出文件存放路径和文件名字

COPY 143

dp_dw163=# select count(0) from datamart.t_dimension_conf ; //查询导入后总条数

count

-------

143

(1 row)

dp_dw163=#

2、导出数据

[[email protected] ~]# su - sgpadmin //切换用户

[[email protected] ~]$ psql dp_dw163 //使用dp_dw163登陆数据库

psql (8.2.15)

Type "help" for help.

dp_dw163=# copy datamart.dm_dept_org  to ‘/data/backup/dphqh20150707_datamart.dm_dept_org.data‘;

(datamart.dm_dept_org 数据的表名;/data/backup/dphqh20150707_datamart.dm_dept_org.data 导出以后的存放路径)

对于要求导出某一部分数据的情况:

dp_dw163=# copy (select * from tablename where column_name =  filter) to ‘dir‘;

通过括号中的语句控制

导出成excel格式的,需要先导出成csv根式,然后再转换成excel格式

dp_dw163=# copy (select * from tablename where column_name =  filter) to ‘dir.csv‘ CSV HEADER;

注:

CSV:打开逗号分隔变量(CSV)模式。

HEADER:声明文件包含一个头标识行,包含文件中每个字段的名字。

输出时,第一行包含表的字段名,输入时,第一行被忽略。

3、查询表的大小

select pg_size_pretty(pg_relation_size(‘datamart.dm_own_truck_deliver_wb_analy‘))  // “datamart.dm_own_truck_deliver_wb_analy”是表名

时间: 2024-11-05 15:23:07

gp数据库的相关文章

GP数据库笔记—表结构查询,表占用空间查询

GP数据库中表结构查询的方法: select d.nspname ,obj_description(d.oid) ,c.relname ,obj_description(c.oid) ,a.attnum ,a.attname ,e.data_type ,col_description(c.oid,a.attum) ,e.is_nullable ,case where e.data_type ~  'character' then e.character_maximum_length|| '' w

GP数据库分布键查询

GP数据库中的表一般都会设置分布键,如果没有设置的话,它一般默认是第一个字段,所以一般会建议使用一个记录会分布均匀的字段作为分布键使用,使表中的记录均匀的分布到每一个segment中. GP数据库分布键查询方法: select c.schema_name,        c.table_name,        c.table_comment as "中文表明",        c.column_name as "分布键",   from ( select d.ns

gp数据库停止

greenplum是2(master)+7(segment)的集群规模 系统刚准备上线,是用来做统计数据库的,正在帮忙一个hadoop集群核对其数据的准确性,在这个greenplum库中入了清单数据 后检查分析是部分建表语句存在问题,没有指定字段做分布键,也没有指定其是随机分布,导致默认为第一个字段做为分布键导致数据倾斜. 发现数据库非常慢,几乎是不可用,检查greenplum的状态情况 1.检查greenplum数据库的状态 [email protected]:~> gpstate   201

使用sql查询mysql/oracle/sql server/gp数据库中指定表的字段信息(字段名/字段类型/字段长度/是否是主键/是否为空)

1,根据数据库类型拼接不同URL /** * 根据类型不同拼接连接的URL * @param dbType 1:mysql.2:oracle.3:sql server.4:gp * @param ip * @param port * @param databaseName * @return*/ public static String getTestDbUrl(int dbType, String ip, String port, String databaseName){ String ur

Python脚本访问Greenplum数据库安装指导

安装前准备 (1)操作系统(系统上面要安装一些必备的开发工具(比如gcc等)) linux-82:/home/PyODBC # cat/etc/SuSE-release SUSE Linux EnterpriseServer 11 (x86_64) VERSION = 11 PATCHLEVEL = 1 (2)安装所需的软件包 greenplum-connectivity-4.3.0.0-build-2-SuSE10-x86_64.zip --GP官网下载,GP的JDBC和ODBC驱动 pyod

Perl脚本访问Greenplum数据库安装指导

安装前准备 (1)操作系统(系统上面要安装一些必备的开发工具(比如gcc等)) linux-82:/home/PlODBC # cat/etc/SuSE-release SUSE Linux EnterpriseServer 11 (x86_64) VERSION = 11 PATCHLEVEL = 1 (2)安装所需的软件包 greenplum-connectivity-4.3.0.0-build-2-SuSE10-x86_64.zip --GP官网下载,GP的JDBC和ODBC驱动 DBI-

Greenplum+Hadoop学习笔记-14-定义数据库对象之创建与管理表空间

6.2.创建与管理表空间 表空间建立在文件空间之上,文件空间建立在一系列文件系统之上.关于gpfilespace的所有说明如下所示: [[email protected] gpfs]$ gpfilespace --help COMMAND NAME: gpfilespace Creates a filespace using a configuration file that defines per-segment file system locations. Filespaces descri

greenplum数据库python自定义函数

greenplum数据库(下面简称gp数据库)支持自定义函数,下面介绍的是python编写的自定义简单函数.聚类函数较复杂,自我感觉不适合在gp数据库中编写. python自定义函数说明了只要python能对行级数据做的处理,gp都能做. 样例:python对json做处理返回多行. create or replace function public.json_parse(data text) returns setof text AS $$ import json try: mydata=js

使用sqluldr2实现将Oracle数据无落地快速导入Greenplum数据库

环境信息: Greenplum:Greenplum Version: 'postgres (Greenplum Database) 4.3.8.2 build 1' Oracle:Release 11.2.0.1.0 Production 1.       Oracle客户端部署 在使用sqluldr2工具之前,首先需要在Greenplum(以下都称为GP)的Master节点部署Oracle客户端,因为sqluldr2需要使用libclntsh.so等共享库. 假如你想省事的话,也直接从Orac