Greeplum 系列(一) Greenplum 架构

Greeplum 系列(一) Greenplum 架构

Greenplum 可进行海量并行处理 (Massively Parallel Processing)

一、Greenplum 体系架构

Greenplum 由三部分组成:Master Host、Segment、Interconnect。

1.1 Master Host

  1. 访问系统的入口
  2. 数据库侦听进程 (postgres)
  3. 处理所有用户连接
  4. 建立查询计划
  5. 协调工作处理过程
  6. 管理工具
  7. 系统目录表和元数据(数据字典)
  8. 不存放任何用户数据

1.2 Segment

  1. 每段(Segment)存放一部分用户数据
  2. 一个系统可以有多段
  3. 用户不能直接存取访问
  4. 所有对段的访问都经过 Master
  5. 数据库监听进程(postgres)监听来自 Master 的连接

1.3 Interconnect

  1. Greenplum 数据库之间的连接层
  2. 进程间协调和管理
  3. 基于千兆以太网架构
  4. 属于系统内部私网配置
  5. 支持两种协议:TCP or UDP

Greenplum网络配置示例

说明:

(1) Master Host 和 StandBy Master 用广域网连接起来,满足用户网络提交的需求(对外)。

(2) 每个 Segment 主机上可以有多个 Segment 实例,每个 Segment 对应一个 CPU/网上,主要是避免资源争夺。本实例中有 4 个网口连接到 4 个虚拟的局域网,每个虚拟的局域网对应一个网段 172.16.0、172.16.1、172.16.2。

(3) ILOM 这个网口主要是控制台的控制,提供给管理员来访问每一台主机的接口。

二、Greenplum 高可用性体系架构

  1. Master Host 实时同步到 StandBy Master 节点上。

2.1 Master/Standby 镜像保护

  • Standby 节点用于当 Master 节点损坏时提供 Master 服务
  • Standby 实时与 Master 节点的 Catalog 和事务日志保持同步

2.2 数据冗余-Segment 镜像保护

  • 每个 Segment 的数据冗余存放在另一个 Segment 上,数据实时同步
  • 当 Primary Segment 失败时,Mirror Segment 将自动提供服务
  • Primary Segment 恢复正常后,使用 gprecoverseg –F 同步数据。

Segment 主机硬件配置示例

2.3 网络冗余



每天用心记录一点点。内容也许不重要,但习惯很重要!

原文地址:https://www.cnblogs.com/binarylei/p/9079387.html

时间: 2024-08-30 16:41:14

Greeplum 系列(一) Greenplum 架构的相关文章

Greeplum 系列(七) 权限管理

Greeplum 系列(七) 权限管理 一.角色管理 Role 分为用户(User)和组(Group),用户有 login 权限,组用来管理用户,一般不会有 login 权限.初始化 gp 时创建了一个 SUPERUSER ROLE:gpadmin. 表 1 :ALTER ROLE 属性 属性 说明 SUPERUSER/NOSUPERUSER 超级管理员,默认 NOSUPERUSER CREATEDB/OCREATEDB 创建数据库的权限 CREATEROLE/NOCREATEROLE 创建角色

Java 集合系列 02 Collection架构

java 集合系列目录: Java 集合系列 01 总体框架 Java 集合系列 02 Collection架构 Java 集合系列 03 ArrayList详细介绍(源码解析)和使用示例 Java 集合系列 04 LinkedList详细介绍(源码解析)和使用示例 首先,我们对Collection进行说明.下面先看看Collection的一些框架类的关系图: Collection是一个接口,它主要的两个分支是:List 和 Set. List和Set都是接口,它们继承于Collection.L

Java 集合系列 08 Map架构

java 集合系列目录: Java 集合系列 01 总体框架 Java 集合系列 02 Collection架构 Java 集合系列 03 ArrayList详细介绍(源码解析)和使用示例 Java 集合系列 04 LinkedList详细介绍(源码解析)和使用示例 Java 集合系列 05 Vector详细介绍(源码解析)和使用示例 Java 集合系列 06 Stack详细介绍(源码解析)和使用示例 Java 集合系列 07 List总结(LinkedList, ArrayList等使用场景和

Greeplum 系列(三) 基本用法

Greeplum 系列(三) 基本用法 <PostgreSQL 教程>:https://www.yiibai.com/postgresql 一.Greeplum 登陆与创建 1.1 登陆 psql -d test -h 127.0.0.1 -p 5432 -U gpadmin 注意:默认登陆的表名为 gpadmin 1.2 创建数据库 create database test; # 需要登陆 psql createdb test; # 命令行模式 二.创建与管理模式 访问模式的对象:schem

Greeplum 系列(六) 备份与恢复

Greeplum 系列(六) 备份与恢复 一.备份 1.1 并行备份(gp_dump) GP 同时备份 Master 和所有活动的 Segment 实例,备份消耗的时间与系统中实例的数量没有关系.在 Master 主机上备份所有 DDL 文件和 GP 相关的数据字典表,每个 Segment 备份各自的数据.所有备份文件组成一个完整的备份集合,通过唯一 14 位数字的时间戳来识别. gp_dump dbname; gp_dump 命令将在数据目录生成如下的备份文件: -- 在 Master 主机上

Greeplum 系列(四) 实战

Greeplum 系列(四) 实战 表结构 (1) 拉链表结构 create table public.member_fatdt0 ( member_id varchar(64), phoneno varchar(64), dw_beg_date date, dw_end_date date, dtype char(1), dw_status char(1), dw_ins_date date ) with (appendonly=true, compresslevel=5) distribut

无码系列-2-代码架构空想【华为云技术分享】

无码系列-2-代码架构空想 原文地址:https://www.cnblogs.com/huaweicloud/p/12016529.html

SequoiaDB 系列之四 :架构简析

在本系列的第一篇中,简述了SequoiaDB的安装,以及一个(伪)集群的部署 第二篇和第三篇对SequoiaDB的集群,做了简单地操作. 在本篇中,将对SequoiaDB的架构进行简单的分析. 因为自身能力有限,对于架构这么高大上的主题,不敢轻言.因此本文会摘抄SequoiaDB官方的描述,加上自己的理解,达到共同学习的目的. 在解析之前,先简单叙述一下分布式系统的CAP理论: C:代表一致性,即在某时刻,分布式系统中节点数据应该是相同的: A:代表可用性,即有求必应,在分布式系统中某节点后,统

『GreenPlum系列』GreenPlum 4节点集群安装(图文教程)

目标架构如上图 一.硬件评估 cpu主频,核数推荐CPU核数与磁盘数的比例在12:12以上Instance上执行时只能利用一个CPU核资源进行计算,推荐高主频 内存容量 网络带宽重分布操作 Raid性能条带宽度设置回写特性 二.操作系统 1.在SUSE或者RedHat上使用xfs(操作系统使用ext3)    在Solaris上使用zfs(操作系统使用ufs) 2.系统包 出现如下界面,按照下面的说明进行勾选,之后一直[Next]到开始安装. -->[Desktop Environments]全