FusionInsight LibrA V100R002C80SPC300安装指南

FusionInsight LibrA是企业级的大规模并行处理关系型数据库。FusionInsight LibrA采用MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力。
FusionInsight LibrA在核心技术上跟传统数据库相比有巨大优势，可以解决很多行业用户的数据处理性能问题，可以为超大规模数据管理提供高性价比的通用计算平台，并可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统，统一为上层应用的决策分析等提供服务。
FusionInsight解决方案是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据进行实时与非实时的分析挖掘，发现全新价值点和企业商机。
FusionInsight LibrA是FusionInsight解决方案的一个子产品。FusionInsight LibrA在FusionInsight解决方案中的位置如图所示：

FusionInsight解决方案由2个子产品FusionInsight HD、FusionInsight LibrA和1个操作运维系统FusionInsight Manager构成。

  • FusionInsight HD：企业级的大数据处理环境，是一个分布式数据处理系统，对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。
  • FusionInsight LibrA：企业级的大规模并行处理关系型数据库。FusionInsight LibrA采用MPP(Massive Parallel Processing)架构，支持行存储和列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力。
  • FusionInsight Manager：企业级大数据的操作运维系统，提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能。

    一、安装前准备

    1.1 环境介绍

    本文使用的服务器都是基于VMware虚拟化平台，具体信息如下图所示:

    集群组网方案如下图所示：

    1.2 软件下载

    从华为官方网站下载HD软件安装包和配置工具(需要账号)，如下：

    [[email protected] opt]# la /u02/software/hw/
-rw-r--r-- 1 root root 898M Jul 30 15:07 FusionInsight_LibrA_V100R002C80SPC300_RHEL.tar.gz
-rw-r--r-- 1 root root 301K Sep 14 11:40 FusionInsight_SetupTool_V100R002C80SPC200.tar.gz

    二、安装过程

    2.1 安装包准备

    这里安装过程中使用了集群模式，所以需要将安装包上传至2个管理节点上。另外还需在一个管理节点上挂载操作系统的镜像至media目录，因为在配置规划工具中会用到。这里用的是nfs共享，如下：

    [[email protected] ~]# mkdir /u02;mount onas:/u02 /u02;mount /u02/CentOS-7-x86_64-DVD-1708.iso /media
[[email protected] ~]# mkdir /u02;mount onas:/u02 /u02

    2.2 解压软件包

    需要在集群的2个管理节点上进行解压操作。

    --hwd01
[[email protected] ~]# cd /opt/
[[email protected] opt]# tar -xzf /u02/software/hw/FusionInsight_SetupTool_V100R002C80SPC200.tar.gz
[[email protected] opt]# tar -xzf /u02/software/hw/FusionInsight_LibrA_V100R002C80SPC300_RHEL.tar.gz
--hwd02
[[email protected] ~]# cd /opt/
[[email protected] opt]# tar -xzf /u02/software/hw/FusionInsight_SetupTool_V100R002C80SPC200.tar.gz
[[email protected] opt]# tar -xzf /u02/software/hw/FusionInsight_LibrA_V100R002C80SPC300_RHEL.tar.gz

    2.3 生成配置文件

    通过配置规划工具，生成配置文件。此工具就是一个execl文件，里面通过宏来进行一些配置，最后输出为文件。

  • 基础配置

  • 选择服务
  • IP规划与进程部署
  • 节点信息
  • 浮动IP
  • 磁盘配置
  • 集群参数设置
  • 实例参数设置
  • 生成配置文件

    生成的配置文件会存放在d:\software文件夹下，根据提示输入用户名以及密码并上传至指定的节点目录。

    2.4 预安装配置

    [[email protected] FusionInsight_SetupTool]# ./setuptool.sh preinstall

    2.5 安装集群服务

    现在主节点执行，完了后在备用节点执行，如下：

    --主节点hwd01
[[email protected] ~]# /opt/FusionInsight/software/install.sh -f /opt/FusionInsight/software/install_oms/192.168.120.122.ini 

    --备用节点hwd02
[[email protected] ~]# /opt/FusionInsight/software/install.sh -f


    安装完成后，初次访问需要更改admin账户的初始密码，初始密码为：[email protected]。

    三、配置集群服务

    通过web界面访问，选择使用模板安装，导入生成的模板文件，会弹出输入主机的root密码，然后点击查找主机，验证通过后，会跳到“确认”步骤。




    配置完成后，点击“完成”。

  • 实时监控标签
  • 服务管理标签
  • 主机管理标签

    四、客户端安装与使用

    这里还是使用nfs服务批量部署，具体过程参考之前的FusionInsight HD 客户端安装与使用的批量部署客户端。

[[email protected] FusionInsight_Services_ClientConfig]# ./install.sh /u02/huawei/client
[18-10-08 14:30:28]: Pre-install check begin...
[18-10-08 14:30:28]: Checking necessary files and directory.
[18-10-08 14:30:28]: Checking NTP service status.
[18-10-08 14:30:28]: Checking "/etc/hosts" config.
[18-10-08 14:30:28]: Pre-install check is complete.
[18-10-08 14:30:28]: Precheck on components begin...
[18-10-08 14:30:28]: Precheck on components is complete.
[18-10-08 14:30:28]: Deploy "dest_hosts" begin ...
[18-10-08 14:30:28]: Warning: "hwd02" already exists in "/etc/hosts", it will be overwritten.
[18-10-08 14:30:28]: Warning: "hwd01" already exists in "/etc/hosts", it will be overwritten.
[18-10-08 14:30:28]: Warning: "hwd05" already exists in "/etc/hosts", it will be overwritten.
[18-10-08 14:30:28]: Warning: "hwd04" already exists in "/etc/hosts", it will be overwritten.
[18-10-08 14:30:28]: Warning: "hwd03" already exists in "/etc/hosts", it will be overwritten.
[18-10-08 14:30:28]: Deploy "dest_hosts" is complete.
[18-10-08 14:30:28]: Install public library begin ...
[18-10-08 14:30:28]: Install components client begin ...
[18-10-08 14:30:28]: Install JDK begin ...
[18-10-08 14:30:28]: Decompress jdk.tar.gz to /u02/huawei/client/JDK.
/u02/tmp/FusionInsight_Services_ClientConfig/JDK
[18-10-08 14:30:34]: Create JRE env file "/u02/huawei/client/JDK/component_env".
[18-10-08 14:30:34]: JDK installation is complete.
[18-10-08 14:30:34]: Warning: /u02/tmp/FusionInsight_Services_ClientConfig/JDK/VERSION not exist.
[18-10-08 14:30:34]: Install KrbClient begin ...
[18-10-08 14:30:34]: Copy /u02/tmp/FusionInsight_Services_ClientConfig/KrbClient/FusionInsight-kerberos-1.15.2.tar.gz to /u02/huawei/client/KrbClient.
/u02/tmp/FusionInsight_Services_ClientConfig/KrbClient
[18-10-08 14:30:34]: Copy KRB config files to "/u02/huawei/client/KrbClient/kerberos/conf"
[18-10-08 14:30:34]: Copy security script files to "/u02/huawei/client/KrbClient/kerberos/bin"
[18-10-08 14:30:34]: Create KRB env file "/u02/huawei/client/KrbClient/component_env".
[18-10-08 14:30:34]: KrbClient installation is complete.
[18-10-08 14:30:34]: Install MPPDB begin ...
[18-10-08 14:30:34]: Decompress Gauss200-OLAP-V100R007C10-REDHAT-64bit-ClientTools.tar.gz to /u02/huawei/client/MPPDB.
[18-10-08 14:30:35]: Copy config files to "/u02/huawei/client/MPPDB/"
[18-10-08 14:30:35]: Begin to update the client ssl certificates.
[18-10-08 14:30:35]: Success to update the client ssl certificates.
[18-10-08 14:30:35]: Create MPP env file "/u02/huawei/client/MPPDB/component_env".
[18-10-08 14:30:35]: MPPDB installation is complete.
[18-10-08 14:30:35]: Components client installation is complete.
[[email protected] ~]# source /u02/huawei/client/bigdata_env
[[email protected] ~]# kinit candon
Password for [email protected]:
Password expired.  You must change it now.
Enter new password:
Enter it again:
[[email protected] ~]# kinit candon
Password for [email protected]:
[[email protected] ~]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: [email protected]

Valid starting       Expires              Service principal
10/08/2018 14:53:16  10/09/2018 14:53:12  krbtgt/[email protected]

五、数据库使用

5.1 确认连接信息

以操作系统用户omm登录LibrA集群任意一套主机，执行source ${BIGDATA_HOME}/mppdb/.mppdbgs_profule命令启动环境变量。

[[email protected] ~]$ source /opt/huawei/Bigdata/mppdb/.mppdbgs_profile

然后使用gs_om命令查询集群各实例情况，确认CN所在的服务器的IP地址及数据路径（端口号查询备用）。如下：

[[email protected] ~]$ gs_om -t status --detail



默认的端口号是25308，也可以通过查看/srv/BigData/mppdb/data1/coordinator/postgresql.conf配置文件确认端口号。

5.2 配置远程连接

由于服务器默认只监听localhost,而进行远程连接的时候还需要监听管理平面的IP，所以需要配置listen_addresses，增加对外提供服务的网卡IP或者主机名（英文逗号分隔），其中NodeName为当前节点名称。这里直接将listen_addresses配置为，此配置下将监听所有网卡，但存在安全风险，不推荐使用，官方建议按照需要配置IP或者主机名，打开监听。

[[email protected] ~]$ gs_guc set -N all -I all -Z coordinator -c "listen_addresses = ‘*‘"

Total instances: 5. Failed instances: 0.
Success to perform gs_guc!

参数说明:

  • -Z coordinator表示实例类型为coordinator。
  • -N all表示集群的所有主机。
  • -I all表示主机中的所有实例。
  • 星号(*)表示本地所有网卡的IP地址。
    最后，执行以下命令重启集群： 
    [[email protected] ~]$ gs_om -t stop && gs_om -t start


    5.3 连接数据库

    [[email protected] ~]$ gsql -d postgres -p 25308
gsql ((Gauss200 OLAP V100R007C10 build e542e841) compiled at 2018-07-29 09:09:48 commit 1880 last mr 2754 )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.
postgres=# \l

原文地址：http://blog.51cto.com/candon123/2295895

时间： 2024-11-06 07:46:54

FusionInsight LibrA V100R002C80SPC300安装指南的相关文章

FusionInsight LibrA与ODI 12c的完美结合

本文介绍如何通过ODI 12c同步PostgreSQL数据到FusionInsight LibrA. 1.FusionInsight LibrA客户端配置 在ODI服务上配置FusionInsight LibrA客户端,完成客户端认证操作. [[email protected] ~]$ source /u02/huawei/client/bigdata_env [[email protected] ~]$ kinit candon Password for [email protected]:

带着耳朵去CEBIT，听华为的数字世界交响曲

作者 | 张戈 (公众号ID:TechECR) 巴赫.贝多芬.舒伯特.舒曼.勃拉姆斯-- 带着耳朵去德国,足以. 当然还要去数字之城汉诺威, 可以带着眼睛去感受CEBIT, 但更需要带着耳朵去欣赏"数字世界交响曲". 华为的数字世界交响曲 言归正传,此次CEBIT2018,华为以"新ICT ,迈向数字化转型之路"为展示主题,但其以"数字世界交响曲"为内容主线.由此,华为在"致敬"诸多德国音乐家,也"致敬"正

Spark1.0.0伪分布安装指南

?一.下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz   下载地址:spark1.0.0 scala-2.10.4.tgz    下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz   下载地址:hadoop-1.2.1-bin.tar.gz jdk-7u60-linux-i586.tar.gz  下载地址:去官网下载就行,这个1.7.x都行 二.安装步骤 hadoop-1.2.1安装步骤,请看: http://my.oschina.

httpfs安装指南

安装环境 Linux maven3 jdk1.6 本地的maven源(有些依赖的jar包Cloudera已不再维护) 1.下载httfs源码包 https://github.com/cloudera/httpfs 使用git下载 git clone https://github.com/cloudera/httpfs.git 2.修改pom.xml文件 在<dependencies>中增加依赖 <dependency> <groupId>org.apache.hadoo

MyCAT安装指南

MyCAT安装指南 MyCAT 1.2版本 快速上手-安装指南(安装单机) Mycat的server和mysql位于同一台服务器,centos6.2.4环境 Mycat:10.191.116.175 Mysql:10.191.116.175 是用Java开发,需要有JAVA运行环境,mycat依赖jdk1.7的环境,若本机没有,则需要下载安装: http://www.java.com/zh_CN/ 获取MyCAT的最新开源版本,项目主页http://code.google.com/p/MyCAT

Ubuntu软件安装指南：dpkg、apt 与源码包安装

基础知识: 通常情况下,linux会这样放软件的组件(一般规范): 程序的文档->/usr/share/doc; /usr/local/share/doc 程序->/usr/share; /usr/local/share 程序的启动项->/usr/share/apps; /usr/local/share 程序的语言包->/usr/share/locale; /usr/local/share/locale 可执行文件->/usr/bin; /usr/local/bin 而有的软

Scrapy 1.4 文档 02 安装指南

安装 Scrapy Scrapy 运行在 Python 2.7 和 Python 3.3 或更高版本上. 如果您使用的是 Anaconda 或 Miniconda,则可以从 conda-forge 通道安装软件包,该通道具有适用于 Linux,Windows 和 OS X 的最新软件包. 使用 conda 安装 Scrapy,运行: conda install -c conda-forge scrapy 或者,如果您已经熟悉 Python 软件包的安装,可以从 PyPI 安装 Scrapy 及其

深度学习caffe:Ubuntu16.04安装指南(3)

caffe [完全版] 2017-01-19 配置如下: caffe + cuda8.0[GPU加速[只支持N卡]] + cudnn5.1 + opencv3.1 + python2.7 + boost58 , 主要参考了caffe官方教程 Ubuntu 16.04 or 15.10 Installation Guide 开始前,请先阅读: 深度学习caffe:Ubuntu16.04安装指南(2) 正式开始安装前,你需要一台已经安装好了Ubuntu16.04系统的电脑,然后/home分区最好有尽

P6 EPPM手动安装指南（Oracle数据库）(一)

P6 EPPM手动安装指南(Oracle数据库) P6 EPPM Manual Installation Guide (Oracle Database) 1.      内容... 1 1.1.         Oracle数据库手动配置的概述... 1 1.1.1.            Oracle数据库安装... 2 1.1.1.1.           创建数据库结构甲骨文和加载应用程序数据... 2 1.1.1.1.1.            创建P6 EPPM为Oracle数据库结构