DW(四):polybase集群安装配置

目录:

  • Prerequisites
  • 集群配置规划
  • 创建域控服务器
  • polybase install
  • firewall config
  • 集群配置
  • 删除计算节点

install Prerequisites


  • Microsoft .NET Framework 4.5
  • Oracle Java SE RunTime Environment (JRE) version 7.51 or higher (64-bit) (Either JRE or Server JRE will work)
  • Minimum memory: 4GB
  • Minimum hard disk space: 2GB
  • TCP/IP connectivity must be enabled
  • SQL Server (starting with 2016)
  • JRE下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  • sqlserver2016: https://www.microsoft.com/en-us/evalcenter/evaluate-sql-server-2016?i=1
  • ssms2016(SQL Server Management Studio): https://msdn.microsoft.com/en-us/library/mt238290.aspx

集群配置规划:


  • 3台Azure A3 虚拟机(polybase0、polybase1、polybase2),虚拟机在同一虚拟子网
    1. polybase0:域控服务器
    2. polybase1、polybase2 同一域内二台测试机
  • 域帐户: jn\zhushy
  • 说明: 在polybase1、polybase2安装sqlserver2016 with polybase

创建域控服务器


  • polybase 集群要求所有节点的 PolyBase engine 和 polybase DMS 访问使用相同的 domain account
  • 打开server manager Dashboard --> Add Roles and Features
  • Server Roles 项,配置如下:
  • 按向导默认安装完毕后,配置域控服务器
  • 设置信息如下:
  • 安装配置成功后,系统会重启,自动会加入到域,如图:
  • 域控服务器不能安装polybase

让其他计算机加入该域


  • 登陆要加入该域的计算机,先更改IP地址,把首选DNS设置成域控服务器的IP地址
  • 然后打开计算机属性,选择更改设置,选择加入域控jn.com,如下图:
  • 点击确定,然后输入此台计算机的管理员账户和密码, 后重启计算机后生效

polybase install


  • 启动安装向导,在如下的界面选择"New Standalone SQL Server installation or add features",如图:
  • 在执行“ feature selection page” 时,选择“PolyBase Query Service for External Data”
  • PolyBase Configuration Page 项,配置如下:
  • Server Configuration Page 项,configure the SQL Server PolyBase Engine Service and SQL Server PolyBase Data Movement Service to run under the same account
  • 安装完成后,如下
  • 在上面链接下载的sqlserver2016未集成ssms,需单独安装,通过下面的sql判断是否安装正常

    SELECT SERVERPROPERTY (‘IsPolybaseInstalled‘) AS IsPolybaseInstalled
  • 返回“1”则表示安装成功,如下

firewall config


  • SQL Server PolyBase setup creates the following firewall rules on the machine
    1. SQL Server PolyBase – Database Engine - <SQLServerInstanceName> (TCP-In)
    2. SQL Server PolyBase – PolyBase Services - <SQLServerInstanceName> (TCP-In)
    3. SQL Server PolyBase - SQL Browser - (UDP-In)
  • To enable the firewall rules
    1. Open the Control Panel
    2. Click System and Security, and click Windows Firewall
    3. click Advanced Settings, and click Inbound rules
    4. Right-click the disabled rule, then click Enable rule
  • 如下图:

集群配置


  • 选择polybase1作为headnode
  • Connect to SQL Server on polybase2. Run the stored procedure sp_polybase_join_group.

    -- Enter head node details:
    -- head node machine name, head node dms control channel port, head node sql server name
    EXEC sp_polybase_join_group ‘polybase1‘, 16450, ‘MSSQLSERVER‘; 
  • Shutdown the PolyBase engine and restart the PolyBase data movement service
  • 连接到sqlserver on polybase1, 查看集群节点状况,如下: select * from sys.dm_exec_compute_nodes

删除计算节点:


  • Connect to the compute node SQL Server (polybase2).
  • Run the stored procedure sp_polybase_leave_group.

    EXEC sp_polybase_leave_group;
  • on polybase2 : Start PolyBase Engine. Restart PolyBase data movement service.
  • Now polybase2 will function as a standalone head node
时间: 2024-10-10 13:27:18

DW(四):polybase集群安装配置的相关文章

spark集群安装配置

spark集群安装配置 一. Spark简介 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发.Spark基于map reduce 算法模式实现的分布式计算,拥有Hadoop MapReduce所具有的优点:但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,节省了磁盘IO耗时,性能比Hadoop更快. 所以,相对来说Hadoop更适合做批处理,而Spark更适合做需要反复迭代的机器学习.下面是我在ubuntu1

Hadoop2.2集群安装配置-Spark集群安装部署

配置安装Hadoop2.2.0 部署spark 1.0的流程 一.环境描写叙述 本实验在一台Windows7-64下安装Vmware.在Vmware里安装两虚拟机分别例如以下 主机名spark1(192.168.232.147),RHEL6.2-64 操作系统,usernameRoot 从机名spark2(192.168.232.152).RHEL6.2-64 操作系统,usernameRoot 二.环境准备 1.防火墙禁用.SSH服务设置为开机启动.并关闭SELINUX 2.改动hosts文件

集群安装配置Hadoop详细图解

集群安装配置Hadoop 集群节点:node4.node5.node6.node7.node8.具体架构: node4 Namenode,secondnamenode,jobtracker node5 Datanode,tasktracker node6 Datanode,tasktracker node7 Datanode,tasktracker node8 Datanode,tasktracker 操作系统为:CentOS release 5.5 (Final) 安装步骤 一.创建Hadoo

高可用RabbitMQ集群安装配置

RabbitMQ集群安装配置+HAproxy+Keepalived高可用 rabbitmq 集群 消息队列 RabbitMQ简介 RabbitMQ是流行的开源消息队列系统,用erlang语言开发.RabbitMQ是AMQP(高级消息队列协议)的标准实现. AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然.AMQP的主

elk集群安装配置详解

#  一:简介 ``` Elasticsearch作为日志的存储和索引平台: Kibana 用来从 Elasticsearch获取数据,进行数据可视化,定制数据报表: Logstash 依靠强大繁多的插件作为日志加工平台: Filebeat 用来放到各个主机中收集指定位置的日志,将收集到日志发送到 Logstash: Log4j 直接与 Logstash 连接,将日志直接 Logstash(当然此处也可以用 Filebeat 收集 tomcat 的日志). ``` ####  port ```

Hadoop集群安装配置文档

Hadoop集群安装配置文档 日期 内容 修订人 2015.6.3 文档初始化 易新             目录 1 文档概要... 5 1.1软件版本... 5 1.2机器配置... 5 2 虚拟机配置... 5 2.1新建虚拟机... 5 2.2虚拟网络配置... 8 3 CentOS安装及配置... 9 3.1系统安装... 9 3.2系统配置... 10 3.2.1防火墙配置... 10 3.2.2 SElinux配置... 10 3.2.3 IP配置... 11 3.2.4安装vim

Etcd集群安装配置

本次测试集群为2各节点 一. Etcd集群安装配置 安装包:etcd-3.3.11-2.el7.centos.x86_64.rpm 配置文件: #[Member] #ETCD_CORS="" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" #ETCD_WAL_DIR="" ETCD_LISTEN_PEER_URLS="http://192.168.218.146:2380" ETCD_LI

Hadoop多节点集群安装配置

目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有Salve 3.Java环境安装 3.1 安装JDK 3.2 配置环境变量 3.3 验证安装成功 3.4 安装剩余机器 4.Hadoop集群安装 4.1 安装hadoop 4.2 配置hadoop 4.3 启动及验证 4.4 网页查看集群 5.常见问题FAQ   5.1 关于 Warning: $H

MongoDB 3 分片集群安装配置

操作系统:CentOS 6   x86_64 MongoDB版本:3.4.3 集群主机拓扑: 主机 mongo shardsvr & ReplSetName mongo configsvr & ReplSetName mongos test1.lan shard-a    shard-b test2.lan shard-a    shard-b test3.lan shard-a    shard-b test4.lan cfgshard test5.lan cfgshard test6.