基于Docker搭建大数据集群（五）Mlsql部署

主要内容

  • mlsql部署

前提

  • zookeeper正常使用
  • spark正常使用
  • hadoop正常使用

安装包

微云下载 | tar包目录下

  • mlsql-cluster-2.4_2.11-1.4.0.tar.gz
  • mlsql-console-1.4.0.tar.gz
  • mlsql-engine_2.4-1.4.0.tar.gz

一、环境准备

上传到docker镜像

docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-console-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-engine_2.4-1.4.0.tar.gz cluster-master:/root/tar

解压

tar xivf mlsql-cluster-2.4_2.11-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-console-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-engine_2.4-1.4.0.tar.gz -C /opt/mlsql

二、启动和配置 MLSQL Engine

默认9003端口，可手动修改

启用yarn

--master local[*]

替换成

--master yarn-client

授权

chmod 777 start-default.sh

二、启动和配置 MLSQL Cluster

默认8080端口，可自己手动修改

  1. 在mysql中新建数据库mlsql_cluster
  2. 将根目录下db.sql导入
  3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址，同时如果有必要，修改对应的数据库，用户名称，密码等
  4. start-default.sh 启动

三、启动和配置 MLSQL Console

默认9002端口，可自己手动修改

  1. 在mysql中新建数据库mlsql_console
  2. 将根目录下的db.sql导入
  3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址，同时如果有必要，修改对应的数据库，用户名称，密码等。
  4. 现在可以调用./start-default.sh 启动了

访问

原文地址：https://www.cnblogs.com/njpkhuan/p/11611947.html

时间： 2024-10-10 14:44:52

基于Docker搭建大数据集群（五）Mlsql部署的相关文章

基于Docker搭建大数据集群（六）Hive搭建

基于Docker搭建大数据集群(六)Hive搭建 前言 之前搭建的都是1.x版本,这次搭建的是hive3.1.2版本的..还是有一点细节不一样的 Hive现在解析引擎可以选择spark,我是用spark做解析引擎的,存储还是用的HDFS 我是在docker里面搭建的集群,所以都是基于docker操作的 一.安装包准备 Hive官网下载 微云下载 | 在 tar 目录下 二.版本兼容 我使用的相关软件版本 Hadoop ~ 2.7.7 Spark ~ 2.4.4 JDK ~ 1.8.0_221 S

基于Docker搭建大数据集群（七）Hbase部署

基于Docker搭建大数据集群(七)Hbase搭建 一.安装包准备 Hbase官网下载 微云下载 | 在 tar 目录下 二.版本兼容 三.角色分配 节点 Master Regionserver cluster-master yes no cluster-slave1 backup yes cluster-slave2 no yes cluster-slave3 no yes 四.配置修改 hbase-env.sh export JAVA_HOME=/opt/jdk/jdk1.8.0_221 h

基于Docker搭建大数据集群（一）Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock

基于Docker搭建大数据集群（三）Hadoop部署

主要内容 Hadoop安装 前提 zookeeper正常使用 JAVA_HOME环境变量 安装包 微云下载 | tar包目录下 Hadoop 2.7.7 角色划分 角色分配 NN DN SNN cluster-master 是 否 否 cluster-slave1 否 是 是 cluster-slave1 否 是 否 cluster-slave1 否 是 否 一.环境准备 上传到docker镜像 docker cp hadoop-2.7.7.tar.gz cluster-master:/root

基于Docker搭建大数据集群（二）基础组件配置

主要内容 jdk环境搭建 scala环境搭建 zookeeper部署 mysql部署 前提 docker容器之间能免密钥登录 yum源更换为阿里源 安装包 微云分享 | tar包目录下 JDK 1.8.221 Scala 2.12.9 Zookeeper 3.5.5 Mysql 手动安装较复杂,使用yum安装 一.安装包处理 发送文件到容器 docker cp 文件地址 容器ID:容器地址 创建解压目录 mkdir /opt/jdk mkdir /opt/scala mkdir /opt/zoo

基于Docker搭建大数据集群（四）Spark部署

主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 微云下载 | tar包目录下 Spark2.4.4 一.环境准备 上传到docker镜像 docker cp spark-2.4.4-bin-hadoop2.7.tar.gz cluster-master:/root/tar 解压 tar xivf spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt/hadoop 二.配置文件 spark-

CDH搭建大数据集群

需要的软件包: flume-ng-1.5.0-cdh5.3.6.tar.gz hadoop-2.5.0-cdh5.3.6.tar.gz hive-0.13.1-cdh5.3.6.tar.gz kafka_2.9.2-0.8.1.tgz scala-2.11.4.tgz slf4j-1.7.6.zip spark-1.5.1-bin-hadoop2.4.tgz zookeeper-3.4.5-cdh5.3.6.tar.gz 安装hadoop包: 1.使用课程提供的hadoop-2.5.0-cdh5

基于hortonworks的大数据集群环境部署流水

一.ambari及HDP安装文件下载地址: 1.系统 操作系统:CentOS7 2.软件 本次安装采用最新版本: ambari-2.7.0.0 hdp-3.0.0.0 详细信息及下载地址如下: Ambari 2.7.0 Repositories Base URL :http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0 Repo File :http://public-repo-1.hortonworks.c

基于Docker搭建ActiveMQ的高可用集群

最近刚开始玩Docker和ActiveMQ刚好学习到ActiveMQ集群的搭建,就将其记录了下来给有需要的人,也可以跟大家交流交流. 这里先感谢慕课网和http://blog.csdn.net/lifetragedy/article/details/51869032,在学习ActiveMQ有很大的帮助. 一.docker坏境的搭建. 这里重点不是docker,而是基于docker搭建的ActiveMQ集群,docker了解的也可以参考http://www.docker.org.cn/.