基于Docker搭建大数据集群(二)基础组件配置

主要内容

  1. jdk环境搭建
  2. scala环境搭建
  3. zookeeper部署
  4. mysql部署

前提

  • docker容器之间能免密钥登录
  • yum源更换为阿里源

安装包

微云分享 | tar包目录下

  • JDK 1.8.221
  • Scala 2.12.9
  • Zookeeper 3.5.5
  • Mysql 手动安装较复杂,使用yum安装

一、安装包处理

发送文件到容器

docker cp 文件地址 容器ID:容器地址

创建解压目录

mkdir /opt/jdk
mkdir /opt/scala
mkdir /opt/zookeeper
mkdir /opt/mysql

解压文件

tar xivf tar包 -C /opt/对应目录

二、配置环境变量

编辑配置文件

root用户

vim ~/.bash_profile

非root用户只对当前用户生效

vim /home/用户名/.bash_profile

追加以下内容

JAVA_HOME=/opt/jdk/jdk1.8.0_221
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME

SCALA_HOME=/opt/scala/scala-2.12.9
PATH=$PATH:$SCALA_HOME/bin
export SCALA_HOME

ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5-bin
PATH=$PATH:$ZK_HOME/bin
export ZK_HOME

使配置文件生效

root用户,对所有用户生效

source ~/.bash_profile

非root用户,只对当前用户生效

source /home/用户名/.bash_profile

测试Java是否安装成功

java -version

测试scala是否安装成功

scala -version

三、zookeeper部署

zookeeper新的版本-bin的使编译后的包,与之前是反的。。得注意下

新建或复制zoo.cfg

cp zoo_sample.cfg zoo.cfg

追加以下内容

server.1=172.15.0.2:2888:3888
server.2=172.15.0.3:2888:3888
server.3=172.15.0.4:2888:3888

创建myid文件

zoo.cfg中有个dataDir属性,在后面的目录下面创建一个myid文件,内容就是当前节点号

172.16.0.2 --> 1

172.16.0.3 --> 2

172.16.0.4 --> 3

启动

zkServer.sh start

四、Mysql部署

下载官方yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

安装yum Repository

yum -y install mysql57-community-release-el7-10.noarch.rpm

安装mysql

yum -y install mysql-community-server

启动mysql

systemctl start mysqld.service

查看状态

systemctl status mysqld.service

获取默认密码

grep "password" /var/log/mysqld.log

登录

mysql -uroot -p

更改密码策略

set global validate_password_policy=0;
set global validate_password_length=1;

修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

设置可视化客户端连接

grant all on *.* to [email protected]'%' identified by 'root';

原文地址:https://www.cnblogs.com/njpkhuan/p/11611957.html

时间: 2024-10-10 14:44:54

基于Docker搭建大数据集群(二)基础组件配置的相关文章

基于Docker搭建大数据集群(六)Hive搭建

基于Docker搭建大数据集群(六)Hive搭建 前言 之前搭建的都是1.x版本,这次搭建的是hive3.1.2版本的..还是有一点细节不一样的 Hive现在解析引擎可以选择spark,我是用spark做解析引擎的,存储还是用的HDFS 我是在docker里面搭建的集群,所以都是基于docker操作的 一.安装包准备 Hive官网下载 微云下载 | 在 tar 目录下 二.版本兼容 我使用的相关软件版本 Hadoop ~ 2.7.7 Spark ~ 2.4.4 JDK ~ 1.8.0_221 S

基于Docker搭建大数据集群(七)Hbase部署

基于Docker搭建大数据集群(七)Hbase搭建 一.安装包准备 Hbase官网下载 微云下载 | 在 tar 目录下 二.版本兼容 三.角色分配 节点 Master Regionserver cluster-master yes no cluster-slave1 backup yes cluster-slave2 no yes cluster-slave3 no yes 四.配置修改 hbase-env.sh export JAVA_HOME=/opt/jdk/jdk1.8.0_221 h

基于Docker搭建大数据集群(一)Docker环境部署

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock

基于Docker搭建大数据集群(三)Hadoop部署

主要内容 Hadoop安装 前提 zookeeper正常使用 JAVA_HOME环境变量 安装包 微云下载 | tar包目录下 Hadoop 2.7.7 角色划分 角色分配 NN DN SNN cluster-master 是 否 否 cluster-slave1 否 是 是 cluster-slave1 否 是 否 cluster-slave1 否 是 否 一.环境准备 上传到docker镜像 docker cp hadoop-2.7.7.tar.gz cluster-master:/root

基于Docker搭建大数据集群(五)Mlsql部署

主要内容 mlsql部署 前提 zookeeper正常使用 spark正常使用 hadoop正常使用 安装包 微云下载 | tar包目录下 mlsql-cluster-2.4_2.11-1.4.0.tar.gz mlsql-console-1.4.0.tar.gz mlsql-engine_2.4-1.4.0.tar.gz 一.环境准备 上传到docker镜像 docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/t

基于Docker搭建大数据集群(四)Spark部署

主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 微云下载 | tar包目录下 Spark2.4.4 一.环境准备 上传到docker镜像 docker cp spark-2.4.4-bin-hadoop2.7.tar.gz cluster-master:/root/tar 解压 tar xivf spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt/hadoop 二.配置文件 spark-

CDH搭建大数据集群

需要的软件包: flume-ng-1.5.0-cdh5.3.6.tar.gz hadoop-2.5.0-cdh5.3.6.tar.gz hive-0.13.1-cdh5.3.6.tar.gz kafka_2.9.2-0.8.1.tgz scala-2.11.4.tgz slf4j-1.7.6.zip spark-1.5.1-bin-hadoop2.4.tgz zookeeper-3.4.5-cdh5.3.6.tar.gz 安装hadoop包: 1.使用课程提供的hadoop-2.5.0-cdh5

基于hortonworks的大数据集群环境部署流水

一.ambari及HDP安装文件下载地址: 1.系统 操作系统:CentOS7 2.软件 本次安装采用最新版本: ambari-2.7.0.0 hdp-3.0.0.0 详细信息及下载地址如下: Ambari 2.7.0 Repositories Base URL :http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0 Repo File :http://public-repo-1.hortonworks.c

基于Docker搭建ActiveMQ的高可用集群

最近刚开始玩Docker和ActiveMQ刚好学习到ActiveMQ集群的搭建,就将其记录了下来给有需要的人,也可以跟大家交流交流. 这里先感谢慕课网和http://blog.csdn.net/lifetragedy/article/details/51869032,在学习ActiveMQ有很大的帮助. 一.docker坏境的搭建. 这里重点不是docker,而是基于docker搭建的ActiveMQ集群,docker了解的也可以参考http://www.docker.org.cn/.