Docker安装Hadoop

一、概述

形成了安装有vim、jdk、ssh的centos镜像,现在我们在这个的基础上继续搭建haoop。

在正式开始前,了解一些docker容器的操作命令

docker  ps:查看活动的容器

docker ps -a:查看所有的容器(包括终止状态的)

docker images:查看镜像

docker run:基于镜像新建一个容器

docker container start 容器id:启动已经终止的容器,但不会进入容器,容器在后台执行

docker container stop 容器id:终止容器

docker container rm 容器id:删除终止状态的容器

docker image rm 镜像id:删除镜像

进入容器有两个命令:attach和exec

docker attach 容器id:进入容器,使用exit退出时,容器会终止

docker exec -it 容器id  bash:进入容器,使用exit退出时,容器不会终止(推荐)

二、安装Hadoop

以之前保存的centos_basic 镜像新建一个名为hadoop1的容器,容器中是centos系统,主机名为 hadoop1。

[[email protected] ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h hadoop1 --name hadoop1 centos_basic /bin/bash

打开一个新的终端输入命令docker ps查看开启的名为hadoop1的容器

开启系统之后,我们把下载下来的Hadoop安装文件放到共享目录/home/hadoop/build下面,然后在Docker内部centos系统的/root/build目录即可获取到Hadoop安装文件;在Docker内部的CentOS系统安装Hadoop和本地安装一样

放好Hadoop的安装文件后,进入Docker内部centos系统的/root/build目录,解压压缩包

[[email protected] build]# tar -zxvf hadoop-2.7.5.tar.gz -C /root/apps/

具体的安装可以参考http://www.cnblogs.com/qingyunzong/p/8634335.html

三、保存镜像

基于已有的docker容器,做一新的dokcer image.

$ docker commit <container_id> <image_name>

另开一个窗口

举例:

四、搭建基于docker的hadoop集群

开启三个新的终端。然后基于centos/zk_hadoop镜像,创建三个容器,容器名分别为spark1、spark2和spark3

[[email protected] ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark1 --name spark1 centos/zk_hadoop /bin/bash

[[email protected] ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark1 --name spark1 centos/zk_hadoop /bin/bash

[[email protected] ~]$ docker run -it -v /home/docker/build:/root/build --privileged -h spark3 --name spark3 centos/zk_hadoop /bin/bash

在每个容器主机中开启ssh服务

用ssh localhost 查看ssh服务是否开启成功

/etc/hosts修改本机的ip和主机名信息

[[email protected] ~]# vi /etc/hosts

可以用如下命令来检测下是否spark1是否可以连上spark2和spark3

修改zookeeper的变化spark2和spark3修改为2和3

[[email protected] ~]# vi data/zkdata/myid 

创建hadoop的数据目录

[[email protected] ~]# mkdir -p /root/data/hadoopdata/dfs/name
[[email protected] ~]# mkdir -p /root/data/hadoopdata/dfs/data

启动zookeeper

在你配置的各个journalnode节点启动该进程

格式化namenode

[[email protected] ~]# hadoop namenode -format

原文地址:https://www.cnblogs.com/qingyunzong/p/9015603.html

时间: 2024-11-08 08:49:41

Docker安装Hadoop的相关文章

Windows 7中的VirtualBox中的Ubuntu 14.04中基于Docker安装Hadoop

1. 在VirtualBox中安装Ubuntu 14.04 2. 在Ubuntu 14.04中安装Docker 3. 安装基于Docker的Hadoop 下载image docker pull sequenceiq/hadoop-docker:2.6.0   运行container docker run -i -t sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh –bash   测试Hadoop(将ubuntu的内存调到2G,即2048MB,否则

docker 安装hadoop

上一篇文章介绍了一些docker的基本命令,这篇文章来安装一个HADOOP 一.下载hadoop镜像 @~/git/github/docker-ambari (master)$ docker pull sequenceiq/hadoop-docker:2.6.0 Pulling repository sequenceiq/hadoop-docker 7b738796aaab: Pulling dependent layers 89b52f216c6c: Download complete ...

使用docker安装部署Spark集群来训练CNN(含Python实例)

使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需转载,请附上本文链接,不甚感激! http://blog.csdn.net/cyh_24/article/details/49683221 实验室有4台神服务器,每台有8个tesla-GPU,然而平时做实验都只使用了其中的一个GPU,实在暴遣天物! 于是想用spark来把这些GPU都利用起来.听闻d

docker安装hive笔记

前两篇文章介绍了docker的基本命令如何安装hadoop 那么大家会比较了解docker的基本语法的安装过程.那么咱们今天来一起安装一下hive. 安装 1.下载gitHub,地址:https://github.com/prasanthj/docker-hive-on-tez.如果背墙了,可以选择下载zip.进入目录之后就能看见如下内容: @~/git/github/docker-hive-on-tez-master $ ls Dockerfile datagen.py hive-log4j.

Docker部署Hadoop集群

一.主机规划 3台主机:1个master.2个slaver/worker ip地址使用docker默认的分配地址: master: 主机名: hadoop2.ip地址: 172.17.0.2 slaver1: 主机名: hadoop3.ip地址: 172.17.0.3 主机名: hadoop4.ip地址: 172.17.0.4 二.软件安装 1.在docker中安装centos镜像,并启动centos容器,安装ssh.--详见"docker上安装centos镜像"一文. 2.通过ssh

MacOS Docker安装

Docker简介: Docker 是一个开源的应用容器引擎 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app), 更重要的是容器性能开销极低. Docker应用场景: Web应用的自动化打包和发布 自动化测试和持续集成.发布 在服务型环境中部署和调整数据库或其他的后台应用 Docker的优点: 简化程序: Docker 让开发

Docker中Hadoop集群搭建

使用腾讯云主机,docker构建集群测试环境. 环境 1.操作系统: CentOS 7.2 64位 网路设置 hostname IP cluster-master 172.18.0.2 cluster-slave1 172.18.0.3 cluster-slave2 172.18.0.4 cluster-slave3 172.18.0.5 Docker 安装 curl -sSL https://get.daocloud.io/docker | sh ##换源 ###这里可以参考这篇文章http:

01 Docker 安装配置

docker简介 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源. Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低. Docker官方文档 :https://docs.docker.com/ Docker官方镜像 :https://hub.docker

Docker搭建Hadoop环境

文章目录 Docker搭建Hadoop环境 Docker的安装与使用 拉取镜像 克隆配置脚本 创建网桥 执行脚本 Docker命令补充 更换镜像源 安装vim 启动Hadoop 测试Word Count 查看Web管理页面 Docker搭建Hadoop环境 Hadoop集群环境配置起来相当繁琐,并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置.因此在一台机器上配置Hadoop分布式集群时通常采用虚拟机来模拟多台设备,但虚拟机较为占用系统资源,开多个虚拟机(模拟Hadoop