docker 安装hadoop

上一篇文章介绍了一些docker的基本命令,这篇文章来安装一个HADOOP

一、下载hadoop镜像

@~/git/github/docker-ambari (master)$ docker pull sequenceiq/hadoop-docker:2.6.0
Pulling repository sequenceiq/hadoop-docker
7b738796aaab: Pulling dependent layers
89b52f216c6c: Download complete
... 这个一个漫长的过程
Status: Downloaded newer image for sequenceiq/hadoop-docker:2.6.0

二、查看镜像

@~ $ docker images
REPOSITORY                 TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
ubuntu                     curl-ubuntu         aac468ce18c8        17 hours ago        204.1 MB
sequenceiq/hadoop-docker   2.6.0               7b738796aaab        6 days ago          1.597 GB
ubuntu                     latest              9bd07e480c5b        10 days ago         192.7 MB
<none>                     <none>              c840fd1ab2ae        6 weeks ago         984.4 MB

三、运行hadoop

@~ $ docker run -i -t sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash
Starting sshd:                                             [  OK  ]
......

四、查看结果

bash-4.1# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output ‘dfs[a-z.]+‘
14/12/14 09:45:31 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
14/12/14 09:45:32 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).
14/12/14 09:45:32 INFO input.FileInputFormat: Total input paths to process : 31

五、继续

bash-4.1# bin/hdfs dfs -cat output/*
6    dfs.audit.logger
4    dfs.class
3    dfs.server.namenode.
2    dfs.period
2    dfs.audit.log.maxfilesize
2    dfs.audit.log.maxbackupindex
1    dfsmetrics.log
1    dfsadmin
1    dfs.servers
1    dfs.replication
1    dfs.file

参考:

https://registry.hub.docker.com/u/sequenceiq/hadoop-docker/

http://www.tuicool.com/articles/7V7vYn

http://www.linuxeden.com/html/news/20140701/153247.html

时间: 2024-10-28 11:17:39

docker 安装hadoop的相关文章

Windows 7中的VirtualBox中的Ubuntu 14.04中基于Docker安装Hadoop

1. 在VirtualBox中安装Ubuntu 14.04 2. 在Ubuntu 14.04中安装Docker 3. 安装基于Docker的Hadoop 下载image docker pull sequenceiq/hadoop-docker:2.6.0   运行container docker run -i -t sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh –bash   测试Hadoop(将ubuntu的内存调到2G,即2048MB,否则

Docker安装Hadoop

一.概述 形成了安装有vim.jdk.ssh的centos镜像,现在我们在这个的基础上继续搭建haoop. 在正式开始前,了解一些docker容器的操作命令 docker  ps:查看活动的容器 docker ps -a:查看所有的容器(包括终止状态的) docker images:查看镜像 docker run:基于镜像新建一个容器 docker container start 容器id:启动已经终止的容器,但不会进入容器,容器在后台执行 docker container stop 容器id:

使用docker安装部署Spark集群来训练CNN(含Python实例)

使用docker安装部署Spark集群来训练CNN(含Python实例) 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 博客虽水,然亦博主之苦劳也. 如需转载,请附上本文链接,不甚感激! http://blog.csdn.net/cyh_24/article/details/49683221 实验室有4台神服务器,每台有8个tesla-GPU,然而平时做实验都只使用了其中的一个GPU,实在暴遣天物! 于是想用spark来把这些GPU都利用起来.听闻d

docker安装hive笔记

前两篇文章介绍了docker的基本命令如何安装hadoop 那么大家会比较了解docker的基本语法的安装过程.那么咱们今天来一起安装一下hive. 安装 1.下载gitHub,地址:https://github.com/prasanthj/docker-hive-on-tez.如果背墙了,可以选择下载zip.进入目录之后就能看见如下内容: @~/git/github/docker-hive-on-tez-master $ ls Dockerfile datagen.py hive-log4j.

Docker部署Hadoop集群

一.主机规划 3台主机:1个master.2个slaver/worker ip地址使用docker默认的分配地址: master: 主机名: hadoop2.ip地址: 172.17.0.2 slaver1: 主机名: hadoop3.ip地址: 172.17.0.3 主机名: hadoop4.ip地址: 172.17.0.4 二.软件安装 1.在docker中安装centos镜像,并启动centos容器,安装ssh.--详见"docker上安装centos镜像"一文. 2.通过ssh

MacOS Docker安装

Docker简介: Docker 是一个开源的应用容器引擎 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app), 更重要的是容器性能开销极低. Docker应用场景: Web应用的自动化打包和发布 自动化测试和持续集成.发布 在服务型环境中部署和调整数据库或其他的后台应用 Docker的优点: 简化程序: Docker 让开发

Docker中Hadoop集群搭建

使用腾讯云主机,docker构建集群测试环境. 环境 1.操作系统: CentOS 7.2 64位 网路设置 hostname IP cluster-master 172.18.0.2 cluster-slave1 172.18.0.3 cluster-slave2 172.18.0.4 cluster-slave3 172.18.0.5 Docker 安装 curl -sSL https://get.daocloud.io/docker | sh ##换源 ###这里可以参考这篇文章http:

01 Docker 安装配置

docker简介 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源. Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低. Docker官方文档 :https://docs.docker.com/ Docker官方镜像 :https://hub.docker

Docker搭建Hadoop环境

文章目录 Docker搭建Hadoop环境 Docker的安装与使用 拉取镜像 克隆配置脚本 创建网桥 执行脚本 Docker命令补充 更换镜像源 安装vim 启动Hadoop 测试Word Count 查看Web管理页面 Docker搭建Hadoop环境 Hadoop集群环境配置起来相当繁琐,并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置.因此在一台机器上配置Hadoop分布式集群时通常采用虚拟机来模拟多台设备,但虚拟机较为占用系统资源,开多个虚拟机(模拟Hadoop