Docker中搭建Hadoop-2.6集群

1.  单个Docker节点的配置

 1.1 获取一个简单的Docker系统镜像,并建立一个容器。

  1.2.1 这里我选择下载CentOS镜像

docker pull centos

  1.2.2 通过docker tag命令将下载的CentOS镜像名称换成centos,然后建立一个简单容器

docker run -it --name=client1 centos /bin/bash

 1.2 Docker容器中下载并安装Java

  1.2.1 JDK下载

    去Oracle官网选择要下载的JDK

    http://www.oracle.com/technetwork/java/javase/archive-139210.html

    选择好版本后,在如下的界面中选择好Linux平台的tar包,点击右键在新标签中打开

    

    然后在新的标签页中复制出下载地址,在wget下载的时候使用:

    

    然后用wget下载,下载的时候要时候加上一个特殊的cookie

wget --no-cookie --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

    下载截图:

    

  1.2.2 JDK安装

    选择自己的安装目录,然后解压,做软连接

[[email protected] java]# pwd
/usr/local/java
[[email protected] java]# tar -zxvf jdk-7u80-linux-x64.tar.gz[[email protected] java]# ln -s jdk1.7.0_80 jdk[[email protected] java]# lsjdk  jdk1.7.0_80

     引入环境变量,编辑/etc/profile文件,在末尾加上如下内容:

export JAVA_HOME=/usr/local/java/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

    保存退出后使用source profile ,或者是 . profile 使得profile文件中的内容立即生效。然后可以通过java -version查看java版本:

   

   到这里我们的安装还没有结束。

 1.3 Hadoop的下载和安装

  1.3.1 在容器中通过curl命令下载hadoop 2.6 安装包。 下载地址为: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

curl -o hadoop-2.6.tar.gz  http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz

  1.3.2 解压并重命名

tar -zxvf  hadoop-2.6.0.tar.gzmv hadoop-2.6.0 hadoop

 

时间: 2024-10-16 01:37:10

Docker中搭建Hadoop-2.6集群的相关文章

H01_Linux系统中搭建Hadoop和Spark集群

前言 1.操作系统为Centos7 2.所有操作都是使用root用户去操作.也可以使用其他用户,非root的话要注意操作的权限问题. 3.安装的Hadoop版本是2.6.5,Spark版本是2.2.0,Scala的版本是2.11.8.因为我安装的Spark要同Hadoop搭配工作,所以需要注意他们之间的版本依赖关系.可以从spark官网上查询到spark运行需要的环境,如下: 4.需要的安装包: 安装包下载地址: JDK: http://www.oracle.com/technetwork/ja

0基础搭建Hadoop大数据处理-集群安装

经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本, 与后续Hive最新版本有冲突,不知道是不是自己的打开方式不对.  hadoop有三种运行方式:单机.伪分布式.完全分布式,本文介绍完全分布式. 安装Hadoop 现在有三个机器,一个Master

使用Docker快速搭建Zookeeper和kafka集群

集群搭建 镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中zookeeper官方镜像,版本3.4kafka采用wurstmeister/kafka镜像 集群规划 hostname Ip addr port listener zoo1 172.19.0.11 2184:2181 zoo2 172.19.0.12 2185:2181 zoo3 172.19.0.13 2186:2181 kafka1 172.19.0.14 9092:9092 kafka1 kafka2 172.1

基于 ZooKeeper 搭建 Hadoop 高可用集群

一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自:https://www.edure

在Docker中安装和部署MongoDB集群

在Docker中安装mongodb 采用的mongodb镜像:https://registry.hub.docker.com/u/tutum/mongodb/ 以该镜像启动一个容器(注意此时mongodb是standalone模式): docker run -d --name=mongodb -p 27017:27017 -p 28017:28017 tutum/mongodb:3.0 docker logs mongodb 输出信息: =============================

搭建Hadoop伪分布式集群

目录 版本与环境 准备 添加环境变量 配置Hadoop 克隆节点 配置主机名与IP 设置节点间免密登录 配置脚本文件 启动并验证 运行测试用例 版本与环境 虚拟机:VMware Workstation Pro 15 Linux镜像:Ubuntu-18.04.2-live-server-amd64.iso Java版本:jdk-8u231-linux-x64.tar.gz Hadoop版本:version-3.1.3 准备 (PS:以下配置需在克隆slave之前完成) 安装Ubuntu(PS:记得

hadoop伪分布式集群搭建与安装(ubuntu系统)

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: 4:修改过主机名称和主机名与ip对应的关系之后:开始上传jd

使用 Docker 一步搞定 ZooKeeper 集群的搭建

背景 原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤. 镜像下载 hub.docker.com 上有不少 ZK 镜像, 不过为了稳定起见, 我们就使用官方的 ZK 镜像吧.首先执行如下命令: docker pull zookeeper

Hadoop完全分布式集群搭建

Hadoop的运行模式 Hadoop一般有三种运行模式,分别是: 单机模式(Standalone Mode),默认情况下,Hadoop即处于该模式,使用本地文件系统,而不是分布式文件系统.,用于开发和调试. 伪分布式模式(Pseudo Distrubuted Mode),使用的是分布式文件系统,守护进程运行在本机机器,模拟一个小规模的集群,在一台主机模拟多主机,适合模拟集群学习. 完全分布式集群模式(Full Distributed Mode),Hadoop的守护进程运行在由多台主机搭建的集群上

Docker Swarm和Kubernetes在大规模集群中的性能比较

Contents 这篇文章主要针对Docker Swarm和Kubernetes在大规模部署的条件下的3个问题展开讨论.在大规模部署下,它们的性能如何?它们是否可以被批量操作?需要采取何种措施来支持他们的大规模部署和运维? 我们需要使用侧重于用例的基准测试来对所有容器平台进行比较,这样采用者才可以做出正确的决策. 笔者从用户的角度建立了一套测评工具,用普通的方法测试Docker Swarm和Kubernetes.我只评估了通用的功能:容器的启动时间和容器罗列时间. Swarm的性能比Kubern