虚拟机安装hadoop

1.用VMware建立两台虚拟机(Centos6.5)系统,并设立主机名为node1与node2

2.设置虚拟机网络两台都是设置为如图:

3.修改两台虚拟机的/etc/hosts的文件为 (其中192.168.159.129是node1的IP,192.168.159.130为node2的IP)

node1修改为:

        192.168.159.129 localhost node1 localhost4 localhost4.localdomain4
         ::1 localhost node1 localhost6 localhost6.localdomain6
        192.168.159.130 node2

node2修改为:

        192.168.159.130 localhost node1 localhost4 localhost4.localdomain4
         ::1 localhost node1 localhost6 localhost6.localdomain6
        192.168.159.129 node1

4.安装JDK并配置环境变量

5.把下载好的hadoop-1.2.1-tar.gz放到root目录下

6.执行解压命令解压

  tar -zxvf hadoop-1.2.1-tar.gz

7.解压出来的由于目录比较长最好加个软链

  ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2

  折样/home目录下就会出现

  以后直接访问home下的hadoop-1.2就会直接到安装的hadoop-1.2.1目录

8.在node1上运行命令 cd /home/hadoop-1.2/conf进入hadoop配置文件目录修改配置文件

  a.运行vi core-site.xml修改为   

<configuration>
          <property>
              <name>fs.default.name</name>
                    <value>hdfs://node1:9000</value>
          </property>
          <property>
              <name>hadoop.tmp.dir</name>
                   <value>/opt/hadoop-1.2</value>
          </property>

</configuration>

   注:hdfs://node1:9000为hdfs的访问地址 node1是主机名或可为ip地址但不能写localhsot因为外部访问不到

       /opt/hadoop-1.2为hdfs的工作目录(可以不设)默认为hadoop的tmp目录下(重启后数据就会消失下次还得重新格式化)     

  b.运行 vim hdfs-site.xml修改     

<configuration>
 <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

  这里配置的是block的副本数因为有两台虚拟机所以副本数设置为1

  c.运行 vi slaves 

node2

  这里配置的是datanode的主机

  d.运行 vi masters

node2

  配置SecondaryNameNode在node2主机上

  e.运行 vi hadoop-env.sh修改你的java环境地址

    export JAVA_HOME=/opt/jdk1.7.0_79

  9.把你hadoop-1.2.1-tar.gz放到node2上和node1相同的目录并解压

  10 在node1上的切换到hadoop-1.2的conf目录下

    运行 scp ./*[email protected]:/home/hadoop-1.2

    把配置文件拷贝到node2上使node1和node2拥有相同的配置信息

  11.在node1上格式化hadoop

    切换到bin目录运行  ./hadoop namenode -format

  配置成功

12.设置免密码登录ssh

  

    

    

 

时间: 2024-10-12 16:57:46

虚拟机安装hadoop的相关文章

VMware 虚拟机安装 hadoop 2.6.0 完全分布式集群

最近连着搭了两次hadoop的集群,搭建的时候也碰到了一些问题,因为之前对linux 不熟悉,经常遇到各种问题和命令忘记写,幸亏有度娘谷哥,这里做一个记录 下次使用的时候用的上 计算机的配置 计算机: G3440 3.3G 双核 8G内存 虚拟机: vmware workstation 12 pro 系统: centos6.5 节点: 192.168.133.33 master.hadoop 192.168.1.151 slave1.hadoop 192.168.1.151 slave2.had

hadoop分布式安装部署具体视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)

參考资源下载:http://pan.baidu.com/s/1ntwUij3视频安装教程:hadoop安装.flvVirtualBox虚拟机:hadoop.part1-part5.rarhadoop文件:hadoop-2.2.0.tar.gzhadoop配置文件:hadoop_conf.tar.gzhadoop学习教程:炼数成金-hadoop 虚拟机下载安装:VirtualBox-4.3.12-93733-Win.exehttp://dlc.sun.com.edgesuite.net/virtu

虚拟机Ubutnu安装hadoop

虚拟机及Ubuntu系统的安装地址 VMWare下载地址:http://www.itopdog.cn/utilities-operating-systems/virtual-machine/vmware-workstation.html ubuntu 下载:http://mirrors.163.com/ubuntu-releases/或者http://mirrors.sohu.com/ubuntu-releases/ 系统安装完成之后,就开始准备hadoop环境了,具体需要的有(默认在Ubunt

虚拟机安装的三台Ubuntu系统下搭建Hadoop

在Linux 上安装Hadoop 教程 在虚拟机中安装的Ubuntu系统下搭建Hadoop集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上.采用的简单方法是宿主机使用Serv-U建立一个FTP然后在虚拟机上登录将文件拷出来. 要先熟悉Linux的基本概念和操作,如:cd.ls.tar.cat.ssh.scp.cp.rm.sudo.su.apt-get等操作. 一.实践环境: Ubuntu10.04+jdk1.6+hadoop-0.20.1 机器名 IP 作用 Master 192.168.1

虚拟机安装CentOS7 Minimal、jdk和hadoop

虚拟机安装CentOS7 Minimal.jdk和hadoop Table of Contents 1. 安装版本 2. PD安装 3. vim安装和配置 4. 主机名变为bogon的解决办法 5. jdk的安装和配置 6. hadoop安装测试 1 安装版本 CentOS-7-x8664-Minimal-1503-01.iso 2 PD安装 不要选择快速安装 启动后,命令行选择安装 NETWORK&HOSTNAME : ON 选择好INSTALLATION DESTINATION root p

1.如何在虚拟机ubuntu上安装hadoop多节点分布式集群

要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了. 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程.由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中,思想是一样的.也如果你有充裕的资金,自己不

虚拟机centos7系统下安装hadoop ha和yarn ha(详细)

一:基础环境准备 (一):虚拟机新建五个centos7系统(复制文件夹的方式) (二):角色分配 (三)按照角色分配表配置 (1)更改主机ip(自行查找),如果只是个人搭建玩一玩,可选择安装centos7图形界面操作比较简单 (2)更改主机名方法, vim /etc/hostname文件,修改成对应的主机名,保存(比如在192.168.254.2这台主机上,就修改成master).再执行hostname 主机名,进行设置. (3)在五个虚拟机系统中修改/etc/hosts文件,添加如下内容 19

linux xshell jdk hadoop(环境搭建) 虚拟机 安装(大数据搭建环境)

[hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10] 1.创建虚拟机 第一步:在VMware中创建一台新的虚拟机.如图2.2所示. 图2.2 第二步:选择"自定义安装",然后单击"下一步"按钮,如图2.3所示.  图2.3 第三步:单击"下一步" 按钮,如图2.4所示.  图2.4 第四步:选择"稍后安装操作系统&qu

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1(集群分布式模式)

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境