win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  开始接触Hadoop,听人说一般都是在Lunix下部署Hadoop,但是本人Lunix不是很了解,所以Google以下如何在Win10下安装Hadoop(之后再在Lunix下弄),找到不少文章,以下是主要参考的文章:

  1、Hadoop installation on windows without cygwin in 10 mints

  2、Win10系统安装Hadoop与Hbase

  3、Apache Hadoop for Windows Platform

  这里是按照第一篇文章操作的。

  一、安装jdk,地址为http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 具体的操作以及配置环境变量这里就不演示了,这里有一点需要注意的是默认会安装在C:\Program Files 下,开始我也是安装在这里,但是后来报错了,报什么“JAVA_HOME”的错误具体的记不清了。查了一下说是因为安装路径中有空格,晕了,所以安装在如下目录:

  二、下载Hadoop,地址为 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/  这里选择的是hadoop-2.7.3.tar.gz

  三、将其解压到某一文件夹,这里为D:\hadoop\hadoop-2.7.3

  四、添加“HADOOP_HOME”环境变量,并添加到Path环境变量中,按照下图操作

  五、修改Hadoop配置文件,在这之前你要先下载sardetushar_gitrepo_download ,之后解压,删掉D:\hadoop\hadoop-2.7.3目录下的bin、etc文件夹,用刚刚解压的替换。

  1、D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

  2、D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

  3、D:\hadoop\hadoop-2.7.3\etc\hadoop\hdfs-site.xml

  这个配置这里要感谢一下这篇帖子:http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop  按照第一篇教程配置会出错的!!!

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>hadoop/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
     <value>hadoop/data/datanode</value>
   </property>
</configuration>

  4、D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

  5、D:\hadoop\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)

  六、格式化HDFS文件系统,hdfs namenode -format      如下图,

  如果这一步没有什么异常基本没有问题了。

  七、在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”

  Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功,再看一下网站截图:

  localhost:8088

  localhost:50070

  最后我们可以使用“stop-all”停止Hadoop

  至此,Hadoop部署已经结束。第一次接触还是挺兴奋的!

时间: 2024-10-13 11:48:41

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机的相关文章

在RHEL 6.5上部署Hadoop 2.6伪分布式模式(单机)

第一步:安装JAVA 1.7               此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html   第二步:创建Haddop专用用户             虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用的用户(本例中为hadoop,实际中可以是任意用户名),创建用户的命令: # useradd hadoop # passwd hadoop   

虚拟器上部署hadoop常见的一些问题

一.hadoop部署步骤. 1.下载hadoop和Zookeeper的压缩包. 2.部署Zookeeper: ①tar -zxvf zookeeper-3.3.6 ②cd 到Zookeeper的conf目录下 将zoo_sample.cfg 修改为zoo.cfg ③ tickTime=2000(是Zookeeper独立的工作时间单元) dataDir=/Users/tom/zookeeper(存储数据的地址) clientPort=2181(2181是经常的选择,此处是关于用户和Zookeepe

linux上部署hadoop集群系列 基础篇

介绍 这一系列博文介绍hadoop集群的部署和安装,因为hadoop确实比较复杂,所以分为几个部分来一一介绍.大致有基础篇,HA-QJM篇,Federation篇. 正文 一.操作环境 虚拟机4台,配置基于hadoop的集群中包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通,Ip分布为: 168.5.15.112 hadoop1(Master) 168.5.15.116 hadoop2(Slave) 168.5.15.207 hadoop3(Slave) 1

linux上部署hadoop集群 HA-QJM篇

环境 基础篇需要4台机器(一台namenode,三台datanode); HA篇需要8台机器:两台namenode(一台作active nn,另一台作standby nn),三台datanode,三台zookeeper(也可以省去这三台,把zookeeper daemon部署在其他机器上).实际上还需要3台journalnode,但因为它比较轻量级,所以这里就把它部署在datanode上了. 三台zookeeper机器上配置以下信息: 1 创建hadoop用户 2 做好ssh免密码登陆 3 修改

在Ubutun 14.04 Desktop LTS上部署Hadoop 2.7.1(伪分布式)

1.安装Ubutun 14.04 Desktop LTS 下载ISO文件,ubuntu-14.04.1-desktop-amd64.iso. 在Virtualbox或者VmWare中新建虚拟机,将ISO文件设置为启动光盘. 一路下一步,在需要输入用户的地方,输入用户名hduser,直到系统安装完成. 重启虚拟机,使用hduser登录系统.设置root的密码,输入sudo passwd命令: [email protected]:~$ sudo passwd [sudo] password for

通过Sahara部署Hadoop集群

声明: 本博客欢迎转载,但请保留原作者信息,并请注明出处! 作者:郭德清 团队:华为杭州OpenStack团队 在前一篇文章对Sahara的安装配置做了下总结,今天主要对如何在Sahara环境上部署Hadoop集群做一个总结,也把自己部署的时候填过的坑总结下,避免其他人在同一个坑掉下. 1.  上传镜像 这边选择的是vanilla的镜像,下载地址:http://docs.openstack.org/developer/sahara/userdoc/vanilla_plugin.html ,我选择

在CentOS上部署单机版Hadoop

本文记录如何在一台CentOS上部署单机版Hadoop.CentOS安装在Azure上. 安装CentOS 在Azure上新建一台虚拟机,选择操作系统CentOS6.8.记住主机名,比如centosforhd.主机名在后面设置中会用到. 安装好之后,用Putty工具登录到CentOS上.登录之后请转为root用户来操作下面的安装.(命令: sudo su) 安装Java 1 下载JDK 从Java官网下载最新的JDK.如果是在windows下下载,下载之后可以通过SSH Secure File

Spark 1.0.0 部署Hadoop 2.2.0上

源码编译 我的测试环境: 系统:Centos 6.4 - 64位 Java:1.7.45 Scala:2.10.4 Hadoop:2.2.0 Spark 1.0.0 源码地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz 解压源码,在根去根目录下执行以下命令(sbt编译我没尝试) ./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz --with-hive 几个重要参数 --ha

虚拟机评估——如何确定一个CPU核上部署的虚拟机数量?

最近研究虚拟化技术,不可避免遇到一个问题:如何评估物理主机上虚拟主机的容量?下面这篇文章的思路有一定的启发性,转发一下. 如何确定一个CPU核上部署的虚拟机数量? 摘要:本文说明一个CPU核上部署虚拟机的理想数量. 用户经常会问我这样一个问题,“在一个CPU核上部署虚拟机的理想数量是多少?”我试图从下面两个答案中其中一方面回答:要么用户基于业内测试实例做出决定,要么基于他们自己的桌面PC机来验证性能.评估CPU需求量. 用业内标准来评判,一个3.0GHz四核心双CPU的服务器通常可以负载的虚拟机