hadoop window下安装 hadoop-2.6.0

一、官网下载hadoop
http://hadoop.apache.org
https://archive.apache.org/dist/hadoop/common/

hadoop-2.6.0
管理员身份解压D:\Hadoop\hadoop-2.6.0

二、winutils的下载
还需要下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin。
winutils.exe  ---Hadoop在运行中需要的一个服务进程

三、hadoop配置
1.环境变量配置
HADOOP_HOME=D:\Hadoop\hadoop-2.6.0  --新建
path=%HADOOP_HOME%\bin            --修改添加

2.hadoop文件配置
在目录下D:\Hadoop\hadoop-2.6.0\etc\hadoop

文件1 hadoop-env.cmd
    set JAVA_HOME=C:\Java64\jdk1.8.0_171
    
    
文件2 core-site.xml
  <configuration>
    <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
   </property>     
  </configuration>

文件3:hdfs-site.xml
<configuration>
<property>  
  <name>dfs.replication</name>  
  <value>1</value>  
</property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>

文件4:mapred-site.xml mapred-site.xml是复制mapred-site.xml.template,去掉template
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

文件5: yarn-site.xml
<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>    
    
    
    
    
四、启动hadoop

进入到hadoop–>bin目录下

hadoop namenode -format //格式化hdfs
cd ../sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //先启动dfs,再启动yarn

五、启动结果
在地址栏输入http://localhost:8088

在地址栏输入http://localhost:50070

原文地址:https://www.cnblogs.com/sunziying/p/9182183.html

时间: 2024-10-11 04:05:54

hadoop window下安装 hadoop-2.6.0的相关文章

[转]Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序 环境: win7 64位 hadoop-2.6.0 步骤: 1.下载hadoop-eclipse-plugin-2.6.0.jar包 2.把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下 3.打开eclipse发现左边多出来一个DFS Locations 4.在win7上解压hadoop-2.6.0. 5.下载hadoop.dll.winuti

如何在Centos下安装hadoop并与Eclipse连接?

如何在Centos下安装hadoop并与Eclipse连接? 许久之前就计划学习hadoop了,直到最近才提上日程.花费了一些时间才把centos下的hadoop搭起来,前后经历的"挫折"绝对可以写成数千字的血泪史了.既有被网上教程坑了的苦逼遭遇,也有教研室大超师兄和实习公司的泡哥的爱心支援.今天终于可以坐下来说说如何在Centos下安装hadoop并与Eclipse连接这个问题. 先说一下要准备哪些软件和信息: VMware-workstation: CentOS-6.0-i386-

eclipse下安装Hadoop插件

whereis 文件名      结果:产生文件路径 find / -name 文件名    结果:产生文件路径 hadoop fs -mkdir hadoop fs -put 文件路径名   主机下的文件路径名 hadoop fs -ls /  查看当前路径下的所有文件 eclipse下安装hadoop插件 复制hadoop目录下的hadoop-eclipse-plugin-0.6.0.jar   JAR包放在/usr/local/eclipse/plugins中,重启eclipse 另外,我

【Hadoop】在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu 14.10 前方有坑: 由于之前的分布式系统电脑带不动,所以想换一个伪分布式试一试.用的是Virtualbox + Ubuntu 14.10 .结果遇到了 apt-get 源无法更新的情况,以及安装包安装不全的情况.只好咬一咬牙,又重新把系统给更新一边. apt-get 源无法更新解决方案:传送门 首先先备份源列表: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup 用编辑器打开: sudo gedit /etc/

在Window下安装Oracle

在Window下安装Oracle数据库详解 一.Oracle解压包下载地址 http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 二.解压Oracle解压包文件 1.解压如下两份文件,解压到当前同一个文件夹 2.解压完成后会多出如下database文件夹 3.进入database文件夹,会见到如下文件 会弹出如下窗口,等待安装操作中 三.如下是安装步骤 1.电子邮箱可以不填,去掉选项勾

memcached 缓存window下安装

首先到 http://danga.com/memcached/ (符件中我也上传了这两个包)下载 memcached 的 windows 版本和 java 客户端 jar 包,目前最新版本是 memcached-1.2.1-win32.zip 和 java_memcached-release_1.6.zip , 分别解压后即可! 首先是安装运行 memcached 服务器, 我们将 memcached-1.2.1-win32.zip 解压后,进入其目录,然后运行如下命令: c:>memcache

pylint window下安装与使用

简介 Pylint 是一个 Python 代码分析工具,它分析 Python 代码中的错误,查找不符合代码风格标准(Pylint 默认使用的代码风格是 PEP 8)和有潜在问题的代码. Pylint 是一个 Python 工具,除了平常代码分析工具的作用之外,它提供了更多的功能:如检查一行代码的长度,变量名是否符合命名标准,一个声明过的接口是否被真正实现等等. Pylint 的一个很大的好处是它的高可配置性,高可定制性,并且可以很容易写小插件来添加功能. 如果运行两次 Pylint,它会同时显示

Centos7下安装及配置Zabbix3.0

说到Zabbix相信很多管理员都使用过,因为zabbix所提供的功能给广大管理员们及时得知自己所管理的服务器的服务状态,当然有很多软件服务(cacti.ngios等)都可以实现zabbix类似的功能,但是对于zabbix的功能相对更强大一点,具体就不细说了,今天我们主要介绍一下,Centos7下安装及配置Zabbix3.0的介绍,具体见下: 在安装服务器的时候我们需要注意一些问题:比如服务器的防火墙.selinux等都会影响到Zabbix的正常通信 环境介绍: OS:Centos7 Servic