Win10 下 hadoop3.0.0 单机部署

前言

因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试。顺便记录下采坑步骤,方便碰到同样问题的朋友们。

安装步骤

一、下载 hadoop-XXX.tar.gz

下载地址:http://archive.apache.org/dist/hadoop/core/

将文件解压至无空格目录下,好像时间有那么点点久。。。。。

注:解压需管理员权限!!!

添加环境变量

添加HADOOP_HOME配置

在 path 中添加 bin 目录 C:\hadoop-3.0.0\bin

JAVA_HOME

二、hadoop配置

1、修改C:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration><property>    <name>fs.default.name</name>  <value>hdfs://localhost:9000</value> </property> <property>  <name>hadoop.tmp.dir</name>  <value>/C:/hadoop-3.0.0/data/tmp</value> </property></configuration>

2、修改C:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3、在C:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:

  • 在D:/hadoop-3.0.0/data目录下创建datanode目录;
  • 在D:/hadoop-3.0.0/data目录下创建namenode目录;

4、修改C:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <!-- 这个参数设置为1,因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/C:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/C:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

5、修改C:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6、修改C:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,添加

set JAVA_HOME=%JAVA_HOME%

set HADOOP_PREFIX=%HADOOP_HOME%

set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop

set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set PATH=%PATH%;%HADOOP_PREFIX%\bin

7、bin目录替换

https://github.com/steveloughran/winutils下载解压,然后找到对应的版本后完整替换bin目录即可

至此,我们的配置就完成了

三、启动服务

1、打开cmd

cd C:\hadoop-3.0.0\bin

hdfs namenode -format

2、通过start-all.cmd启动服务:

C:\hadoop-3.0.0\sbin\start-all.cmd

然后可以看到同时打开了4个cmd窗口

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager

通过http://127.0.0.1:8088/即可查看集群所有节点状态:

访问http://localhost:9870/即可查看文件管理页面:

总结

一次还算比较顺利的采坑,后面准备开始肝项目了 orz。。。

原文地址:https://www.cnblogs.com/csu-lmw/p/10455906.html

时间: 2024-10-12 03:03:55

Win10 下 hadoop3.0.0 单机部署的相关文章

win10 下cuda 9.0 卸载

1.首先 对于cuda8.0.cuda7.5的卸载都可以兼容 安装cuda9.0之后,电脑原来的NVIDIA图形驱动会被更新,NVIDIA Physx系统软件也会被更新(安装低版cuda可能不会被更新).卸载时候要注意了,别动这2个. 2.卸载: 1.前言: 杀毒软件别用来卸载这个了,不好找. 打开电脑的控制面板,找到程序,卸载程序 点击当天安装的时间,会找到刚才装的cuda软件,也包括以前NVIDIA的驱动软件,因为被更新了,所以也显示在当天安装的软件中. 2.卸载开始: 对于含cuda字眼的

visio studio2010 在win10下 开发webservice接口以及部署调用

环境 : win10 企业版 + visio studio2010 (自动安装的,.net 4) win10操作系统中需要安装internet信息服务,见一下步骤,如果找不到,请使用操作系统的企业版本: 1.进入控制面板->程序和功能,点击进入 "启用或关闭Windows功能": 2.找到 Internet Infomation Services 应用程序功能,我这里全都选上了,具体的每个功能的影响,我目前还不是很清楚: 点击确定,进行安装即可. 3.打开Visio Studio

win10与ubuntu下演示运行.net core rc2 1.0.0.3002702程序

随着.net core rc2(1.0.0.002702)发布的同时,我们也来在本地 win10与ubuntu玩一下吧. 先简单说下.net core ,在.net core rc1中用的是dnx 工具链可参考http://www.cnblogs.com/shanyou/p/4589930.html, .net core rc2中完全用dotnet工具链代替,具体说明见 dotnet new:初始化一个控制台C#项目 dotnet restore:恢复项目的依赖包 dotnet build:构建

Spark-1.4.0单机部署(Hadoop-2.6.0采用伪分布式)【已测】

??目前手上只有一个机器,就先拿来练下手(事先服务器上没有安装软件)尝试一下Spark的单机部署. ??几个参数: ??JDK-1.7+ ??Hadoop-2.6.0(伪分布式): ??Scala-2.10.5: ??Spark-1.4.0: ??下面是具体的配置过程 安装JDK 1.7+ [下载网址]http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 环境变量设置(最好不要采用o

VC6.0在Win10下的兼容性问题设置(可以试试)

Microsoft Visual C++ 6.0,简称VC6.0,是微软推出的一款C++编译器,将"高级语言"翻译为"机器语言(低级语言)"的程 序.Visual C++是一个功能强大的可视化软件开发工具.自1993年Microsoft公司推出Visual C++1.0后,随着其新版本的不断问 世,Visual C++已成为专业程序员进行软件开发的首选工具. VC++6.0主要是在Windows XP下运行,在win7,win8和win10下运行均会存在一些兼容性的

win10下vs2015配置Opencv3.1.0过程详解(转)

下载安装Opencv3.1.0 下载Opencv3.1.0,进入官网,点击opencv for windows即可下载.  点击运行下载好的文件.实际上,opencv的安装程序就是解压缩文件,个人因为只有C盘,所以就直接在C盘建了一个文件夹Opencv3.1.0.  选好路径之后点击Extract即可. OpenCV3.1.0环境变量配置 选择此电脑(计算机),右键属性->高级系统设置->环境变量->系统变量->找到Path->在变量值中添加相应路径,我的路径是 C:\Ope

win10下vs2015配置Opencv3.1.0过程详解

下载安装Opencv3.1.0 下载Opencv3.1.0,进入官网,点击opencv for windows即可下载.  点击运行下载好的文件.实际上,opencv的安装程序就是解压缩文件,个人因为只有C盘,所以就直接在C盘建了一个文件夹Opencv3.1.0.  选好路径之后点击Extract即可. OpenCV3.1.0环境变量配置 选择此电脑(计算机),右键属性->高级系统设置->环境变量->系统变量->找到Path->在变量值中添加相应路径,我的路径是 C:\Ope

win10 下的opencv3.2.0实现tracker常见问题----必要条件整理

在opencv中常常要实现对视频中的目标进行追踪,一些比较新的方法(比如MIL.KCF.TLD等)都在opencv_contrib库里,所以首先你需要下载安装opencv_contrib库,详见在win10下实现openCV3.2.0+vs2015+cmake出错解决方案 .这里需要说明的是我的系统是win10的,所以开发环境均在win10下,以下不做特殊说明均在win10下完成.关于tracking官网提供了其参考资料Tracking API .Introduction to OpenCV T

QT5.7.0在win10下使用visual studio 2015编译(目标平台 xp)

环境:win10+vs2015+QT5.7.0 目标:编译出能在windows xp上运行的QT 通过baidu和bing找不出来的结果没有一个能成功运行,大部分都能编译成功,并完美解决“exe不是有效的win32程序”,但是程序依旧没法正常显示窗口. 此时会有一个crash,具体位置是qwindows.dll,但是使用depends查看也没看出来qwindows.dll有问题,有些人会遇到qwindows.dll依赖的 kernel32.dll在xp下没有对应接口,具体接口不记得了,最后看到是