在Windows 10 环境下安装 Hadoop-3.1.2

这里分五个步骤来记录Hadoop安装步骤,以及启动和运行Hadoop。

一是安装Java运行环境,二是安装Hadoop,三是修改Hadoop安装目录下的配置文件,四是启动Hadoop,五是运行一个Hadoop自带的mapreduce的实例。

Windows 10

JDK 1.8.0_73

Hadoop 3.1.2

【第一步】

Hadoop是一个分布式处理大数据的软件框架,是基于java编写的;在下载使用前,需要有Java的编译环境(JRE)或Java的开发工具(JDK)。

因为JDK已经包含了JRE,所以这里我装的是jdk1.8.0_73;安装之后配置环境变量。 ???????????????

如果查看本机是否已经有Java运行环境了呢?在windows自带的Command Prompt (CMD)里输入:java -version

显示如下,则证明已经装好。
  java version "1.8.0_73"
  Java(TM) SE Runtime Environment (build 1.8.0_73-b02)
  Java HotSpot(TM) 64-Bit Server VM (build 25.73-b02, mixed mode)

【第二步】

从Apache官网下载Hadoop,地址是 https://hadoop.apache.org/releases.html ,选择binary 版本,下载下来的文件名是 hadoop-3.1.2.tar.gz 。

(备注:binary表示已编译好的二进制包文件包,即解压缩后可直接使用;source表示源代码版本,需要通过计算机编译才能执行安装)

在本地解压安装包到自定义的地址,比如我的安装路径是 D:\MyFolder\Hadoop\hadoop-3.1.2 。

???????????????

然后为Hadoop配置windows环境变量。点击 我的电脑 → 属性 → 高级系统设置 → 环境变量:

新添加一个变量名 HADOOP_HOME, 变量值 D:\MyFolder\Hadoop\hadoop-3.1.2 (这里使用你自己的安装路径);

在已有变量名Path(如果没有就新添加一个变量名Path)下,加上两个变量值 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin。

在windows自带的Command Prompt (CMD)里输入: hadoop version

显示如下,则证明Hadoop环境变量已经配好。

  Hadoop 3.1.2
  Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
  Compiled by sunilg on 2019-01-29T01:39Z
  Compiled with protoc 2.5.0
  From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
  This command was run using /D:/MyFolder/Hadoop/hadoop-3.1.2/share/hadoop/common/hadoop-common-3.1.2.jar

【第三步】

这一步需要对Hadoop安装目录下的配置文件进行一些修改,这些修改决定了我们能否启动Hadoop。

???????????????

【第四步】

???????????????

检查Hadoop是否已经启动成功,只需cmd窗口输入:jps

如显示以下五个进程名称,则证明成功。

  109824 Jps
  29780 ResourceManager
  107300 DataNode
  107112 NameNode
  40316 NodeManager

访问管理GUI????

【第五步】

Hadoop是一个分布式文件系统,是用来处理文件/数据的。它自带了用mapreduce处理数据的jar包,如hadoop-mapreduce-examples-3.1.2.jar,所以我们就在此运行一个例子,观察Hadoop如何处理????

原文地址:https://www.cnblogs.com/happyliusiyi/p/11076188.html

时间: 2024-09-30 10:55:38

在Windows 10 环境下安装 Hadoop-3.1.2的相关文章

windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速

原文地址:http://www.jianshu.com/p/c245d46d43f0 写在前面的话 2016年11月29日,Google Brain 工程师团队宣布在 TensorFlow 0.12 中加入初步的 Windows 支持.但是目前只支持64位,而且Python版本为3.5版本,需要CUDA 8.0 .之前Tensorflow对windows的支持并不好,导致如果需要使用它,需要转移到Linux平台,或者使用Cygwin什么的,总之挺麻烦,现在好了.麻烦事google帮我们解决了.感

windows环境下安装hadoop,hive的使用案例

Hadoop安装: 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu.com/s/1VdG6PBnYKM91ia0hlhIeHg 把hadoop-2.7.7.tar.gz解压后 使用hadooponwindows-master的bin和etc替换hadoop2.7.7的

Windows 7环境下安装MongoDB

1.下载mongodb-win32-x86_64-2008plus-2.6.7-signed.msi(现在最新版本已经到了3.0) 2.假设为64位操作系统则双击 mongodb-win32-x86_64-2008plus-2.6.7-signed.msi ,否则mongodb-win32-i386-2.6.7-signed.msi 点击Next 选择接受协议" I accept the terms in License Agreement"   dbDao.com,并点击Next 选

在 Windows 10 64 下安装 Memcached,安装 PHP 7.0.22 的 Memcache 扩展

1.之前写过一篇在 PHP 5.6.27 下的博客:http://www.shuijingwanwq.com/2017/09/11/1892/ ,此次是 PHP 7.0.22 下的,如图1 图1 2.卸载 memcached ,可以使用以下命令:,如图2schtasks /delete /tn memcached 图2 3.删除目录:C:\memcached-1.4.5,如图3 图3 4.打开网址:https://github.com/nono303/memcached/tree/master/

windows环境下安装win8.1+Mac OS X 10.10双系统教程

首先要感谢远景论坛里的各位大神们的帖子  没有他们的分享我也不能顺利的装上Mac OS X 10.10! 写这篇随笔主要是为了防止自己遗忘,同时给大家分享下我的经验. 本教程适用于BIOS+MBR分区的朋友们使用 首先介绍下我的电脑硬件信息 安装环境为:win8.1系统 引导方式为:变色龙r2378 一.准备工作 1.下载Mac OS X 10.10镜像(本镜像为懒人版镜像非官方镜像) 地址:http://pan.baidu.com/s/1gdEf4Gj 2.下载所需要使用到的工具,我将所有需要

Windows 10环境安装VIM代码补全插件YouCompleteMe

Windows 10环境安装VIM代码补全插件YouCompleteMe 折腾一周也没搞定Windows下安装VIM代码补全插件YouCompleteMe,今天在家折腾一天总算搞定了.关键问题是在于Python环境:必须确保环境变量Path里只有一个python.exe. ycmd是client-server架构.ycmd本身是server,可以为多种客户端所用,如VIM/YouComplete,emacs/emacs-ycmd等.服务端有不同引擎,如clang补全c-familiy语言,其他引

[转]Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

windows环境下安装apache及使用apache搭建反向代理

一.配置Apache平台软件 1.下载apache软件 http://httpd.apache.org/ 从Apache官网下载windows安装版的Apache服务器了,现在分享给大家. 2.方法/步骤如下: 2.1.进入apache服务器官网http://httpd.apache.org/,这里我们以下载稳定版的httpd 2.2.29为例,点击download. 2.2.download.cgi页面,往下翻找到2.2.29版本,其中有两个下载选项 Source: httpd-2.2.29.

从零开始Windows环境下安装python+tensorflow

从零开始Windows环境下安装python+tensorflow 2017年07月12日 02:30:47 qq_16257817 阅读数:29173 标签: windowspython机器学习tensorflowAnaconda 更多 个人分类: machine-learning 前言 安装环境 tensorflow Anaconda 安装步骤 1.安装Anaconda 2.安装tensorflow 3.测试是否安装成功 总结 前言 本文介绍在Windows平台下,使用Anoconda简单安