(3)windows下hadoop+eclipse环境搭建

(1)环境说明

hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。

(2)安装hadoop-eclipse-plugin-1.1.2.jar插件

hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。

下载好后,将hadoop-eclipse-plugin-1.1.2.jar放到eclipse安装目录下的plugins文件夹下。然后重启eclipse。

在window菜单下选择prefernece选项,可以看到右边出现Hadoop Map/Reduce选项,说明插件安装成功。

(3)添加hadoop文件夹路径

首相将下载好的hadoop-1.1.2.tar.gz源码包解压到某一个磁盘上。

启动eclipse,点击window菜单栏选择prefernece选项,在左侧点击Hadoop Map/Reduce选项,在右边的输入框输入你解压的hadoop-1.1.2.tar.gz文件夹位置即可。

(4)配置hadoop链接

选择window菜单栏下的show view选项下的other选项,在弹出的的框中选择Map/Reduce Locations选项。

这是你会在eclipse下看到多出了Map/Reduce Locations选项:

右键选择New Hadoop  Locations。

Host是你的Master主机的地址,Port是端口号,User name是你登陆的用户。

点击finish后你会连接上你的hadoop。

这是后你就可以上传或下载文件到hadoop上了。

如果出现上传或下载失败,那么请看下面这篇文章。我是通过添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51这个系统变量来解决的。

http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/

备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。

(3)windows下hadoop+eclipse环境搭建

时间: 2024-10-22 23:49:52

(3)windows下hadoop+eclipse环境搭建的相关文章

windows下 nginx php 环境搭建

windows下配置nginx+php环境 刚看到nginx这个词,我很好奇它的读法(engine x),我的直译是“引擎x”,一般引“擎代”表了性能,而“x”大多出现是表示“xtras(额外的效果)”,那么整个词的意思就是类似“极致效果”,“额外性能”.当然这里不是要来唠嗑,以上是题外话. nginx相较于我们熟悉的apache.IIS的优势,就我浅入浅出的了解,在于“反向代理”和“负载均衡”.因此考虑到能够为Web服务器节省资源,它可以代替apache来提供Web服务.那么上正题了,ngin

NDK在windows下的开发环境搭建及开发过程

在Android应用的开发project中.无论是游戏还是普通应用.都时常会用到.so即动态链接库,关于.so是什么玩意儿,有什么优点.这个大家能够在网上查一下,本人不做过多解释. .so本是linux下的文件类型,所以编译.so必需要在linux环境下,那么怎样在win下进行编译呢?随便在网上搜下,教程也是五花八门,不清不楚,没有一定功底,即便看着教程到最后预计还是功败垂成,更别说刚開始学习的人,看了保证头晕眼花,本人也是依据网上的一些样例.总结了一个个人觉得还算比較简单的一个.so的编译方法

Windows下Hadoop编程环境配置指南

刘勇    Email: [email protected] 本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究Hadoop编程时,为考虑编程的方便,在Windows本地编译源程序,然后直接访问Hadoop集群,这样给广大编程人员提供了极大的便利.在这个过程中积累了一些实际经验,并针对在该过程中(初级阶段)可能会遇到的问题,提供一些解决方案,希望对大家有所帮助. 环境介绍 Hadoop 集群:hadoop

环境搭建文档——Windows下的Python3环境搭建

前言 背景介绍: 自己用Python开发了一些安卓性能自动化测试的脚本, 但是想要运行这些脚本的话, 本地需要Python的环境. 测试组的同事基本都没有安装Python环境, 于是乎, 我就想直接在网上找一篇Python环境搭建的文章, 但是没有找到让我觉得简洁又满意的搭建文档,所以我就直接用虚拟机的环境去记录一次Python环境的搭建文档 说明: 此次搭建的是Windows下的Python3的环境, Python2的环境应该也可以参照这篇文章(建议大家使用Python3的环境, Python

Windows下NDK开发环境搭建

Cygwin 介绍 cygwin是windwos下的linux环境模拟器.   为什么需要cygwin?  因为NDK只能在Linux环境下运行. 安装流程 1.打开cygwin的可执行文件,执行扩展库安装地址. 我这里选择Install from Local Directory,因为扩展库我已经下载到本地了. 2.选择安装目录,目录名不能有空格或者中文 3.因为选择的是本地安装,所以需要指定插件包 4.选择需要安装的插件,Devel(编译),Shells(执行脚本) 5.安装完成后在点击桌面的

windows下的flask环境搭建

在Windows中搭建flask框架分为如下几步 1. 下载ez_setup.py文件,然后在cmd中执行 链接:http://pan.baidu.com/s/1qXOSeHu 密码:jkbw python ez_setup.py 2. 找到python的安装目录,找到Scripts文件夹,将次文件夹的路径添加到环境变量中. 3. 在cmd中执行安装pip easy_install pip 4. 安装virtualenv pip install virtualenv 5. 创建一个文件夹,即fl

windows下android开发环境搭建

JDK的安装和Java环境变量的设置 1 JDK下载地址 JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html JDK(Java Development Kit)是整个Java的核心,包括一系列Java开发的东西,安装完毕需要配置一下环境变量. 2 JAVA_HOME JDK的安装路径,这个环境变量本身不存在,需要创建,创建完则可以利用%JAVA_HOME%作为统一引用路径,其值为:jdk在你电脑上的

【转】windows下python开发环境搭建

1 -- 安装python的前期准备 Python开发有众多工具,又以Eclipse+Pydev最为常见.Eclipse平台对开发同学来讲,肯定是如雷贯耳,自不用废话.而PyDev是Eclipse平台下的一个Python IDE插件,利用PyDev插件我们可以把Eclipse变为功能强大且易用的Python IDE.本文只简单介绍Eclipse+PyDev的安装和配置过程,至于开发.调试等高级话题不做深入分析. 首先,需要安装python的编译和执行程序,推荐安装Python2.7.3版本.至于

windows下golang开发环境搭建(sublime text3 + gosublime + sublimeGDB)

最近开始学习go语言的相关开发教程,之前的工作都是在linux上完成居多,但是家里的电脑还是windows的系统. 在搜索了N多方案以及尝试了N多IDE后,决定还是使用sublime+gosublime插件 这一套东西作为家用学习的跑demo方案. 在此需要感谢go社区以及一众之前已经存在的搭建方法和文档,本页以记录一下自己的搭建过程为主o(∩_∩)o 哈哈 1. 安装go语言 官网地址:https://golang.org/  点击下载需要的平台的安装版本,推荐msi,下载完成之后,点击安装,