windows下eclipse 做hadoop开发

1、先安装好hadoop 集群 参考文档http://www.cnblogs.com/bornteam/p/6517960.html

2、首先安装好集群,再把去下载hadoop-eclipse-plugin-2.6.0.jar放在eclipse安装文件夹的插件中   下载链接https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

3、重启eclipse,出现如图:多出现了Hadoop Map/Reduce

4、填写本地hadoop解压的路径,这个hadoop版本是linux的,只需要解压就可以了

下载http://pan.baidu.com/s/1qWG7XxU下载Hadoop2.6.0-eclipse插件.zip,然后解压后,把Hadoop2.6.0-eclipse插件.zip\eclipse插件\2.4以后的目录中的winutils.exe复制Hadoop2/bin目录下。如图所示:

5、配置Map/ReduceLocations

1)点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation,右键新建NEW Hadoop Location

2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml中的 fs.defaultFS的设置一致即可

6、新建系统用户hadoop 密码和分布式集群一样,切换hadoop用户做操作

配置环境变量

配置好环境,重启Eclipse

验证是否成功:

新建MapReduce项目,选择DFSLocation->master 上传一个文件到NDFS上,如果成功,说明配置可以

接下来做项目实战开发。

时间: 2024-10-12 04:37:05

windows下eclipse 做hadoop开发的相关文章

Windows下Eclipse连接hadoop

? hadoop在虚拟机上(远程连接也是一样只需要知道master的ip和core-site.xml配置即可. Vmware上搭建了hadoop分布式平台: ? 192.168.11.134 master 192.168.11.135 slave1 192.168.11.136 slave2 ? core-site.xml 配置文件: <property> ????????<name>fs.defaultFS</name> ????????<value>hd

windows下eclipse调试hadoop详解

1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位 2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_star_jy_sy/7376169 3)安装hadoop插件 将hadoop-eclipse-plugin-1.0.4.

[hadoop]Windows下eclipse导入hadoop源码,编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

windows上eclipse搭建hadoop开发环境(自用,备忘)

注:本文为自用,随时更新. 一.系统环境 Windows7.Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 此处需要注意的是:你的hadoop运行在远程的虚拟机上,但是你的windows上也需要有hadoop的运行环境,这样eclipse才能进行远程调试,所按照上面教程安装完虚拟机上的hadoop,还需要下载同样版本的Hadoop加压到windows上即可,还需要配置相应的环境变量,拷贝winutil.exe.hadoop.dll等文

[原创] Windows下Eclipse连接hadoop

1 下载hadoop-eclipse-plugin :我用的是hadoop-eclipse-plugin1.2.1 ,百度自行下载 2 配置插件:将下载的插件解压,把插件放到..\eclipse\plugins目录下 3重启eclipse,配置Hadoop installation directory 打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径.(windows下只需把hadoop-1.2.1

windows下eclipse搭建android_ndk开发环境

安装cygwin: 由于NDK编译代码时必须要用到make和gcc,所以你必须先搭建一个linux环境, cygwin是一个在windows平台上运行的unix模拟环境,它对于学习unix/linux操作环境,或者从unix到windows的应用程序移植,非常有用.通过它,你就可以在不安装linux的情况下使用NDK来编译C.C++代码了.下面我们一步一步的安装cygwin吧. 首先要下载cygwin的安装程序setup.exe,下载地址为: http://www.cygwin.com 下载完成

Windows下搭建Spark+Hadoop开发环境

只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录. 2. 下载支持插件 下载地址:https://github.com/ShixiangWan/winut

windows下eclipse+hadoop2

windows下eclipse+hadoop2.4开发手册 1.解压下载的hadoop2.4,到任意盘符,例如D:\hadoop-2.4.0. 2.设置环境变量 ①新建系统变量,如下所示. ②将新建的HADOOP_HOME变量"%HADOOP_HOME%\bin;"加入到PATH变量里,如下图. 3.将hadoop服务器下的hadoop目录下etc/hadoop目录下的以下四个文件拷贝到自己开发的电脑相应目录下,如下图所示. 4.如果hadoop服务器中上述四个文件配置的是机器名,请在

Hadoop开发环境搭建 windows下Eclipse

Hadoop开发环境搭建 windows下Eclipse 下载Eclipse www.eclipse.org 解压. 下载Hadoop的Eclipse Plugin 将插件包放到eclipse的plugins目录下.重启eclipse. 下载hadoop的安装包 将下载的hadoop安装包,解压到任一目录,最好是英文且无空格目录. 配置eclipse Hadoop instllation directory:设置为hadoop安装包解压的目录. Window->open persperctive