[0008] Windows 7 下 eclipse 的hadoop2.6.4 插件安装使用

目的:

基于上篇的方法介绍,开发很不方便 。[0007] windows 下 eclipse 开发 hdfs程序样例

装上插件,方便后续直接在windows下的IDE开发调试。

环境:

Linux  Hadoop 2.6.4,参考文章 [0001]

Win 7 64  下的 Eclipse Version: Luna Service Release 1 (4.4.1)

hadoop-eclipse-plugin-2.6.4.jar   下载地址:http://download.csdn.net/detail/tondayong1981/9437360

Hadoop 2.6.4 安装程序包

1.  准备Hadoop安装包

在windows下解压 Hadoop 2.6.4 安装程序包。  将Linux上的hadoop 安装目录下 etc/hadoop的所有配置文件

全部替换 windows下解压后的配置文件

2 . 安装插件

  • eclipse关闭状态下, 将 hadoop-eclipse-plugin-2.6.4.jar 放到该目录下 eclipse安装目录\plugins\
  • 启动eclipse
  • 菜单栏->窗口windows->首选项preferences->Hadoop mapeduce ,指定hadoop路径为前面的解压路径
  • 菜单栏->窗口windows->Open Perspective->Other->选择Map/Reduce ok->Map/Reduce Location选项卡 ->右边蓝色小象 打开配置窗口如图,进行如下设置,点击ok

1位置为配置的名称,任意。

2位置为mapred-site.xml文件中的mapreduce.jobhistory.address配置,如果没有则默认是10020。

3位置为core-site.xml文件中的fs.defaultFS:hdfs://ssmaster:9000 。

这是网上找到图片,我的设置

hadoop2.6伪分布式,ssmaster:50020,ssmaster:9000

设置成功后,在eclipse这里可以直接显示Linux Hadoop hdfs的文件目录

3.可能出现的问题

上面某个目录可能提示:

Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

用户Administator在hadoop上执行写操作时被权限系统拒,windows eclipse的默认用 用户Administator 去访问hadoop的文件

解决如下:

windows 添加环境变量 HADOOP_USER_NAME ,值为 hadoop (这是Linux上hadoop2.6.4 的用户名)

重启eclipse生效

Z 总结:

加油,干得好。

后续

照着参考里面的程序,跑一下,测试直接跑程序能否成功

C 参考:

c.1  Win7+Eclipse+Hadoop2.6.4开发环境搭建

c.2  Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境

c.3  关于使用Hadoop MR的Eclipse插件开发时遇到Permission denied问题的解决办法

时间: 2024-11-20 15:10:24

[0008] Windows 7 下 eclipse 的hadoop2.6.4 插件安装使用的相关文章

【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

Windows环境下Eclipse(在线+离线) 安装 Maven 的 m2eclipse 插件

Eclipse是一款非常优秀的IDE.除了基本的语法标亮.代码补齐.XML编辑等基本功能外,最新版的Eclipse还能很好地支持重构,并且集成了JUnit.CVS.Mylyn等各种流行工具. 可惜Eclipse默认没有集成对Maven的支持.幸运的是,由Maven之父Jason Van Zyl创立的Sonatype公司建立了m2eclipse项目,这是Eclipse下的一款十分强大的Maven插件,可以访问http://m2eclipse.sonatype.org/ 了解更多该项目的信息. 一.

Windows环境下在IDEA编辑器中spark开发安装步骤

以下是windows环境下安装spark的过程: 1.安装JDK(version:1.8.0.152) 2.安装scala(version:2.11/2.12) 3.安装spark(version:spark-2.3.0-bin-hadoop2.6.tgz) 4.安装wintuils(设置windows系统的环境变量HADOOP_HOME) 以下是spark开发环境搭建: 1.scala插件安装 2.全局JDK和Library的设置 3.配置全局的scala SDK 4.导入spark依赖包(s

Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

[开发]Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立mven工程,并编辑pom文件如下 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.96.2-hadoop2</version> </dependency&g

【图解】Eclipse下JRebel6.2.0热部署插件安装、破解及配置

这两天在做后台管理系统,前端框架用Bootstrap,后端用SpringMVC+Velocity.在开发过程中,经常需要对界面进行微调,调整传参等,每次更改一次java代码,就得重新部署一次,耗在各种等待上的时间太多了.因此下决心将JRebel插件装上. 第一步,安装: 首先,大家可以到:https://zeroturnaround.com/software/jrebel/quickstart/eclipse/ 下载最新的JRebel压缩包.(部分网络在线安装经常会超时,建议使用离线下载安装的方

Windows环境下使用Clover四叶草引导双硬盘安装OSX 10.11.5原版镜像

作为一个穷逼大学生,想搞iOS开发 买不起Mac只能鼓捣鼓捣黑苹果啦........ 之前我的电脑通过变色龙引导的方式装了个OSX10.10和win8.1双系统,因为自学的是Swift语言之前装的OSX10.10.4的Xcode(6.多版本的)只支持到Swift1.2,所以现在要装个OSX10.11.5的系统搞搞iOS开发.电脑硬盘差不多快装满了所以这次准备把OSX10.11.5装到我的移动硬盘上.因为电脑已经装过一个OSX10.10所以还用变色龙的话 出了一堆奇奇怪怪的问题.扯淡的不行.所以这

windows系统下,在C#程序中自动安装字体

在Windows系统中,原有自带的字体样式有限,有时候我们的程序会使用到个别稀有或系统不自带的字体.因此我们需要将字体打包到程序中,当程序启动时,检测系统是否有该字体,如果没有则安装该字体,也可以动态加载字体. 1.1.使用代码安装字体 注意:安装字体时,需要windows的管理员权限. [DllImport("kernel32.dll", SetLastError = true)] public static extern int WriteProfileString(string

[0010] windows 下 eclipse 开发 hdfs程序样例 (二)

目的: 学习windows 开发hadoop程序的配置 相关: [0007] windows 下 eclipse 开发 hdfs程序样例 环境: 基于以下环境配置好后. [0008] Windows 7 下 hadoop 2.6.4 eclipse 本地开发调试配置 1. 新建HDFS下载文件类 在已有mapreduce项目中新建类添加如下代码,代码从[0007]中取出小修改 功能:从hdfs下载文件到windows本地 package hadoop.hdfs; import java.io.F