使用hadoop ecipse插件需要注意的问题

1.关于run on hadoop的问题:

在未用hadoop eclipse插件前,我以为通过hadoop eclipse 插件不但可以管理hdfs,还可以自动打包程序,并帮我自动设置Configuration对象的mapred.jar属性值。但用了之后,才发现,这个插件只能管理hdfs,至于打包程序等操作,还得自己手动进行。我用的hadoop 版本为1.2.1,hadoop eclipse插件个人亲自编译生成,保证无任何问题,我一开始用的是MyEclipse后来换成Eclipse,但试用了,仍存在这个问题。"run
as——>run on hadoop"并未弹出如下所示窗口:

而是直接运行了,效果跟"run as——>run configurations——>填写参数值——>run"的效果一致。

不知道是不是这个hadoop 1.2.1版本的ecipse插件都存在这个问题,还是我个人使用出现的问题,如果有哪位童鞋们知道这个问题,可以赐教下!

2.关于通过ecipse设置hadoop运行模式的问题:

说先,我们要明确hadoop的运行模式以及各种运行模式的区别,参考如下:

(1)独立模式<standalone>(也叫本地模式<local
mode>)

独立模式完全运行在本地,不会加载任何MapReduce服务,因而不会涉及Mapreduce最核心的代码实现。

独立模式无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。

(2)分布式模式(pseudo-distributed model)

其中,分布模式分为两种:伪分布式模式和全分布式模式。

a.伪分布式模式:

伪分布式模式即为“单点集群”,在该模式下所有的守护进程均会运行在单个节点上。

b.全分布模式(fully distributed model)

Hadoop守护进程运行在一个真实的集群上,如NameNode、SeconeNameNode、Jobtracker、TaskTracker等分别运行在不同机器上。

注:其中,独立模式和单机模式均运行在单机环境中。

在特定模式下运行Hadoop需要关注两个因素:正确设置属性和启动Hadoop守护进程。

下表列举了配置各种模式所需要的最小属性集合:


组件名称


属性名称


独立模式


伪分布模式


全分布模式


Common


fs.default.name


file:///(默认)


hdfs://localhost/


hdfs://namenode/


HDFS


dfs.replication


N/A


1


3(默认)


MapReduce


mapred.job.tracker


local(默认)


localhost:8021


jobtracker:8021

在独立模式下,将使用本地文件系统(默认为本地文件系统,也可以设置文件系统为hdfs)和本地MapReduce作业运行;在分布式模式下,将启动HDFS和MapReduce守护进程。

在明晰了上述区别后,我们再说在eclipse中运行hadoop程序的问题。

注:在这里,我们不区分伪分布式模式和全分布式模式,把他们都叫做分布式模式。

在eclipse中运行hadoop程序可以采用本地立模式和分布式模式,如果没有设置mapred.job.tracker属性值的话,默认采用本地模式运行。本地模式中,文件系统可以使用本地文件系统(file:///)也可以使用HDFS文件系统(hdfs://),如果使用hdfs文件系统的话,则需要设置fs.default.name属性。本地模式中,mapreduce等一系列过程直接运行在ecipse启动的单个JVM进程内,程序的运行完全与hadoop集群没有任何关系(不使用hdfs文件系统的前提下),这时,你如果关闭了hadoop集群,对程序的运行没有任何影响(不使用hdfs文件系统的前提下)。

如果设置了mapred.job.tracker属性值的话,则采用分布式模式运行,eclipse在此其实是充当了“client”的角色,将程序提交给jobtracker,有jobtracker来分配和管理任务的运行。其实就是说eclipse把任务提交给hadoop集群了,这时,你打开jobtracker或者namenode、datanode的对应的网页监控页面的话,可以看到运行状态和日志。

注:上面所说的设置mapred.job.tracker属性值和设置fs.default.name属性值可以在程序中设置Configuration对象或者分别将mapred-site.xml文件(对应mapred.job.tracker配置)、core-site.xml、hdfs-site.xml(这两个文件对应fs.default.name配置)分别放入eclipse
hadoop工程的环境变量中去。

时间: 2024-10-12 19:24:52

使用hadoop ecipse插件需要注意的问题的相关文章

Hadoop学习笔记—6.Hadoop Eclipse插件的使用

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大.因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度. 一.天降神器插件-Hadoop Eclipse Hadoop Eclipse是Hadoop开发环境的

hadoop eclipse插件生成

hadoop eclipse插件生成 做了一年的hadoop开发.还没有自动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,開始了. 本文着重介绍Eclipse插件的生成.配置过程.常见错误的解放方法以及使用Eclipse插件測试执行wordcount演示样例. 一.环境说明 本列中的hadoop eclipse插件通过eclipse生成(未使用命令生成是由于用命令生成插件过程中发生的一些问题.不easy查看和改动,用eclipse非

关于自编译hadoop eclipse 插件

由于在eclipse下开发hadoop 程序需要插件支持,而且hadoop报下已经没有插件了,所以需要我们自己编译,操作步骤如下 1.进入D:\hadoop-1.2.1\src\contrib目录,找到build-contrib.xml文件 ,将hadoop.root改为hadoop解压目录. <property name="hadoop.root" location="D:\hadoop-1.2.1"/> 在下面添加如下两行:Eclipse安装根目录,

[原创] 毕设---在myeclipes中安装Hadoop开发插件

1.安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]->[Other...

一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

本博客hadoop版本是hadoop  0.20.2. 安装hadoop-0.20.2-eclipse-plugin.jar 下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示 到这里插件安装成功 map

更新 hadoop eclipse 插件

卸载hadoop 1.1.2插件.并安装新版hadoop 2.2.0插件. 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在eclipse中,在eclipse perspective视图中有Map/Reduce视图,可是没有图标,新建项目也不会出现Map/Reduce项目. 须要运行例如以下步骤: 1. 删除plugins文件夹下的hadoop 1.1.2插件,并放入hadoop 2.2.0插件. 2. 删除configur

hadoop的插件的配置

hadoop eclipse 插件 EP2

紧接上一部分. 用eclipse在本地进行mapreduce的时候,总能遇到一个问题. 我到网上去照搬别人的代码,创建了本地的输入文件夹,在本地运行. 结束后能按照代码中指明的那样产生一个输出文件夹,里面应该有运行结果的文件. 但是,我复制了几份代码,真正能运行并得出结果的只有一个. 没有人甘心接受这样的结局. 我也如此. 然而我又能做什么呢? 我上网搜索了一些方法,这样一来,程序运行过程的日志没有输出的问题得到解决. 不过,日志中纵然显示了错误的类型和所在,这对于错误的纠正没有作用. 兜兜转转

Linux下为Eclipse安装hadoop插件

前提条件:在Linux系统中已经安装好了jdk和hadoop 本文的安装环境:1.arch Linux 2. hadoop1.0.1本地伪分布模式安装  3. Eclipse 4.5 1. 下载Eclipse 的Linux版本(http://www.eclipse.org/downloads/?osType=linux) ,选择IDE for Java EE,注意要下载Package,不要下载Installer. 2. 将下载好的压缩包解压的到软件的安装目录,此时Eclipse可以使用,后面的工