编译eclipse hadoop插件

操作系统:ubuntu

hadoop版本:1.0.1

eclipse版本:eclipse Helios-SR2

直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的,因为少了一些jar包,所以需要手工修改src/contrib/eclipse-plugin目录下的build.xml文件和META-INF/MANIFEST.MF文件。

  1. 修改build.xml文件

这是没修改前的

<target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
    </jar>
  </target>

在这个基础上修改,修改后为

<target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>
    <jar
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
    </jar>
  </target>

2. 修改META-INF/MANIFEST.MF文件

这是没修改前的

Bundle-ClassPath: classes/,lib/hadoop-core.jar

在这个基础上修改,修改后为

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-httpclient-3.0.1.jar

注意要把build.xml中定义的所有jar包都加上,我就是一开始少写了lib/commons-cli-1.2.jar,导致使用是还是一直报Error:failure to login的错误,折腾了很久(被《hadoop技术内幕》这本书误导了)

3.编译生成插件jar包

命令行进入到hadoop安装目录下的src/contrib/eclipse-plugin目录下,输入以下命令:

ant -Declipse.home=/home/jason/eclipse -Dversion=1.0.2-SNAPSHOT

其中eclipse.home是用来指定eclipse的路径,version是Hadoop的版本号。

最后会在hadoop安装目录下的build/contrib/eclipse-plugin目录下看到生成的jar包,把它拷贝到eclipse的插件目录下即可。

时间: 2025-01-07 13:22:01

编译eclipse hadoop插件的相关文章

大数据【二】HDFS部署及文件读写(包含eclipse hadoop配置)

一 原理阐述 1' DFS 分布式文件系统(即DFS,Distributed File System),指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.该系统架构于网络之上,势必会引入网络编程的复杂性,因此分布式文件系统比普通磁盘文件系统更为复杂. 2' HDFS 借此,关于GFS和HDFS的区别与联系查看 我于博客园找到的前辈的博客>>http://www.cnblogs.com/liango/p/7136448.html HDFS(Hadoop Dis

Hadoop学习之编译eclipse插件

近期准备開始学习Hadoop1.2.1的源码,感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况.因为选择的IDE为eclipse,所以准备编译一下hadoop的eclipse插件,以下就直接进入正题.Hadoop的eclipse插件源码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中,直接进入该文件夹,在不做不论什么改动的情况下,在命令行输入ant,运行效果例如以下: [[email protected] eclipse

Ubuntu 14.10 下Eclipse安装Hadoop插件

准备环境 1 安装好了Hadoop,之前安装了Hadoop 2.5.0,安装参考http://www.cnblogs.com/liuchangchun/p/4097286.html 2 安装Eclipse,这个直接在其官网下载即可 安装步骤 1 下载Eclipse插件,我找的是Hadoop 2.2 的插件,在Hadoop 2.5 下可以正常用,获取插件这里有两种方式 1.1 一是自己下载源码自己编译,过程如下 首先,下载eclipse-hadoop的插件,网址是https://github.co

win7搭建hadoop开发环境之编译hadoop-eclipse-xxx.jar插件

下载软件 下载hadoop-1.2.1.tar.gz文件,在该压缩包中包含hadoop-eclipse的插件(https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz) 下载apache-ant-1.9.6-bin.tar.gz文件,用于编译生成插件(http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.6-bin.tar.gz)

Eclipse安装Hadoop插件

首先说明一下配置的环境 系统:Ubuntu14.0.4 IDE:eclipse 4.4.1 Hadoop:Hadoop 2.2.0 对于Hadoop的旧版本,可以直接复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar 到 eclipse安装目录/plugins/ 下(并没有亲自验证).对于Hadoop2,需要上https://github.com/winghc/hadoop2x-eclipse-plu

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

Eclipse安装Hadoop插件配置Hadoop开发环境

一.编译Hadoop插件 首先需要编译Hadoop 插件:hadoop-eclipse-plugin-2.6.0.jar,然后才可以安装使用. 第三方的编译教程:https://github.com/winghc/hadoop2x-eclipse-plugin 二.放置插件并重启Eclipse 将编译好的插件hadoop-eclipse-plugin-2.6.0.jar放到Eclipse目录下的plugins文件夹中,并重启Eclipse 三.在Eclipse中配置插件 在Eclipse软件中,

Linux下为Eclipse安装hadoop插件

前提条件:在Linux系统中已经安装好了jdk和hadoop 本文的安装环境:1.arch Linux 2. hadoop1.0.1本地伪分布模式安装  3. Eclipse 4.5 1. 下载Eclipse 的Linux版本(http://www.eclipse.org/downloads/?osType=linux) ,选择IDE for Java EE,注意要下载Package,不要下载Installer. 2. 将下载好的压缩包解压的到软件的安装目录,此时Eclipse可以使用,后面的工

eclipse配置hadoop插件

eclipse配置hadoop插件: