win7搭建hadoop开发环境之编译hadoop-eclipse-xxx.jar插件

  1. 下载软件

    下载hadoop-1.2.1.tar.gz文件,在该压缩包中包含hadoop-eclipse的插件(https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz)

    下载apache-ant-1.9.6-bin.tar.gz文件,用于编译生成插件(http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.6-bin.tar.gz)

    下载jdk-7u79-windows-x64.exe文件(http://125.39.35.144/files/41590000063450B0/download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-windows-x64.exe)

    下载eclipse-java-juno-SR2-win32-x86_64.zip文件(http://mirror.bit.edu.cn/eclipse/technology/epp/downloads/release/juno/SR2/eclipse-java-juno-SR2-win32-x86_64.zip)

  2. 安装软件

    除jdk需要运行安装程序进行安装外,eclipse和apache-ant均为只要解压缩并配置好环境变量即可,hadoop只需要解压缩即可!本文中的目录如下:

    jdk:D:\Program Files\Java\jdk1.7.0_79

    hadoop:D:\hadoop-1.2.1\hadoop-1.2.1

    eclipse:D:\Program Files\eclipse-java-juno-SR2-win32-x86_64\eclipse

    apache-ant:D:\Program Files\apache-ant-1.9.6-bin\apache-ant-1.9.6

  3. 配置环境变量

右键点击“计算机”,点击“属性”,将出现下图窗体

点击“高级系统设置”后,将出现如下窗口

点击“环境变量”后,将出现如下窗口

如上图所示,要新建三个用户变量(ANT_HOME  |  CLASSPATH  |  JAVA_HOME)

ANT_HOME:D:\Program Files\apache-ant-1.9.6-bin\apache-ant-1.9.6

CLASSPATH:.;%JAVA_HOME%\lib

JAVA_HOME:D:\Program Files\Java\jdk1.7.0_79

修改系统变量“Path”的值(选中Path行,点击下方“编辑”按钮,将光标移动到行首,然后插入

如下内容)

.;D:\Program Files\apache-ant-1.9.6-bin\apache-ant-1.9.6\bin;D:\Program Files\Java\jdk1.7.0_79\bin;

保存即可!

4. 修改编译配置文件

在hadoop解压目录下,打开src\contrib\eclipse-plugin\build.xml,修改以下几行:

注:绿色部分为新增部分,淡蓝色部分为修改部分

<project default="jar" name="eclipse-plugin">
        <import file="../build-contrib.xml"/>
       <path id="eclipse-sdk-jars">
          <fileset dir="${eclipse.home}/plugins/">
          <include name="org.eclipse.ui*.jar"/>
          <include name="org.eclipse.jdt*.jar"/>
          <include name="org.eclipse.core*.jar"/>
          <include name="org.eclipse.equinox*.jar"/>
          <include name="org.eclipse.debug*.jar"/>
          <include name="org.eclipse.osgi*.jar"/>
          <include name="org.eclipse.swt*.jar"/>
          <include name="org.eclipse.jface*.jar"/>
          <include name="org.eclipse.team.cvs.ssh2*.jar"/>
          <include name="com.jcraft.jsch*.jar"/>
          </fileset> 
      </path>

<path id="hadoop-core-jar">
        <fileset dir="${hadoop.root}/">
        <include name="hadoop*.jar"/>
        </fileset>
      </path>

<!-- Override classpath to include Eclipse SDK jars -->
      <path id="classpath">
        <pathelement location="${build.classes}"/>
        <pathelement location="${hadoop.root}/build/classes"/>
        <path refid="eclipse-sdk-jars"/>

<path refid="hadoop-core-jar"/>

</path>

<!-- Skip building if eclipse.home is unset. -->
      <target name="check-contrib" unless="eclipse.home">
            <property name="skip.contrib" value="yes"/>
           <echo message="eclipse.home unset: skipping eclipse plugin"/>
      </target>

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
        <echo message="contrib: ${name}"/>
        <javac
         encoding="${build.encoding}"
         srcdir="${src.dir}"
         includes="**/*.java"
         destdir="${build.classes}"
         debug="${javac.debug}"
         deprecation="${javac.deprecation}">
         <classpath refid="classpath"/>
        </javac>
      </target>

<!-- Override jar target to specify manifest -->
      <target name="jar" depends="compile" unless="skip.contrib">
        <mkdir dir="${build.dir}/lib"/>

<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
        <copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
        <copy file="${hadoop.root}/lib/commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>  
        <copy file="${hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>  
        <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>  
        <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
        <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>  
        <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>

<jar
          jarfile="${build.dir}/hadoop-${name}-${version}.jar"
          manifest="${root}/META-INF/MANIFEST.MF">
          <fileset dir="${build.dir}" includes="classes/ lib/"/>
          <fileset dir="${root}" includes="resources/ plugin.xml"/>
        </jar>
      </target>

</project>

编辑src\contrib\build-contrib.xml

<property name="version" value="1.2.1"/>
          <property name="ivy.version" value="2.1.0"/>
          <property name="eclipse.home" location="...ECLIPSE_HOME..."/>

注意将ECLIPSE_HOME换成实际的eclipse的安装目录,本文为D:\Program Files\eclipse-java-juno-SR2-win32-x86_64\eclipse

5. 编译插件

打开命令行,进入目录...src\contrib\eclipse-plugin,输入ant编译。编译成功如下图

编译后的jar插件文件在{hadoop_home}\build\contrib\eclipse-plugin路径下。

6. 修改插件

1)在D盘新建文件夹alter_plugin(D:\alter_plugin)

2)将以上编译好的插件复制到上一步的目录下

3)鼠标右键点击插件,使用winrar进行解压缩

4)编辑D:\alter_plugin\hadoop-eclipse-plugin-1.2.1\META-INF\MANIFEST.MF(绿色修改)

Eclipse-LazyStart: true

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,

lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,

lib/commons-lang-2.4.jar,jackson-core-asl-1.8.8.jar,jackson-mapper-asl-1.8.8.jar
            Bundle-Vendor: Apache Hadoop

5)cmd命令行进入到D:\alter_plugin重新打包jar插件包

将D:\alter_plugin\hadoop-eclipse-plugin-1.2.1\META-INF\MANIFEST.MF 复制到

D:\alter_plugin\MANIFEST.MF

命令行执行  jar cvfm hadoop-eclipse-plugin-1.2.1.jar MANIFEST.MF -C hadoop-eclipse-plugin-1.2.1/ .

即可在D:\alter_plugin目录下生成编译好的hadoop-eclipse-plugin-1.2.1.jar插件!

6. 安装hadoop-eclipse插件

将该插件复制到eclipse安装目录下的plugins目录下

本文目录为:D:\Program Files\eclipse-java-juno-SR2-win32-x86_64\eclipse\plugins

7. 启动eclipse

Window -> Open Perspective -> Other ->选择Map/Reduce(蓝色的象)

在eclipse控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在空白的地方点右键,选择“New Hadoop location...”,如图所示:

Location name(取个名字)
        Map/Reduce Master(根据mapred-site.xml中配置的mapred.job.tracker来填写)
        DFS Master(根据core-site.xml中配置的fs.default.name来填写)

至此,左侧“Project Explorer”中将出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件等操作。

注意:若操作完成之后,在eclipse中没有立即显示,右键 刷新即可。

至此,编译hadoop-eclipse插件及安装到eclipse已经完成!如文中有纰漏,欢迎指正!

时间: 2024-10-16 03:34:12

win7搭建hadoop开发环境之编译hadoop-eclipse-xxx.jar插件的相关文章

win7搭建android开发环境——离线一体化配置Eclipse+ADT+SDK

在win7 环境下,Eclipse环境中SDK在线更新,总是失败,有些平台下载不全.本文实现离线搭建Android环境(除了后期更新),首先需要下载JDK/Eclipse/SDK/ADT. 1.软件包下载 JDK              JDK1.8.0_51 [jdk-8u51-windows-i586]             下载:http://yunpan.cn/cdZiRc6YdKa63    访问密码 cd3d Eclipse        Eclipse 4.5 [eclipse

如何为电脑(win7)搭建Android开发环境

对于Android初学者来说,熟练掌握搭建Android开发环境能提高对它的理解.具体分为两个部分:下载工具和安装测试. 第一部分:下载工具. 需要下载,jdk,Android SDK,IDE. 1.jdk是Java开发工具.进入Oracle首页,找到Java SE标签,进入标签有download子标签,在此标签下提供最新版本的jdk开发工具,下载面向软件开发人员的版本即可. 2.Android SDK是Android 软件开发工具包.进入Android首页,首页会更新最新版本的Android,

Win7搭建NodeJs开发环境以及HelloWorld展示—图解

Windows 7系统下搭建NodeJs开发环境(NodeJs+WebStrom)以及Hello World!展示,大体思路如下:第一步:安装NodeJs运行环境.第二步:安装WebStrom开发工具.第三步:创建并运行NodeJs项目展示Hello world! 1.下载nodejs 地址:http://nodejs.org/ 点击安装完成,然后安装“组件”,如图: 2.安装WebStrom,导入nodejs开发插件 下载地址:http://www.jetbrains.com/webstorm

Fedora15下搭建QT开发环境及编译QT

看了不少linux上编译qt的文章,实际上直接通过yum 安装qt是最方便的,请参考<yum安装qt> 不过初步接触fedora,为了了解一下如何在linux上编译.安装开源代码,所以必须手动编译,走完这一趟. ----------------------------------- 一键安装完,qt编译所有必需库 yum install gcc-c++ libXtst-devel freetype freetype-devel fontconfig-devel libXrender-devel

win7搭建pyqt4开发环境

版本 win7 64bit python2.7 https://www.python.org/ftp/python/2.7.13/python-2.7.13.amd64.msi pyqt4 https://downloads.sourceforge.net/project/pyqt/PyQt4/PyQt-4.11.4/PyQt4-4.11.4-gpl-Py2.7-Qt4.8.7-x64.exe?r=https%3A%2F%2Fsourceforge.net%2Fprojects%2Fpyqt%2

【001:ubuntu下搭建ESP8266开发环境--编辑 编译 下载】

系统环境:ubuntu 16.04 TLS 64BIT 编辑器: Eclipse CDT 版本 编译器:xtensa-lx106-elf 交叉编译工具链 下载工具:esptool.py pyserial 一.软件准备 1.eclipse:download.eclipse.org   下载 CPP版本 2.xtensa-lx106-elf : google 或 百度 3.esptool.py:https://github.com/themadinventor/esptool(或在github中搜索

Android基础之用Eclipse搭建Android开发环境和创建第一个Android项目(Windows平台)

一.搭建Android开发环境 准备工作:下载Eclipse.JDK.Android SDK.ADT插件 下载地址:Eclipse:http://www.eclipse.org/downloads/ JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk7u9-downloads-1859576.html Android SDK:http://developer.android.com/sdk/index.html ADT:

eclipse中搭建Android开发环境

一.搭建Android开发环境 准备工作:下载Eclipse.JDK.Android SDK.ADT插件 下载地址:Eclipse:http://www.eclipse.org/downloads/ Android ADT23.0.6 链接:https://blog.csdn.net/tomatulip/article/details/75453780 Android6.0 SDK     链接:http://tools.android-studio.org/ 1.安装和配置JAVA开发环境:

使用HDP快速搭建Hadoop开发环境 | Debugo

本文简单记录了一下使用VMware workstation 10.CentOS和HDP 2.0.6(Hadoop 2.2)发行版构建Hadoop开发测试环境的全部流程.这个过程中我遇到了不少问题,也耽误了不少的时间,所以将此文奉上,希望对大家有所帮助. 本文使用两台虚拟机搭建真实集群环境,操作系统为Cent OS 6.5.可以使用VMware Workstation的简易安装模式来进行. 0. 安装CentOS 6.5虚拟机 根据向导设置系统用户.CPU.内存.磁盘和网络.这里为了让yum能连接