Hadoop1.2.1插件编译

本文介绍了Hadoop 1.2.1插件的编译步骤及编译后插件的配置。

1. 将Haoop 1.2.1源文件hadoop-1.2.1.tar.gz解压到D:\hadoop-1.2.1

2. 将项目导入Eclipse

3. 将build-contrib.xml拷贝到项目下。

4. 修改build.xml

1). 指定build-contrib.xml路径

<import file="./build-contrib.xml"/>

2). 添加Hadoop相关包到classpath中

<!-- Override classpath to include Eclipse SDK jars -->

<path id="classpath">

<!--pathelement location="${build.classes}"/-->

<!--pathelement location="${hadoop.root}/build/classes"/-->

<pathelement location="${hadoop.root}/hadoop-core-1.2.1.jar"/>

<pathelement location="${hadoop.root}/lib/*"/>

<path refid="eclipse-sdk-jars"/>

</path>

3). 拷贝相关包到项目lib目录下,然后打包到jar文件。

<target name="jar" depends="compile" unless="skip.contrib">

<mkdir dir="${build.dir}/lib"/>

<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>

<jar

jarfile="${build.dir}/hadoop-${name}-${version}.jar"

manifest="${root}/META-INF/MANIFEST.MF">

<fileset dir="${build.dir}" includes="classes/ lib/"/>

<fileset dir="${root}" includes="resources/ plugin.xml"/>

</jar>

</target>

5. 修改build-contrib.xml

1). 确认hadoop.root属性值是否正确,如果正确,可以hadoop目录的绝对路径

<property name="hadoop.root" location="${root}/../../../"/>

2).添加如下属性

<property name="version" value="1.2.1"/>

<property name="eclipse.home" location="D:/eclipse"/>

6). 将导出的jar包复制到eclipse安装目录下的dropins目录中

7. 重启eclipse

8. 配置HDFDS

注意运行eclipse的window用户一定要用Lunix上的Hadoop用户相同,或对Hadoop程序有访问权限。

linux有一个grid组可以访问hadoop程序,它包含两个用户(grid和chujq)

windown必须使用grid或chujq才可以访问HDFS。

时间: 2024-10-09 22:08:46

Hadoop1.2.1插件编译的相关文章

hadoop1.2 eclipse插件编译

目录说明 在编译之前,我们需要先下载后hadoop 1.2.1的源码文件,并解压到合适的位置.目录结构如下: Eclipse: D:\eclipse Hadoop: D:\hadoop-1.2.1 Step1导入 Hadoop-eclipse 插件工程 1. 下载hadoop-1.2.1.tar.gz,并解压缩到 D盘根目录下2. 在 Eclipse 中选择 File->Import->General/Existing Projectsinto Workspace 导入Hadoop的Eclip

Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)

一.引言: 最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家. 二.插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独立的开源项目,区别于之前版本直接集成到Hadoop1.x版本的模式,需要单独下载,下载网址: https://github.com/winghc/hadoop2x-eclipse-plugin 2.1 源码编译 1 hadoop2x-eclipse-plugin 2 ================

Hadoop-1.2.1 Eclipse插件编译

Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件.Hadoop源码包中有Eclipse插件源代码,需要自己动手编译. 环境:Hadoop 1.2.1 & Eclipse Kepler & Windows 7 & JAVA 7 1.生成插件源码 解压Hadoop安装包,找到src\contrib\eclipse-plugin 2.修改配置 修改${HADOOP_HOME}/src/contrib/目录下的build-contrib.xml文件,增加两行: &l

hadoop-1.2.1+eclipse+ubuntu插件编译小记

1.安装JDK和Ant,下载hadoop-1.2.1,hadoop-1.2.1的eclipse插件源码位于${hadoop.home}/src/contrib/eclipse-plugin. 2.将源码导入eclipse中.File->import->General->Existing Projects into Workspace->选择${hadoop.home}/src/contrib/eclipse-plugin 3.编译的时候会提示找不到类.将下面的fileset添加到c

win7下在eclipse3.7中使用hadoop1.2.1插件运行MadReduce例子

环境 win7+hadoop_1.2.1+eclipse 3.7+maven 3 1.在win7下下载hadoop_1.2.1 2.安装hadoop的eclipse插件,注意eclipse 4.x版本下,hadoop插件会有问题,一定不能用4.x版本的eclipse,我用的是eclipse Indigo 也就是3.7 版本. 我有一个视频:http://pan.baidu.com/s/1sjUhsh3,讲的是安装配置eclipse插件 3.重新编译hadoop的hadoop-1.2.1\src\

hadoop2.Xeclipse插件编译

一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse 上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所以我们自己编译一个 Eclipse插件,方便我们在我们本地上调试,经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件比之前简单多了.接下来 我 们开始编译Hadoop-eclipse-plugin插件,并在Eclipse开发Hadoop. 二.软件安装并配置 1

Nginx负载均衡优化插件编译及配置

一. Ngix依赖模块安装 Ngix依赖模块有:pcre.zlib.openssl.md5 /sha1(如果系统中没有安装相应模块,需要按照下列方式安装) 1. 安装pcre模块(8.35) 官方网站:http://www.pcre.org/ 安装命令: # unzip pcre-8.35.zip # cd pcre-8.35 # ./configure # make && make install 在64位linux系统中,nginx搜索的库位置为lib64:所以,需要建立软连接: #

openfire单个插件编译

方法一: openfire默认编译时,是同时编译主程序和所有在plugins目录中的插件.但进行插件开发时,这样编译就太费时费力.使用ant plugins可以只编译插件,能够节省部分时间.最节省时间的编译方法为在命令行下使用ant plugin -Dplugin=xxx进行编译,其中,xxx为插件名字(即plugins目录下的一个子目录名),这样就可以只编译指定的一个插件,省时省力.在eclispe中的设置方法为:1.首先把openfire的builder.xml文件加入ant视图里.如图:

hadoop2.6.0的eclipse插件编译和设置

1.编译hadoop2.6.0的eclipse插件 下载源码: git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git 编译源码: cd src/contrib/eclipse-plugin ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/opt/hadoop-2.6.0 eclipse.home 和 hadoop.home 设置成你自己的