Eclipse 导入Hadoop 2.6.0 源码

1. 首先前往 官网(Hadoop 2.6 下载地址)上下载Hadoop的源码文件,并解压

2. 事先请确定已经安装好jdk以及maven(Maven安装教程 这是其他人写的一篇博文,保存profile后,记得source下)

3. 进入到hadoop-2.6.0-src/hadoop-common-project/hadoop-common/src/test/java/org/apache/hadoop 目录

可以看到有很多文件夹,找到ipc目录,在里面mkdir protobuf文件夹(还有一丢丢问题,这个后面解决)

4. 安装protobuf

下载地址 : http://pan.baidu.com/s/1pJlZubT  并解压

切换到protobuf文件夹,依次在终端下输入:

. / configure

make

make check

make install

全部执行完后再输入protoc - - version检查是否安装成功。

5. hadoop-2.6.0-src/hadoop-common-project/hadoop-common/src/test/java/org/apache/hadoop/io/serializer/avro/TestAvroSerialization.java显示找不到AvroRecord类

去grepcode下载2.5.0或者更高版本的。放到相应位置

6. cd到 hadoop-2.6.0-src/hadoop-maven-plugins 目录下 使用:mvn intall

7. cd到hadoop-2.6.0-src 目录下 使用mvn eclipse:eclipse -DskipTests

8. 在Eclipse中:File-Import-Existing Projects into Workspace 选择hadoop-2.6.0-src目录导入(推荐换一个workspace再导入,因为project的数目挺多的)

到了这一步,基本上已经没什么问题了,但是还有一些小问题,需要解决

可能遇到的问题:

1.org.apache.hadoop.ipc.protobuf 包下,可能是空包。

去grepcode上搜索TestProtos和TestRpcServiceProtos两个类,我遇到的情况是本地目录已经存在那两个文件,却没有导入。

没有上述两个类,会提示一大片的EmptyRequestProto之类的无法解析

2.会提示com.sum.tool或者javadoc包无法解析

右键选择buildpath -> configure build path -> library -> add library -> ire system 即可

3. hadoop-streaming 工程中的build path 有问题

把source中的hadoop-yarn-server-resourcemanager/conf删除掉,然后Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf

参考资料:

1. 在mac中导入hadoop2.6.0源代码至eclipse教程

2. Eclipse导入Hadoop源码

3.  hadoop-2.6.0-src源码导入Eclipse

4. grepcode TestProtos

5. 百度知道:导入时可能遇到的错误以及解决办法 (请参考其他1条回答)

时间: 2024-11-07 03:50:19

Eclipse 导入Hadoop 2.6.0 源码的相关文章

【转载】如何从Eclipse导入github上的项目源码

如何从Eclipse导入github上的项目源码 分类: Android2013-02-03 10:04 21027人阅读 评论(15) 收藏 举报 1.首先在github.com上申请一个账号,比如笔者的账号为puma0072.Eclipse需要安装egit插件,在Eclipse中选择help->Marketplace,在search中输入egit,找到后安装即可3.在github上找到你要导入的源码项目,比如笔者以oschina的Android客户端为例,网址:https://github.

eclipse导入java和android sdk源码,帮助文档

eclipse导入java和android sdk源码,帮助文档 http://blog.csdn.net/ashelyhss/article/details/37993261 JavaDoc集成到Eclipse的帮助中 http://blog.chinaunix.net/uid-90129-id-132837.html android帮助文档打开慢的三种解决方法 set path=C:\Program Files\Git\bin; find . -name "*.html"|xarg

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤: 前提:编译源码所在的机器,必须能上网,否则建议不要尝试了 一. 下载必要的组件 a) 下载hadoop源码 (当前最新的稳定版是2.6.0)地址  http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz b) 下载apache-ant (centos自带的ant版本太低,编译过程中会报错)地址: http://mi

Eclipse导入Github上的Robotium源码进行代码分析的步骤

这篇文章应该只是针对像我这样的初级Maven用户的,因为自己花了不少时间来解决这个问题,而网上很多文章描述的也是语焉不详,所以记录下来以便后来如我者可以借鉴一二.文中有几点细节我觉得需要注意的我会高亮出来. 1. 问题描述 今天打算查看一下Robotum(其项目本身基于maven,因为我发现项目中有pom.xml文件)框架的源代码去了解其具体实现以加深理解,但下载后按照认知的方法去Import Maven Project后会发现函数跳转等功能通通不工作,按F3定位一个函数的声明位置时会出现: P

如何从Eclipse导入github上的项目源码

1.首先在github.com上申请一个账号,比如笔者的账号为puma0072.Eclipse需要安装egit插件,在Eclipse中选择help->Marketplace,在search中输入egit,找到后安装即可3.在github上找到你要导入的源码项目,比如笔者以oschina的Android客户端为例,网址:https://github.com/oschina/android-app4. 有三种导入方式HTTP.SSHGit .Read-Only,下面以http方式为例,单击http按

hadoop 2.6.0源码编译

这里面选择的HADOOP的版本为2.6.编译前需要准备的如下工具: HADOOP:   hadoop-2.6.0-src.tar.gz JDK:   jdk-7u71-linux-x64.tar.gz MAVEN:  apache-maven-3.0.5-bin.tar.gz PROTOBUF:   protobuf-2.5.0.tar.gz FINDBUGS:    findbugs-3.0.0.tar.gz ANT:  apache-ant-1.9.4-bin.tar.gz 1.分别解压ha

Eclipse 导入 github 上的项目源码

1.复制地址链接,https://gitshell.com/alwaysterry/AppiumTraining/ 2.从Eclipse中选择File->import->Git->Projects from Git 3.选择next->选择URI 4.选择next,粘贴复制的地址链接到URI上,(你在github上申请的账号密码,需要上传的时候必填,下载时选填) 5.选择next,进入分支选择,这里选择的是master 6.选择next,配置本地项目存放路径 7.选择next 8.

[hadoop]Windows下eclipse导入hadoop源码,编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

Hadoop1.x目录结构及Eclipse导入Hadoop源码项目

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):