Eclipse 导入 Hadoop 源码

1.准备工作


  • jdk:

  • eclipse:

  • Maven:

  • libprotoc :https://developers.google.com/protocol-buffers/

  • hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/


添加开源中国maven库:http://maven.oschina.net/home.html

maven\conf\settings.xml

<localRepository>path</localRepository>


<localRepository>path</localRepository>
<mirrors>
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexus osc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
</mirrors>

2.导入


  1. 将hadoop源码解压到一个目录,注意目录层次不要太深,否则可能无法解压。

  2. 进入hadoop-maven-plugins文件夹,执行 mvn install

  3. 返回源码根目录,执行 mvn eclipse:eclipse
    –DskipTests

  4. eclipse在任意目录创建新的WorkSpace

  5. eclipse设置Maven:window->preference->maven->{Installations...;user
    Settings:maven\conf\settings.xml}

  6. eclipse:File->inport->Existing Projects into
    WorkSpace->Hadoop源码根目录

3.错误处理


  1. maven下载pom失败->重新操作

  2. hadoop-streaming中build path错误->Java Build Path->Source:
    1. 删除...hadoop-yarn-server-resourcemanager/conf

    2. Link
      Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion
      patterns:capacity-scheduler.xml;exclusion patters:**/*.java

  3. org.apache.hadoop.io.serializer.avro.TestAvroSerialization

    1. 下载avro-tools-1.7.4.jar:http://archive.apache.org/dist/avro/avro-1.7.4/java/

    2. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\avro

    3. java -jar path/to/avro-tools-1.7.4.jar compile schema avroRecord.avsc
      ..\java

    4. eclipse 刷新

  4. org.apache.hadoop.ipc.protobuf.TestProtos

    1. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\proto

    2. protoc --java_out=../java *.proto

    3. eclipse 刷新

  5. project->clean..->clean all projects & Build the entire
    workspace

Eclipse 导入 Hadoop 源码

时间: 2024-10-18 21:40:12

Eclipse 导入 Hadoop 源码的相关文章

Hadoop1.x目录结构及Eclipse导入Hadoop源码项目

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):

[hadoop]Windows下eclipse导入hadoop源码,编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

Eclipse导入Hadoop源码项目及编写Hadoop程序

一 Eclipse导入Hadoop源码项目 基本步骤: 1)在Eclipse新建一个java项目[hadoop-1.2.1] 2)将Hadoop压缩包解压目录src下的core,hdfs,mapred,tools,example四个目录copy到上述新建项目的src目录下 3)右击选择 Build Path,修改Java Build Path中[Source],删除src,添加src/core,src/hdfs,src/mapred,src/tools几个源码目录: 4)在项目中新建一个lib目

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码 老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/ 1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示: 2.在MyEclipse中新建一个JavaProject 工程名称为hadoop 3.复制源码到我们的工程中 复制hadoop-1.1.2源码文

eclipse导入Java源码

eclipse导入Java源码 下载源码包(一般jdk都自带了, 我的没有) src.zip eclipse -> window -> preferences -> JAVA -> Installed JREs 选中jdk -> edit 选中rt.jar包(我的在第二行) 点击左边三角展开这个包 选择Source attachment , 右边点Source Attachment 选择要引入的文件 完毕 原文地址:https://www.cnblogs.com/helkbo

安装Hadoop系列 — 导入Hadoop源码项目

将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件. 第一步:在Eclipse新建一个Java项目,hadoop-1.0.3 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步:修改将Java Build Path,删除src,添加src/core, src/hdfs....几个源码目录 第四步:为Java Build Pat

基于Eclipse构建Hadoop源码阅读环境

一.工具 1.hadoop-2.6.0-src.tar 2.eclipse 3.maven 4.protoc二.下载源码地址:http://mirrors.hust.edu.cn/apache/hadoop/common/三.准备maven包:eclipse-maven3-plugin M2_HOME E:\apache-maven-3.3.3 path ;%M2_HOME%\bin 测试:cmd-->mvn -v四.protoc安装 1.准备:protoc-2.5.0-win32.zip.pr

eclipse 导入tomcat7源码

导入tomcat的源码其实说简单也不简单,说不简单也简单,主要还是环境问题,中间花费了我很多时间,网上找了很多都没什么用,参考一些文章,然后自己慢慢摸索出来的. 环境:(1)jdk:jdk1.6.0_45  我下的是这个版本,只要是jdk1.6的就可以(1.7是编译不了的,反正我是不行,最后配置了多个1.6)jdk6下载地址 (2)ant:apache-ant-1.9.6 应该1.7以上的都可以  http://ant.apache.org/bindownload.cgi (3)tomcat:a

eclipse导入tomcat源码

一直在用tomcat,想了解一下tocmat的原理,下面给大家展示如何将源码导入eclipse; 版本apache-tomcat-6.0.39 这里官方教程地址 http://tomcat.apache.org/tomcat-6.0-doc/building.html: 我的整个导入流程也是基于官方的教程,毕竟网上的说法太杂乱了. 准备资源: tomcat6源码:http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.39/src/: ant1.8