基于Eclipse构建Hadoop源码阅读环境

一、工具
　　1、hadoop-2.6.0-src.tar
　　2、eclipse
　　3、maven
　　4、protoc
二、下载源码地址：http://mirrors.hust.edu.cn/apache/hadoop/common/
三、准备maven包：eclipse-maven3-plugin
　　M2_HOME E:\apache-maven-3.3.3
　　path ;%M2_HOME%\bin
　　测试：cmd-->mvn -v
四、protoc安装
　　1、准备：protoc-2.5.0-win32.zip、protobuf-2.5.0.tar.gz
　　2、将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。
　　3、将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中。
　　4、进入XXX\protobuf-2.4.1\java 目录 执行mvn package命令编辑该包生成protobuf-java-2.5.0.jar文件（Jar包位于XXX\protobuf-2.4.1\javatarget目录中）。
　　(备注：运行失败，再运行一次竟然成功了，可能网络不好，获取失败)
　　5、protoc --version
五、通过maven获取源码（这里需要说明的是，在使用maven的时候，需要先安装jdk，protoc ，如果没有安装可以参考win7如何安装maven、安装protoc）
　　1、进入hadoop->src目录：e:\hadoop_src\hadoop-2.6.0-src\hadoop-maven-plugins
　　2、运行：mvn install 生成JAR包（JAR包位于：E:\hadoop_src\hadoop-2.6.0-src\hadoop-maven-plugins\target中）
　　3、进入：E:\SoftWare\HADOOP\hadoop2.6\hadoop-2.6.0-src，运行:mvn eclipse:eclipse -DskipTests

　　(这时候，我们已经把源码给下载下来了。这时候，我们会看到文件会明显增大。)

　　4、mvn eclipse:eclipse -DskipTests（生成eclipse项目文件）
　　（这一步总是构建失败，但是已经可以导入源码了）
六、随便打开一个方法，ctrl+alt+h可以查看调用关系

时间： 2024-07-31 09:55:58

基于Eclipse构建Hadoop源码阅读环境的相关文章

Hadoop源码阅读环境搭建

Hadoop源码阅读环境搭建 一.说明 作为一个学习hadoop的同学,必须在本机上搭建hadoop源码阅读环境,这样,在方便阅读源码的同时也方便进行调试和源码修改.好了,下面开始搭建环境. 1.环境说明:hadoop 版本:1.2.1. IDE:eclipse.操作系统:centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse,具体做法如下: File-->new-->Java Project-->勾掉Use

Mac搭建Hadoop源码阅读环境

1.本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3.需要安装的工具包括idea.jdk.maven.protobuf等 2.jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next. 3.idea安装,略 4.maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压: tar -zxvf  apache-maven-3.3.9-bin.tar 进入 Mave

IntelliJ IDEA 配置 Hadoop 源码阅读环境

1.下载安装IDEA https://www.jetbrains.com/idea/download/#section=windows 2.下载hadoop源码 https://archive.apache.org/dist/hadoop/core/ 3.使用IDEA打开hadoop源码 4.配置自定义Maven配置文件 file -> setting -> 如下图设置: 附(需要使用aliyun的源,默认国外源基本用不了): 1 <?xml version="1.0"

idea构建spring源码阅读环境

(一)安装git和Gradle Spring项目托管在github之上,基于Gradle来构建项目.所以要想搭建Spring的阅读环境,首先需要安装github和Gradle.对于一个程序员来说,github肯定都是安好了的,这里只简单介绍一下Gradle的安装. 首先,我们可以从https://gradle.org/releases/页面下载我们需要的Gradle版本(我的是gradle-4.0.2-all).下载完成之后,解压到自己指定的目录,然后类似配置JDK一样配置环境变量: (1)根据

Eclipse Hadoop源码阅读环境

一.解压hadoop src包到workspace目录 二.File->Import->Existing Maven Projects,在Root Directory处选择解压好的目录,Finish 三.等待maven把依赖包下载好后,会出现一些问题,下面是重头戏. 四.maven问题解决 (1)若发现maven依赖包找不见,找到位置后删除jar包目录,然后右击工程,Alt+F5,确认后会自动下载.不要手动下载第三方包,可能不识别 (2)报 maven-resources-plugin pri

Hadoop学习系列笔记一：搭建hadoop源码阅读环境

本文来源于<Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理> 一.Hadoop基本概念 Hadoop是Apache基金会下的一个开源分布式计算平台,以Hadoop分布式文件系统(HDFS)和MapReduce分布式计算框架为核心,为用户提供了底层细节透明的分布式基础设施. HDFS的高容错性.高伸缩性等优点,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统. MapReduce分布式计算计算框架则允许用户在不了解分布式系统底层细节的情况下开发并行.分

【Spark】配置Spark源码阅读环境

Scala构建工具(SBT)的使用 SBT介绍 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建,但SBT的某些特性却让人如此着迷,比如: 使用Scala作为DSL来定义build文件(one language rules them all); 通过触发执行(trigger execution)特性支持持续的编译与

[hadoop]Windows下eclipse导入hadoop源码，编译WordCount

hadoop版本为hadoop1.2.1 eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64 WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.java 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License"); 3 * you may not

Hadoop1.x目录结构及Eclipse导入Hadoop源码项目

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):