hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源码

Eclipse中用maven导入hadoop源码

1)  安装并配置maven环境变量

M2_HOME: D:\profession\hadoop\apache-maven-3.3.3

PATH: %M2_HOME%\bin;

2)  验证:mvn –version

3)  下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip

4)  将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中

5)  将protoc.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中

6)  进入XXX\protobuf-2.5.0\java 目录

执行【mvn package】命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target目录中)。

(注:有可能报一大堆error,可以删除文件,重新解压缩,重新执行【mvn package】命令就OK了)

输出信息:[INFO] BUILD SUCCESS

7)  验证:protoc –version

8)  配置protoc.exe的path路径,并重启计算机

9)  下载maven包hadoop-2.5.2-src.tar.gz

10)     cmd进入hadoop-maven-plugins目录,

运行mvn install

输出信息:[INFO] BUILD SUCCESS

11)     cmd进入hadoop-2.5.2-src目录,

运行mvn eclipse:eclipse –DskipTests

输出信息:[INFO] BUILD SUCCESS

12)     eclipse,选择import maven projects,点击Browse… 选择hadoop源码根目录,导入各个项目

13)     一大锥报错,右键,maven,disabledependency management, enable dependency management,之后只剩余common包报错

14)     project->buildautomacilly,取消maven自动编译同步

15) Q:Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.5.2:protoc(compile-protoc) on project hadoop-                                   common:org.apache.maven.plugin.MojoExecutionException:
‘protoc --version‘ did notreturn a version

A:这个要分两种情况看,第一种情况可能是由于没有安装或者安装不成功protobuf程序导致的,第二种情况,已经成功安装了                  protobuf程序,protoc -–version也成功的返回了版本号,但是还是报上述异常,这种情况一般是由于没有配置protoc的path路             径导致的

16)自从把hadoop版本选成了2.5.2版本之后就开始悲剧了,网上可供借鉴的资料聊聊无几,全靠自己摸索,所以大家以后选择版本的时候还是选择成熟大众的版本比较容易些

时间: 2024-10-23 16:22:22

hadoop学习笔记(四)——eclipse+maven+hadoop2.5.2源码的相关文章

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

Hadoop学习第l六次:HDFS的源码导入分析

1. cd /usr/local/hadoop/tmp/dfs/name/current可以看到关键的文件edits和fsimage 2.cd /usr/local/hadoop/conf可以看到关键的配置文件: core-site.xml: hdfs-site.xml的dfs.name.dir属性 hdfs-site.xml的dfs.replication属性 详细情况请用eclipse打开源码进行查看! 在eclipse中阅读源码非常方便,利于我们平时的学习,下面讲述如何把hadoop源码导

Hadoop学习笔记(一)—hadoop2.5.2+zookeeper3.6.4+centosx64+vmware11环境搭建

前言 大数据实在是太热,一直对新技术充满着向往,其实hadoop也不是新技术,已经好几年了.打算学习,一下hadoop整个生态圈的内容.这篇文章介绍一下环境搭建,自己搭环境摸索了好几天连着,终于搭建完成,记录一下.并share一下,如果哪天你也需要,大家一起共勉.在这希望我能认认真真写完每一篇博客,坚持一直写. ——chaosju 环境+工具准备 大数据实在是太热,一直对新技术充满着向往,其实hadoop也不是新技术,已经好几年了.打算学习,一下hadoop整个生态圈的内容.这篇文章介绍一 下环

Hadoop学习笔记四

一.fsimage,edits和datanode的block在本地文件系统中位置的配置 fsimage:hdfs-site.xml中的dfs.namenode.name.dir  值例如file:///opt/software/hadoop/data/nn/image edits:hdfs-site.xml中的dfs.namenode.edits.dir datanode block:hdfs-site.xml中的dfs.datanode.data.dir secondarynanode的fsi

Hadoop 学习笔记四--JobTracker 的执行过程

Hadoop中MapReduce 的执行也是采用Master/Slave 主从结构的方式.其中JobTracker 充当了Master的角色,而TaskTracker 充当了Slave 的角色.Master负责接受客户端提交的Job,然后调度Job的每一个子任务Task运行于Slave上,并监控它们.如果发现所有失败的Task就重新运行它,slave则负责直接执行每一个Task. 当Hadoop启动的时候,JobTracker 是作为单独的一个JVM来运行的.JobTracker 会一直等待Jo

Hadoop 学习笔记四 ---Hadoop系统通信协议介绍

本文约定: DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之间通信协议. Hadoop的通信是建立在RPC的基础上,关于RPC的详解介绍大家可以参照 "hadoop rpc机制 && 将avro引入hadoop rpc机制初探" Hadoop中节点之间的通信是比较复杂的一个网络,若可以把它们之间的通信网络了解清楚,那么

C++11学习笔记:std::move和std::forward源码分析

std::move和std::forward是C++0x中新增的标准库函数,分别用于实现移动语义和完美转发. 下面让我们分析一下这两个函数在gcc4.6中的具体实现. 预备知识 引用折叠规则: X& + & => X& X&& + & => X& X& + && => X& X&& + && => X&& 函数模板参数推导规则(右值引用参数部分):

Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境

0.前言 本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建开发环境前保障已经搭建好hadoop的伪分布式.可参考上个博客: http://blog.csdn.net/xummgg/article/details/51173072 1.下载安装eclipse 下载网址:http://www.eclipse.org/downloads/ 因为运行在ubuntu下,所以下载linux 64为的版本(支持javaEE),下载后

Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H