Hadoop Yarn(二)—— 创建Eclipse工程

HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40615469

1. 安装环境介绍如下:

系统:Ubuntu14.04

Hadoop版本:hadoop-2.5.0(点击下载)

Java版本:openjdk-1.7.0_55

Eclipse版本:Release 4.4.0 (点击下载)

2. 把下载Hadoop源码包 hadoop-2.5.0-src.tar.gz 解压到工作目录(本文为/home/baisong),

得到 hadoop-2.5.0-src 文件夹。

3. 安装Maven,命令如下:

$ sudo apt-get install maven

4. 安装Google开源的序列化框架 Protocol Buffers。

1) 下载protobuf-2.5.0.tar.gz(点击下载),然后解压得到 protobuf-2.5.0 文件夹。

2)  进入protobuf-2.5.0,输入下属命令:

$ ./configure

遇到如下错误:

分析:此属于Ubuntu的常见错误,可以把常用的库全部下载,命令如下:

$ sudo apt-get install build-essential

然后再输入 $ ./configure 命令即可。

3) 顺序执行下面三个命令。

$ make

$ make check

$ sudo make install

4) 查看Protocol版本号,检查是否安装成功。

$ protoc --version

遇到如下错误,如下:

分析知是因为系统找不到lib库,修改 /etc/ld.so.conf 文件,添加 /usr/local/lib 。如下:

$ sudo gedit /etc/ld.so.conf

内容:include /etc/ld.so.conf.d/*.conf /usr/local/lib

执行下述命令更新库文件路径,然后就能通过  $ protoc --version 命令查看版本号。

$ sudo ldconfig

5. 编译Hadoop源码生成Jar包,无需编译native code、测试用例和生成文档,在/home/baisong/adoop-2.5.0-src目录下,输入下述命令:

$ mvn package -Pdist -DskipTests -Dtar

编译成功后,输出信息如下:

6. 生成Eclipse工程文件,命令如下:

$ cd hadoop-maven-plugins

$ mvn install

$ cd hadoop-2.5.0-src

$ mvn eclipse:eclipse -DskipTests

成功后的输出信息如下图:

7. 在Eclipse中导入源代码:”File“ >> "Import" >> "Existing Projects into Workspace",选择hadoop-2.5.0-src,然后确认。

如上图所示,导入后遇到错误,共有59个错误,但总体上分为3类。解决方法如下:

错误1: org.apache.hadoop.ipc.protobuf.× 无法解析

解决方法如下,依次执行下述命令。

$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/proto    //注释:进入该目录

$ protoc --java_out=../java *.proto

最后,刷新Eclipse中的所有工程。至此,只剩下 6 个错误。

错误2:AvroRecord cannot be resolved to a type   TestAvroSerialization.java

解决方法如下:

首先,下载  avro-tools-1.7.4.jar(点击下载)。存放于 hadoop-2.5.0-src 目录中。

然后执行下述命令:

$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/avro

$ java -jar ~/hadoop-2.5.0-src/avro-tools-1.7.4.jar compile schema avroRecord.avsc ../java

最后,刷新Eclipse工程。只剩下 3个错误。

错误3: Project ‘hadoop-streaming‘ is missing required source ... Build Path Problem

解决方法如下:

右键 hadoop-streaming 项目->properties->左边Java Build Path->Source->选定错误项->右边Remove,如下图所示。

至此,在Eclipse中创建Hadoop工程完成。

时间: 2024-10-09 00:14:47

Hadoop Yarn(二)—— 创建Eclipse工程的相关文章

二.创建maven工程及下载需要的jar包

1.使用Eclipse的Maven插件来创建一简单的Maven项目 步骤:打开新建项目对话框,选择Maven Project(File->New->Object->Maven->Maven Project) 点击下一步 下一步: 点击finish则创建完成 2.下载dependency项目依赖jia包 步骤:到maven中央仓库 http://mavenrepository.com/搜索所需依赖,如junit4 把dependency复制到项目pom.xml的 <depend

Eclipse工程 导入 Android Studio

最近Eclipse好多项目转Android Studio 百度翻看好多文章 这篇不错 特纪录下 地址:http://www.cnblogs.com/bluestorm/p/3757402.html 一.从Eclipse导入工程到Android Studio 根据官方的介绍,Android Studio可以兼容Eclipse的现有工程,但需要做一些操作: 首先升级ADT到最新版本,目前为版本号为22(注意和ADT相关的组件最好一并升级,避免后期可能出现的错误) 选择需要从Eclipse导出的工程,

导入Eclipse工程 到 Android Studio

一.从Eclipse导入工程到Android Studio 根据官方的介绍,Android Studio可以兼容Eclipse的现有工程,但需要做一些操作: 首先升级ADT到最新版本,目前为版本号为22(注意和ADT相关的组件最好一并升级,避免后期可能出现的错误) 选择需要从Eclipse导出的工程,右键选择Export并选择Android下的Generate Gradle Build Files(如下图): 选择完毕后并不会导出到其他地方,而是在本地工程生成了一个build.gradle文件,

如何把hadoop相关源码关联到eclipse工程中

在eclipse中阅读源码非常方便,利于我们平时的学习,如下就供述如何把hadoop源码导入到eclpse的java工程中的 一:解压源码 首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示 我们关注文件夹src,浏览该文件夹,如图2所示 我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中. 二:创建java工程 在eclipse中通过菜单栏创建一个java工程,如图3, 图3 这里创建工程叫做"HadoopShanghai&q

篇一:eclipse创建maven工程

一.概览 maven创建的项目主要分为三类:war(网页工程).jar(Java工程).pom(父工程); war:网页工程,包含webapp,用于view层 jar:Java工程,用于提供方法.service.dao等服务 pom:父工程,一般情况下不书写代码,只是在pom.xml文件中配置jar版本等 二.eclipse创建war工程 1.统一设置工作空间编码格式 Window-->Preferences-->输入"enc" ,这些都将编码改成"UTF-8&q

Eclipse rcp 项目开发实战2 : 创建插件开发工程

输入工程名称,其它默认即可 输入创建插件工程相关信息,Rich Client Application 要选择Yes 来创建RCP工程,其它数据一般默认即可. 选择模板,也就是Demo,在这一步选择完成后,其实就可以直接Finish了. 最后一步,输入名字,包名和应用的类的名称 一个简单地插件工程就已经创建完成. 启动工程,第一次启动有三种方法, 6.1 选择工程,右键Run As -- Eclipse Application 即可, 6.2 打开mf文件, 下拉选择,Launch an Ecli

转:maven2创建一个eclipse工程,设置M2_REPO

from: http://tonychanhoho.iteye.com/blog/1584324 M2_REPO是一个用来定义 maven 2仓库在硬盘中的存储位置,windows默认是C:\Users\机器名\.m2\repository.按道理安装了m2eclipse插件就会在eclipse有了相应的设置. 用maven创建一个支持eclipse的工程非常简单,在mvn的项目目录下(进入文件夹   Shift+右键进入cmd):mvn eclipse:eclipse即可. 再打开eclips

eclipse 创建Makefile工程生成多个执行文件

1.创建Makefile工程 2.创建inc src Debug 目录 用于存放头文件源文件 3.编写Makefile 需要在有源文件的目标天剑Makefile文件,如下给出一个生成两个target的模板 ###################################### # ####################################### #source file #源文件,自动找所有.c和.cpp文件,并将目标定义为同名.o文件 SOURCE := $(wildcar

Eclipse JAVA EE 创建Web工程

1.File ---->New ---->other ---->Web ---->Dynamic Web Project 2. Next 3. 选择添加项目 Project name : Test123 4. 选择Tomcat 配置 5. 选择Tomcat 配置,根据机器上的tomcat版本选择,一般常用v6.0 6. 添加工具集,无需选择,next. 7. 在项目Tests WebContent 下创建一个JSP 8. The completed project 9. 双击修改J