用maven构建hadoop项目

环境:eclipse-jee-mars-2-win32-x86_64(maven插件自带)

1.maven下载

  这里以apache-maven-3.2.2-bin.tar示例,

  具体下载链接:http://pan.baidu.com/s/1geRAykj 密码:egct

2.在windows下配置环境变量:MAVEN_HOME 和 path

  

  

3.cmd下 ,mvn -v  检查安装是否成功

  

4.在 eclipse 中配置 maven

将 maven 的配置文件路径配置在 eclipse 中 Maven 的 jar 库的库默认配置在 c 盘中,为了节省系统盘的空间,可以将 jar 配置在其他盘,需要修改

  

  接着在eclipse中 windows--preferences--maven--user settings设置如下:

  

5.点击 Window -> Preference -> Maven -> Installation -> Add 进行设置

  

6.Eclipse 配置 hadoop 插件及 hadoop Eclipse 的插件(64位windows系统下)

hadoop-2.2.0-x64.tar

  链接:http://pan.baidu.com/s/1o83VNnW 密码:cknp

hadoop-eclipse-plugin-2.2.0

  链接:http://pan.baidu.com/s/1jIRK5E2 密码:rclf


  6(1)首先将hadoop-eclipse-plugin-2.2.0放入 D:\software_hadoop\eclipse-jee-mars-2-win32-x86_64\eclipse\plugins下,重启eclipse

  

  6(2)导入hadoop2.2.0

  

7.Eclipsp 中创建 Maven Handoop 工程

  

  

  

  

8.Maven Pom.xml 文件中配置 hadoop jar 包 

 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 2   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
 3   <modelVersion>4.0.0</modelVersion>
 4
 5   <groupId>com.chynn.dashuju</groupId>
 6   <artifactId>recommend</artifactId>
 7   <version>6.1.0-SNAPSHOT</version>
 8   <packaging>jar</packaging>
 9
10   <name>recommend</name>
11   <url>http://maven.apache.org</url>
12
13   <properties>
14     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
15   </properties>
16
17   <dependencies>
18     <dependency>
19       <groupId>junit</groupId>
20       <artifactId>junit</artifactId>
21       <version>3.8.1</version>
22       <scope>test</scope>
23     </dependency>
24     <dependency>
25         <groupId>org.apache.hadoop</groupId>
26         <artifactId>hadoop-client</artifactId>
27         <version>2.2.0</version>
28     </dependency>
29     <dependency>
30         <groupId>org.apache.hadoop</groupId>
31         <artifactId>hadoop-common</artifactId>
32         <version>2.2.0</version>
33     </dependency>
34     <dependency>
35         <groupId>org.apache.hadoop</groupId>
36         <artifactId>hadoop-hdfs</artifactId>
37         <version>2.2.0</version>
38     </dependency>
39     <dependency>
40         <groupId>org.apache.hbase</groupId>
41         <artifactId>hbase-server</artifactId>
42         <version>0.98.3-hadoop2</version>
43         <exclusions>
44             <exclusion>
45                 <artifactId>hadoop-common</artifactId>
46                 <groupId>org.apache.hadoop</groupId>
47             </exclusion>
48         </exclusions>
49     </dependency>
50     <dependency>
51         <groupId>org.apache.hbase</groupId>
52         <artifactId>hbase-client</artifactId>
53         <version>0.98.3-hadoop2</version>
54         <exclusions>
55             <exclusion>
56                 <artifactId>hadoop-common</artifactId>
57                 <groupId>org.apache.hadoop</groupId>
58             </exclusion>
59         </exclusions>
60     </dependency>
61     <dependency>
62         <groupId>jdk.tools</groupId>
63         <artifactId>jdk.tools</artifactId>
64         <version>1.7</version>
65         <scope>system</scope>
66         <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
67     </dependency>
68   </dependencies>
69 </project>

9.基本完成

时间: 2024-11-05 12:23:34

用maven构建hadoop项目的相关文章

win7+eclipse用maven构建hadoop项目注意事项

1.首先在Eclipse->help->Eclipse marketplace 搜索 maven 插件下载. 注意插件要与Eclipse版本对应,我的Eclipse版本为Luna的,插件就要下载Luna版本的,我下载的是 Maven Integration for Eclipse (Luna and newer) 1.5.否则的话新建maven工程的时候没有带Java工程. 2.其他环境配置和hadoop配置见参考链接. 3.我使用的是hadoop2.4.0.  pom文件如下: <pr

用Maven构建Mahout项目实现协同过滤userCF--单机版

本文来自:http://blog.fens.me/hadoop-mahout-maven-eclipse/ 前言 基于Hadoop的项目,不管是MapReduce开发,还是Mahout的开发都是在一个复杂的编程环境中开发.Java的环境问题,是困扰着每个程序员的噩梦.Java程序员,不仅要会写Java程序,还要会调linux,会配hadoop,启动hadoop,还要会自己运维.所以,新手想玩起 Hadoop真不是件简单的事. 不过,我们可以尽可能的简化环境问题,让程序员只关注于写程序.特别是像算

Maven构建Hadoop Web项目

使用Maven构建Hadoop Web项目,此项目是一个样例Demo,方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目.该Demo提供了两个样例: 查看HDFS文件夹内容及其子文件/夹: 运行WordCount MR任务: 项目下载地址:Maven构建Hadoop Web项目 系统软件版本 Spring4.1.3 Hibernate4.3.1 Struts2.3.1 hadoop2.6 pure0.6 jdk1.7 tomcat7 myeclipse10.0 jQuery1.

Maven构建Hadoop开发环境

Maven构建Hadoop开发环境 软件环境:Eclipse Kepler x64 & Hadoop 1.2.1 & Maven 3 硬件环境:Centos 6.5 x64 1.Maven创建项目 使用CMD命令在工作空间执行 E:\ws\mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.conan.myhadoop.mr -DartifactId=myHadoop -Dp

maven打包hadoop项目(含第三方jar)

问题背景: 1 写map-reduce程序,用到第三方jar,怎么打包并提交项目到服务器执行. 2 mahout中itembased算法,将uid从string映射为long. 我这里实现的具体功能是: Mahout的itembased算法的数据格式是:uid,vid,score.其中uid和vid必须是数字型(long),score是小数整数都可以. 然而我这里每行记录的字段uid,vid,score, uid是含有字母.因此我必须把uid从string映射到long. 考虑到速度,就用分布式

用Maven构建Mahout项目实现协同过滤ItemCF--集群版

本文来自于:http://blog.fens.me/hadoop-mahout-mapreduce-itemcf/ 前言 Mahout是Hadoop家族一员,从血缘就继承了Hadoop程序的特点,支持HDFS访问和MapReduce分步式算法.随着Mahout 的发展,从0.7版本开始,Mahout做了重大的升级.移除了部分算法的单机内存计算,只支持基于Hadoop的MapReduce平行计算. 从这点上,我们能看出Mahout走向大数据,坚持并行化的决心!相信在Hadoop的大框架下,Maho

利用Eclipse中的Maven构建Web项目(一)

利用Eclipse中的Maven构建Web项目 1.新建一个Maven Project,"New-->Other..." 2.选择"Maven Project" 3.选择项目路径 Usedefault Workspace location默认工作空间, 选择项目类型 在Artifact Id中选择maven-archetype-webapp 4.分别输入Group Id.Artifact Id和Package,单击"Finish" 5.Ma

利用Eclipse中的Maven构建Web项目(二)

利用Eclipse中的Maven构建Web项目 1.新建源文件夹,Java Resources鼠标右键,"New-->Source Folder" 2.新建src/main/java   src/main/resources  src/test/java  src/test/resources四个源包 3.双击每个文件夹的Output folder,选择路径 src/main/java和src/main/resources,选择路径target/classes; src/test

Eclipse使用Maven构建web项目

Eclipse使用Maven构建web项目 博客分类: J2EE 1.创建Maven项目: 点击“File”菜单,或者通过工具栏的“New”创建Project,如下图所示: 选择Maven->Maven Project,弹出向导对话框,如下图所示: 选中Create a simple project……复选框,其它的设置不变,并点击Next,输入maven项目必须的信息(groupId,artifactid,version),如下图所示: 这里需要选择Packaging,web项目一般选择war