使用Maven搭建Hadoop开发环境

pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.5.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.5.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.5.1</version>
</dependency>  

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>3.8.1</version>
    <scope>test</scope>
</dependency>  
时间: 2024-10-11 16:53:55

使用Maven搭建Hadoop开发环境的相关文章

【甘道夫】Eclipse+Maven搭建HBase开发环境及HBaseDAO代码示例

环境: Win764bit Eclipse Version: Kepler Service Release 1 java version "1.7.0_40" 第一步:Eclipse中新建Maven项目,编辑pom.xml并更新下载jar包 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&qu

Maven构建Hadoop开发环境

Maven构建Hadoop开发环境 软件环境:Eclipse Kepler x64 & Hadoop 1.2.1 & Maven 3 硬件环境:Centos 6.5 x64 1.Maven创建项目 使用CMD命令在工作空间执行 E:\ws\mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.conan.myhadoop.mr -DartifactId=myHadoop -Dp

利用Maven搭建Spring开发环境 【转】

一.   概要说明 最近几天在测试Spring3.0的AOP功能,在测试功能之前,首先是要搭建出Spring3.0的开发功能.开始去官网下载Spring的相关jar包,但是这些jar包中还是会需要其他的一些jar包,于是又手动的去下载其他的相关jar包.这样也可以搭建出开发环境,但是需要频繁的去下载缺少的jar包,很麻烦.这里,我们可以还有一个更好的办法,采用maven来管理我们的工程,让maven来自动为我们去下载相关版本的jar包,具体的配置如下. 二.   下载并安装maven 去网上下载

利用Maven搭建Spring开发环境

一.   概要说明 最近几天在测试Spring3.0的AOP功能,在测试功能之前,首先是要搭建出Spring3.0的开发功能.开始去官网下载Spring的相关jar包,但是这些jar包中还是会需要其他的一些jar包,于是又手动的去下载其他的相关jar包.这样也可以搭建出开发环境,但是需要频繁的去下载缺少的jar包,很麻烦.这里,我们可以还有一个更好的办法,采用maven来管理我们的工程,让maven来自动为我们去下载相关版本的jar包,具体的配置如下. 二.   下载并安装maven 去网上下载

使用HDP快速搭建Hadoop开发环境 | Debugo

本文简单记录了一下使用VMware workstation 10.CentOS和HDP 2.0.6(Hadoop 2.2)发行版构建Hadoop开发测试环境的全部流程.这个过程中我遇到了不少问题,也耽误了不少的时间,所以将此文奉上,希望对大家有所帮助. 本文使用两台虚拟机搭建真实集群环境,操作系统为Cent OS 6.5.可以使用VMware Workstation的简易安装模式来进行. 0. 安装CentOS 6.5虚拟机 根据向导设置系统用户.CPU.内存.磁盘和网络.这里为了让yum能连接

Cygwin搭建hadoop开发环境

这篇文章不具体讲一些细的概念东西,如要了解cygwin和hadoop可以去参考其他的文章,该文阐述从下载cygwin到搭建hadoop环境,里面的图片部门来自网上资料,因为本人当时部署时没有保存自己运行图片,但是步骤是一样的. 对于hadoop是个庞大的生态系统,里面光一些技术要点多达几十种,但所谓千里之行,始于足下,对于我这样的技术小白来说,如果想弄一个完全分布式的hadoop环境无异天方夜谭,首先我不懂linux,再说也没那么多机器搭建完全分布式环境.但是cygwin的出现可以让我不用在我本

maven搭建webapp开发环境

maven作为jar包管理工具在开发中是非常重要的.通过maven连接的仓库,只需要增加配置就可以自动从仓库中下载jar包并添加至工程,而不需要一个个去搜索,找到官网下载到本地,在从build path里面一个个添加. 首先还是安装,去官网下载一个压缩包并解压,有如下文件然后可以新建一个文件夹warehouse,后续我将设置为本地仓库路径,下载的jar包都会在该路径下. 打开conf/setting.xml,里面是远程仓库与本地仓库配置,国内网络可以使用阿里的镜像,参考配置如下,localRep

Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境

1. 需要下载hadoop的专门插件jar包 hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,插件包下载地址为:http://download.csdn.net/detail/mchdba/8267181,jar包名字为hadoop-eclipse-plugin-2.3.0,可以适用于hadoop2x系列软件版本. 2. 把插件包放到eclipse/plugins目录下 为了以后方便,我这里把尽可能多的jar包都放进来了,如下图所示: 3.重启eclipse,配置Had

eclipse上搭建hadoop开发环境

一.概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成: 2.软件版本为hadoop-2.7.3.tar.gz.apache-maven-3.5.0.rar. 二.使用eclipse连接hadoop集群进行开发 1.在开发主机上配置hadoop ①将hadoop-2.7.3.tar.gz解压到本地主机上 ②使用windows版本的hadoop中的bin替换目标中的bin文件夹 ③配置windows上的hadoop环境变量 2.在eclipse上配置hadoop集群信