Hadoop研发在java环境的拓展

一 背景

由于一直使用hadoop streaming形式编写mapreduce程序，所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发，本次实验使用window系统，maven打包，centos系统mapr环境运行。

二 步骤

1 查看hadoop版本，命令 Hadoop version，获得版本号hadoop2.7.0

2 编写pow文件，注意hadoop2.7依赖，

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.7.0</version>

</dependency>

3 编写java版的WordCount项目（具体java代码略）

4 maven install 下载依赖包并编译成jar包，在target中把jar包考到集群。

5mapr集群中输入命令运行项目：

hadoop jar maven-hadoop-java-wordcount-template-0.0.1-SNAPSHOT.jar com.example.Driver input output

6实验结果。

运行成功，截图1

截图2

三 附录

eclipse中项目的路径结构

本人将项目源码放在github

https://github.com/rongyux/Hadoop_Maven_Java_HellloWorld