eclipse+maven搭建hadoop本地开发环境

我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。

创建maven项目

创建一个maven项目，什么类型的项目以自己需求，在pom.xml中引入hadoop依赖。

引入hadoop配置文件

copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml等。

设置环境变量

hadoop的配置文件夹中的配置文件可以分为两类，一类是xml（.properties），一类是.sh(.cmd)，xml类型的文件通过上边的方式引入，.sh类型的文件主要是设置环境变量，没法引入，如果你用到了环境变量，那么这样设置：

运行main方法时，选择run configuration，在environment中设置需要的环境变量。

有一个必须要设置的环境变量是：HADOOP_USER_NAME=hdfs

原因看下面的链接：

http://www.linuxidc.com/Linux/2014-08/105335.htm

这样在程序中获取Congratulation对象的时候直接用下面的代码就行了：

Configuration conf = new Configuration();