Ubuntu 14.10 下Eclipse安装Hadoop插件

准备环境

  1 安装好了Hadoop,之前安装了Hadoop 2.5.0,安装参考http://www.cnblogs.com/liuchangchun/p/4097286.html

  2 安装Eclipse,这个直接在其官网下载即可

安装步骤

  1 下载Eclipse插件,我找的是Hadoop 2.2 的插件,在Hadoop 2.5 下可以正常用,获取插件这里有两种方式

    1.1 一是自己下载源码自己编译,过程如下

    首先,下载eclipse-hadoop的插件,网址是https://github.com/winghc/hadoop2x-eclipse-plugin,你可以点击网页右下方的Download ZIP下载。下载之后,解压缩,。

    然后,进入到 hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin文件夹里面,执行命令

    ant jar -Declipse.home=/usr/local/eclipse -Dhadoop.home=~/Downloads/hadoop-2.2.0 -Dversion=2.5.0

    编译顺利通过,生成的插件在hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin目录下。

    1.2 或是直接下载编译好的插件,下载地址http://pan.baidu.com/s/1mgiHFok

  2 将下载好的插件复制到eclipse/plugins目录下,需要重启Eclipse

  3 配置Hadoop installation directory

    3.1 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。

    3.2 配置Map/Reduce Locations:打开Windows—Open Perspective—Other  选择Map/Reduce,点击OK

    3.3 点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-    site.xml的设置一致即可。如果没有自己修改端口,那么一个是9001,一个是9000

    3.4 点击左侧的DFSLocations—>Location Name(上一步配置的location name),如能看到Hadoop下的文件,那么表示安装成功。

  4 测试MapReduce。Eclipse中,File—>Project,选择Map/Reduce Project,输入项目名称WordCount等。然后新建一个类,代码拷贝下

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args)
                .getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

  5 运行项目,先需要做些准备工作  

  5.1、在HDFS上创建目录input

hadoop fs -mkdir input

  5.2 、随便拷贝本地README.txt到HDFS的input里

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt input

5.3、点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹

  hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output

  5.4 注意,输入目录output不要在Hadoop中建立,否则会报错

  6 查看结果,可以直接在DFS Locations刷新下就会看到多个目录,里面就有结果

----------------------------------------------------------------------------------------------------------------------------------------

  WordCount程序上面是写在一个类里面,规范一点是Map类,Reduce类,MapRedcueDriver分开建立,低耦合

  1 新建Map/Reduce工程wordcount。

  2 新建Mapper.java,选择File——>New——>Mapper,输入包名及类名。

  3 新建Reduccer.java,选择File——>New——>Reducer,输入包名及类名。

  4 建立Map/Reduce Driver,选择File——>New——>MapReduce Driver,输入包名及类名。

  5 运行,同上面

  

  

时间: 2024-08-01 22:43:03

Ubuntu 14.10 下Eclipse安装Hadoop插件的相关文章

Ubuntu 14.10 下DokuWiki安装

环境说明: Ubuntu 14.10 64位 1 下载DokuWiki:http://download.dokuwiki.org/ 2 解压到 /var/www/html下面 3 如果没有安装Apace和PHP,那么需要安装 sudo apt-get install apache2 php5 4 解压完dokuwiki之后,还需要设置它的权限,增加写的权限,要不然instal的时候会报错 5 启动apace,浏览器打开localhost/dokuwiki,会跳转到安装界面,输入一些信息之后,就可

Ubuntu 14.10 下Eclipse操作HBase

环境介绍 64位Ubuntu14.10,Hadoop 2.5.0 ,HBase 0.99.0 准备环境 1 安装Hadoop 2.5.0,可参考http://www.cnblogs.com/liuchangchun/p/4097286.html 2 安装HBase 0.99.0 ,可参考http://www.cnblogs.com/liuchangchun/p/4096891.html 3 安装Ecliose 新建Java工程 1 运行Eclipse,创建一个新的Java工程“MyHBase”,

Ubuntu 14.04 下手动安装Firefox的Flash插件

有时候我们需要在Ubuntu下采用手动安装一些软件,比如Firefox的Flash插件.Adobe® Flash® Player 是一款轻量级浏览器插件,具有丰富的 Internet 应用运行时间,提供持续的迷人用户体验.绝妙的音频/视频回放效果和刺激的游戏. Flash Player 已在超过 13 亿系统中安装,是提供高度集成且丰富的 Web 内容的标准应用. 相关阅读: Ubuntu 14.04 下载.安装.配置 整理汇总 页面 http://www.linuxidc.com/Linux/

在 Ubuntu 14.10 Server 上安装 Jetty

Jetty提供了一个Web服务器和javax.servlet容器,为SPDY.WebSocket.OSGi.JMX.JNDI.JAAS以及许多其它集成套件添加了支持.这些组件都是开源的,也可用于商业用途和分发. Jetty被广泛用于多种项目和产品,都可以在开发环境和生产环境中使用.Jetty可以很容易地嵌入到设备.工具.框架.应用服务器以及集群中.更多用途可参见Jetty网页.ubuntu 14.10 server上安装Jetty 9 sudo apt-get install openjdk-8

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

Ubuntu 14.04下NFS安装配置

Ubuntu 14.04下NFS安装配置 参考:http://www.linuxidc.com/Linux/2013-08/89154.htm 1.执行命令:sudo apt-get install nfs-kernel-server ; 2.执行命令:mkdir /home/jacobxu/nfs-jacoxu 建立一个nfs服务的专有的文件夹; 3.建立好文件夹后,接着执行命令:sudo vi /etc/exports 配置nfs; 4.在文章的最后一行添加:/home/jacobxu/nf

解决ubuntu 14.04 下eclipse 3.7.2 不能启动,报Could not detect registered XULRunner to use 或 org.eclipse.swt.SWTError: XPCOM 等问题的处理

对于eclipse 3.7.2在ubuntu 14.04下不能启动,需要在 eclipse/configuration 目录下的config.ini文件内增加一行org.eclipse.swt.browser.DefaultType=mozilla #This configuration file was written by: org.eclipse.equinox.internal.frameworkadmin.equinox.EquinoxFwConfigFileParser #Thu J

Ubuntu 14.10 下ZooKeeper+Hadoop2.6.0+HBase1.0.0 的HA机群高可用配置

1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zookeeper配置-机器结点 192.168.1.100 1421-0000192.168.1.106 1421-0003192.168.1.107 1421-0004192.168.1.108 1421-0005192.168.1.109 1421-0006 3.2 hadoop配置-机器结点 19

Ubuntu 14.10 下Hive配置

1 系统环境 Ubuntu 14.10 JDK-7 Hadoop 2.6.0 2 安装步骤 2.1 下载Hive 我第一次安装的时候,下载的是Hive-1.2.1,配置好之后,总是报错 [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was exp