在Eclipse中开发MapReduce程序

  一、Eclipse的安装与设置

  1.在Eclipse官网上下载eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz文件并将其拷贝到/home/jun/Resources下,然后再将文件拷贝到/home/jun下并解压。

[[email protected] ~]$ cp /home/jun/Resources/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz /home/jun/
[[email protected] ~]$ tar -zxvf /home/jun/eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz 

  2.执行.eclipse程序即可启动eclipse

[[email protected] ~]$ cd eclipse/
[[email protected] eclipse]$ ls
artifacts.xml  configuration  dropins  eclipse  eclipse.ini  features  icon.xpm  p2  plugins  readme
[[email protected] eclipse]$ ./eclipse 

  3.安装hadoop插件

  (1)下载:https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

  (2)将hadoop-eclipse-plugin-2.6.0.jar放到/home/jun/eclipse/plugins下

  (3)启动eclipse,选择Window→Preferences→Hadoop Map/Reduce→Hadoop installation directory→选择/home/jun/hadoop

  (4)选择Window→Show View→Other→MapReduce Tools→Map/Reduce Locations→OK

  (5)在下方Map/Reduce Locations子窗口内空白部分右键-New Hadoop Location

  (6)按下图进行配置,点击Finish

  

  (7)在左边看到下面图即可

  

  

  二、在Eclipse上开发MapReduce程序

  1.新建input.txt并上传到HDFS的/test文件夹中,在eclipse中右键点击Refresh即可看到刚刚上传的文件。在eclipse中可以进行文件目录创建、文件上传、文件下载、文件或文件夹删除等操作,但是不能编辑文件内容。

  

  2.新建项目

  选择File→New→Other→Map/Reduce Project→Next→Project name{WordCount}→Next→Finish

  然后新建包和类

  

  3.获得源码

  桌面上进入

  选择hadoop-mapreduce-examples-2.8.4-sources.jar并右键Open With Archive Manager,找到WordCount.java用gedit打开即可得到源码

  然后将源码复制到eclipse新建的类中

  4.运行程序  

  在java文件上右键点击Run As→Run Configurations→Java Application→Arguments

  第一个参数是输入文件,第二个参数是输出目录(必须之前不存在),然后点击Apply

  

  在Java文件上右键Run As→Run on Hadoop

  然后在Hadoop的test目录下新增了output子目录,且下面有两个文件,其中part-r-000000包含了计算结果

  

  到这里,就完成了第一个在Eclipse上开发并运行MapReduce程序。

原文地址:https://www.cnblogs.com/BigJunOba/p/9350102.html

时间: 2024-10-11 06:45:34

在Eclipse中开发MapReduce程序的相关文章

在Eclipse中开发Android程序时截屏的方法

在Eclipse中调试Android程序时,有时需要将程序截图保存到电脑中.步骤如下: Window --- Show View --- Other : 在弹出的窗口中,选择 Devices : 在打开的Device选项卡中,选择要截图的设备或模拟器,然后点击旁边的截图按钮: 在弹出的窗口中,点击 Save 按钮,将程序截图保存到指定的目录中即可.

eclipse中开发android程序。每次运行都自动打开新的avd模拟器。怎么才能下次运行时用已经打开的?

选择 run configuration -> target -> Automatic -> 在 launch a new Android Virtual Device 选择你需要的版本启动,等待启动完成如果启动后,Choose a running Android device里没有出现选择项运行 cmd 运行命令 adb kill-server 然后 eclipse 控制台(Console)出现 Adb connection Error:远程主机强迫关闭了一个现有的连接.等待 Conn

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

文章来源:http://www.powerxing.com/hadoop-build-project-using-eclipse/ 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过.虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便.使用 Eclipse,我们可以

在Eclipse中开发C/C++项目

摘要:通过本文你将获得如何在Eclipse平台上开发C/C++项目的总体认识.虽然Eclipse主要被用来开发Java项目,但它的框架使得它很容易实现对其他开发语言的支持.在这篇文章里,你将学会如何使用CDT(C/C++ Development Toolkit),一个在Eclipse平台上最适用的C/C++工具包. C/C++语言是世界上最流行的程序开发语言,所以Eclipse提供对C/C++语言的支持也就不足为奇了.由于Eclipse只是为开发工具提供一个框架,所以它必须借助外部插件的形式实现

本地idea开发mapreduce程序提交到远程hadoop集群执行

https://www.codetd.com/article/664330 https://blog.csdn.net/dream_an/article/details/84342770 通过idea开发mapreduce程序并直接run,提交到远程hadoop集群执行mapreduce. 简要流程:本地开发mapreduce程序–>设置yarn 模式 --> 直接本地run–>远程集群执行mapreduce程序: 完整的流程:本地开发mapreduce程序--> 设置yarn模式

老李分享:Eclipse中开发性能测试loadrunner脚本

前篇我分享了如何用loadrunner搭建javauser的性能测试脚本环境,本次我来告诉大家如何在eclipse开发loadrunner脚本如何配置环境,poptest是业内唯一一家培养测试开发工程师的培训机构,以培养学员做性能测试,自动化测试,测试工具开发的能力为目标,在poptest的课堂上分享大量的性能测试案例,由于个人的经验有限,资源有限,无法让讲师个人的能力跟上业务的技术进步,培训机构的讲师都在吃老本,poptest创始人李爱然,王远兵和我都希望能把一线的技术教给学员,让学员真正学到

linux上安装eclipse并配置mapreduce程序开发环境

我们打算在linux(centos)上安装eclipse,并配置好mapreduce程序开发环境. 第一步:下载并安装eclipse(前提是已经安装好JDK) 在linux系统中打开浏览器,输入网址:http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本. 下载下来后,文件存在于: [[email protected] Downloads]$ ll total 178052 -rw-rw-r--. 1 liuqingjie liuqing

在 Eclipse 中开发 Apache Derby 应用程序

概述 本文的目的是向您展示如何在 Eclipse 集成开发环境(IDE)中使用几种不同的工具,例如 Java Development Tools.IBM? DB2? plug-ins for Eclipse 和 IBM integration plug-in for Derby,以便开发 Apache Derby 应用程序. 本文将介绍一个典型 Derby 应用程序的整个开发周期,从数据库的创建开始,然后经历 JDBC 客户机应用程序的开发,存储过程和函数的开发,最后是解决方案的开发.本文还将描

Eclipse RCP开发桌面程序

所谓RCP,就是Rich Client Platform的缩写,即富客户平台,是Eclipse进化的产物(自3.0版以后出现),是Eclipse组织向用户提供的强大的开放性开发平台,能够使用户方便地创建自己的基于Eclipse的应用程序,并且这些应用程序能够得到Eclipse的底层支持.更重要的是,我们可以利用Java创建象Eclipse这么漂亮的桌面程序. 我相信,在未来的几年里,RCP一定会变得非常流行.使用RCP,我们可以开发界面象Eclipse这样漂亮的桌面程序,比如医院管理系统啊.CA