在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

  起先我是在win7 64位上远程连接hadoop运行wordcount程序的,但是这总是需要网络,考虑到这一情况,我决定将这个环境转移到unbuntu上

  需要准备的东西

  一个hadoop的jar包,一个连接eclipse的插件(在解压的jar包里有这个东西),一个hadoop-core-*.jar(考虑到连接的权限问题)

  一个eclipse的.tar.gz包(其它类型的包也可以,eclipse本身就是不需要安装的,这里就不多说了)

  因为我之前在win7上搭建过这个环境,所以一切很顺利,但还是要在这里记录一下

  1,把插件拷贝到eclipse的plugins目录下面,会出现如下所示的图标,同时将hadoop-core-*.jar拷贝到hadoop的安装目录下面

  

这里要说一点hadoop-core-*.jar这个jar包中的FileUtil类限制了权限,要反编译,进行修改,然后重新编译成这个jar包,可以使用反编译工具

这里我并没有尝试,是直接从网上下载的修改过后的jar包

  2,在eclipse中配置hadoop的安装位置

  

  3,在eclipse中配置mapreduce

  

  我发现9001这个端口配不配,DFS都可以连接成功,但最好配置一下吧

  ubuntu1是我运行hadoop的主机名,这里也可以换成ip地址来替代,

  开启hadoop之后可以进行刷新,如图所示

 4,接下来就可以运行wordcount程序了,网上有好多例子,这里,我只想说两点,注意参数,例如

  hdfs://192.168.1.200:9000/feng/hello.txt hdfs://192.168.1.200:9000/feng_out

  注意输出目录一定是不存在的,如果存在会报错的

  起先我没有加前面的ip地址,一直报错,我在网上查了一下,以为是用户权限不够的问题,就提高普通用户的权限,后来发现不是,是地址的问题

  若有错误,欢迎指正

时间: 2024-10-07 05:16:46

在ubuntu上安装eclipse同时连接hadoop运行wordcount程序的相关文章

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序

win7 64位下安装hadoop的eclipse插件并编写运行WordCount程序 环境: win7 64位 hadoop-2.6.0 步骤: 1.下载hadoop-eclipse-plugin-2.6.0.jar包 2.把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安装目录下的plugins目录下 3.打开eclipse发现左边多出来一个DFS Locations 4.在win7上解压hadoop-2.6.0. 5.下载hadoop.dll.winuti

Ubuntu上安装 eclipse

最近需要在 Ubuntu 16.04 上开发安卓 APP,之前装过一个 Android Studio,不太会用,所以果断卸载之,改为 eclipse.由于对 java 了解甚少,所以在安装 eclipse 过程中走了不少弯路.前事不忘,后事之师.所以写这篇博文,做个备忘. 1. 准备工作 下载  jdk:我用的版本是 1.8u131,官网地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21331

Eclipse环境搭建并且运行wordcount程序

一.安装Hadoop插件 1. 所需环境  hadoop2.0伪分布式环境平台正常运行 所需压缩包:eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz 在Linux环境下运行的eclipse软件压缩包,解压后文件名为eclipse hadoop2x-eclipse-plugin-master.zip 在eclipse中需要安装的Hadoop插件,解压后文件名为hadoop2x-eclipse-plugin-master 如图所示,将所有的压缩包放在同一个文件

ubuntu上安装Eclipse时遇到的一个错误

A Java Runtime Environment (JRE) or Java Development Kit (JDK)must be available in order to run Eclipse Installer. No Java virtual machinewas found after searching the following locations:/opt/eclipse-installer/jre/bin/javajava in your current PATH 这

ubuntu 上安装支付宝安全插件不能运行问题

1.在ubuntu的firefox浏览器中打开支付宝首页,不能登录,按照提示下载插件 aliedit.tar.gz 2.解压到某个文件夹下,有文件aliedit.sh, 运行 # sh aliedit.sh 3.但在支付的时候依然不能显示密码输入安全控件框,折腾后,由于在桌面系统下一般是由当前用户(非root)运行的,而安装时候是root用户安装的.所以firefox执行该插件 4.解决方法:在命令行模式下,执行切换到当前用户 #  su 当前用户名 #  sh aliedit.sh 5.在执行

linux上安装eclipse并配置mapreduce程序开发环境

我们打算在linux(centos)上安装eclipse,并配置好mapreduce程序开发环境. 第一步:下载并安装eclipse(前提是已经安装好JDK) 在linux系统中打开浏览器,输入网址:http://archive.eclipse.org/eclipse/downloads/我们选择3.7.2版本. 下载下来后,文件存在于: [[email protected] Downloads]$ ll total 178052 -rw-rw-r--. 1 liuqingjie liuqing

(三)配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序

配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序 一.   需求部分 在ubuntu上用Eclipse IDE进行hadoop相关的开发,需要在Eclipse上安装hadoop的开发插件.最新释放出的hadoop包含源码的包,以 hadoop-1.X为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个合适hadoop的eclipse插件.下面将详细介绍插件的编译安装过程,以及在Eclipse上配置hadoop开发插

Ubuntu中安装eclipse,运行出错处理

在Ubuntu中安装eclipse sudo apt-get install eclipse-cdt eclipse 安装完成后,启动程序时出现错误框: An error has occurred. See the log file/home/GOOD/.eclipse/org.eclipse.platform_3.7.0_155965261/configuration/1417143109545.log. 打开文件发现错误信息: !ENTRY org.eclipse.osgi 4 0 2014

[异常解决] ubuntu上安装JLink驱动遇到的坑及给后来者的建议

一.前言 最近将整个电脑格式化,改成了linux操作系统 希望这样能让自己在一个新的世界探索技术.提升自己吧- win上的工具用多了,就不想变化了- 继上一篇<ubuntu上安装虚拟机遇到的问题(vmware坑了,virtual-box简单安装,在virtual-box中安装精简版win7)> link:http://www.cnblogs.com/zjutlitao/p/5061917.html 遇到的在ubuntu上装虚拟机坑之后,接下来又遇到了一个新的问题—— 如何在在ubuntu上安装