hadoop eclipse 插件 EP2

紧接上一部分。

用eclipse在本地进行mapreduce的时候,总能遇到一个问题。

我到网上去照搬别人的代码,创建了本地的输入文件夹,在本地运行。

结束后能按照代码中指明的那样产生一个输出文件夹,里面应该有运行结果的文件。

但是,我复制了几份代码,真正能运行并得出结果的只有一个。

没有人甘心接受这样的结局。

我也如此。

然而我又能做什么呢?

我上网搜索了一些方法,这样一来,程序运行过程的日志没有输出的问题得到解决。

不过,日志中纵然显示了错误的类型和所在,这对于错误的纠正没有作用。

兜兜转转,回到原点。

谁也解释不清,到底是不是命运的安排。

点击了调试按钮。

在忸怩不安中,看着标绿的代码行在变换。

目不转睛地盯着读入的一行一行的串,字符串。

突然,映入眼帘的不再是符合格式的字串。

一段本不该出现在该文件夹中的文件里的字串。

本不该读入的字符,不该出现的文件。

它们究竟从何而来,它们跟我遇上的问题有几分关联?

转到文件目录下,查看文件。

没有不应该出现的文件,好似什么都没有发生过一样。

但我隐约中知道,图形界面下看不到的文件,会在命令行中无处遁形。

本不该出现的文件,在图形界面下不可见,竟长了一个小尾巴“~”苟活,只能用命令行看到。

它们当中的数据进入到了程序运行中。

格式不对,程序自然是不能正常运行的。

删去它们,再次运行程序。

期望中的结果,看起来竟是那么的美丽。

时间: 2025-01-06 07:42:32

hadoop eclipse 插件 EP2的相关文章

Hadoop学习笔记—6.Hadoop Eclipse插件的使用

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大.因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度. 一.天降神器插件-Hadoop Eclipse Hadoop Eclipse是Hadoop开发环境的

hadoop eclipse插件生成

hadoop eclipse插件生成 做了一年的hadoop开发.还没有自动生成过eclipse插件,一直都是在网上下载别人的用,今天有时间,就把这段遗憾补回来,自己生成一下,废话不说,開始了. 本文着重介绍Eclipse插件的生成.配置过程.常见错误的解放方法以及使用Eclipse插件測试执行wordcount演示样例. 一.环境说明 本列中的hadoop eclipse插件通过eclipse生成(未使用命令生成是由于用命令生成插件过程中发生的一些问题.不easy查看和改动,用eclipse非

关于自编译hadoop eclipse 插件

由于在eclipse下开发hadoop 程序需要插件支持,而且hadoop报下已经没有插件了,所以需要我们自己编译,操作步骤如下 1.进入D:\hadoop-1.2.1\src\contrib目录,找到build-contrib.xml文件 ,将hadoop.root改为hadoop解压目录. <property name="hadoop.root" location="D:\hadoop-1.2.1"/> 在下面添加如下两行:Eclipse安装根目录,

一步一步跟我学习hadoop(2)----hadoop eclipse插件安装和运行wordcount程序

本博客hadoop版本是hadoop  0.20.2. 安装hadoop-0.20.2-eclipse-plugin.jar 下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示 到这里插件安装成功 map

更新 hadoop eclipse 插件

卸载hadoop 1.1.2插件.并安装新版hadoop 2.2.0插件. 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在eclipse中,在eclipse perspective视图中有Map/Reduce视图,可是没有图标,新建项目也不会出现Map/Reduce项目. 须要运行例如以下步骤: 1. 删除plugins文件夹下的hadoop 1.1.2插件,并放入hadoop 2.2.0插件. 2. 删除configur

2.1 Hadoop Eclipse Plugin 配置及安装

Hadoop Eclipse 开发工具 主要分为 1.根据Hadoop版本生成插件 2.安装Hadoop Eclipse插件 3.配置Hadoop目录 4.配置Hadoop连接 5.新一个MapReduce工程 WordCount.java MapReduce--WordCount问题总结 参考:http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html 正成功输入出后信息: 14/05/21 23:06:47 INFO input.FileInpu

使用Eclipse&Ant编译hadoop1.x的eclipse插件

注意:以下操作基于Hadoop-1.2.1,Eclipse Luna 1.将hadoop eclipse插件的工程导入Eclipse.插件源码目录如下: D:\Lab\lib\hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin 2.配置工程依赖 3.准备ant的配置文件 D:\Lab\lib\hadoop\hadoop-1.2.1\src\contrib\build-contrib.xml 将以上build-contrib.xml拷贝到项目目录中,并修改

使用hadoop ecipse插件需要注意的问题

1.关于run on hadoop的问题: 在未用hadoop eclipse插件前,我以为通过hadoop eclipse 插件不但可以管理hdfs,还可以自动打包程序,并帮我自动设置Configuration对象的mapred.jar属性值.但用了之后,才发现,这个插件只能管理hdfs,至于打包程序等操作,还得自己手动进行.我用的hadoop 版本为1.2.1,hadoop eclipse插件个人亲自编译生成,保证无任何问题,我一开始用的是MyEclipse后来换成Eclipse,但试用了,

编译hadoop eclipse的插件(hadoop1.0)

原创文章,转载请注明: 转载自工学1号馆 欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章 在hadoop-1.0中,不像0.20.2版本,有现成的eclipse-plugin源码包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目录下放置了eclipse插件的源码,这篇文章 ,我想详细记录一下自己是如何编译此源码生成适用于Hadoop1.0的eclipse插件 1.安装环境 操作系统:Ubuntu14.4软件:eclip