eclipse下hadoop应用开发有感

最近在学习hadoop，首先通过网上大把的教程搭建好了完全分布式环境，在分布式环境上运行wordcount也成功，接下来就打算自己写mr来处理实际的业务了，在真正的开发开始之前首先要搭建好开发环境啊，所以就想到了eclipse，可接下来遇到了好多的问题：

1、首先是考虑到找一个hadoop的插件，安装好后可以直接建立mr工程也可以运行，可是没想到在windows下用hadoop的插件配合进行开发，可是遇到的2个问题是对应版本的插件比较难找，自己编译也比较麻烦，但是如果可以自己编译成功那是最好；后来自己就安装了一台ubuntu的桌面版，然后在这台服务器上安装了eclipse，但是由于插件问题，安装完插件不能建立连接。

2、不能用插件，也不用windows环境后，我在linux下的eclipse下自己新建立了java工程导入了所有的包和服务器端的配置文件，但是发现自带的wordcount可以运行，自己写的mr程序就运行不了，后来才发现是自己对于远程开发和调试理解的不对，要想运行mr首先要把他打包成jar然后上传到分布式环境中然后才可以在eclipse上运行，查看运行日志等。主要是参考了下面这篇文章

http://qindongliang1922.iteye.com/blog/2036619

eclipse下hadoop应用开发有感

时间： 2024-09-30 22:55:29

eclipse下hadoop应用开发有感的相关文章

windows 7使用eclipse下hadoop应用开发环境搭建

因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本是最新JavaEE版本,叫什么LUA Kepler,本来是用Juno的,因为操

【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建

由于一些缘故,这节内容到如今才写.事实上弄hadoop有一段时间了,能够编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,假设不是依照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本号是最新JavaEE版本号.叫什么LUA Kepler,本来是用Juno的,

在Windows上使用Eclipse配置Hadoop MapReduce开发环境

在Windows上使用Eclipse配置Hadoop MapReduce开发环境 1. 系统环境及所需文件 windows 8.1 64bit Eclipse (Version: Luna Release 4.4.0) hadoop-eclipse-plugin-2.7.0.jar hadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml 添加如下内容 <property> <name>dfs.permissions<

Eclipse下配置TinyOS开发环境

通过给Eclipse安装Yeti 2 - TinyOS 2 Plugin for Eclipse来配置TinyOS IDE,从而可建立TinyOS Project Yeti 2的介绍请参考网站:http://tos-ide.ethz.ch/wiki/pmwiki.php?n=Site.TinyOSEclipsePlugin 1.下载.解压并打开Eclipse(我用的是Eclipse IDE for Java Developers) 2.打开Install对话框:Help->Install New

eclipse下的webservice开发

关于eclipse下的webservice开发,有非常多的教程,这里只记下学习过程中的弯路: 1.无论是CXF模式还是AXIS模式,在出现start server之后,点击next报错:"selection must be wsdl",原因其实非常简单,就是启动server时有异常,没有可以访问的wsdl.需要将异常解决了之后就行. 2.使用CXF模式时,CXF的版本要与eclipse中的一致,eclipse mars.1下要求CXF2.x,此时官网的已经到3了,使用老版本. 3.使用

Eclipse下配置j2ee开发环境及与MySQL数据库的连接

Eclipse下配置j2ee开发环境 a.配置tomcat  windows->perferences->server->server runtime environments->Add…… b.installes JREs,然后点击Add 默认的standard VM就可以,点击next,然后点击directory 选择本机jdk安装的路径,finish. 与MySQL数据库的连接 与数据库连接要做的事情就是要用jdbc 首先要下载jdbc,在官网上下载,在将其mysql-con

【Android】Eclipse下搭建安卓开发环境

本文撰写于2015/3/13. 主页:http://www.cnblogs.com/game-testing/ Eclipse下搭建安卓开发环境 写在前边的话: 安卓开发环境多种多样,没有什么优劣可言,习惯的就是最好的. 本文采用Eclipse+ADT+SDK的方式搭建安卓开发环境,同时也方便用于robotium自动化测试. 一．    安装JDK Eclipse启动时需要 JRE.虽然Eclipse自带JDK,但为了避免以后开发和测试过程中出现不必要的麻烦,这里讲述JDK的安装. JDK下载:

eclipse下搭建Android开发环境：Android6(API 23)+ADT23.07

eclipse下install Android ADT时,在线安装的方式太慢.如果想要Android6.0(API 23)开发环境,那么eclipse需要ADT23.07版本的支持,本地安装的情景下给大家附上离线安装包 链接:http://pan.baidu.com/s/1o6RAyAA 密码:4c7b (内附API 19  ,API 23  ,ADT23.03  ,ADT23.06  ,ADT23.07)

eclipse下进行spark开发（已实践）

开发准备: jdk1.8.45 spark-2.0.0-bin-hadoop2.7(windows下和linux个留一份) Linux系统(centos或其它) spark安装环境 hadoop-2.7.2(linux一份) Hadoop安装环境 开发环境搭建步骤如下: 1. 下载scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64.tgz 2. 解压压缩包,直接运行里面的eclipse 3. 创建scala project,并创建scala类WordCo