【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任务的区别

eclipse中的 调试运行 及 “run on hadoop”默认只是运行在单机上的,因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程,

一个简单的“run on hadoop”只是启动了本地hadoop类库来运行你的程序而已,

在Hadoop cluster的web管理页面(http://192.168.2.2:8088/cluster/apps)上是看不到任何作业信息的,因为你的作业根本就没有运行在集群上。

打包成jar方法:

  rm tmp/*

  cp xmlparser_hadoop* tmp/

  jar -cvf xmlparser_hadoop.jar -C tmp/ .

运行方法:

hadoop:/usr/local/hadoop-2.6.0$ bin/hadoop jar xmlparser_hadoop.jar xmlparser_hadoop hdfs://192.168.2.2:9000/user/input hdfs://192.168.2.2:9000/user/output/xmlparser

附录:

如何让你的作业在Hadoop集群中真正实现分布式运行

http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html

时间: 2024-12-11 03:34:53

【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任务的区别的相关文章

在Eclipse中运行、配置Hadoop

版权所有: [email protected]  严禁转载! 1.安装插件 准备程序: eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下) 将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse. 2.打开MapReduce视图 Window ->

在Eclipse中执行、配置Hadoop

版权全部: [email protected]  严禁转载! 1.安装插件 准备程序: eclipse-3.3.2(这个版本号的插件仅仅能用这个版本号的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin文件夹下) 将hadoop-0.20.2-eclipse-plugin.jar 拷贝到eclipse/plugins文件夹下,重新启动eclipse. 2.打开MapReduce视图 Wi

Eclipse打包成jar,用于远程部署

使用eclipse的Export功能打包成可运行的jar包: 步骤如下: 在要打包的项目(或package)上右击,选择Export 在弹出的窗口中,选择java->Runnable JAR File, 然后点击next按钮 在Runnable JAR File Specification窗口中,选择Launch configuration和Export destination 点击Finish按钮,打包完成 部署jar程序: 进入jar所在的目录,命令行中输入: java -jar XXXX.

解决首次在eclipse中使用maven构建hadoop等项目时报Missing artifact sun.jdk:tools:jar:1.5.0的问题

问题原因: eclipse中的maven插件默认没有引用环境变量,所以找不到jdk的路径,也就找不到tool.jar. 解决办法: 步骤如下: 1.关闭eclips 2.在eclipse的解压目录中与eclipse启动图标相同的文件夹下找到eclipse.ini文件,在该文件的-vmargs上面加上 -vmC:\Program Files\Java\jdk1.7.0_79\jre\bin\server\jvm.dll 注意:第二行的C:\Program Files\Java\jdk1.7.0_7

Eclipse项目中引用第三方jar包时将项目打包成jar文件的两种方式

转载自:http://www.cnblogs.com/lanxuezaipiao/p/3291641.html 方案一:用Eclipse自带的Export功能 步骤1:准备主清单文件 “MANIFEST.MF”, 由于是打包引用了第三方jar包的Java项目,故需要自定义配置文件MANIFEST.MF,在该项目下建立文件MANIFEST.MF,内容如下: Manifest-Version: 1.0 Class-Path: lib/commons-codec.jar lib/commons-htt

Eclipse中创建新的SpringBoot项目(打包并且部署到tomcat)

Spring-boot因为其对jar包的高度集成以及简化服务配置,快速部署等的优点,逐渐成为Java开发人员的热衷的框架.下面演示一下怎么在Eclipse中新建Spring-boot项目以及打包部署. 在Eclipse中创建Spring-boot有两种方式 方式一 进入Spring-boot的在线配置网站http://start.spring.io/:定制自己的项目服务组件,下载到本地并使用Eclipse导入项目 服务组件: Web:web项目组件,包含spring mvc,tomcat,log

Eclipse将引用了第三方jar包的Java项目打包成jar文件的两种方法

方案一:用Eclipse自带的Export功能 步骤1:准备主清单文件 “MANIFEST.MF”, 由于是打包引用了第三方jar包的Java项目,故需要自定义配置文件MANIFEST.MF,在该项目下建立文件MANIFEST.MF,内容如下: Manifest-Version: 1.0 Class-Path: lib/commons-codec.jar lib/commons-httpclient-3.1.jar lib/commons-logging-1.1.jar lib/log4j-1.

eclipse中将项目打包成jar的两种方法,及其问题与解决方法

第一种:利用eclipse中自带的export功能 第一种方法分两种情况先来看第一种情况:没有引用外部jar的项目打包 步骤一:右键点击项目选择导出(export),选择java>jar文件(不是选择可运行jar文件) 步骤二:选择你要导出的项目以及文件,指定文件导出路径.连续点击两个下一步后到第四步. 步骤三:选择主类. 按照以上步骤即可完成对一个不引用外部jar项目的打包. 第二种情况:引用了外部jar的项目打包 当我们引用了外部jar后,使用eclipse自带的export打包略显繁琐.

svn check下来的代码在eclipse中没有run on server

博客内容转至http://blog.csdn.net/hongchangfirst/article/details/7722703先Close Project,然后修改eclipse工程下的.project文件:    1. 在 <natures> </natures>中加入     <nature>org.eclipse.wst.common.project.facet.core.nature</nature>     <nature>org.