hadoop 编译自己的jar包并运行

我修从网上找了份java代码

我为了让它在hadoop下跑起来居然花了两个多小时...

首先最好不要在java代码中设置package...使用default package即可...

然后在java代码所在的文件夹下运行

javac -classpath /home/hadoop/hadoop-2.5.1/hadoop-0.20.1/hadoop-0.20.1-core.jar:/home/hadoop/hadoop-2.5.1/hadoop-0.20.1/lib/commons-cli-1.2.jar  Dedup.java

如果配置好classhpath其实用不着这么多参数...不过我的classpath配置错了...写这篇文章的时候才发现...

/home/hadoop/hadoop-2.5.1/

为hadoop安装路径

然后将编译出来的class打包

jar -cvf xyz1.jar ./Dedup*.class

这里编译出来的class文件都是Dedup开头的

然后运行

hadoop jar xyz1.jar Dedup

即可

参考Blog：

http://wrox.cn/article/100079790/

时间： 2024-10-01 07:43:02

hadoop 编译自己的jar包并运行的相关文章

Interlij 13编译Spark程序生成jar包

1.创建项目sp create new project->scala->NOT SBT->next->设置项目名称'sp' 2.导入相关jar包 File->Project Structure->Libraries->点绿色'+'->java->找到spark-assembly-1.0.0-hadoop2.2.0.jar->OK 按照类似的方法导入scala-compiler.jar, scala-library.jar, scala-refl

编写hadoop程序并打成jar包上传到hadoop集群运行

准备工作: 1. hadoop集群(我用的是hadoop-2.7.3版本),这里hadoop有两种:1是编译好的hadoop-2.7.3:2是源代码hadoop-2.7.3-src: 2. 自己的机器可以是任何系统,只要支持JVM,自己的主机上必须有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src.(我用的是windows系统,为了方便Linux系统传输数据,我选用了FileZilla,一款ftp工具,具体见www.cnblogs.com/NongSi-Net/p/

打成Jar包后运行报错 Unable to locate Spring NamespaceHandler for XML schema namespace

MAVEN项目,在IDEA中运行正常,但是把它打成jar包后再运行就会出现异常: Exception in thread "main" org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unable to locate Spring NamespaceHandler for XML schema namespace [http://www.sp

将Java程序打jar包并运行

1)接着上篇博客继续说手动编译之后,将代码打成jar包,然后直接“java -jar lz.jar"运行不成功的问题.还是先上代码: 这个是Demo类: package org.lz.demo.a ; public class Demo{ public String getContent(){ return "oh,yeah,done!" ; } }; 接下来,这个是调用了Demo类的ImportDemo类,并且这两个类不在一个包中: package org.lz.demo.

java命令行从编译到打jar包到执行

整个过程模拟Eclipse的Java Project项目,包括src,以及生成的.class文件在bin中,还可能有lib,包含额外的jar包. 一. javac编译 1. 没有额外的jar包 1)准备工作我们新建JavaProject,该项目结构如下: bin:必须新建一个空的bin文件,用于存放生成.class文件 src:源码文件,包含我们写的.java文件 src/com/zc/javaproject/test/HelloJava.java src/com/zc/javaproject

记一次netty的Hadoop和elasticsearch冲突jar包

在一个项目中同时使用hbase和elasticsearch出现netty的jar包冲突的问题事件: 在同一maven项目中使用hbase的同时又用了es 程序运行后出错 1 java.lang.NoSuchMethodError: io.netty.util.AttributeKey.newInstance(Ljava/lang/String;)Lio/netty/util/AttributeKey; 上网查了一些原因,说是netty的版本不同的原因,自己在编译后的目录也看到了不同,分别用了4

Spring Boot 以 jar 包方式运行在后台

spring-boot jar 包方式启动: 首先,为了防止和常用的 Tomcat 8080 端口冲突,将 Spring-boot 项目的端口号设置为 9090. 具体方法:在 application.properties 文件里写 server.port=9090. 使用 maven 命令:clean package 打包. 放到服务器上一个合适的位置. 使用 Java -jar spring-boot01-1.0-SNAPSHOT.jar 命令,启动 jar 包. 然后,在浏览器输入 htt

二、Android Studio使用——导入jar包，运行、debug都不是问题

[新建AndroidStudio工程,lib导入jar包] 我们的项目代码都在app里面,可以看作是一个Model. src 下面除了我们的代码之外,还有单元测试. 把JAR复制到libs文件中. [Genymotion模拟器插件的安装.运行] AndroidStudio安装Genymotion步骤: 1) 从官方下载插件:https://www.genymotion.com/. 2)AS中打开: http://www.loverobots.cn/the-method-of-associ

多个java文件编译并打成jar包经典方法

首先,多个java文件的编译 find . -type f -name *.java > compilelist (.代表当前路径) javac -cp "$CLASSPATH" -encoding MS932 @compilelist(编码方式可以任意指定) 然后,整个编译的.class文件 find . -type f -name *.class > classfilelist classfiles=`cat classfilelist` 最后,打包编译后的.class