命令行下编译Wordcount

1. 编辑WordCount.java文件，在下载的hadoop安装包里有WordCount的例子

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

2. 把WordCount编译成一个jar文件

 mkdir wordcount_classes
 javac -cp classpath -d wordcount_classes WordCount.java
 jar -cvf wordcount.jar -C wordcount_classes/ .　

这里的classpath和之前的hadoop版本有所区别，需要按照新的设置方法，这一点网上很少提及！

新的classpath为：

$HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

3.创建HDFS文件夹

hadoop fs -mkdir wordCount
hadoop fs -mkdir wordCount/inputecho "Hello World Bye World" > file0echo "Hello Hadoop Goodbye Hadoop" > file1hadoop fs -put file* wordCount/input

4.运行

hadoop jar wordcount.jar org.myorg.WordCount wordCount/input wordCount/output
hadoop fs -cat /user/cloudera/wordcount/output/part-00000
时间： 2024-08-29 15:10:31

命令行下编译Wordcount的相关文章

Java初学者：java是如何在命令行下编译运行程序的

我们上文书说到,我们首先安装Java,然后设置Java环境,然后编译运行了一个简单的Java程序,在命令行模式下显示了一个“Hello baby”.那么,为什么呢?发生了什么呢? 首先,下载安装Java就不用问为什么了对吧?所谓巧妇难为无米之炊,没有Java却想用,这不可能的. 其次,为什么我们要那样设置Java的运行环境呢? 因为,目前为止,我只是想在命令行下编译运行java程序,这样一来,你就需要让命令行模式识别java的命令.而命令行下能自动识别的命令,必须我们手动的把命令的路径添加进去.

JNI之——在cmd命令行下编译执行C/C++源文件

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46604269 一直用java来敲代码,java配置好jre路径之后.在cmd下编译执行.非常方便. 刚好要给一个舍友改下C程序,想到可不能够像java一样在环境变量里配置好C的编译路径呢? 于是上网搜了一下,得到例如以下结果: 一.假设装有VC,那就简单了,由于VC带有C的编译器,能够将此路径设置进环境变量. Windows系统下编译连接源码方法: cl -GX test.c -

Linux命令行下编译Android NDK的示例代码

这几天琢磨写一个Android的Runtime用来加速HTML5 Canvas,让GameBuilder+CanTK 不但开发速度快,运行速度也能接近原生应用.所以花了点时间研究 Android NDK,网上的资料都是讲IDE里的编译方法,这里记录一下命令行下的编译方法,供有需要的朋友参考. 这里以编译hello-gl2为例: 0.安装Android NDK/SDK,设置PATH变量(根据具体情况调整) PATH=$PATH:/work/android/android-sdk-linux/pla

JNI之——在cmd命令行下编译运行C/C++源文件

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46604269 一直用java来写程序,java配置好jre路径之后,在cmd下编译运行,很方便. 刚好要给一个舍友改下C程序,想到可不可以像java一样在环境变量里配置好C的编译路径呢? 于是上网搜了一下,得到如下结果: 一.如果装有VC,那就简单了,因为VC带有C的编译器,可以将此路径设置进环境变量. Windows系统下编译连接源代码方法: cl -GX test.c -GX

hadoop——在命令行下编译并运行map-reduce程序 2

hadoop map-reduce程序的编译需要依赖hadoop的jar包,我尝试javac编译map-reduce时指定-classpath的包路径,但无奈hadoop的jar分布太散乱,根据自己写的程序来一个个指定jar包的位置又太麻烦,于是又尝试修改java的classpath配置文件,结果不知道为什么编译时还是提示找不到jar包,于是只有用最后一劳永逸的方法:把hadoop的所有jar包都copy到java当前classpath寻找的路径文件中: 我的hadoop安装在/usr/loca

如何在命令行下使用Android NDK交叉编译工具

我们知道,在Linux下可以使用gcc来把一份C代码编译成为Linux上的可执行程序, 如: $ gcc -o main.out main.c 而Android平台提供了NDK工具包来交叉编译可以运行于Android系统中的应用程序, 它需要我们编写 Android.mk来配置编译选项和编译目标, 那么, 能否也像gcc那样直接在命令行下编译呢? 答案是可以的, NDK只不过是把这个过程封装和抽象了而已, 我们完全可以直接调用 NDK 提供的编译工具链来编译我们的C代码, 方法如下所示(在命令行

JAVA代码在命令行下的编译

p { text-indent: 2em } .main { font-weight: bolder } 目的 跟C++一样,JAVA可以通过命令行直接编译得到字节码文件,并且使用java命令运行.通过JAVA的编译和运行命令只是熟悉一下JAVA的一些特征,包括包和目录,classpath,jar格式:而且在调试小程序的时候其实用命令行是足够的. 但是在进行大型项目的时候还是要用较大的IDE,例如eclipse和NetBeans,显然eclipse是比NetBeans要复杂得多的,这里不说. 主

ubuntu命令行下java工程编辑与算法（第四版）环境配置

ubuntu命令行下java工程编辑与算法(第四版)环境配置 java 命令行 javac java 在学习算法(第四版)中的实例时,因需要安装配套的java编译环境,可是在编译java文件的时候总是出各种错误,特在此总结一下. ubuntu下java环境配置 由于网上教程比较多,而且也较全面,特此摆放一个链接,跟着此教程总就可以配置好oracle的java jdk,如果想更加省事,直接在命令行下键入java,会提示安装各种开源java jdk,只需要一个命令即可: sudo apt-get i

使sublimetext3在ubuntu下可以打中文和在windows的dos命令行下正常显示中文

学习闲暇之余,总结一下在windows和ubuntu下使用sublimetext3遇到的问题 一.关于sublimetext3在windows的dos命令行下不能编译运行中文的解决方案: 因为dos命令行默认的是gbk编码,所以需要按照如下方式来编译 javac -encoding UTF-8 xxx.java 这样运行class文件就可以正常显示中文了 二.关于sublimetext3在ubuntu下不能打中文的解决方案 首先需要在ubuntu上安装一个搜狗输入法,而搜狗输入法建立在fcitx