windows下用idea编写wordcount单词计数项目并打jar包上传到hadoop执行

windows下用idea编写wordcount单词计数项目并打jar包上传到hadoop执行

参考 https://blog.csdn.net/weixin_42370346/article/details/88688693

1、最后一步运行jar包时报错

原因:未指出主类名

解决方法:hadoop jar /home/wxx/WordCount.jar com.hadoop.project.WordcountMain /user/hadoop/input/file.txt /user/hadoop/output

2、重新生成jar包时要先删除MANIFEST.MF文件

3、生成jar包时报错

参考 https://blog.csdn.net/stripeybaby/article/details/80010734

原文地址:https://www.cnblogs.com/wxx-wxx/p/11628982.html

时间: 2024-10-18 00:22:41

windows下用idea编写wordcount单词计数项目并打jar包上传到hadoop执行的相关文章

编写hadoop程序并打成jar包上传到hadoop集群运行

准备工作: 1. hadoop集群(我用的是hadoop-2.7.3版本),这里hadoop有两种:1是编译好的hadoop-2.7.3:2是源代码hadoop-2.7.3-src: 2. 自己的机器可以是任何系统,只要支持JVM,自己的主机上必须有eclipse,以及hadoop-2.7.3和hadoop-2.7.3-src.(我用的是windows系统,为了方便Linux系统传输数据,我选用了FileZilla,一款ftp工具,具体见www.cnblogs.com/NongSi-Net/p/

新版API WordCount 小例 及如何导入jar包

WordCount: 简单解析wordcount小例子的代码,对应于新版的API进行处理. import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.examples.WordCount.TokenizerMapper; import org.apache.hadoop.fs.Path; im

intellj下打的jar包在linux服务器删执行报错

intellj下打的jar包在linux服务器删执行报错:http://blog.csdn.net/qq_25925973/article/details/53370501window下用解压工具打开jar包,删除META-INFO下的.SF .RSA文件,删除后上次到linux服务器上,用java jar xx.jar去执行 原文地址:http://blog.51cto.com/5731674/2087591

Hadoop WordCount单词计数原理

计算文件中出现每个单词的频数 输入结果按照字母顺序进行排序 编写WordCount.java 包含Mapper类和Reducer类 编译WordCount.java javac -classpath 打包jar -cvf WordCount.jar classes/* 提交作业 hadoop jar WordCount.jar WordCount input output

如何编写jsp文件?何添加数据库jar包?如何把class文件与jsp文件联系起来?

一.如何添加数据库jar包? 1.首先进入当前的工作空间,例如:(我的工作空间是javaWeb) F:\javaWeb\Web\WebContent\WEB-INF\lib 然后进入到lib目录下,把jar包放到lib目录下. 2.然后右键项目:构建路径--配置构建路径--库--添加外部包--选择你要添加的jar包 二.如何创建与编写jsp文件? 1.创建jsp文件:在项目中右键WebContent,选择jsp File, 2.编写jsp文件: a. 首先我们要将jsp源码中的charset,p

详细的图文教程来实现 eclipse环境下如何配置tomcat,并且把项目部署到Tomcat服务器上

很多初学,尤其自学JavaWeb的朋友首次在eclipse下配置tomcat时,总会有种难下手的感觉,在此,通过图文解说的方法,最直观的向大家演示一遍该配置过程. 第一部分:eclipse环境下如何配置tomcat 1.下载并成功安装Eclipse和Tomcat 2.打开Eclipse,单击“window”菜单,选择下方的“Preferences” . 3. 点击 Add 添加Tomcat. 4. 选中自己安装的tomcat路径. 5. 选择jdk 版本. 6. 选择自己的jdk版本. 7. 点

Linux/OS X下将Jar包转换成可直接执行文件(不用java -jar)

在github上发现了这个脚本stub.sh: #!/bin/sh MYSELF=`which "$0" 2>/dev/null` [ $? -gt 0 -a -f "$0" ] && MYSELF="./$0" java=java if test -n "$JAVA_HOME"; then java="$JAVA_HOME/bin/java" fi exec "$java&

Windows下Eclipse提交MR程序到HadoopCluster

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载,转载请注明出处. 以前Eclipse上写好的MapReduce项目经常是打好包上传到Hadoop测试集群来直接运行,运行遇到问题的话查看日志和修改相关代码来解决.找时间配置了Windows上Eclispe远程提交MR程序到集群方便调试.记录一些遇到的问题和解决方法. 系统环境:Windows7 64,Eclipse Mars,Maven3.3.9,Hadoop2.6.0-CDH5.4.0. 一.配置

脚本从windows上传到linux无法执行

在本地windows,写了个shell脚本,用sftp或其他方式上传脚本,执行脚本出现No such file or directory提示,查看脚本的编码和权限都没有问题,在linux下新建一个文件,把脚本内容拷贝进去,内容完全一摸一样,却可以执行. 原因:Windows下换行符号是"\r\n",而linux下是"\n"没有"\r",当shell脚本是在Windows下编写的时候,默认所有的换行符都是"\r\n",linux