对于这里的打包,总结:
(1) 最简单的,也是为了适应公司里,还是要用maven,当然spark那边sbt,maven都可以。但是maven居多。
Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序?(企业级水平)
IDEA里如何多种方式打jar包,然后上传到集群
Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)(包含Java和Scala版的WordCount)(博主强烈推荐)
(2) 将整个项目打jar包进去,只需指定想要的类即可。比如你直接打成一个总的jar包,如guangdiang.jar。
[[email protected] jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
[[email protected] jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR
(3) 直接将你想要的类打成jar包即可,比如guangdiangACCR.jar。
[[email protected] jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR 或 [[email protected] jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
比如guangdiangACPR.jar。
[[email protected] jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR 或 [[email protected] jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating hdfs://master:9000/tv-out-ECN/part-r-00000 hdfs://master:9000/tv-out-EPAARN/part-r-00000 hdfs://master:9000/tv-out-ACPR
成功!
原文地址:https://www.cnblogs.com/wangsongbai/p/9116116.html
时间: 2024-10-19 05:06:54