Spark2 文件处理和jar包执行

上传数据文件

mkdir -p data/ml/ /home/wangxiao/data/ml/Affairs.txt

hadoop fs -mkdir -p /datafile/wangxiao/

hadoop fs -ls / hadoop fs -put /home/wangxiao/data/ml/Affairs.txt /datafile/wangxiao/

hadoop fs -ls -R /datafile

hdfs://ns1/datafile/wangxiao/Affairs.txt

执行jar包

　　mkdir -p jar/

　　$SPARK_HOME/bin/spark-submit \

　　--class "ML2" \

　　--master local[2] \

　　/home/huai/jar/test.jar

下载数据文件到本地

hadoop fs -get /datafile/wangxiao/Affairs.txt /home/wangxiao/data/ml/

删除HDFS上的文件

hadoop fs -rm -r -f /datafile/wangxiao/data*

时间： 2024-11-16 16:13:37

Spark2 文件处理和jar包执行的相关文章

java文件转成jar包再转成exe文件

[本文简介] 本文将介绍如何把一个跑在eclipse的java应用,导出成jar文件,再变成exe可执行文件. 下面以一个跑在MyEcplise上的GUI应用程序为例子,一步步转化成exe可执行文件. [具体步骤] 1.安装Fat jar(小应用可不用,直接导出普通jar包即可) 如果你在程序开发的时候用到了第三方提供的API或者其它附属资源,在你导出生成jar文件时你必须将第三方的文件一并导出,不然你的程序运行将达不到你想要的结果. 所以我们使用 Fat jar插件来生成jar包: (1)F

JAVA学习笔记 -- 把资源文件打包到jar包

初学GUI,用Eclipse导出jar包,设定的最小化图标不能显示(hello.png文件放在项目的根目录下).代码如下: import javax.swing.JFrame; import java.awt.Toolkit; import java.awt.Image; import java.net.URL; public class GUITest { public static void main(String[] args) { JFrame frame = new JFrame();

java中实现对lib文件中的jar包快速buildpath

当我们把jar文件全部复制到lib后,如果一个一个去buildpath是很麻烦的,这里其实有小技巧的,我们点击第一个jar文件,然后按着shift,再点击最后一个jar文件,就可以实现全选jar包,然后右键-->buildpath即可.

mk文件配置第三方jar包，so文件

#-------------------------配置jar包--------------------- LOCAL_STATIC_JAVA_LIBRARIES := \ libphonenumber_7_0_3 \ nineoldandroids \ zxing \ fastjson \ BaiduLBS_Android \ imageloader include $(CLEAR_VARS)LOCAL_PREBUILT_STATIC_JAVA_LIBRARIES := \ libphonen

idea中的pom文件中的jar包下载不了，手动下载jar包的方法

问题描述: 在pom文件中添加依赖的时候,程序怎么着都是下载不了,而且实验了各种方式: https://www.cnblogs.com/a8457013/p/7811519.html(可以参考,但是本人使用无效) 求取无果,只能自己下载到本地仓库在使用吧: 参考下面博客,可以将jar包下载然后安装到本地,非常感谢大家的分享:特此记录一笔. https://www.cnblogs.com/czy16/p/7569628.html http://www.cnblogs.com/tangshengwe

Maven工程的pom文件引用本地jar包

1.修改maven的setting中的标签<offline>true</offline>为true 使他支持引用:2.cmd用管理员运行命令: mvn install:install-file -Dfile=C:/Users/yuhuiqing/Desktop/yhqutil-1.0.jar -DgroupId=yhqutil -DartifactId=yhqutil -Dversion=1.0 -Dpackaging=jar 3.pom引用 <dependency>

Java打包可执行jar包包含外部文件

外部文件在程序中设置成相对当前工程路径,执行jar包时,将外部文件放在和jar包平级的目录. 1 public class Main { 2 3 4 public static void main(String[] args) throws IOException, InterruptedException { 5 6 String a=args[0]; 7 8 String b=args[1]; 9 10 String c=args[2]; 11 12 String[] cmd=new Str

.bat文件和Jar包的生成及运行

.bat文件和Jar包的生成及运行 1.Jar包简单介绍 Jar包是Java中所特有的一种压缩文档,有点类似于zip包,区别在于Jar包中有一个META-INF\MANIFEST.MF文件(在生成Jar包的过程中会自动创建,具体的后面会进行讲解). Jar包是由JDK安装目录\bin\jar.exe命令生成的,若已成功将其路径设置在系统环境变量中,就可以在CMD中直接使用jar.exe命令了,而它会调用lib\tool.jar工具包中的类. 2.Jar包常用命令 Jar包生成命令格式:jar

jar命令打包与java执行jar包

JAR命令详解 jar {ctxu}[vfm0M] [jar-文件] [manifest-文件] [-C 目录] 文件名 - 其中 {ctxu} 是 jar 命令的子命令,每次 jar 命令只能包含 ctxu 中的一个,它们分别表示: -c 创建新的 JAR 文件包 -t 列出 JAR 文件包的内容列表 -x 展开 JAR 文件包的指定文件或者所有文件 -u 更新已存在的 JAR 文件包 (添加文件到 JAR 文件包中) [vfm0M] 中的选项可以任选,也可以不选,它们是 jar 命令的选项参