安装maven
ubuntu中没有自带安装maven,需要手动安装maven。
在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录
在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:
该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系:
为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:
接着,我们可以通过如下代码将这整个应用程序打包成Jar
出现的问题:
在打包jar的时候一直出现error,后来我发现必须把pom.xml里面的
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.0.0-preview</version>改成自己版本号然后加上
<build> <pluginManagement> <plugins> <plugin> <artifactId>maven-resources-plugin</artifactId> <version>2.7</version> </plugin> </plugins> </pluginManagement> </build>就OK了,之后保持网络顺畅,一直下载依赖包 等待结束。
原文地址:https://www.cnblogs.com/jccjcc/p/12259092.html
时间: 2024-10-10 01:36:05