2020寒假生活学习日记(四)

安装maven
ubuntu中没有自带安装maven,需要手动安装maven。

在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系:

为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

接着,我们可以通过如下代码将这整个应用程序打包成Jar

出现的问题:

在打包jar的时候一直出现error,后来我发现必须把pom.xml里面的

<groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.0.0-preview</version>改成自己版本号然后加上
<build>
        <pluginManagement>
          <plugins>
            <plugin>
              <artifactId>maven-resources-plugin</artifactId>
              <version>2.7</version>
            </plugin>
          </plugins>
        </pluginManagement>
    </build>就OK了,之后保持网络顺畅,一直下载依赖包 等待结束。

原文地址:https://www.cnblogs.com/jccjcc/p/12259092.html

时间: 2024-10-10 01:36:05

2020寒假生活学习日记(四)的相关文章

2020寒假生活学习日记(十四)

爬取北京市信件内容: 下载webmagic-0.7-libs.tar.gz压缩包,解压缩.没有压缩包可以加QQ:893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/edu1/ 新建Java Project,命名为 点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到lib

2020寒假生活学习日记(二)

使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件: 简单的RDD操作: //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行,返回一个新的RDDval lineWithSpark = textFile.filter(line => line.contains("Spark")) //统计新的RDD的行数lin

2020寒假生活学习日记(三)

安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后,执行如下命令拷贝至 /usr/local/sbt 中: 接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容: 为 ./sbt 脚本增加可执行权限: 最后运行如下命令,检验 sb

2020寒假生活学习日记(六)

在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成,因此,需要掌握如何把Windows系统中 的文件上传到Linux系统,以及如何把Linux系统中的文件下载到Windows系统中. 首先,到本教程官网的“下载专区”中的“软件”目录中,下载FTP软件FileZilla的安装 文件FileZilla_3.17.0.0_win64_setup.exe,把FileZilla安装到Windows系统中:然后,请参考 本教程官网“实验指南”栏目的“在Windows

2020寒假在家学习,抗击新型病毒!!!

1月30日 发现了一个非常有意思的博主,她好像也是学习前端的,她的博客不仅有学习体会,还有生活体会,日常感想等等,然后真的写了超级多超级多!!!我突然意识到如果可以像这样将自己的学习.生活记录下来,定时的翻看,也一定会有诸多感悟. 2月1日 今天和爸妈.姐姐弟弟一起上山,山路险阻,光是走一圈就已精疲力竭,但是走路的感觉真的是很爽呀,每天只能呆在家里抗击病毒,心情难免会郁闷.回到家后,从来不午睡的弟弟竟也破天荒睡了一个午觉,真是难得呀.接下来的一个星期我只能靠着5G流量坚强的生活下去QAQ,但我是

Python学习日记(四十) Mysql数据库篇 八

Mysql存储过程 存储过程是保存在Mysql上的一个别名(就是一堆SQL语句),使用别名就可以查到结果不用再去写SQL语句.存储过程用于替代程序员写SQL语句. 创建存储过程 delimiter // CREATE PROCEDURE p1() BEGIN SELECT * FROM studenttable; INSERT INTO teachertable(tname) VALUES('陈晨'); END // delimiter ; 当我们写完这段代码并执行,再去调用p1()就可以直接执

数据结构学习日记2:实现一个简单的线性表功能(链式存储方式)

数据结构学习日记,此次是用链表来实现一个线性表的功能 // ListTable1.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include<iostream> using namespace std; #define ERROR 0; #define OK 1; typedef int Status; typedef int ElemType; //声明一个节点 typedef struct Node { ElemType d

Java学习日记(一)基础

标识符: 由26个英文字母大小写,数字:0-9 符号:_ $ 组成 定义合法标识符规则: 1.数字不可以开头. 2.不可以使用关键字. 3.Java中严格区分大小写. Java中的注释格式: 单行注释: 格式: //注释文字 多行注释: 格式: /* 注释文字*/ 文档注释: 格式:/** 注释文字 */ 常量: 常量表示不能改变的数值. java中常量的分类: 1.整数常量.所有整数 2.小数常量.所有小数 3.布尔型常量.较为特有,只有两个数值.true 和false. 4.字符常量.将一个

informatica 学习日记整理

1. INFORMATICA CLIENT的使用 1.1 Repository Manager 的使用 1.1.1 创建Repository. 前提: a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev) b. 要在你要连接的数据库中新建一个用户(例:name: ETL password: ETL) 现在你可以创建一个Repository了.选择Repository – Create Repository,输入Repository Name