2020寒假 02

Spark安装

参照教程安装Spark 和 Scala    参考链接:http://dblab.xmu.edu.cn/blog/1307-2/

环境:Linux  已安装Hadoop

spark官方下载地址:http://spark.apache.org/downloads.html

参照图中内容下载spark,由于我们已经自己安装了Hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Apache Hadoop ”,然后,点击“Download Spark”后面的“spark-2.4.4-bin-without-hadoop.tgz”下载即可。

Spark部署模式主要有四种:Local模式(单机模式)、Standalone模式(使用Spark自带的简单集群管理器)、YARN模式(使用YARN作为集群管理器)和Mesos模式(使用Mesos作为集群管理器)。

对已下载内容进行解压并修改用户权限

sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名

安装后,还需要修改Spark的配置文件spark-env.sh

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

vim中键入i进行插入,esc推出编辑,:wq进行保存并退出

配置完成后就可以直接使用,不需要像Hadoop运行启动命令。
通过运行Spark自带的示例,验证Spark是否安装成功。

cd /usr/local/spark

bin/run-example SparkPi

执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中):

bin/run-example SparkPi 2>&1 | grep "Pi is"

获得π的近似值

Spark shell中运行代码

使用命令bin/spark-shell进入spark-shell环境

输入表达式进行计算

可以使用命令“:quit”或直接使用“Ctrl+D”组合键退出

原文地址:https://www.cnblogs.com/lixv2018/p/12244012.html

时间: 2024-10-09 17:39:41

2020寒假 02的相关文章

2020 寒假记录(一)

2020 冬 寒假记录(一) 费解的开关 https://vijos.org/p/1197 当第 \(i\) 行的状态确定了之后,只有第 \(i+1\) 行可以影响它,也就是翻完第一行后,后面每一行的操作也就是确定的了,所以枚举第一行的32种状态即可. 深搜 #include <iostream> #include <algorithm> #include <cstdio> using namespace std; int dir[4][2] = { {0,-1},{0

窦小凤2020寒假学习心得

2020年1-2月寒假学习心得—窦小凤 一.学习成果 赛事准备上,每天坚持做题,完成代码量6000行(其中还包括了很多知识点学习上的代码). 学习python基础,对python有了基本认识,完成代码1500行(但其中基本都是python中的基础语法) 选择性学习了一些用Java语言讲的数据结构与算法. 前期主要是将Java的基础视频重看了一遍(主要是在学校的时候没认真),然后从最基础入门开始做起,到寒假末来看,自身在Java方面跟在大一上学期还是有较大进步,但仍还有很长的路要走. Python

2020寒假训练计划

今天是2019年的最后一天了,按照计划.应当对Python有了初步了解,Linux基础操作比较熟悉. 是时候分一下方向了,首先看看各个方向该学些什么. Web PHP 在Web通常是以代码审计.PHP各种协议.特性等等情况出现.基础要求是看懂题中的PHP代码,然后要对题目中常见绕过方法有了解.因此,PHP语言上,要学习到面对对象,能了解PHP序列化和反序列化及各种魔法方法.还要多刷题,了解题目的一些常见的考点,针对考点学习. SQL 要学习SQL注入首先要会SQL的基础语法,SQL语法比较简单,

每日思考(2020/01/02)

题目概览 对GBK和UTF-8的理解 对z-index的理解 bind.call.apply的区别? 题目解答 对GBK和UTF-8的理解 含义 GBK编码:是指中国的中文字符,其它它包含了简体中文与繁体中文字符,另外还有一种字符"gb2312",这种字符仅能存储简体中文字符 UTF-8编码:它是一种全国家通过的一种编码,如果你的网站涉及到多个国家的语言,那么建议你选择UTF-8编码 区别 UTF8编码格式很强大,支持所有国家的语言,正是因为它的强大,才会导致它占用的空间大小要比GBK

2020寒假训练记录

目标: 信息学奥赛之数学一本通重学 第一章 数论 第三章 组合数学 第四章 概率 第六章 矩阵 网络流 DP 多项式 生成函数 CFdiv1 30题 整理模板 2020-01-10 添加模板: 辛普森积分 中国剩余定理 矩阵乘法 提交:POJ1006 原文地址:https://www.cnblogs.com/FYH-SSGSS/p/12177888.html

2020寒假学习01 Scala 编程初级实践

1. 计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q为止,其中 q 为大于 0 的整数,其值通过键盘输入. Sn = 2/1+3/2+4/3+......+n+1/n 例如,若 q 的值为 50.0,则输出应为:Sn=50.416695.请将源文件保存为exercise2-1.scala,在REPL模式下测试运行,测试样例:q=1时,Sn=2:q=30时,Sn=30.891459:q=50 时,Sn=50.416695. object test

FZU ICPC 2020 寒假训练 1

B - Sum Problem In this problem, your task is to calculate SUM(n) = 1 + 2 + 3 + ... + n. Input The input will consist of a series of integers n, one integer per line. Output For each case, output SUM(n) in one line, followed by a blank line. You may

2020寒假 01

今天打算开始学习spark,年前重装了电脑系统,安装完系统,安装了软件工程的必备软件及数据库等 打开虚拟机时发现旧版本的wmware已经无法在新的win10系统上运行,Wmware pro15在win 10 1903上不能用 网上搜索教程发现在1903版本就已经出现这个问题,而我现在的版本是1909,幸亏之前有备份好的虚拟机文件 卸载旧版本虚拟机,在网上找到了15.5版本进行安装,并将之前的文件进行导入 另外,还有一种方法,卸载掉之前Windows的更新(因为更新了一个安全补丁) 找到控制面板 

2020寒假 03

Ubuntu14安装Scala 并编译输出“Hello, World!” 环境 Linux  java version "1.8.0_162" 官网下载Scala 2.13.1 在Linux中选择.tgz进行下载,默认地址下载在Linux文件夹中的下载(~/下载/scala-2.13.1.tgz) 下载完成后解压到local 重命名并修改文件权限 sudo tar -zxf ~/下载/scala-2.13.1.tgz -C /usr/local # 解压到/usr/local中cd /