Spark知识整理（未完待续）

一、Spark支持的安装模式：

1、伪分布式（一台机器即可）

2、全分布式（至少需要3台机器）

二、Spark的安装配置

1、准备工作

安装Linux和JDK1.8
配置Linux：关闭防火墙、主机名、免密码登陆

2、安装部署Spark

解压：tar z-xvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/trainning/
核心配置文件：con/spark-env.sh （cp spark-env.sh.template spark-env.sh）
（伪分布式配置内容）
启动：sbin/start-all.sh （出现Master和Worker进程）
Web监控：http://hostname:8080

三、Spark执行工具

spark-shell : 交互式命令工具
spark-submit ：应用程序提交工具

四、Spark运行模式和交互式Shell启动模式

1、local（本地模式）

单机运行，通常用于测试　　　

bin/spark-shell --master local （只启动一个executor）
bin/spark-shell --master local[2] （启动2个executor）
bin/spark-shell --master local[*] （启动跟cpu数目相同的executor）

2、standalone（独立模式）

　　独立运行在一个集群中

bin/spark-shell --master spark://hostname:7077　　（hostname可换成IP）

3、YARN/mesos

　　运行在资源管理器系统上，比如YARN说mesos

　　Spark on YARN存在两种模式 : yarn-client 和 yarn-cluster

bin/spark-shell --master yarn-client
bin/spark-shell --master yarn-cluster

原文地址：https://www.cnblogs.com/chengzipg/p/9313269.html

时间： 2024-10-09 20:56:26

Spark知识整理（未完待续）的相关文章

sublime常用快捷键整理(未完待续)

sublime常用快捷键整理: 基本操作 cmd+o 打开文件 cmd+w 关闭当前tab cmd+n 打开新页 cmd+shift+n 打开刚刚关闭的页签一.选择命令 1.多个单词选择 cmd+d 2.多行选择 cmd + l 3.多行编辑 cmd + shift + l 二.界面配置 1.关闭和开启左侧项目菜单 cmd+ k 再 cmd+b 2.分割可视窗口 cmd+option+1(1个可视窗口)/2(2个可视窗口) 三. 寻找 1.调出资源文件:cmd+p 2.行数查找:cmd+p+

HTML基础知识（未完待续）

一.HTML编辑工具:Sublime Text 二.HTML实体字符:1.( 空格):&nbsp: 2.(<) &lt: 3.(>)&gt: 4.(&)&amp: 5.(")&quot:等三.基本HTML标记: 注释标记: 换行标记:<br/> 段落标记: <p></p> 段落标记p可以较大行距区分不同段落标题标记:<h1></h1

spring基础知识，未完待续

https://blog.csdn.net/slow_wakler/article/details/54895508 http://www.runoob.com/design-pattern/chain-of-responsibility-pattern.html https://www.cnblogs.com/alwayswyy/p/4904448.html?utm_source=tuicool&utm_medium=referral https://www.cnblogs.com/zmhso

ASP.NET Core 2.2 基础知识(八) 主机 (未完待续)

主机负责应用程序启动和生存期管理.共有两个主机 API : 1.Web 主机 : 适用于托管 Web 应用,基于 IWebHostBuilder ; 2.通用主机 : 适用于托管非 Web 应用. 基于 HostBuilder . 官方: 通用主机的目标是将 HTTP 管道从 Web 主机 API 中分离出来,从而启用更多的主机方案. 基于通用主机的消息.后台任务和其他非 HTTP 工作负载可从横切功能(如配置.依赖关系注入 [DI] 和日志记录)中受益通用主机是 ASP.NET Core 2

[daily][optimize] 去吃面（python类型转换函数引申的性能优化）（未完待续）

前天,20161012,到望京面试.第四个职位,终于进了二面.好么,结果人力安排完了面试时间竟然没有通知我,也没有收到短信邀请.如果没有短信邀请门口的保安大哥是不让我进去大厦的.然后,我在11号接到了面试官直接打来的电话,问我为啥还没到,我说没人通知我我不知道呀.结果我就直接被他邀请去以访客的身份参加面试了.不知道人力的姑娘是不是认识我,且和我有仇,终于可以报复了... 然后,我终于如约到了,面试官带着我去前台登记.前台的妹子更萌...认为我是面试官,面试官是才是来面试的.我气质真的那么合吗?

一篇文章让Oracle程序猿学会MySql【未完待续】

一篇文章让Oracle DB学会MySql[未完待续] 随笔前言: 本篇文章是针对已经能够熟练使用Oracle数据库的DB所写的快速学会MySql,为什么敢这么说,是因为本人认为Oracle在功能性方面和难度方面都比MySql要高一些,所以精通Oracle的DB在学习MySql的时候,没有必要从头到尾再去搞一遍,只需要掌握两者的用法区别即可.故本篇文章就针对Oracle和MySql的区别来把MySql的知识掌握住,在文章中,实例都是MySql环境下的实例,而Oracle可能知识一句话来概括,所以

Exp2 后门原理与实践（未完待续）

Exp2 后门原理与实践实验环境攻击机 kali 4.14(64位) (IP: 10.0.2.6/24) 靶机 ubuntu 16.04(32位) (IP: 10.0.2.4/24) windows 7 sp1(64位) (IP: 10.0.2.7/24) nc/ncat的使用 nc(全称是netcat)是一个用于TCP/UDP连接和监听的linux工具,有着网络工具中的"瑞士军刀"的美誉.nc的实现版本大致有两种,一种是带有-e或-c 选项可以直接给出执行命令,另一种不支持-e选

whatweb.rb 未完待续

#!/usr/bin/env ruby #表示ruby的执行环境 =begin # ruby中用=begin来表示注释的开始 .$$$ $. .$$$ $. $$$$ $$. .$$$ $$$ .$$$$$$. .$$$$$$$$$$. $$$$ $$. .$$$$$$$. .$$$$$$. $ $$ $$$ $ $$ $$$ $ $$$$$$. $$$$$ $$$$$$ $ $$ $$$ $ $$ $$ $ $$$$$$. $ `$ $$$ $ `$ $$$ $ `$ $$$ $$' $ `$

把握linux内核设计思想系列（未完待续......）

[版权声明:尊重原创,转载请保留出处:blog.csdn.net/shallnet,文章仅供学习交流,请勿用于商业用途] 把握linux内核设计思想(一):系统调用把握linux内核设计思想(二):硬中断及中断处理把握linux内核设计思想(三):下半部机制之软中断把握linux内核设计思想(四):下半部机制之tasklet 把握linux内核设计思想(五):下半部机制之工作队列及几种机制的选择把握linux内核设计思想(六):内核时钟中断把握linux内核设计思想(七):内核定时器和

[译]App Framework 2.1 （1）之 Quickstart （未完待续）

最近有移动App项目,选择了 Hybrid 的框架Cordova 和 App Framework 框架开发. 本来应该从配置循序渐进开始写的,但由于上班时间太忙,这段时间抽不出空来,只能根据心情和兴趣,想到哪写到哪,前面的部分以后慢慢补上. App Framework 前生是是叫 jqMobi 注意大家不要和 jQuery Mobile 混淆了,它们是两个不同的框架,一开始我还真混淆了0.01秒. 这里我先翻译一下Quickstart 部分,一是自己工作上用的上,二是也想顺便练练英文,最关键