spark配置(7)--on yarn配置

  1. vim /usr/local/spark/conf/spark-env.sh
  1. export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
  2. export SCALA_HOME=/usr/local/scala
  3. export JAVA_HOME=/opt/jdk1.8.0_65
  4. export SPARK_MASTER=localhost
  5. export SPARK_LOCAL_IP=localhost
  6. export HADOOP_HOME=/usr/local/hadoop
  7. export SPARK_HOME=/usr/local/spark
  8. export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
  9. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
  1. /usr/local/spark/bin/spark-submit --master yarn --num-executors 2 --executor-cores 1 --class "SimpleApp" ~/sparkapp/target/scala-2.10/simple-project_2.10-1.0.jar

来自为知笔记(Wiz)

时间: 2024-10-26 14:27:06

spark配置(7)--on yarn配置的相关文章

Spark 在Hadoop HA下配置HistoryServer问题

我的Spark机群是部署在Yarn上的,因为之前Yarn的部署只是简单的完全分布式,但是后来升级到HA模式,一个主NN,一个备NN,那么Spark HistoryServer的配置也需要相应的做修改,因为不做修改会报错 Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native

Spark 性能相关參数配置具体解释-shuffle篇

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完好, 越来越多的可配置參数被加入到Spark中来, 在Spark的官方文档http://spark.apache.org/docs/latest/configuration.html 中提供了这些可配置參数中相当大一部分的说明. 可是文档的更新总是落后于代码的开发的, 另一些配置參数没有来得及被加入到这

Hadoop yarn配置参数

参照site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 我们在配置yarn的时候只有充分了解各参数的含义,才能避免隐患.这些参数均在yarn-site.xml中配置 以下涉及的简写: RM :ResourceManager AM :ApplicationMaster NM :NodeManager 参数 默认值 描述 yarn.resourcemanager.hostn

hadoop2的automatic HA+Federation+Yarn配置的教程

前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂.对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减.不过,我有免费的学习视频下载,请点击这里. hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障.资源利用率低.支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势.当然,配置也更加复杂,网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的.我应该算是第一个吧. hadoop2体系结构 要想理解本节内

yarn配置

参考连接:https://blog.csdn.net/yw00yw/article/details/81354533 1.先下载好NodeJS,然后输入如下命令安装yarn npm install -g yarn 2.查看版本: yarn --version 3.查看 yarn 默认配置 yarn config list 4.修改默认镜像和node-sass yarn config set registry https://registry.npm.taobao.org -g yarn conf

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置

在Ubuntu下创建hadoop用户组和用户 hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户,否则后面会有拒绝读写的问题出现.当然不是也有办法办法解决. 1. 创建hadoop用户组; [html] view plaincopy sudo addgroup hadoop 2. 创建hadoop用户; [html] view plaincopy sudo adduser -ingroup hadoop hadoop 3. 给hadoop用户添加权限,打开/etc/sudoe

Zabbix监控mysql配置及故障告警配置

本文主要介绍zabbix监控mysql的配置,包含使用zabbix自带模板监控mysql相关信息及自定义key监控mysql同步情况.同时介绍了触发器的创建及zabbix通过邮件方式告警配置. 一.配置自带模板监控mysql 1.提供配置文件模板 文件位置在源码包/usr/local/src/zabbix-3.0.4/conf/zabbix_agentd/userparameter_mysql.conf #cp/usr/local/src/zabbix-3.0.4/conf/zabbix_age

eclipse 运行php时,运行配置,和调试配置的设置

对于wamp的安装前面的一篇博客里已经提到了,这里不再多说了, 对于eclipse的安装,可以参考下面的博客 eclipse的安装 http://jingyan.baidu.com/album/d7130635194f1513fcf47557.html php插件的安装 http://www.jb51.net/article/52408.htm 安装好以后,记得吧workplace的目录设置为wamp的网站目录下哦,这个很重要,要不然项目不会运行的,这个时候就要配置apche,和mysql,还有

劳动节配置F5负载均衡配置小结

2014年5月1日是劳动节,是劳动人民应该休息的节日,呵呵结果这几天却是作死的节奏,天天加班到2点半,真实很辛苦呀,整个过程很艰辛但是结果是好的. 1.配置LC1600链路负载均衡,首先要激活license的.在system-license-Re activacte 2.要创建VLAN,由于是联通线路.电信线路和下行线路,就创建vlan_cnc vlan_ctc vlan1,每个vlan要设置对应的端口,比如vlan_cnc对应光纤口2.1 3.创建完vlan 要写selfip即每个vlan的地