在Ubuntu上安装Spark

1.下载spark2.4.3 使用用户的hadoop的版本，解压并放到/usr/local下并改名为spark目录

2.设置spark目录为本用户所有

3.设置环境变量

（1）#~/.bashrc

export SPARK_HOME=/usr/local/spark

source ~/.bashrc

（2）cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh

（3）进入 /usr/local/spark/conf/spark-env.sh

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

SPARK_LOCAL_IP="127.0.0.1"

4.单机模式

/usr/local/spark/bin/spark-shell

5.增加内容到最外层标签内，文件是/usr/local/hadoop/etc/hadoop/yarn-site.xml

执行(yarn模式)

/usr/local/spark/bin/spark-shell --master yarn --deploy-mode client

原文地址：https://www.cnblogs.com/wxd-ld/p/11116147.html

时间： 2024-12-10 18:11:40

在Ubuntu上安装Spark的相关文章

如何在Ubuntu上安装Apache，MySQL，PHP，Nginx，HAProxy,以及如何在docker上安装LAMP

如何在Ubuntu上安装Apache,MySQL,PHP,Nginx,HAProxy,以及如何在docker上安装LAMP 在Ubuntu上安装LAMP: https://help.ubuntu.com/community/ApacheMySQLPHPhttps://www.digitalocean.com/community/tutorials/how-to-install-linux-apache-mysql-php-lamp-stack-on-ubuntuhttp://www.makete

64位ubuntu上安装 hadoop-2.4.0

完全参考:http://blog.csdn.net/cruise_h/article/details/18709969 这上面的安装教程伪分布配置: http://my.oschina.net/mynote/blog/93735 64位ubuntu上安装 hadoop-2.4.0,布布扣,bubuko.com

[异常解决] ubuntu上安装JLink驱动遇到的坑及给后来者的建议

一.前言最近将整个电脑格式化,改成了linux操作系统希望这样能让自己在一个新的世界探索技术.提升自己吧- win上的工具用多了,就不想变化了- 继上一篇<ubuntu上安装虚拟机遇到的问题(vmware坑了,virtual-box简单安装,在virtual-box中安装精简版win7)> link:http://www.cnblogs.com/zjutlitao/p/5061917.html 遇到的在ubuntu上装虚拟机坑之后,接下来又遇到了一个新的问题—— 如何在在ubuntu上安装

在ubuntu上安装maven

下载maven http://maven.apache.org/download.cgi 解压用压缩管理器打开,解压至home目录下配置环境变量 sudo gedit /etc/profile 添加 export M2_HOME=<span style="color:#ff0000;">/home/weibo/apache-maven-3.0.5(视自己的情况而定)</span> export M2=$M2_HOME/bin export PATH=$M2:

Ubuntu上安装QQ

作者:邹祁峰邮箱:[email protected] 博客:http://blog.csdn.net/qifengzou 日期:2014.06.12 转载请注明来自"祁峰"的CSDN博客自从腾讯QQ发布Linux QQ后,其他第三方均纷纷退出Linux版本QQ的开发和维护,而后腾讯QQ也停止了Linux QQ的开发和维护,致使目前Ubuntu上只能使用网页QQ. 而直接登陆网页QQ又使用户不能及时方便的获知对方的回复,目前可使用PIDGIN登陆QQ,能很好的解决网页QQ的这个缺点.

如何在ubuntu上安装flash_player

一.如何在ubuntu上安装Flash Player 相信很多玩ubuntu的都会遇到这样一个问题,当你在网上看视频时,屏幕总会弹出你没用安装 Flash Player,然后就有一个选项叫你下载Flash Player. 遇到这种情况时,我们先下载下来,选择linux tar.gz版本,下载,然后解压到当前目录. 接着点开解压后的文件,你会看到libflashplayer.so文件,打开终端,输入以下命令就行了. sudo cp libflashplayer.so /usr/lib/mozill

在64位ubuntu上安装alienbrain客户端

一.首先从Alienbrain_EN_10.5.zip安装包(网上可搜索下载)里提取出linux版安装文件:Installations/Clients/Linux/NoVM/install.bin并chmod+x使之可执行二.如果直接运行,可能会出现大把问题,逐步解决如下: 1.首先是报libc.so.6找不到:strings: '/lib/libc.so.6': No such file.这里只要做个链接:/lib/libc.so.6 -> /lib/x86_64-linux-gnu/lib

Ubuntu上安装MongoDB（译）

add by zhj:直接从第四步开始就可以了,而且安装好MongoDB后会自动启动的,不必自己去执行启动命令原文:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 一. 概述通过这个教程,我们可以用.deb包在LTS Ubuntu上安装MongoDB社区版.虽然Ubuntu自己也有MongoDB包,但是官方的MongoDB社区版通常要更新一些. 注:平台支持 MongoDB只为64位 LTS Ubuntu

通过ppa在ubuntu上安装atom编辑器

在终端中执行以下命令即可,很方便. sudo add-apt-repository ppa:webupd8team/atom sudo apt-get update sudo apt-get install atom 支持Ubuntu 14.10, 14.04, 13.10 和 12.04 通过ppa在ubuntu上安装atom编辑器,布布扣,bubuko.com