ubuntu安装spark

1.先得准备环境，需要JAVA环境，还有Python环境（默认会有）

JAVA下载JDK之后配置JAVA环境变量

1 export JAVA_HOME=/opt/jdk1.8.0_45
2
3 export JRE_HOME=${JAVA_HOME}/jre
4
5 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
6
7 export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

2.下载spark，配置变量

1 export SPARK_HOME=/opt/spark-hadoop/

重启，测试，搞定；

参考http://www.open-open.com/lib/view/open1432192407317.html

时间： 2024-11-06 09:48:34

ubuntu安装spark的相关文章

Ubuntu 安装 spark

环境: Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala,然后改动/etc/profile,加入例如以下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:/home/software/ec

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

有米实习-Ubuntu 14.04 LTS 安装 spark 1.6.0 （伪分布式）

需要下载的软件: 1.hadoop-2.6.4.tar.gz 下载网址:http://hadoop.apache.org/releases.html 2.scala-2.11.7.tgz 下载网址:http://www.scala-lang.org/ 3.spark-1.6.0-bin-hadoop2.6.tgz 下载网址:http://spark.apache.org/ 4.jdk-8u73-linux-x64.tar.gz 下载网址:http://www.oracle.com/technet

Ubuntu 14.10 下安装Spark

Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤. 1 安装scala 1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/ 1.2 解压到文件夹 tar -xzvf scala-2.11.4.tgz 1.3 设置环境变量 sudo nano /etc/profile export SCALA_HOME=/home/liucc/software/spark/scala-2.11.4 export

【Hadoop】在Ubuntu系统下安装Spark

Spark 版本:spark-2.4.0-bin-without-hadoop.tgz 下载地址:http://spark.apache.org/downloads.html 下载的时候注意一下,需要下的是最新版本的无 hadoop 版本,因为我们已经在之前装过 hadoop 了. 安装 Spark sudo tar -zxf ~/Downloads/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv .

Ubuntu下Spark开发环境搭建

Ubuntu 64基本环境配置安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6.tgz,解压到/opt/scala-2.11.6 下地地址: http://www.scala-lang.org/ 安装Spark,下载spark-1.3.1-bin-h

Ubuntu 安装 JDK 7 / JDK8 的两种方式

ubuntu 安装jdk 的两种方式: 1:通过ppa(源) 方式安装. 2:通过官网下载安装包安装. 这里推荐第1种,因为可以通过 apt-get upgrade 方式方便获得jdk的升级使用ppa/源方式安装 1.添加ppa sudo add-apt-repository ppa:webupd8team/java sudo apt-get update 2.安装oracle-java-installer jdk7 sudo apt-get install oracle-java7-inst

ubuntu安装pip3

当初入门Linux 使用的是centos,那个时候是6.0版本,当然现在主流在使用的也是6.0系列的,现在都到6.7了,那个时候centos还是独立的,现在被redhat收购,本来一个红蓝就差不多,个人感觉除了yum源不一样,其他没有区别,更搞笑的是,redhat用了centos 的开放yum 源,升级后居然变成centos 了.因为yum用的太顺手了,所以开始挺排斥ubuntu的,觉得apt-get很不爽,不过最近学python,感觉用centos各种不爽,怪不得都说开发最好用ubuntu.所

ubuntu 安装 git & smartgit

1. 安装 git # sudo apt-get update# sudo apt-get install git ? 2. 配置 # git config --global user.name "Your Name" # git config --global user.email "[email protected]" ? 3. 查看配置 # gitconfig--list ? 4. ?安装 SmartGit # cd ~/Downloads # wget?ht