ubuntu下安装spark1.4.0

构建在hadoop2.6.0之上的

1.在官网下载spark-1.4.0-bin-hadoop2.6.tgz

2.解压到你想要放的文件夹里，tar zxvf spark-1.4.0-bin-hadoop2.6.tgz

3.配置profile

sudo gedit /etc/profile

在文件下面加入一下路径配置，保存退出，并用source /etc/profile 使环境生效

export SCALA_HOME=/home/jiahong/spark-1.4.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

4.启动spark

[email protected]7010:~$ cd spark-1.4.0-bin-hadoop2.6/
[email protected]-OptiPlex-7010:~/spark-1.4.0-bin-hadoop2.6$ sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/jiahong/spark-1.4.0-bin-hadoop2.6/sbin/../logs/spark-jiahong-org.apache.spark.deploy.master.Master-1-jiahong-OptiPlex-7010.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /home/jiahong/spark-1.4.0-bin-hadoop2.6/sbin/../logs/spark-jiahong-org.apache.spark.deploy.worker.Worker-1-jiahong-OptiPlex-7010.ou

5.访问spark界面

localhost:8080

时间： 2024-11-05 19:31:39

ubuntu下安装spark1.4.0的相关文章

ubuntu下安装Qt5.5.0

下载相应系统的Qt版本.http://www.qt.io/download-open-source/#section-2 安装的是32位的ubuntu,就下载x86的.就是这个qt-opensource-linux-x86-5.5.0.run. 下完之后,cd到下载的那个目录,更改文件权限chmod 700 qt-opensource-linux-x86-5.5.0.run 然后执行./qt-opensource-linux-x86-5.5.0.run 出现Qt安装对话框,下一步到完成. 编译的

Redis(三)-Ubuntu下安装

Ubuntu 下安装在 Ubuntu 系统安装 Redi 可以使用以下命令: $sudo apt-get update $sudo apt-get install redis-server 启动 Redis $ redis-server 查看 redis 是否启动? $ redis-cli 以上命令将打开以下终端: redis 127.0.0.1:6379> 127.0.0.1 是本机 IP ,6379 是 redis 服务端口.现在我们输入 PING 命令. redis 127.0.0.1:

ubuntu下安装git，sublime，nodejs

用的是VMware10.0版本的虚拟机,很早之前下载的今天就直接用了,安装挺简单记得需要一个序列号.在这里:http://mirrors.163.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-i386.iso 下载的ubuntu15.04ISO镜像(文件挺大还是用迅雷下载吧能快点),下载好之后就可以自定义创建新的虚拟机了基本就是按照VM安装向导提示安装,最后注意在虚拟机设置点击CD/DVD(SATA)用ISO映像文件启动不然会提示“系统不存在”.在

ubuntu 下安装 apache php mysql

ubuntu 安装 apache+php+mysql1.打开终端,输入"sudo apt-get install apache2",回车;(安装apache2.0或2.x新版本,系统会自动查找新的版本)2.如有密码请再输入管理员密码,回车3.输入"Y",回车4.apache2.X 安装完成5.验证apache2.x安装是否完成,在浏览器中打开http://localhost/或者http://127.0.0.1.如果出现It works!那证明成功;6.打开终端,输

ubuntu 下安装配置open-iscsi并自动挂载

1.安装open-iscsi apt-get install open-iscsi 2.发现iscsi-target(ISCSI服务器IP:192.168.1.104) iscsiadm -m discovery -t sendtargets -p 192.168.1.104 3.设置开机自动登录到iscsi-target iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.6f5d0fb29fc9 -p 192.168.1.104 –op upd

ubuntu下安装wine并运行source insight

本文介绍如何在64位 ubuntu下安装wine,并运行source insight. 1. 获取安装包首先官网(https://www.winehq.org/)下载源码包,解压. tar xvJf wine-2.0.1.tar.xz 2. 安装依赖 sudo apt-get update sudo apt-get install build-essential gcc-multilib libx11-dev:i386 libfreetype6-dev:i386 libxcursor-dev:

ubuntu下安装 openssl&&编译运行测试代码

检查是否已安装 openssl: sudo apt-get install openssl 如果已安装执行以下操作:sudo apt-get install libssl-devsudo apt-get install libssl0.9.8 Ubuntu 下安装 GTK+ 开发库sudo apt-get install libgtk2.0-dev 代码: #include <stdio.h> #include <string.h> #include <openssl/hma

Ubuntu下安装可视化SVN客户端Rabbitvcs

如果你用过Windows下的tortoisesvn,肯定会感叹,同样是开源程序,为什么这些开源的东西不在开源的系统上先跑呢? 不用着急,那边有个乌龟,这篇有只兔子,只是看了太多的龟兔赛跑的故事,不知到最后谁会赢.那就有你评判了,先安装再说吧! 下面是它的屏幕截图由于这个目前还没有在安装中心里面,所以只能是手动安装. 你可以参考这里自己安装, 也可以按照我的方法在Ubuntu下进行安装,因为里面没有中文. 下载压缩包,进入解压后的目录:http://code.google.com/p/rabbi

ubuntu 下安装 matplotlib

直接使用sudo easy_install matplotlib 报错 ============================================================================ Edit setup.cfg to change the build options BUILDING MATPLOTLIB matplotlib: yes [1.3.1] python: yes [2.7.6 (default, Mar 22 2014, 22:59:56