Spark- Linux下安装Spark

前期部署

1.JDK安装，配置PATH

2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压

3.在 /usr 下创建软链接到目标文件夹

[[email protected] usr]# ln -s spark-1.6.1-bin-hadoop2.6   spark

4.修改配置文件,目标目录 /usr/spark/conf/

[[email protected] conf]# ls
docker.properties.template  log4j.properties.template    slaves.template               spark-env.sh.template
fairscheduler.xml.template  metrics.properties.template  spark-defaults.conf.template
这里需要把spark-env.sh.template改名为spark-env.sh
export JAVA_HOME=/usr/jdk
#这个是单机版的配置，不能实现高可用
export SPARK_MASTER_IP=tourbis
export SPARK_MASTER_PORT=7077

再配置slaves

 
时间： 2024-10-11 21:02:37

Spark- Linux下安装Spark的相关文章

Linux下安装禅道管理系统7.2

提示:禅道是用PHP开发的,只要安装一个MySQL,找一个能跑PHP的web应用服务器,把禅道源代码放到里面,然后按步骤安装就可以了.不一定要用XAMPP,XAMPP只是把PHP环境和MySQL都集成了而已. 禅道简介 禅道项目管理软件(ZenTaoPMS)是一款国产的,基于ZPL协议,开源免费的项目管理软件,它集产品管理.项目管理.测试管理于一体,同时还包含了事务管理.组织管理等诸多功能,是一款功能完备的项目管理软件,完美地覆盖了项目管理的核心流程,是中小型企业项目管理的首选. 禅道项目管理软

Linux下安装搭建Memcached集群环境

Linux下安装搭建Memcached集群环境

FFmpeg在Linux下安装编译过程

转载请把头部出处链接和尾部二维码一起转载,本文出自:http://blog.csdn.net/hejjunlin/article/details/52402759 今天介绍下FFmpeg在Linux下安装编译过程,用的是CentOS, 总体过程比较顺利,就是在ffmpeg等的时间稍长点.没什么技术难点.仅当记录. 关于FFmpeg FFmpeg是一个开源免费跨平台的视频和音频流方案,属于自由软件,采用LGPL或GPL许可证(依据你选择的组件).它提供了录制.转换以及流化音视频的完整解决方案.它包

Linux下安装配置Apache服务器

Linux下安装配置Apache服务器 1. 安装Apache [[email protected] ~]# yum –y install httpd 2. 启动Apache [[email protected] ~]# systemctl start httpd 3. 查看进程 [[email protected] ~]# systemctl status httpd httpd.service - The Apache HTTP Server Loaded: loaded (/usr/lib

linux 下安装 mysql 并配置 python 开发环境

1.安装 mysql ,安装过程中将提示设置 root 用户的密码,默认可以设置为 rootadmin . $ sudo apt-get install mysql-server 2.安装 mysql 开发工具(不安装时,安装 MySQL-python 提示错误 "mysql_config not found"). $ sudo apt-get install libmysqld-dev 3.安装 python 的 mysql 库 MySQL-python (首先安装 python-d

Linux下安装jdk8步骤详述

作为Java开发人员,在Linux下安装一些开发工具是必备技能,本文以安装jdk为例,详细记录了每一步的操作命令,以供参考. 0.下载jdk8 登录网址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html选择对应jdk版本下载.(可在Windows下下载完成后,通过文件夹共享到Linux上) 1. 登录Linux,切换到root用户 su root 获取root用户权限,当前工作目

linux下安装安装pcre-8.32 configure: error: You need a C++ compiler for C++ support

linux下安装安装pcre-8.32./configure --prefix=/usr/local/pcre 出现以下错误configure: error: You need a C++ compiler for C++ support 正解 yum install -y gcc gcc-c++

Python MySQLdb Linux下安装笔记

本文介绍了Python MySQLdb Linux下安装笔记,本文分别讲解了快速安装和手动编译安装两种方法,并分别讲解了操作步骤,需要的朋友可以参考下 主要针对centos6.5 64位系统 默认python版本为2.6 编码安装python2.7和python3.4      一.yum快速安装 yum install MySQL-python yum install python-setuptools 经常接触Python的同学可能会注意到,当需要安装第三方python包时,可能会用到eas

随笔记：Linux下安装Python

下载Python 在官网上下载安装包,目前地址为:https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz 得到Python-2.7.9.tgz 解压 将Python-2.7.9.tgz解压到当前目录下 tar zxvf ./Python-2.7.9.tgz -C ./ 安装 切换到根目录,开始安装 sudo ./configure sudo make sudo make install 测试 测试下有木有安装成功,如顺利,能看到以下日志

怎样在CentOS linux下安装MPEG-1 Layer 3 (MP3)解码器

怎样在CENTOS linux下安装MPEG-1 Layer 3 (MP3)解码器 提片上的信息显示我们没有安装解码器,这是因为版权问题软件 没有自带解码器 我的是centos 32位系统所以用下面第一个源 32位系统 第三方源 rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.i686.rpm 64位系统 第三方源 rpm -ivh http://pkgs.repoforge.