spark实验(二)--scala安装(1)

一、实验目的
(1)掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法; (2)熟悉 HDFS 的基本使用方法; (3)掌握使用 Spark 访问本地文件和 HDFS 文件的方法。

二、实验平台
操作系统:centos6.4; Scala版本:2.10.6.; Hadoop 版本:2.7.6。

三、实验过程

首先根据这篇博文https://www.cnblogs.com/Genesis2018/p/9079787.html安装Scala

输入wget http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz下载Scala2.10.6

下载完成后输入

tar -zxvf scala-2.10.6.tgz对下载后的文件进行解压,之后输入以下命令将解压后的文件移动到对应/usr/local/的位置
mv scala-2.10.6 /usr/local/之后输入gedit /etc/profile.d/scala.sh在打开文件夹中添加
export SCALA_HOME=/usr/local/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
保存退出后输入
 source /etc/profile.d/scala.sh使输入的命令生效接着查看scala版本:
scala -version

Scala2.10.6安装成功

 

原文地址:https://www.cnblogs.com/halone/p/12238479.html

时间: 2024-11-06 22:06:25

spark实验(二)--scala安装(1)的相关文章

jenkins 实验 (二) docker安装jenkins

先安装docker yum install dock* -y systemctl start docker.service 启动docker失败鸟,容我修个错误 看下服务啥错误 systemctl status docker.service -l 坑 Error starting daemon: SELinux is not supported with the ov 重新编辑docker配置文件: vi /etc/sysconfig/docker 在docker里禁用selinux,--sel

Software Testing Lab2 (软件测试实验二) —— Selenium安装及入门

Download and install Firefox browser If you are the user of WINDOWS, there is a link available for you. Download and install selenium&firebug There is the way that how I finish this step. Open Firefox, click the buttom like picture. Then, search sele

docker中spark+scala安装配置

一.scala安装首先下载scala压缩包 wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz 解压 tar -zxvf scala-2.11.7.tgz 移动目录 mv scala-2.11.7 /usr/local/ 改名 cd /usr/local/mv scala-2.11.7 scala 配置环境变量 vim /etc/profileexport SCALA_HOME=/usr/local/scalaex

spark实验3

一.实验目的 (1)掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法: (2)熟悉 HDFS 的基本使用方法: (3)掌握使用 Spark 访问本地文件和 HDFS 文件的方法. 二.实验平台 操作系统:Ubuntu16.04: Spark 版本:2.1.0: Hadoop 版本:2.7.1. 三.实验内容和要求 1.安装 Hadoop 和 Spark 进入 Linux 系统,参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”,完 成 Hadoop 伪分布式模式

spark实验6

一.实验目的 (1)通过实验学习日志采集工具 Flume 的安装和使用方法: (2)掌握采用 Flume 作为 Spark Streaming 数据源的编程方法. 二.实验平台 操作系统: Ubuntu16.04 Spark 版本:2.1.0 Flume 版本:1.7.0 三.实验内容和要求 1.安装 Flume Flume 是 Cloudera 提供的一个分布式.可靠.可用的系统,它能够将不同数据源的海量 日志数据进行高效收集.聚合.移动,最后存储到一个中心化数据存储系统中.Flume 的 核

spark学习二

SparkContext是编写Spark程序用到的第一个类,是Spark的主要入口点,用于连接Spark集群.创建RDD.累加器和广播变量,是Spark程序的根本.编写不同类型的Spark程序,使用的SparkContext是不同的Scala 使用SparkContextJava   使用JavaSparkContext 开发一个简单的Spark程序:第一步:创建SparkConf对象,设置Spark应用的配置信息第二步:创建Spark Context对象第三步:针对输入源创建一个初始的RDD(

20145221高其&20145326蔡馨熠《信息安全系统设计基础》实验二 固件设计

20145221高其&20145326蔡馨熠<信息安全系统设计基础>实验二 固件设计 实验目的与要求 了解多线程程序设计的基本原理,学习 pthread 库函数的使用. 了解在 linux 环境下串行程序设计的基本方法. 掌握终端的主要属性及设置方法,熟悉终端I /O 函数的使用.学习使用多线程来完成串口的收发处理. 熟悉linux开发环境,学会基于S3C2410的linux开发环境的配置和使用.使用linux的armv4l-unknown-linux-gcc编译,使用基于NFS方式的

Spark Standalone Mode单机安装

因为Spark与Hadoop是关联的,所以在安装Spark前应该根据已安装的Hadoop版本来选择待安装的Sqark版本,要不然就会报“Server IPC version X cannot communicate with client version Y”的错误. 我安装的Hadoop版本为Hadoop2.4.0(下载),选择的Spark版本为spark-1.2.0-bin-hadoop2.4.tgz(下载). Spark依赖与Scala,所以还需要预装Scala,我下载的版本为scala-

Java实验二实验报告:java面向对象程序设计

java实验二实验报告 实验内容 1. 初步掌握单元测试和TDD 2. 理解并掌握面向对象三要素:封装.继承.多态 3. 初步掌握UML建模 4. 熟悉S.O.L.I.D原则 5. 了解设计模式 实验要求 1.没有Linux基础的同学建议先学习<Linux基础入门(新版)><Vim编辑器> 课程 2.完成实验.撰写实验报告,实验报告以博客方式发表在博客园,注意实验报告重点是运行结果,遇到的问题(工具查找,安装,使用,程序的编辑,调试,运行等).解决办法(空洞的方法如“查网络”.“问