spark 特性、简介、下载和安装

官网:http://spark.apache.org/

spark是一个更快的快速而稳定的用于大规模数据处理的引擎

特点:

1、速度上,在内存中处理比Hadoop快100倍以上,在磁盘上处理hadoop块10倍以上,因为saprk有更先进的DAG执行引擎,能提供基于内存的计算模式。

2、更好用。能够运用Java/Scala/Python和R语言快速的编写应用程序,提供超过80个高品质的操作接口。

3、普适性。能够支持SQL、流数据、机器学习和复杂的分析处理。

4、能在多种基础环境上运行。刻在Hadoop、Mesos、独立模式和云上运行。支持数据源有HDFS、Cassandra,Hbase和S3.

时间: 2024-10-12 22:06:14

spark 特性、简介、下载和安装的相关文章

python简介&下载&安装

python简介(b,w) Python是一种广泛使用的解释型.高级编程.通用型编程语言,发布于1991年,是由Guido van Rossum(吉多·范罗苏姆)创造的. 在最新的TIOBE排行榜,Python赶超C++占据第3, Python崇尚优美.清晰.简单,是一个优秀并广泛使用的语言. python的版本: python的版本有两种 Python2.x版本 Python3.x版本 简单来说,python现在常用的是python3.x版本,python2.x版本只是留着让一些老代码继续运行

vsftpd简介和ftpserver在win10上的下载及安装过程

vsftpd简介和ftpserver在win10上的下载及安装过程 vsftpd简介 vsftpd 是“very secure FTP daemon”的缩写,安全性是它的一个最大的特点.vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字,它可以运行在诸如 Linux.BSD.Solaris.HP-UNIX等系统上面,是一个完全免费的.开放源代码的ftp服务器软件,支持很多其他的 FTP 服务器所不支持的特征.比如:非常高的安全性需求.带宽限制.良好的可伸缩性.可创建虚拟用户.支持IP

WiRadius 宽带计费系统 免费版 下载、安装、简介

WiRadius宽带计费系统软件下载地址 :http://pan.baidu.com/s/1cMFvuI 密码:g7eo 1.安装 下载一键安装IOS 刻录DVD光盘安装 硬件最低需求: 内存 4G CPU  酷睿双核 硬盘 500G 计费系统采用一键安装进入上图界面回车耐心等待即可,根据不同机器的配置10-30分钟不等 上图界面,表示已经安装完成. 输入"a"回车 按照说明修改地址 依次 IP 网关 掩码 网关.登录需要地址需要记住这个地址 2. 2.登录 打开浏览器输入http:/

IntelliJ IDEA(Ultimate版本)的下载、安装和WordCount的初步使用(本地模式和集群模式)Ultimate

不多说,直接上干货! IntelliJ IDEA号称当前Java开发效率最高的IDE工具.IntelliJ IDEA有两个版本:社区版(Community)和旗舰版(Ultimate).社区版时免费的.开源的,但功能较少,旗舰版提供了较多的功能,是收费的,可以试用30天. 强烈推荐,新手刚入门,可以去用社区版,但是,立马还是用旗舰版,我可是走了弯路,当然,体会到其中的棘手还是很不错! IDEA Community(社区版)再谈之无奈之下还是去安装社区版 IntelliJ IDEA(Communi

OpenVPN下载、安装、配置及使用详解

OpenVPN简介 OpenVPN是一个用于创建虚拟专用网络(Virtual Private Network)加密通道的免费开源软件.使用OpenVPN可以方便地在家庭.办公场所.住宿酒店等不同网络访问场所之间搭建类似于局域网的专用网络通道.OpenVPN使用方便,运行性能优秀,支持Solaris.Linux 2.2+(Linux 2.2+表示Linux 2.2及以上版本,下同).OpenBSD 3.0+.FreeBSD.NetBSD.Mac OS X.Android和Windows 2000+

NoSQL初探之人人都爱Redis:(1)Redis简介与简单安装

一.NoSQL的风生水起 1.1 后Web2.0时代的发展要求 随着互联网Web2.0网站的兴起,传统的关系数据库在应付Web2.0网站,特别是超大规模和高并发的SNS类型的Web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题: (1)对数据库高并发读写的需求 网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求.关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求

IntelliJ IDEA的下载、安装和WordCount的初步使用(本地模式和集群模式)

我们知道,对于开发而言,IDE是有很多个选择的版本.如我们大部分人经常用的是如下. Eclipse *版本 Eclipse *下载 而我们知道,对于spark的scala开发啊,有为其专门设计的eclipse,Scala IDE for Eclipse Scala IDE for Eclipse的下载.安装和WordCount的初步使用(本地模式和集群模式) 这里,我们知道,spark的开发可以通过IntelliJ IDEA或者Scala IDE for Eclipse,包括来构建spark开发

【OGG】OGG的下载和安装篇

[OGG]OGG的下载和安装篇 一.1  BLOG文档结构图 一.2  前言部分 一.2.1  导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① OGG的下载和安装 本文如有错误或不完善的地方请大家多多指正,ITPUB留言或QQ皆可,您的批评指正是我写作的最大动力. 一.2.2  实验环境介绍 11.2.0.3  RHEL6.5 一.2.3  本文简介 有个同事喊我解决OGG不能同步的问题,汗颜啊,我也就之前学过安装和简单的配置

Apache服务简介及编译安装详解

Apache服务简介及编译安装详解 一.Apache简介 Apache HTTP Server(简称Apache)是Apache软件基金会的一个开放源码的网页服务器,是目前世界上使用最广泛的一种web server,它以跨平台,高效和稳定而闻名,可以运行在几乎所有广泛使用的计算机平台上.Apache的特点是简单.速度快.性能稳定,并可做代理服务器来使用. Apache是用C语言开发的基于模块化设计的web应用,总体上看起来代码的可读性高于php代码,它的核心代码并不多,大多数的功能都被分割到各种

spark教程(一)-入门与安装

spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎,专门为大规模数据处理而设计,与 mapreduce 类似,不同的是,mapreduce 把中间结果 写入 hdfs,而 spark 直接写入 内存,这使得它能够实现实时计算. spark 由 scala 语言开发,他能够和 scala 完美结合,同时实现了 java.python.R 等接口. 安装与集群搭建 第一步:安装环境 1. 安装java:很简单,请自行百度 2. 安装 hadoop 集群:具体参考我的