alluxio介绍与作用

一、介绍Alluxio

Tachyon正式改名为alluxio，并发布v1.0.0版本，alluxio是内存高速虚拟分布式存储系统。

Alluxio是一个以内存为中心的虚拟分布式存储系统，统一数据访问和桥梁的计算框架和底层存储

系统。应用程序只需要alluxio就可以把访问存储在任何底层存储系统的数据连接。此外，Alluxio以内

存为中心的架构实现数据访问的数量级的速度比现有的解决方案快很多。

在大数据的生态系统，Alluxio在于计算框架或jobs之间，如Apache的Spark，Apache的

MapReduce，或Apache Flink，和各种各样的存储系统，如Amazon S3，OpenStack Swift，GlusterFS，

HDFS，Ceph，或OSS。Alluxio带来显着的改善生态系统的性能；例如，百度使用alluxio提高加速数据分

析管道30倍的吞吐量。

二、现有的特性

（1）、灵活的文件API

Alluxio的原生API与java.io.file类InputStream和OutputStream接口相似，提供高效的支持内存映射的I/O，我们推荐使用这个API来获得最好的性能alluxio。另外，alluxio提供Hadoop兼容的文件系统接口，允许Hadoop MapReduce和Spark使用alluxio代替HDFS。

（2）、支持可插拔存储

（3）、分层存储

（4）、统一命名空间、

（5）、血统

（6）、WebUI和命令行

时间： 2024-08-06 07:53:25

alluxio介绍与作用的相关文章

day18（JDBC事务&连接池介绍&DBUtils工具介绍&BaseServlet作用）

day18总结 今日思维导图: 今日内容 事务 连接池 ThreadLocal BaseServlet自定义Servlet父类(只要求会用,不要求会写) DBUtils à commons-dbutils ? 事务 ? 事务的四大特性:ACID: mysql中操作事务 jdbc中操作事务 ? ? ? 事务概述 为了方便演示事务,我们需要创建一个account表: CREATE TABLE account( ????id INT PRIMARY KEY AUTO_INCREMENT, ????NA

Cookie的介绍及作用

Cookie介绍: Cookie就是服务器暂存房子啊你的电脑里的资料(.txt文件),通过在Http传输中的状态好让服务器用来辨认你的计算机.当你在浏览器网站的时候,Web服务器uhixian送一小小资料放在你的计算机上,Cookie会帮你在网站上所打的文字或是一些选择都记录下来. 当下次你再访问同一个网站,Web服务器会先看看有没有它上次柳希德Cookie资料,有的话,就会依据Cookie里的内容来判断使用者,送出特定的网页内容给你. Cookie的作用: cookie有什么作用呢?现在上许多

注册表的介绍和作用

注册表是windows的核心,里面储存着大量的系统信息,说白了就是一个庞大的数据库.如果你不懂什么是数据库,那没关系,不影响你了解注册表,不过最好对数据库有所了解.注册表里面所有的信息平时都是由windows操作系统自主管理的,也可以通过软件或手工修改.注册表里面有很多系统的重要信息,包括外设,驱动程序,软件,用户记录等等,注册表在很大程度上“指挥”电脑怎样工作.注册表有很大的用处,功能非常强大,是windows的核心.通过修改注册表,我们可以对系统进行限制.优化等等.比如我们不想让别人用“开始

squid介绍和作用

介绍 squid服务程序是一款在Unix系统中最为流行的高性能代理服务软件,通常会被当作网站的前置缓存服务,用于替代用户向网站服务器请求页面数据并进行缓存,通俗来讲,Squid服务程序会接收用户的请求,然后自动去下载制定数据(如网页)并存储在服务器内,当以后的用户再来请求相同数据时,则直接将刚刚存储在服务器本地的数据交给用户,较少用户的等待时间. 作用 Squid服务程序配置起来相对简单,效率高.支持若HTTP.FTP.SSL等多种协议的数据缓存,还支持基于ACL访问控制列表和ARL访问权限列表

光电耦合器简单介绍以及作用

光电耦合器(简称光耦)全称为光电耦合器接口电路,是一种把发光元件和光敏元件封装在同一壳体内,中间通过电→光→电的转换来传输电信号的半导体光电子器件. 光电耦合器可根 据不同要求,由不同种类的发光元件和光敏元件组合成很多系列的光电耦合器.眼下应用最广的是发光二极管和光敏三极管组合成的光电耦合器. 光耦以光信号为媒介来实现电信号的耦合与传递,输入与输出在电气上全然隔离.具有抗干扰性能强的特点.对于既包含弱电控制部分,又包含强电控制部分的工业 应用測控系统.採用光耦隔离能够非常好地实现弱电和强电的隔离

【Linux网络基础】 DNS：介绍、作用、解析原理

1. DNS是什么? DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去+·记住能够被机器直接读取的IP数串. 通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析). DNS协议运行在UDP协议之上,使用端口号53. 访问网站的实质就是解析其域名得到IP地址,再转向其网站. 就是将浏览器中的 www.baidu.com 通过DNS解析得到IP地址:183.232.231.1

Xshell简单介绍与作用

Xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议.Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作. Xshell可以在Windows界面下用来访问远端不同系统下的服务器,从而比较好的达到远程控制终端的目的.除此之外,其还有丰富的外观配色方案以及样式选择. 作用:Xshell是Windows下一款功能非常强大的安全终端模拟软件,支持Telnet.R

spark on alluxio和MR on alluxio测试(改进版)【转】

转自:http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban 1. 介绍 2. 准备数据 2.1 清空系统缓存 3. MR测试 3.1 MR without alluxio 3.2 MR with alluxio 3.3 问题补充 4. spark测试 4.1 spark without alluxio 4.2 spark with alluxio 5. 第一阶段实验总结 6. I

NSNotificationCenter消息通信机制介绍(KVO)

NSNotificationCenter消息通信机制介绍(KVO) 作用:NSNotificationCenter是专门供程序中不同类间的消息通信而设置的. 注册通知:即要在什么地方接受消息                [[NSNotificationCenter defaultCenter]  addObserver:self selector:@selector(mytest:) name:@" mytest" object:nil];        参数介绍: