前言

这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢

简介

Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachyon使用lineage技术实现容错，并通过一种检查点（checkpoint）算法来确保恢复以及资源开销在一定范围之内。据作者测试，Tachyon的写性能超过in-memory hbase 110倍，能为实际端到端工作流提高4倍性能。Tachyon目前已经开源并且在多个不同的企业、组织部署。

近些年已经出现了大量计算框架，大规模并行数据处理的速度和复杂度都有极大的提升，但其中很大一部分性能依然受限于IO。依照传统的思路，对于IO性能问题一般引入cache来提升，但传统意义上在分布式计算系统中的cache虽然能极大提升read性能，但对于write的性能却帮助不大，这是因为分布式系统需要提供容错，而对于write动作一般采用在多个不同节点上保存副本来实现，但在内存中产生数据副本对于写性能会由较大影响 并且节点之间副本传输（内存到内存）受限于网络延时和吞吐量，相比直接使用本地内存进行cache性能会差很多。

Tachyon是一个in-memory的存储系统，对于读和写有非常大的吞吐量，并且使用linage方式（当数据丢失时会根据源头数据以及一组操作重新构建数据）来替换掉replicate的方式从而解决了上述为了实现容错而牺牲性能的问题。

lineage方式来实现容错其实在计算框架上已经有所应用，比如spark，但把这个技术放到一个存储系统上则有两个比较大的问题：第一，如何减小错误恢复开销。在一个长时间持续运行的系统中实现lineage，必须考虑到当错误发生时，数据可能已经演化了很久了，那么此时进行重构数据就需要经历很多步骤，时间开销很大。这种情况在普通的spark应用或者MapReduce应用中不会出现，这是因为通常来说缓存数据仅在一个Job的生命周期内有效，而作为一个存储系统则完全不一样：它是持续不断地运行在集群中的。有种类似的情况是Spark-streaming，Spark-streaming也是持续运行在集群中的，为了解决这个问题它引入了checkpoint，基于其计算框架的特性（例如RDD）来实现这一点。不过同样的方法在存储系统中就很难照搬过来，这是因为一个存储系统对于上层计算框架来说是透明的、通用的，它无法根据具体的计算框架特性来实现相应的checkpoint。

第二个问题如何为数据重建提供资源。在进行数据重建时必须保证当前recomputation任务能够得到充足的资源以满足当前job的数据需要，且不能过度影响优先级更高的计算任务的执行性能。

对于第一个问题，Tachyon在后台不间断地构建checkpoint file。为了实现这一方案，Tachyon引入了一种叫做Edge algorithm的算法，这种算法无需知道上层计算框架的特性，并且提供了一个数据重建开销上限。

对于第二个问题，Tachyon基于两种集群资源分配模型（strict priority 和 weighted fair sharing），提供了依赖任务优先级的资源分配方案。举个例子：如果一个低优先级的任务请求一块已丢失的数据，重构任务会尽量减少占用的资源从而减小对高优先级任务的影响，但是如果之后有一个较高优先级的任务也请求了同一块数据，那么Tachyon会自动增加这块数据重构任务所占用的资源（权重增加了）。

适用Tachyon的几点特性

1.数据不可更改。数据写入后不可更改但可以append，类似HDFS。

2.计算任务具有确定性。Tachyon基于lineage来重构数据，那么每一个演化阶段的操作必须是可确定的。

3.支持计算本地化。计算框架的调度器须支持计算本地化以减少网络数据传输。

4.程序大小小于数据大小。在大数据处理中通常对一份数据中的不同记录执行相同操作，而数据的大小远大于程序的大小，因此可以将程序在每个节点上制作副本。

5.工作集和全局数据。整个存储系统中的所有数据量很大，需要落到磁盘上，但工作集数据量仅为全局数据的一部分，可以载入到内存。

Tachyon架构

Tachyon使用的是标准的Master-Slave的架构。Manager用于跟踪lineage的信息、计算checkpoint并且和集群资源管理器配合为数据重构任务分配资源。每个Tachyon Worker是集群节点上的一个守护进程，用于管理本地资源，并且周期性地向master报告状态。每个Worker用ramdisk来存储，application可以通过worker来直接访问ramdisk上的文件，这样一来application就能以内存级访问速度来读取数据。

先到这里，之后会详细介绍其架构的几个重要设计、checkpoint实现以及edge 算法。