?Tair 原理架构与案例分析

1、Tair是什么

Tair 是一个类似于map的key/value结构存储系统(也就是缓存系统),具备标准的特性是:高性能、高扩展、高可靠,也就是传说中的三高产品,支持分布式集群部署。官网说目前支持java和c这两个版本。

具体的是:高速缓存,并且支持内存存储和持久化存储。

2、Tair 集群现状

2000个应用用户;

Cache  服务器

650台

千万级别的qps

20T内存

存储服务器

150台

百万级别的qps

100T

3、一些特性

? Namespace 支持缓存命名空间

? Expire  支持自动缓存和终止缓存

? Prefix   支持缓存前缀

? List,zset,hashmap,set ? LocalCache  支持各种集合缓存

? FlowControl  支持缓存流控制

4、Tari 概述

5、数据分布

6、mdb概述

? 类memcached,page/slab管理内存

? 共享内存,重启数据不丢

? area逻辑管理

– area维度的quota与lru evict控制 – 清理某个area数据

? 数据过期

? 优化内存使用率,均衡slab ? 详细statistics监控

mdb存储

Redis流程(存储)

7、 Rdb流程

rdb概述

? 支持Redis所有数据结构 ? 设置限制

– 内存quota ? logiclock

– lazy 清理db数据

? 轻量化

– 去除aof/vm

– 精简数据结构

? Restful协议

? 持久化

– 使用ldb作为rdb的持久化(TODO)

?

8、ldb流程

9、LevelDB流程

10、ldb概述配置使用

? 多实例配置使用,充分利用IO

? 内嵌mdb作为KV级别cache

? 配置灵活化,参数调优

– 适合大数据量的参数配置 (mmt/sst size,mmap限制,etc.)

– 特定排序算法 (字节,数字,etc.)

新功能

? 嵌入datafilter逻辑 – expiretime

– 异步清理

主动触发compact

– Level-n => Level-n compact,清理垃圾数据 – 高Level compact,加速range合并 (TODO)

? 使用binlog做异步跨集群数据同步

优化

?              ? 主动限制compact

– 限制写入放大

– 禁掉seek触发的compact

? 优化compact锁粒度

– 减弱数据量增长对读写的性能影响

? 大数据量导入FastDump

– 数据预排序,按桶分memtable

?

?11、应用案例

案例1

案例2

案例3

案例4

案例5

12、线上案例

? 秒杀/捉猫猫/抢红包

? 瞬时访问量大

? 天猫实时推荐

? 数据量大,允许丢失

? 20000 read / 20000 write

? 计数器

? 读写比相当

13、总结

Tair 本身是一个非常轻量级的缓存应用。并且支持高并发,是一个性能的缓存框架,比开源的缓存框架要好一些的。

关于Tair另一篇文章是详细的说明Tair

[分享]Tair缓存系统学习 (数据结构存储系统) http://blog.csdn.net/wendeliang06/article/details/20483127

时间: 2024-10-12 02:08:11

?Tair 原理架构与案例分析的相关文章

架构设计案例分析-高速公路收费运营管理平台

本文旨在通过对某省高速公路联网收费运营管理平台的架构设计过程进行案例分析,描述架构设计的决策过程. 1.业务背景 某省的高速公路分为近百个路段,不同的路段归属不同的公司建设与运营,造成了车辆在跨越不同路段时,需要停经收费站缴费换卡,降低了高速公路的车辆通行效率. 随着信息化技术的发展,将全省的高速公路联网收费的条件成熟,改造后车辆在高速公路上行驶,在出发地上高速时领卡,到目的地出高速时全程只需缴费一次.随着信息化推进,未来车辆在全国范围内高速公路通行,均只需缴费一次. 为了适应全省联网收费系统改

面向SOA服务架构的案例分析的研究

转:https://www.cnblogs.com/ljysy/p/10916950.html 随着互联网应用的不断发展,网络业务的种类.数量不断增加,计算机网络管理的研究重点正在由过去的个别资源监控.应用可用性阶段,向着如何通过网络获得所需业务.业务流程的优化.保障业务服务水平方向发展.但这并不意味着可以完全抛弃传统的已有的网络管理,重新开发面向业务的网管;相反,传统网管是实现有效的业务管理和保证业务过程.业务质量的基础[1].但是传统的网络管理以集中式 半分布式的M A模型为主,网络只被动传

SOA架构设计案例分析

SOA,它是一个面向服务的体系结构,是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来.接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台.操作系统和编程语言,这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互. SOA的核心主体是服务,所谓服务,从业务角度而言,即是一个可重复的经过标准,服务就像是一堆“元器件”,这些元器件通过封装形成标准服务,服务就像一堆“元器件”,这些元器件通过封装形成标准服务,他们有相同的接口和

《大型网站技术架构:核心原理与案例分析》笔记

目录 · 大型网站软件系统的特点 · 大型网站架构演化发展历程 · 初始阶段的网站架构 · 需求/解决问题 · 架构 · 应用服务和数据服务分离 · 需求/解决问题 · 架构 · 使用缓存改善网站性能 · 需求/解决问题 · 架构 · 使用应用服务器集群改善网站的并发处理能力 · 需求/解决问题 · 架构 · 数据库读写分离 · 需求/解决问题 · 架构 · 使用反向代理和CDN加速网站响应 · 需求/解决问题 · 架构 · 使用分布式文件系统和分布式数据库系统 · 需求/解决问题 · 架构 ·

《大型网站技术架构》核心原理与案例分析

内容简介 本书通过梳理大型网站技术发展历程,剖析大型网站技术架构模式,深入讲述大型互联网架构设计的核心原理,并通过一组典型网站技术架构设计案例,为读者呈现一幅包括技术选型.架构设计.性能优化.Web安全.系统发布.运维监控等在内的大型网站开发全景视图. 本书不仅适用于指导网站工程师.架构师进行网站技术架构设计,也可用于指导产品经理.项目经理.测试运维人员等了解网站技术架构的基础概念:还可供包括企业系统开发人员在内的各类软件开发从业人员借鉴,了解大型网站的解决方案和开发理念. 本书中,重要的架构原

大型网站技术架构-核心原理与案例分析-阅读笔记4

在第四章案例章节中的淘宝网的架构演化案例分析小节中作者主要分析了淘宝架构的演化,以淘宝网的实例给我们分析介绍了淘宝网的业务发展历程及淘宝网的技术架构演化两个方面,在业务发展中作者写到淘宝的技术是随着淘宝业务一起发展起来的,业务是推动这技术发展的动力,淘宝如今的规模和当初有很明显的变化,在技术架构演化中介绍了架构技术的更新升级,该章节中主要介绍淘宝网的发展的历程,在随着时间的发展不断中网站的架构不断的引用着新的技术,由最初简单的c2c更改过来的网站,放弃了lamp架构转而使用java作为开发平台并

STP原理详解及SMTP案例分析

STP工作原理:MSTP案例分析 一. STP概述:逻辑上断开环路,防止广播风暴的产生 ,当线路故障阻塞接口被激活,恢复通信,起到备份线路的作用.二.STP工作原理 确定交换机角色: 根交换机---在一个VLAN中,有且只有一个根交换机.2.非根交换机--除了跟交换机意外,其他交换机都是非根交换机.确定原则:各交换机之前的相互比较:BID(Birdge ID)优先级 MAC2字节 6字节首先比较优先级,越小越好,默认值:32768 如果优先级相同,比较MAC,越小越好. 验证命令: Displa

《大型网站技术架构-核心原理与案例分析》之一: 大型网站架构演化

最近刚刚读完李智慧的<大型网站技术架构-核心原理与案例分析>,对每章重点内容作了一些笔记,以便加深印象及日后查阅. 一.大型网站软件系统的特点 高并发,大流量:需要面对高并发用户,大流量访问. 高可用:系统7X24小时不间断服务. 海量数据:需要存储.管理海量数据,需要使用大量服务器. 用户分布广泛,网络情况复杂:许多大型互联网都是为全球用户提供服务的,用户分布范围广,各地网络情况千差万别. 安全环境恶劣:由于互联网的开放性,使得互联网站更容易受到攻击,大型网站几乎每天都会被黑客攻击. 需求快

作业04之《大型网站技术架构:核心原理与案例分析》阅读笔记

在这一节课上,我们学习了系统质量属性其中的可用性和易用性.那么质量属性是什么呢,质量属性是高于对系统功能(即对系统能力.服务和行为)的基本的要求的.系统质量属性讲重点放在了可用性.可修改性.性能.安全性.可测试性和易用性.从设计师方面,系统质量属性一般存在三个问题:(1)为属性提供的定义并不是可操作的.(2)重点通常是一个特定的方面属于哪个质量属性.(3)每个属性团队都开发了其自己的词汇. 今天我们就根据<大型网站技术架构:核心原理与案例分析>将重点放在可用性和易用性的学习讨论上以及将其方法和