Aerospike系列:7:数据分布详解

1:Aerospike数据库是Shared-Nothing架构,集群中的每个节点都是相同的,不会出现单点故障。

Aerospike有智能分区算法,即把用户输入的key在内部根据RIPEMD-160算法,重新hash出一个key并取前20位,然后相对均衡的把数据分布到各个节点之上。并且满足namespace配置文件的配置(例如保存多少个备份、是存在磁盘还是存在内存中)。官方说:随机分布函数可以保证数据分布误差在1-2%之间。(这里有个坑,后续再讨论)

如上,一个4个节点的集群,每个节点存储1/4数据的主节点,同时也存储1/4数据的副本。如果节点1不可访问,节点1的副本将被拷贝到其他节点上。

复制因子( replication factor)是一个配置参数,不能超过集群节点数。副本越多可靠性越高。但是作为必须经过所有数据副本的写请求也越高。实践中,大部分部署使用的数据因子为2(一份主数据和一个副本)。
同步复制保证即时一致性,没有数据丢失。在提交数据并返回结果给客户端之前,写事务被传播到所有副本。个别案例中,在集群重新配置期间,当Aerospike智能终端发送请求到那些短暂过时的错误节点时,Aerospike智能集群会透明的代理请求至正确的节点。最后,当集群正在从分区中恢复,它解决所有发生在不同副本之间的冲突。解析可以配置为自动的,在这种情况下拥有最新的时间戳的数据被视为标准。或者为了在更高层次解析,所有数据副本可以被返回应用程序。

namespace是Aerospike数据库以相同方式存储的数据的集合。每个namespace分为4096个分区,分区被均等的分到集群中的节点。意味着如果集群中有n个节点,每节点约存储1/n的数据

用非常随机数哈希方法保证分区均匀分布。我们已经在这个领域的许多案例中测试过我们的方法,数据分布误差在1-2%。

因为数据均匀且随机的分布于节点,不会出现热点和瓶颈。也不会出现明显的某个节点比其他节点处理请求多的情况。

例如,在美国很多的姓以R开头。如果数据按照字母排序存储,存储以R开头的服务器其通讯量会远远大于存储以X,Y或Z开头的服务器。数据随机分配保证服务器负载均衡。

下一步,无须人工分片。集群节点间均等的划分分区。客户端发现集群变化并发送请求到正确的节点。定节点被添加或移除,集群自动再平衡。集群中所有节点是均等的-没有单独的master节点失败而导致整个数据库宕掉。

当数据库create一个条记录,记录key的哈希值被用来分配记录到某一分区,哈希算法是确定的-哈希算法总是将记录映射到同样分区。在记录的整个生命周期它驻留在同一节点上。分区可能从一个节点移动到其他节点。但是分区不会分裂或者重新分配记录到其他分区

集群中每个节点有一个配置文件。每个节点上的namespace配置参数必须一致。

考虑4节点集群的情况。Aerospike数据库中,无复制数据需要设置复制因子为1(replication factor = 1),意思是数据库中只存在一个副本。

因为所有4096个分区在一个4节点集群中,每个节点有1/4的数据-随机分配的1024个分区。集群看起来如下图,每个节点管理一个分区集合(简单起见,只展示两个节点的分区):

每个节点是1/4数据分区的主数据节点-如果节点是数据的主读写源,那么它就是主数据节点。

客户端对数据有位置感知能力-客户端知道每个分区的位置-索引数据可以单跳从节点返回。每个读写请求发送至主数据节点处理。当智能节点读某条记录时,它发送请求到记录的主数据节点。

现在考虑一下带数据复制的情况。大多数情况是维护两个数据副本,主数据和副本。Aerospike数据库中,需要指定复制因子为2(replication factor = 2)。

在这个例子中,每个节点拥有1/4的主数据(1024个分区)和1/4的数据副本(1024个分区)。看起来像这样(简单起见,显示两个节点的细节)

注意,每个节点的主数据作为副本被分布到所有的其他节点。例如,节点#1的主数据分区副本横跨其他节点分布。当节点#1不可用,节点#1的数据副本延伸至跨其他数据节点。

与先前提到的无副本的例子一样,客户端发送请求至主数据。

与无复制的情况一样,读请求通过智能客户端发送至正确的节点,写请求也被发送至正确的节点。当节点收到写请求,它保存数据并转发写请求到副本节点。一旦副本节点确认数据写成功并且主数据节点本身也完成写动作,然后确认被发送至客户端,写操作成功。

复制因子不能超过集群中节点的数量。越多副本越可靠,但是对于穿越所有副本的写请求的需求也越高。实践中,多数数据库复制因子为2。

Aerospike数据再平衡算法保证请求量在所有节点间均匀分布,在再平衡期间节点失败发生时,算法依旧健壮。系统被设计为持续可用,所有数据再平衡不影响集群行为。事务算法与数据分布系统集成,只有一个一致投票来协调集群变化。当客户端发现新的集群配置时,利用集群内部重定向算法,只有一个小的间隔。这样,在一个可伸缩的无共享机制优化事务简单环境,同时保ACID特征。

Aerospike允许配置选项指定有多少可用的操作开销应该用于管理任务,例如与运行客户端事务相比有多少用于节点间再平衡。在首选事务放缓的情况下,集群愈合更快。在交易量和速度必须维持的情况下,集群再平衡会很慢。

在某些集群因子不能满足的情况下。集群可以配置为减少配置因子以保持所有数据,或者清除哪些标记为可丢弃的就数据。如果集群不成接受更多数据,集群将在read-only模式下操作,直到新的扩容可用-节点会自动变为可以接受应用程序的写操作。

不需要操作员干预,甚至在要求的时间内,集群将自愈。在客户部署中,提取8节点集群中的一个会让整个回路被打断。这就需要无人工干预。即使数据中心在高峰时宕机,事务依旧保持精确的ACID。几小时内,当错误被修复,操作者不需要执行特殊步骤来维护集群。

我们的扩容计划和系统监控,为你提供处理不可预见的错误的能力,而且无服务丢失。你可以配置硬件容量、设置复制/同步策略,这样数据库恢复时可以对用户无影响。

http://www.aerospike.com/docs/architecture/data-distribution.html

时间: 2024-11-19 19:29:22

Aerospike系列:7:数据分布详解的相关文章

Android组件系列----Activity组件详解

[声明] 欢迎转载,但请保留文章原始出处→_→ 生命壹号:http://www.cnblogs.com/smyhvae/ 文章来源:http://www.cnblogs.com/smyhvae/p/3924567.html 联系方式:[email protected] [正文] 注:四大组件指的是应用组件:Activity.Service.BroadcastReceiver.ContentProvider:之前的控件指的是UI组件. 博文目录: 一.Activity简介 二.Activity的状

Android自定义控件系列八:详解onMeasure()(二)--利用onMeasure测量来实现图片拉伸永不变形,解决屏幕适配问题

上一篇文章详细讲解了一下onMeasure/measure方法在Android自定义控件时的原理和作用,参看博文:Android自定义控件系列七:详解onMeasure()方法中如何测量一个控件尺寸(一),今天就来真正实践一下,让这两个方法大显神威来帮我们搞定图片的屏幕适配问题. 请尊重原创劳动成果,转载请注明出处:http://blog.csdn.net/cyp331203/article/details/45038329,非允许请勿用于商业或盈利用途,违者必究. 使用ImageView会遇到

mongo 3.4分片集群系列之六:详解配置数据库

这个系列大致想跟大家分享以下篇章(我会持续更新的(^ω^)): 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全 4.mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域 5.mongo 3.4分片集群系列之五:详解平衡器 6.mongo 3.4分片集群系列之六:详解配置数据库 7.mongo 3.4分片集群系列之七:配置数

Ansible系列命令用法详解与使用

Ansible系列命令用法与使用 在上一个文章中已经完成了Ansible的安装,这片文章主要的用来记录Ansible一些命令的用法详解及其使用场景.好了非话不多说,'上菜吧'. Ansible命令行执行方式有Ad-hoc.Ansible-playbook两种方式.Web化执行方式其官方提供了付费产品Tower(10台以内免费),个人的话可以基于API开发类似的Web化产品.此篇文章主要针对于Ad-hoc.Ansible-playbook两种方式做详细介绍. 什么是Ad-hoc.Ansible-p

直通BAT必考题系列:深入详解JVM内存模型与JVM参数详细配置

VM基本是BAT面试必考的内容,今天我们先从JVM内存模型开启详解整个JVM系列,希望看完整个系列后,可以轻松通过BAT关于JVM的考核. BAT必考JVM系列专题 1.JVM内存模型 2.JVM垃圾回收算法 3.JVM垃圾回收器 4.JVM参数详解 5.JVM性能调优 JVM内存结构 由上图可以清楚的看到JVM的内存空间分为3大部分: 堆内存 方法区 栈内存 其中栈内存可以再细分为java虚拟机栈和本地方法栈,堆内存可以划分为新生代和老年代,新生代中还可以再次划分为Eden区.From Sur

广告行业中那些趣事系列4:详解从配角到C位出道的Transformer

摘要:上一篇广告行业中那些趣事系列3:NLP中的巨星BERT,从理论的角度讲了下NLP中有里程碑意义的BERT模型.BERT具有效果好和通用性强两大优点,其中效果好最主要的原因就是使用了Transformer作为特征抽取器.本篇主要详解下这个从配角到C位出道的Transformer,主要从宏观和微观的角度分析Transformer,讲下它的核心注意力机制Attention,然后以翻译任务举例讲下Transformer是如何进行工作的. 对充满挑战的高薪行业NLP感兴趣的小伙伴可以多多关注.不仅仅

C++ list容器系列功能函数详解

C++ list函数详解 首先说下eclipse工具下怎样debug:方法:你先要设置好断点,然后以Debug方式启动你的应用程序,不要用run的方式,当程序运行到你的断点位置时就会停住,也会提示你进入到Debug视图方式操作,F5是进入到函数或语句块的内部,F6是单步运行,一行一行的走,F7可以跳当前监听函数或语句块F8 会直接跳到下个断点. 下面进入主题: 一.构造.析构函数.= 运算符 1.功能:声明list容器.4种方式 list<int> first;                

迈向angularjs2系列(3):组件详解

一: 以组件开发一个to-do list应用 todo组件分为导入.接口定义.顶层组件.控制器.启动5个部分. app.ts: //导入 import {Component} from '@angular/core'; import {bootstrap} from '@angular/platform-browser-dynamic'; //接口定义 interface Todo { completed: boolean; label: string; } //顶层组件 @Component(

CentOS系列启动流程详解

一.Linux启动内核文件 1.Linux系统组成 动态视角:内核+根文件系统 静态视角:磁盘分区+相关文件 2.Kernel特点 (1)支持某块化:.ko (kernel object)文件 (2)支持模块运行时动态装载或卸载: 总结:Linux kernel在但内核设计模型上,吸取了多内核设计的优点,使用了模块化设计 单内核设计:把所有功能集成于同一个程序:如Linux 微内核设计:每种功能使用一个单独的子系统实现:如Windows, Solaris 2.kernel组成 (1)核心文件 1