Cassandra中的数据一致性

Cassandra中数据一致性指的是数据行在各个复制节点(replicas)上的更新和同步程度。通过提供tunable consistency,Cassandra扩展了eventual consistency的概念。针对任何读或写操作,客户端根据对反应时间和数据准确性的要求来决定数据的一致性程度(Per-Request Consistency)。
除了tunable consistency,Cassandra也提供若干built-in repair mechanisms以确保数据在各replicas上保持一致。

CAP定理(THEOREM)


•  Consistency:所有节点在同一时间看到的是同样的数据
•  Availability:确保每个请求收到成功还是失败的回应
•  Partition Tolerance:系统无视偶然的消息丢失持续运行
在分布式存储系统中,同时满足所有的特性是不可能的,最多能达到3个中的两个。Cassandra允许用户来决定每个请求的CAP特性,在一致性、性能和错误容忍度之间做出选择。

写操作一致性ABOUT WRITE CONSISTENCY)


写操作一致性决定了在向客户端确认写操作成功之前,多少个节点必须被成功写入(Commitlog and Memtable)。

假设:R=Nodes Read, W=Node Written, N=Replication Factor,Q=QUORUM=N/2+1。

ANY:                   至少成功写入一个节点,即使是一个Hinted Handoff
ONE:                   至少成功写入一个复制节点(replica node)
QUORUM:            至少成功写入Q个复制节点(Q=N/2+1)
LOCAL_QUORUM: 至少在coordinator node所在的当前DC成功写入Q个复制节点
EACH_QUORUM:  在每个DC成功写入Q个复制节点
ALL:                    成功写入集群中的每个复制节点

ANY提供了绝对的write availability,但是是以牺牲一致性为代价(具有最差的一致性),因为不能保证被写入的数据什么时候才可读(取决于replicas当机了多长时间)。ANY只能用于写操作。写操作被发送到任何一个节点,随后通过hinted handoff机制被重送到目的节点。ANY适用于不想丢失写操作、不关心数据一致性和发送延迟的数据程序。

ALL具有最强的一致性,但最低的availability。

QUORUM是一种折中,具有强的一致性,但同时也容许一定程度的失败。例如,如果replication_factor是3,Quorum就是2(允许在一个replica上失败)。如果replication_factor是6,Quorum就是4(允许在二个replicas上失败)。

不同于正常的Column,对Counter的写操作需要在后台做一次读操作以确保分布式的Counter值在各个replicas上保持一致。如果使用的是Consistency level = ONE的写操作,则隐含的读操作不会对写操作造成延迟。因此,Counter通常使用consistency level是ONE.

读操作一致性(ABOUT READ CONSISTENCY)


读操作一致性程度决定了在将结果返回到客户端之前,多少个replicas必须返回结果。

假设:假设:R=Nodes Read, W=Node Written, N=Replication Factor,Q=QUORUM=N/2+1。

ONE:                    从最近的复制节点返回结果(由snitch决定)。默认情况下Read Repair会在后台运行使其他节点保持一致。
QUORUM:             在Q((Q=N/2+1))个复制节点返回数据后,返回具有最新时间戳的记录给客户端
LOCAL_QUORUM:  在coordinator node所在的当前DC的Q个复制节点返回数据后,返回具有最新时间戳的记录给客户端
EACH_QUORUM:    在每个DC返回Q个复制节点的数据后,返回具有最新时间戳的记录给客户端
ALL:                      在集群中的每个复制节点返回数据后,返回具有最新时间戳的记录给客户端。任何一个节点失败都会导致读操作失败

时间: 2024-07-31 20:22:03

Cassandra中的数据一致性的相关文章

Cassandra中的各种策略

1. 背景介绍 Cassandra 使用分布式哈希表(DHT)来确定存储某一个数据对象的节点.在 DHT 里面,负责存储的节点以及数据对象都被分配一个 token.token 只能在一定的范围内取值,比如说如果用 MD5 作为 token 的话,那么取值范围就是 [0, 2^128-1].存储节点以及对象根据 token 的大小排列成一个环,即最大的 token 后面紧跟着最小的 token,比如对 MD5 而言,token 2^128-1 的下一个 token 就是 0.Cassandra 使

Cassandra维护数据一致性的策略

1.逆熵 Cassandra数据库在分布式的架构上借鉴了Amazon的Dynamo,而在数据的存储模型上参考了Google的Bigtable,因而在数据一致性方面与Dynamo和Bigtable有着很深的联系,逆熵机制就是这种联系的一种体现. 逆熵与gossip协议一样也是基于传染病理论的算法,它主要用来保证不同节点上的数据能够更新到最新的版本.要了解逆熵必须先来了解一下Merkle  Tree,在Cassandra中每个数据项可以表示为 (key, value) 对,key 均匀的分布在一个

如何在spark中读写cassandra数据 ---- 分布式计算框架spark学习之六

由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话,需要读取cassandra数据,并把分析结果也一并存回到cassandra:因此需要研究一下spark如何读写cassandra. 话说这个单词敲起来好累,说是spark,其实就是看你开发语言是否有对应的driver了. 因为cassandra是datastax主打的,所以该公司也提供了spark的对应的driver了,见这里. 我就参考它的demo,使用scala语言来测试一把. 1.执行代码 //Cassa

Cassandra研究报告

1基本安装 1.1在基于RHEL的系统中安装Cassandra 1.1.1必要条件 ?  YUM包管理器 ?  Root或sudo权限 ?  JRE6或者JRE7 ?  JNA(Java native Access)(生产环境需要) 1.1.2步骤 ?  安装配置JRE(略) ?  添加软件包仓库到YUM的软件库 将以下内容添加进/etc/yum.repos.d/datastax.repo文件即可: [datastax] name = DataStax Repo for ApacheCassan

Cassandra研究报告-http://blog.csdn.net/zyz511919766/article/details/38683219/

转自http://blog.csdn.net/zyz511919766/article/details/38683219/ 1基本安装 1.1在基于RHEL的系统中安装Cassandra 1.1.1必要条件 Ø  YUM包管理器 Ø  Root或sudo权限 Ø  JRE6或者JRE7 Ø  JNA(Java native Access)(生产环境需要) 1.1.2步骤 Ø  安装配置JRE(略) Ø  添加软件包仓库到YUM的软件库 将以下内容添加进/etc/yum.repos.d/datas

Cassandra如何保证数据最终一致性

Cassandra如何保证数据最终一致性:1.逆熵机制(Anti-Entropy)使用默克尔树(Merkle Tree)来确认多个副本数据一致,对于不一致数据,根据时间戳来获取最新数据. 2.读修复机制(Read Repair)当Cassandra读数据时,需要根据读一致级别设定读取N个节点的副本数据,并按照时间戳返回最新数据给用户后,会对所有副本数据进行检测和修复,确保所有副本数据一致. 3.提示移交机制(Hinted Handoff)当Cassandra写数据时,需要根据写一致性级别将数据写

微服务架构下的数据一致性:可靠事件模式

主页:http://www.howardliu.cn/ 博客:微服务架构下的数据一致性:可靠事件模式 在<微服务架构下的数据一致性:概念及相关模式>中介绍了在微服务中实现数据一致性的三种方式,包括可靠事件模式.业务补偿模式.TCC模式.本文重点说一下可靠事件投递. 1. 可靠事件模式 可靠事件模式属于事件驱动架构,微服务完成操作后向消息代理发布事件,关联的微服务从消息代理订阅到该事件从而完成相应的业务操作,关键在于可靠事件投递和避免事件重复消费. 可靠事件投递有两个特性:1)每个服务原子性的完

cassandra-cli的基本操作——cassandra总结(三)

一.启动cassandra客户端 首先启动cassandra,然后运行bin\cassandra-cli.bat启动客户端,默认hostname为localhost,port为9160 F:\apache-cassandra-2.1.11-bin\bin>cassandra-cli Starting Cassandra Client org.apache.thrift.transport.TTransportException: java.net.ConnectException: Conn e

架构、职责、数据一致性

SOA架构设计经验分享—架构.职责.数据一致性 阅读目录: 1.背景介绍 2.SOA的架构层次 2.1.应用服务(原子服务) 2.2.组合服务 2.3.业务服务(编排服务) 3.SOA化的重构 3.1.保留服务空间,为了将来服务的组合 4.运用DDD+GRASP进行分析和设计(防止主观的判断导致错误的假设) 5.SOA分布式下的数据一致性 5.1.分布式事务(基于DTC的分布式事务) 5.2.事务补偿(提供正向或反向的操作来让数据在业务上是一致的) 5.3.异步EDA(基于异步事件流来实现柔性的