菜鸟系列Fabric源码学习 — MVCC验证

Fabric 1.4 源码分析 MVCC验证

读本节文档之前建议先查看[Fabric 1.4 源码分析 committer记账节点]章节。

1. MVCC简介

Multi-Version Concurrency Control 多版本并发控制，MVCC 是一种并发控制的方法，一般在数据库管理系统中，实现对数据库的并发访问。在数据库系统中，锁机制可以控制并发操作,但是其系统开销较大,而MVCC可以在大多数情况下代替行级锁,使用MVCC,能降低其系统开销。MVCC是通过保存数据在某个时间点的快照来实现的. 不同存储引擎的MVCC. 不同存储引擎的MVCC实现是不同的,典型的有乐观并发控制和悲观并发控制.

2. MVCC样例介绍

InnoDB的MVCC,是通过在每行记录后面保存两个隐藏的列来实现的,这两个列，分别保存了这个行的创建时间，一个保存的是行的删除时间。这里存储的并不是实际的时间值，而是系统版本号(可以理解为事务的ID)，每开始一个新的事务，系统版本号就会自动递增，事务开始时刻的系统版本号会作为事务的ID。其中MVCC只在 READ COMMITTED 和 REPEATABLE READ 两个隔离级别下工作。

  • SELECT
    InnoDB会根据以下两个条件检查每行纪录：
    InnoDB只查找版本早于当前事务版本的数据行，即，==行的系统版本号小于或等于事务的系统版本号==，这样可以确保事务读取的行，要么是在事务开始前已经存在的，要么是事务自身插入或者修改过的。
    ==行的删除版本，要么未定义，要么大于当前事务版本号==。这样可以确保事务读取到的行，在事务开始之前未被删除。
    只有符合上述两个条件的纪录，才能作为查询结果返回。
  • INSERT
    InnoDB为插入的每一行保存当前系统版本号作为行版本号。
  • DELETE
    InnoDB为删除的每一行保存当前系统版本号作为行删除标识。
  • UPDATE
    InnoDB为插入一行新纪录，保存当前系统版本号作为行版本号，同时，保存当前系统版本号到原来的行作为行删除标识。

优点：
保存这两个额外系统版本号，使大多数读操作都可以不用加锁。这样设计使得读数据操作很简单，性能很好。
缺点：
每行纪录都需要额外的存储空间，需要做更多的行检查工作，以及一些额外的维护工作

3. Fabric里面MVCC的实现

这里回顾几个知识点：

  • 状态由键值对组成。所有键值条目都是带有版本的
  • 键的版本只记录在读集中；写集只包含键和交易设置的键的最新值
  • 使用读写集中的读集来验证交易，使用写集来更新受影响的键的版本和值
  • 使用交易的高度来作为版本号

3.1 验证公共数据读集key

读集中键的版本和世界状态中键的版本一致就认为该交易是 合法的。

if !version.AreSame(committedVersion, rwsetutil.NewVersion(kvRead.Version)) {
    return false, nil
}
版本数据结构
type Version struct {
    BlockNum       uint64
    TxNum          uint64
}

当验证完一笔交易后，如果交易有效，会更新key版本，接着再验证下一笔交易。

committingTxHeight := version.NewHeight(block.Num, uint64(tx.IndexInBlock))
updates.ApplyWriteSet(tx.RWSet, committingTxHeight, v.db)

在此举例介绍,mycc链码a转账给b。
实例化链码交易在区块3中，则a、b版本为

{
    "key": "a",
    "version": {
        "block_num": "3",
        "tx_num": "0"
        }
}

发起一笔有效交易后，版本更新为

{
    "key": "a",
    "version": {
        "block_num": "4",
        "tx_num": "0"
        }
}

3.2 验证range-query

当读写集中包含一个或多个查询信息（query-info）时，需要执行额外的验证。这种额外的验证需要确保在根据查询信息获得的结果的超集（多个范围的合并）中没有插入、删除或者更新键。

"range_queries_info":
[
    {
        "end_key":"marble3",
        "itr_exhausted":true,
        "raw_reads":{
            "kv_reads":[
                {
                    "key":"marble1",
                    "version":{
                        "block_num":"8",
                        "tx_num":"0"
                    }
                },
                {
                    "key":"marble2",
                    "version":{
                        "block_num":"9",
                        "tx_num":"0"
                    }
                }
            ]
        },
        "start_key":"marble1"
    }
]

validate()方法会根据rangeQueryInfo是否包含了合法当梅克尔树摘要对象返回不同当验证方法。

if rangeQueryInfo.GetReadsMerkleHashes() != nil {
    logger.Debug(`Hashing results are present in the range query info hence, initiating hashing based validation`)
    // 暂时全局搜索只发现ReadsMerkleHashes读，没发现写
    validator = &rangeQueryHashValidator{}
} else {
    logger.Debug(`Hashing results are not present in the range query info hence, initiating raw KVReads based validation`)
    validator = &rangeQueryResultsValidator{}
}

因此，在此只介绍rangeQueryResultsValidator；该方法会对读集key以及版本与查询结果进行一一比较。一致则返回true。

func (v *rangeQueryResultsValidator) validate() (bool, error) {
    rqResults := v.rqInfo.GetRawReads().GetKvReads()
    for i := 0; i < len(rqResults); i++ {
        versionedKV := result.(*statedb.VersionedKV)
        // versionedKV key验证
        if versionedKV.Key != kvRead.Key {
            logger.Debugf("key name mismatch: Key in rwset = [%s], key in query results = [%s]", kvRead.Key, versionedKV.Key)
            return false, nil
        }
        // versionedKV版本验证
        if !version.AreSame(versionedKV.Version, convertToVersionHeight(kvRead.Version)) {
            logger.Debugf(`Version mismatch for key [%s]: Version in rwset = [%#v], latest version = [%#v]`,
                versionedKV.Key, versionedKV.Version, kvRead.Version)
            return false, nil
        }
        if result, err = itr.Next(); err != nil {
            return false, err
        }
    }
}

3.3 验证私密数据kvReadHash

当读写集中存在collection_hashed_rwset，需要验证collHashedRWSet.HashedRwSet.HashedReads里面的KVReadHash.Version

{
    "collection_hashed_rwset":[
        {
            "collection_name":"collectionMarbles",
            "hashed_rwset":"CiYKIF4flG/gcV3gNm0J6EgLrXZyojVRVwKbDd+8lYUPBFcOEgIIDw==",
            "pvt_rwset_hash":null
        }
    ],
    "namespace":"marblesp",
    "rwset":null
}

源码：

遍历collHashedRWSets,再遍历collHashedRWSet.HashedRwSet.HashedReads，最后对每个kvReadHash的版本进行验证。

for _, collHashedRWSet := range collHashedRWSets {
    if valid, err := v.validateCollHashedReadSet(ns, collHashedRWSet.CollectionName, collHashedRWSet.HashedRwSet.HashedReads, updates); !valid || err != nil {
        return valid, err
    }
}
for _, kvReadHash := range kvReadHashes {
        if valid, err := v.validateKVReadHash(ns, coll, kvReadHash, updates); !valid || err != nil {
            return valid, err
        }
    }

验证代码与验证key类似

committedVersion, err := v.db.GetKeyHashVersion(ns, coll, kvReadHash.KeyHash)
if err != nil {
    return false, err
}

if !version.AreSame(committedVersion, rwsetutil.NewVersion(kvReadHash.Version)) {
    logger.Debugf("Version mismatch for key hash [%s:%s:%#v]. Committed version = [%s], Version in hashedReadSet [%s]",
        ns, coll, kvReadHash.KeyHash, committedVersion, kvReadHash.Version)
    return false, nil
}

参考

  1. https://segmentfault.com/a/1190000012650596
  2. https://www.jianshu.com/p/db334404d909
  3. https://stone-fabric.readthedocs.io/zh/latest/readwrite.html

原文地址：https://www.cnblogs.com/jiliguo/p/12148838.html

时间： 2024-11-06 07:28:40

菜鸟系列Fabric源码学习 — MVCC验证的相关文章

菜鸟的jQuery源码学习笔记（二）

jQuery对象是使用构造函数和原型模式相结合的方式创建的.现在来看看jQuery的原型对象jQuery.prototype: 1 jQuery.fn = jQuery.prototype = { 2 //成员变量和方法 3 } 这里给原型对象起了一个别名叫做jQuery.fn.要注意的是这个jQuery.fn可不是jQuery对象的属性,而是jQuery构造方法本身的属性,它是不会传给它所创建的对象的.如果你在控制台敲$().fn的话输出的结果会是undefined.接下来看看原型对象里面有些

MVC系列——MVC源码学习：打造自己的MVC框架（四：自定义视图）

前言:通过之前的三篇介绍,我们基本上完成了从请求发出到路由匹配.再到控制器的激活,再到Action的执行这些个过程.今天还是趁热打铁,将我们的View也来完善下,也让整个系列相对完整,博主不希望烂尾.对于这个系列,通过学习源码,博主也学到了很多东西,在此还是把博主知道的先发出来,供大家参考. 本文原创地址:http://www.cnblogs.com/landeanfen/p/6019719.html MVC源码学习系列文章目录: MVC系列——MVC源码学习:打造自己的MVC框架(一) MVC

菜鸟学习Fabric源码学习 — 背书节点和链码容器交互

Fabric 1.4 源码分析 背书节点和链码容器交互 本文档主要介绍背书节点和链码容器交互流程,在Endorser背书节点章节中,无论是deploy.upgrade或者调用链码,最后都会调用ChaincodeSupport.LaunchInit()/Launch()以及ChaincodeSupport.execute()方法.其中Launch()方法启动链码容器,execute()方法调用链码. 1. 准备 ChaincodeSupport.Launch()首先进行判断,根据peer侧该版本链

MVC系列——MVC源码学习：打造自己的MVC框架（二：附源码）

前言:上篇介绍了下 MVC5 的核心原理,整篇文章比较偏理论,所以相对比较枯燥.今天就来根据上篇的理论一步一步进行实践,通过自己写的一个简易MVC框架逐步理解,相信通过这一篇的实践,你会对MVC有一个更加清晰的认识. 本文原创地址:http://www.cnblogs.com/landeanfen/p/6000978.html 这篇博主打算从零开始一步一步来加上MVC里面用到的一些技术,整篇通过三个版本,逐步完善. 一.版本一:搭建环境,实现MVC请求 通过上篇的介绍,我们知道,MVC里面两个最

自问自答系列-caffe源码学习之总体学习

1.Caffe的主要等级有哪些? blob:存储相关数据.layer:从底层数据到顶层数据.net:许多layer,计算梯度,前向,反向.solver:利用梯度更新权重., 2.Protoclo Buffers: Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件.他们用于 RPC 系统和持续数据存储系统. Protocol Bu

菜鸟的jQuery源码学习笔记（三）

1 each: function(callback, args) { 2 return jQuery.each(this, callback, args); 3 }, each:这个调用了jQuery.each方法,来遍历当前集合.我们先来看看jQuery.each方法: //args是一个数组 each: function(obj, callback, args) { var value, i = 0, length = obj.length, isArray = isArraylike(ob

JDK源码学习系列07----Stack

                                                               JDK源码学习系列07----Stack 1.Stack源码非常简单 package java.util; public class Stack<E> extends Vector<E> { // 版本ID.这个用于版本升级控制,这里不须理会! private static final long serialVersionUID = 122446316454

JDK源码学习系列08----HashMap

                                                          JDK源码学习系列08----HashMap 1.HashMap简介 HashMap 是一个散列表,它存储的内容是键值对(key-value)映射. HashMap 继承于AbstractMap,实现了Map.Cloneable.java.io.Serializable接口. HashMap 的实现不是同步的,这意味着它不是线程安全的.它的key.value都可以为null.此外,

JDK源码学习系列06----Vector

                                            JDK源码学习系列06----Vector 1.Vector简介 Vector的内部是数组实现的,它和ArrayList非常相似,最大的不同就是 Vector 是线程安全(同步)的. public class Vector<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.S