《Nodejs开发加密货币》之二十三:区块链

前言

亿书,是一款加密货币产品,用时髦的话说,更是一款实用的区块链产品。那么,区块链是什么?有那些特点?最近,以太坊硬分叉事件给了我们很多启示,能不能彻底杜绝区块链分叉行为?这一章,我们通过认真阅读和理解亿书相关的代码逻辑,来详细解释和说明这些问题,以便更加深入的了解和学习这项技术。

源码

blocks.js https://github.com/Ebookcoin/ebookcoin/blob/v0.1.3/modules/blocks.js

block.js https://github.com/Ebookcoin/ebookcoin/blob/logic/block.js

loader.js https://github.com/Ebookcoin/ebookcoin/blob/v0.1.3/modules/loader.js

类图

流程图

解读

1.区块链是什么?

(1)基本概念

什么是区块链技术?为了感性认识这个问题,我们可以使用谷歌地球的例子做类比,ajax不是什么新技术,但组合在一起就成就了产品谷歌地球,与之类似,区块链也不是什么新技术,但与加密解密技术、P2P网络等组合在一起,就像ajax一样诞生了比特币。技术人员,特别是Web开发工程师,学习了解ajax技术最早是被谷歌地球酷炫的效果所吸引。而现在,历史再一次重演,很多人被比特币的疯狂发展所吸引,进而开始研究其背后的技术区块链。

使用学术点的文字来描述,区块链其实就是一种专用的数据存储技术,它使用特有的数据结构和数据形式来存储大量交易信息,每条记录从后向前有序链接起来,具备公开透明、无法篡改、方便追溯的特点。这里的交易不仅仅是一次购买支付行为,包括各类有价值、有所属的数字资产,所以更简单的说法是,区块链是去中心化的公共账本。区块链可以存储成文件形式,不过多数产品存储在一个数据库中,比如比特币使用Google的LevelDB数据库存储。

与加密货币相比,区块链这个名字抛开了代币的概念,更加形象化、技术化、去政治化,更适合作为一门技术去研究、去推广。

(2)从数据库设计角度理解区块链

用数据库的概念理解,区块链就是一张“自引用”的数据库表。每条记录代表一个区块,这条记录(区块)记录着它前面(时间上)一条记录的信息,可以直接查询到前一条记录,因此从任何一条记录开始都可以往前顺序追溯,直到第一条记录。普通自引用表结构,通常使用ID作为关联外键,加密货币使用的是经过加密处理的信息字段,具有签名认证作用,可实现自我验证,防止被篡改。

与区块链直接关联的另一张重要的表,就是交易表。加密货币包含大量的交易,我们之前分析过,交易可以是加密货币,也可以是债权、股权或版权等各类数字资产,这些交易保存在一张独立表里,并与区块链形成多对一的关联方式。如此以来,只要追溯到区块,就很容易查询到该区块包含的交易记录。这样,一个公开透明、无法篡改、方便追溯的账本就形成了。

上面是从数据库查询(读数据)的角度考虑的,如果从写入的角度思考,就更有意思了。写入是要根据需求不同进行不同的编码,我们前面的章节说过,加密货币的各种功能都可以通过扩展交易类型进行编码,如果把一些现实中的合同规则进行编码,要求系统在某个条件下自动执行(写入或更新)某交易,自然也是件简单轻松的事情,这就是“智能合约”的简单理解。

我们在第一部分提到过“智能合约”的概念,在这里再次提及,作为程序员能够更加直观的去理解编码上的可行性。“智能合约”也是目前加密货币社区讨论火热的概念,可以发挥你想象的翅膀,从加密货币扩展到现实世界的各种场景,比如:自动贩卖机、销售终端、大公司间的电子数据交换、银行间用于转移与清算的支付网络,以及音乐、电影和电子书等数字版权交易等。

(3)形象化理解区块链

人们通常把具有先后顺序的数据结构,使用栈来表示,比特币白皮书把这种结构进一步形象化,第一个区块作为栈底,然后其他区块按照时间顺序依次堆叠在上面,这样一来,区块与首区块之间的距离就表示“高度”,“顶端”就表示最新添加的区块。每个区块包含大量交易,就是包含在对应栈里的数据。我们可以把这样的结构想象成一个大大的橱柜,区块就是其中一个抽屉,每个抽屉里是满满的交易,就象下面这样:

(4)区块链分叉

物理分叉。每一个区块都与它的前一区块(父区块)关联,而对它后面的区块(子区块)无限制,也就是说最顶端的区块,肯定知道它的父区块(已经写入区块链),但不知道子区块(或许还没有产生,也可能在传输的过程中)。我们知道,从物理层面,数据库、硬盘、网络的IO操作是最耗费时间的,在某一个时刻,多个最新区块同时找到父区块是很常见的现象,这就必然导致区块链分叉(从主链向多个方向发展)。这是在同一个软件版本(及其兼容版本)的情况下发生的,没有人为干预,不妨叫做物理分叉。

显然,物理分叉取决于物理环境,这与什么样的共识机制没有直接关系,不论是采取工作量证明机制(PoW)的比特币、还是采取股权证明机制(PoS)的点点币,亦或是这里采取授权股权证明机制(DPoS)的亿书币,都是如此。为了保持区块链的单一链条,解决分叉的最简单方式就是放任每个分叉继续增长,通常在下一刻就会出现差别,这时候软件选择最长的那个链条作为主链即可。在具体的设计开发过程中,这也是一个逻辑相对复杂的难点。

人为分叉。那么,如果存在人的干预,会怎么样呢?我们知道,世界上没有绝对完美的东西,人类开发设计的软件也不例外,漏洞是常有的,看看微软的windows系统时不时跳出来的漏洞修复提醒,就知道这类事情多么常见。而且,人类的需求始终在变化,软件要不断推出新功能来应对。所以,软件出现漏洞,或者添加新的功能,这类情况是再正常不过的事情。这时候,旧版本的软件对新版本软件产生的区块可能出现兼容性问题,甚至需要人为改变区块链的走向,这就导致新旧版本之间出现分叉,不妨叫做人为分叉。

很显然,人为分叉也是无法避免的事情。你可能认为很简单,有漏洞就修复吧,有新功能加上就得了,有什么好解释的。事实上,加密货币核心是交易,是价值转移的手段,规则的改变直接关系到所有持币人的利益。我们在第一部分说过,人是趋利的,要追求利益最大化,新功能能否保护用户的利益,还是代表了少部分利益集团的意志,应该如何约束和决策,这已经不单单是一个技术问题,更多的是社区政治问题,需要社区共同参与。历史证明,承载了较大资金盘的加密货币,在某一次分叉过程中,个别用户或矿工没有及时更新软件,就造成了直接经济损失。所以,每一个持币用户都非常关心任何一次分叉行为,都有可能站出来表达自己的意愿,甚至选择留在旧链上。

硬分叉和软分叉。它们都属于人为分叉,孰优孰劣也是当前社区分歧比较严重的问题。最初,社区区分这两个概念的简单方法就是,“硬分叉”是与旧版本的兼容度不高,但是获得了社区共识的规则明确的分叉行为,“软分叉”恰恰相反。发展到今天,只要是明确的“分叉”行为,大家都会寻求社区共识,所以二者的区别主要集中在软件兼容问题上了。这里的社区共识,是指包括软件开发者、矿工和使用者在内的整个软件社区,采取投票等方式,获得最大程度的一致性意见,通常是90%以上的社区成员同意就认为是达成了社区共识。比如最近以太坊为了应对The Dao遭受黑客攻击而实施的紧急硬分叉,就获得了社区87%的同意(接近90%,这里不讨论这次分叉行为的好坏)。

从技术角度讲,这里所谓的“硬”,主要体现在与旧版本的不兼容(或少量兼容)上,属于抛弃旧版本的行为,如果用户不升级软件,就永远留在旧链上,感觉上更加强硬得多。“软分叉”,最大程度的保持了对以前版本的兼容性,做得好的话,多个版本可以同时运行,类似于正常的版本迭代升级,用户可以自由选择是否升级。有人说“硬分叉”是很糟糕的事情,另一些人认为“软分叉”风险更大。事实证明,只要准备充分,操作得当,无论是“硬分叉”,还是“软分叉”,都不可怕,只不过“软分叉”在编码中需要考虑的情况更加复杂,对用户的影响较为隐蔽。

我个人不喜欢谈政治,但是作为交易媒介的新兴产物——加密货币,天生就是政治的附属品。这些货币的持续发展,往往是不同利益团体(包括开发者、矿工和用户)之间不断博弈的结果。最初是开发者主导,某个时期矿工的力量更加强大,后期用户的力量就不容忽视。也正是这些力量之间的制衡,才让加密货币相对持续稳健的发展,当这三种力量达到均衡的时候,就是这个加密货币相对成熟的时候。最近,以太坊硬分叉处理Dao遭受的黑客攻击事件,搅动了整个加密货币社区,不同利益者发出不同的声音,这是好事,充分说明加密货币仍处在初级阶段,还有很长的路要走。

2.区块链的特点

我们可以按照堆栈的方式理解数据结构,并采用自引用的关联方式设计数据库模型,但是做到这些,我个人认为并不代表就是区块链了,它还必须使用加解密技术,被置于去中心化的网络,由P2P网络节点共同维护,才能称得上区块链。当然,也有人持不同观点,他们认为一个中心化的应用,如果使用类似的数据结构,会更加安全(比不使用该结构的中心化系统),同时可以避免分叉,性能或许更高(比去中心化的系统),但事实上没有了P2P网络的支撑,这点改进算不上什么。我们之前分析过,P2P网络本身就是一条非常好的安全屏障,单点被攻击或被破解,对整个网络系统没有太大伤害,而任何中心化的系统仅仅相当于单节点,安全性大大降低。所以,为了那些许的性能改进,却要牺牲更好的安全性,有点得不偿失。

汇总以上信息,区块链应该具备这样几个特点:

  • 分布存储:区块链处于P2P网络之中,无论什么公链、私链,还是联盟链,都要采取分布式存储,使用一种机制保证区块链的同步和统一;
  • 公开透明:每个节点都有一个区块链副本,区块链本身没有加密,数据可以任意检索和查询,甚至可以修改(改了也没用);
  • 无法篡改:这是加密技术的巧妙应用,每一区块都会记录前一区块的信息,并实现验证,确保无法篡改。这里的无法篡改不是不能改,而是局部修改的数据,无法通过验证,要想通过验证,必须修改整个区块链,这在理论上可行,操作上不可行;
  • 方便追溯:区块链是公开的,从任一区块都可以向前追溯,直到第一个区块,并通过区块查到与之关联的全部交易;
  • 存在分叉:这是由P2P网络等物理环境,以及软件开发实践过程决定的,人们无法根本性杜绝。

也正是因为这样的特点,区块链的概念才逐渐火爆起来。实践证明,区块链技术能实现一切中心化应用的场景,可以解决(或更好的解决)很多中心化应用无法解决的问题,比如分布式财务管理、分布式存储、知识产权保护、电子商务,乃至物联网,特别是对于金融业而言,资金清算、审计等等,成本会大幅度降低。亿书,就是利用它公开透明、可追溯的特点,与数字出版结合起来,实现自媒体和版权保护,彻底解决当前数字出版版权保护不力的顽疾。

3.区块链开发应该解决的问题

明白区块链是什么和基本原理之后,就可以着手设计其基本功能了。从需求的角度说,设计中需要做到如下几点:

(1)加载区块链。确保本地区块链合法,未被篡改。

  • 保存创世区块
  • 加载本地区块
  • 验证本地区块

(2)处理新区块。加载后,该节点就可以处理网络中的交易了。

  • 创建新区块;
  • 收集整理交易,写入(关联)区块;
  • 把新产生的区块写入区块链;
  • 处理区块链分叉。

(3)同步区块链。确保本地区块链与网络中完整的区块链同步。

下面,我们从数据库设计出发,分别研读相关代码,认真讨论亿书区款链是如何运作的。

4.亿书区块链数据库设计

亿书使用SQLite数据库,与区块链相关的数据库结构如图:

blocks表是区块链,trs表是各种交易,forks_stat表代表分叉状态。从关联关系上看,blocks首先是一个自引用表,使用previousBlock关联;与trs是一对多的关系,一条记录关联多条交易;与forks_stat也是一对多的关系,意思是有分叉。

5.亿书区块链实现

这里按照上面提到的开发区块链要解决的问题,逐一对照,查看亿书技术实现。

(1)保存创世区块

创世区块是硬编码到客户端程序里的,会在客户端运行的时候,直接写入数据库。这样做的好处是保证每个客户端都有一个安全、可信的区块链的根。

// modules/blocks.js
// 78行
function Blocks(cb, scope) {
    library = scope;
    // 80行
    genesisblock = library.genesisblock;
    self = this;
    self.__private = private;
    private.attachApi();

    // 85行
    private.saveGenesisBlock(function (err) {
        setImmediate(cb, err, self);
    });
}

这是modules/blocks.js模块的构造函数,在入口程序app.js运行的时候,直接创建该模块的实例,85行的代码private.saveGenesisBlock方法直接运行。如果已经运行过,该方法就会返回,什么都不做。如果第一次运行,该方法就会直接保存创世区块(80行的genesisblock),接着调用266行的private.saveBlock()方法(不再粘贴),把创世区块记录(包括交易)保存到数据库。

这是一个非常典型的区块创建过程,我们可以借机会看看一个区块(创世)的数据是什么样的:

// genesisBlock.json 文件
{
  "version": 0,

    // 3行
  "totalAmount": 10000000000000000,
  "totalFee": 0,
  "reward": 0,
  "payloadHash": "1cedb278bd64b910c2d4b91339bc3747960b9e0acf4a7cda8ec217c558f429ad",
  "timestamp": 0,
  "numberOfTransactions": 103,
  "payloadLength": 20326,
  "previousBlock": null,
  "generatorPublicKey": "b7b46c08c24d0f91df5387f84b068ec67b8bfff8f7f4762631894fce4aff6c75",

    // 1757行
  "height": 1,
  "blockSignature": "2985d896becdb91c283cc2366c4a387a257b7d4751f995a81eae3aa705bc24fdb950c3afbed833e7d37a0a18074da461d68d74a3a223bc5f8e9c1fed2f3fec0e",
  "id": "8593810399212843182",

    // 12行。为了方便阅读,这里把关联的交易信息排版在最后位置
    "transactions": [
    {
      "type": 0,

            // 15行
      "amount": 10000000000000000,
      "fee": 0,
      "timestamp": 0,
      "recipientId": "6722322622037743544L",
      "senderId": "5231662701023218905L",
      "senderPublicKey": "b7b46c08c24d0f91df5387f84b068ec67b8bfff8f7f4762631894fce4aff6c75",
      "signature": "aa413208c32d00b89895049ff21797048fa41c1b2ffc866900ffd97570f8d87e852c87074ed77c6b914f47449ba3f9d6dca99874d9f235ee4c1c83d1d81b6e07",
      "id": "5534571359943011068"
    },
        {
            "type": 2,
            ...
        },

        ...

        {
      "type": 3,
      ...
    }
    ...
  ]
}

这些字段,我们在上面的数据库表里已经列出,下面看看几个关键数据:

3行:在创世区块设定初始代币总量,这里是1亿;

1757行:创世区块高度为1;

12行:区块必须包含交易,这里是3种类型的交易,之前分析过,它们分别是转账交易、受托人交易和投票交易。第1个转账交易,把初始区块的代币全部转到了另一个账户,这在实际的生产环境,特别是在ICO(预售)之后,可以直接转给参与众筹的实际用户。所以,创世区块有其非常实际的意义。其它两种交易,是支撑亿书共识机制的。

(2)加载本地区块

任何节点,都需要先加载验证本地区块链,确保没有被篡改。这个加载过程是软件初始化过程中的一部分,开发中不需要与网络节点联网等其他问题纠缠在一起。因此,代码需要被放在入口文件中去执行。我们在《入口程序app.js解读》一章里解读了app.js文件,但并不详细,仅仅梳理了程序的大致流程。这里重新提及,专注于区块链加载验证的问题,这在具体开发过程中,是很正常的增量开发的思路。

// app.js文件
...
ready: [‘modules‘, ‘bus‘, function (cb, scope) {
    // 435行
    scope.bus.message("bind", scope.modules);
    cb();
}]

app.js文件 435行: 触发了“bind”事件(这是自定义的事件处理机制,请参考开发实践中关于事件循环的部分章节),会执行所有模块里的“onBind()”方法。该方法运行之前,各个模块仅仅被实例化,处于待命状态,所以“bind”事件是激活各模块的重要事件,是继各模块构造函数运行之后的关键方法(具体流程,请参考本部分第一章,模块的加载流程图)。大部分模块里的“onBind()”方法仅仅用来初始化某个变量,唯独loader.js模块,执行了下面的代码:

// modules/loader.js文件
Loader.prototype.onBind = function (scope) {
    modules = scope;
    // 534行
    private.loadBlockChain();
};

modules/loader.js文件 534行: private.loadBlockChain() 方法就是用来加载区块链的,内容如下:

// modules/loader.js文件
private.loadBlockChain = function () {
    var offset = 0, limit = library.config.loading.loadPerIteration;
    var verify = library.config.loading.verifyOnLoading;

    // 357行,闭包
    function load(count) {
        verify = true;
        private.total = count;

        library.logic.account.removeTables(function (err) {
            if (err) {
                throw err;
            } else {
                library.logic.account.createTables(function (err) {
                    if (err) {
                        throw err;
                    } else {
                        // 369行
                        async.until(
                            function () {
                                return count < offset;
                            }, function (cb) {
                                library.logger.info(‘Current ‘ + offset);
                                setImmediate(function () {
                                    modules.blocks.loadBlocksOffset(limit, offset, verify, function (err, lastBlockOffset) {
                                        if (err) {
                                            return cb(err);
                                        }
                                        // 380行
                                        offset = offset + limit;
                                        private.loadingLastBlock = lastBlockOffset;

                                        cb();
                                    });
                                });
                            }, function (err) {
                                  ...
                                    // 398行
                                    library.logger.info(‘Blockchain ready‘);
                                    library.bus.message(‘blockchainReady‘);
                                }
                            }
                    ...
    }

    // 408行
    library.logic.account.createTables(function (err) {
        if (err) {
            throw err;
        } else {
            library.dbLite.query("select count(*) from mem_accounts where blockId = (select id from blocks where numberOfTransactions > 0 order by height desc limit 1)", {‘count‘: Number}, function (err, rows) {
                ...
                var reject = !(rows[0].count);

                modules.blocks.count(function (err, count) {
                    ...
                    if (reject || verify || count == 1) {
                        // 428行
                        load(count);
                    } else {
                        // 其他情况,请查看源码
                        ...
};

408行:将调用logic/account.js文件的createTables()方法,创建与用户相关的帐号信息表,全部以“mem_”开头,主要包括“mem_accounts”,“mem_accounts2contacts”,“mem_accounts2u_contacts”,“mem_accounts2delegates”,“mem_accounts2u_delegates”,“mem_accounts2multisignatures”,“mem_accounts2u_multisignatures”,“mem_round”等7个表。这些信息与用户相关,不需要被其他节点同步。

如果是新客户端,数据库为初始创建,创世区块第一次写入,count == 1,会立刻调用闭包load()函数(428行),加载验证缺失的区块。我们先不考虑其他情况,直接看357行的load()函数,可以发现该函数先删除帐号表格(removeTables),然后重建(createTables),并通过“async.until”方法(369行)进行循环加载区块链数据,具体方法是 modules/blocks.js的loadBlocksOffset()。当 count < offset 返回 “true” 的时候,循环结束,区块链数据同步完毕,然后触发 “blockchainReady” 事件(398行)。

这里的 “Offset” 不是分页数据,而是一次加载的区块数量,这样做的好处是避免一次性加载全部区块链,导致数据请求量过大,影响计算机性能。这个值最大是 limit 的值(380行),limit 等于 “config.json” 文件设定的全局变量 loading.loadPerIteration。用户可以修改该配置文件,在启动软件时通过命令行参数“-c”选择自己的配置文件,从而实现定制。如下:

// config.json文件
// 132行
"loading": {
    "verifyOnLoading": false,
    "loadPerIteration": 5000
}

(3)验证本地区块

上面说到 modules/blocks.js 的 loadBlocksOffset() 方法才是处理加载的具体方法,也是验证的方法所在。

// modules/blocks.js文件
Blocks.prototype.loadBlocksOffset = function (limit, offset, verify, cb) {
    ...
    library.dbSequence.add(function (cb) {
        library.dbLite.query("SELECT " +
            ...
            async.eachSeries(blocks, function (block, cb) {
                async.series([
                    function (cb) {
                        if (block.id != genesisblock.block.id) {
                            if (verify) {
                                // 627行 追溯区块
                                if (block.previousBlock != private.lastBlock.id) {
                                    return cb({
                                        message: "Can‘t verify previous block",
                                        block: block
                                    });
                                }

                                try {
                                    // 635行 验证块签名
                                    var valid = library.logic.block.verifySignature(block);
                                }
                                ...
                                if (!valid) {
                                    return cb({
                                        message: "Can‘t verify signature",
                                        block: block
                                    });
                                }
                                // 650行 验证块时段(Slot)
                                modules.delegates.validateBlockSlot(block, function (err) {
                                ...
                    }, function (cb) {
                        // 先给交易排序,让投票或签名交易排在前面
                        ...
                        async.eachSeries(block.transactions, function (transaction, cb) {
                            if (verify) {
                                modules.accounts.setAccountAndGet({publicKey: transaction.senderPublicKey}, function (err, sender) {
                                    ...
                                    if (verify && block.id != genesisblock.block.id) {
                                        // 690行 验证交易
                                        library.logic.transaction.verify(transaction, sender, function (err) {
                                        ...
                                });
                            } else {
                                setImmediate(cb);
                            }
                        }, function (err) {
                            if (err) {
                                // 如果出现错误,要回滚
                                async.eachSeries(transactions.reverse(), function (transaction, cb) {
                                    async.series([
                                        function (cb) {
                                            modules.accounts.getAccount({publicKey: transaction.senderPublicKey}, function (err, sender) {
                                                ...
                                                modules.transactions.undo(transaction, block, sender, cb);
                                            });
                                        }, function (cb) {
                                            modules.transactions.undoUnconfirmed(transaction, cb);
                                        }
                                      ...
};

逐个加载区块,并验证:

627行:追溯前一区块,无法追溯自然是不正确的。

635行:验证块签名,防止块内容被篡改。建议认真阅读该行调用的签名验证方法“verifySignature()”(在“logic/block.js”文件的150行,请去源码库查看),这应该是对二进制数据(这里是区块数据)进行签名验证的典型用法。验证失败,就要终止整个循环,删除该块及其以后的块。

650行:验证块时段(Slot),防止块位置被篡改。实际上是变相验证了区块的高度及其时间戳(相关技术请看开发实践部分《关于时间戳及相关问题》的讨论)。亿书网络按照一定的周期循环(具体请参看《DPOS机制》),每一个块都可以根据其高度计算出它的出块时段,这与它的时间戳是对应的,这就锁定了区块位置,不然就是有问题。为什么要选择验证块时段,而不是简单直接的高度或时间戳?这是因为区块链有分叉的情况,相同高度存在多个块和时间戳,但相同的块时段却只能是一个。

690行:验证交易。具体流程请参考《交易》一章的相关内容。

(4)创建新区块

上面从设计的角度,正向提供了一种实现的思路。这里,我们反向阅读代码,不再思考为什么,仅仅查看是什么,体会一下读代码是多么简单的事情。注意的是,流程图需要反响查看。按照模块设计的基本原则,处理区块链的代码,都应该集中在“modules/blocks.js”文件里,所以,我们很容易就能找到创建新区块的代码“generateBlock()”方法,如下:

// modules/blocks.js文件
// 1126行
Blocks.prototype.generateBlock = function (keypair, timestamp, cb) {
    // 1127行 获取未确认交易,并再次验证,放入一个数组变量里备用
    var transactions = modules.transactions.getUnconfirmedTransactionList();
    var ready = [];

    async.eachSeries(transactions, function (transaction, cb) {
        ...
        ready.push(transaction);
        ...
    }, function () {
        try {
            // 1147行
            var block = library.logic.block.create({
                keypair: keypair,
                timestamp: timestamp,
                previousBlock: private.lastBlock,
                transactions: ready
            });
        } catch (e) {
            return setImmediate(cb, e);
        }

        // 1157行
        self.processBlock(block, true, cb);
    });
};

该方法很简单,1127行:获取未确认交易,并再次验证,放入一个数组变量“ready”里备用。从这里的处理方法可知道,与亿书区块关联的交易并没有实现比特币那样复杂的处理方法。比特币区块链中的所有交易,以二叉树(Merkle)表示,对于存储、维护、查询、验证交易都有很多便利。亿书目前的代码没有这样的优势,将在以后的版本中优化添加。

1147行:把整理好的数据组合成块数据结构(具体形式,类似于前面的创世区块),这里因为是新建数据,重要的是keypair、timestamp、previousBlock、transactions等四个字段信息。其他字段,诸如:totalFee、reward、payloadHash等,会在“processBlock()”(1157行)执行时处理。

这里的keypair、timestamp字段是该方法的参数,需要在调用的地方传入。我们查询代码发现,仅在“modules/delegates.js”文件里调用了该方法,其方法是“loop”,很显然该方法就是产生区块的入口方法,如下:

// modules/delegates.js
// 492行
private.loop = function (cb) {
    ...
    var currentSlot = slots.getSlotNumber();
    var lastBlock = modules.blocks.getLastBlock();
    ...
    // 511行
    private.getBlockSlotData(currentSlot, lastBlock.height + 1, function (err, currentBlockData) {
        ...
        library.sequence.add(function (cb) {
            if (slots.getSlotNumber(currentBlockData.time) == slots.getSlotNumber()) {
                // 519行
                modules.blocks.generateBlock(currentBlockData.keypair, currentBlockData.time, function (err) {
                    ...
                });
            ...
};

去掉一些必要的判断,其实真正调用的时候,还是非常简单的。看上面“loop”方法,真正与“modules/delegates.js”模块关联的调用,是“private.getBlockSlotData()”方法(470行),该方法从名字上理解就是获得块时段数据,为区块提供了密钥对和时间戳。由于是私有方法,可以猜想该方法一定与受托人有关系,让我们了解一下:

// modules/delegates.js
// 470行
private.getBlockSlotData = function (slot, height, cb) {
    self.generateDelegateList(height, function (err, activeDelegates) {
        ...
        for (; currentSlot < lastSlot; currentSlot += 1) {
            var delegate_pos = currentSlot % constants.delegates;

            var delegate_id = activeDelegates[delegate_pos];

            if (delegate_id && private.keypairs[delegate_id]) {
                return cb(null, {time: slots.getSlotTime(currentSlot), keypair: private.keypairs[delegate_id]});
            }
        }
        cb(null, null);
    });
};

从代码可以看出,该方法先获得可以生产区块的受托人列表,然后根据当前时段信息找到激活的受托人标识,继而找到对应的密钥对,所以这个密钥对是与特定时段的特定受托人相关的。

接下来,要运行“private.loop()”方法才可以实现新建区块的操作,所以继续搜索代码,我们很轻松找到:

// modules/delegates.js
// 735行
Delegates.prototype.onBlockchainReady = function () {
    private.loaded = true;
    private.loadMyDelegates(function nextLoop(err) {
        // 743行
        private.loop(function () {
            setTimeout(nextLoop, 1000);
        });
        ...

这是 “onBlockchainReady” 事件方法,上面分析了,当本地区块链加载完毕,就会调用该方法,也就是说,当区块链加载验证完毕,就可以创建新区块了。这里设定每秒钟(744行1000毫秒)调用一次“private.loop()”方法,但是因为slot的限制,实际运行起来是每10秒产生一个块。

我们在上面的分析中知道,在同步缺失区块操作之前,还有一个更新节点信息的过程,这么一来,本地区块链加载完毕,创建新区块要比同步缺失的区块要早。这可以最大程度上保证节点创建区块的奖励,并让节点最大程度的服务亿书网络,当然,也增加了同步区块操作的难度。

(5)产生区块链分叉

具体到编码,区块链什么时候产生分叉?显然应该在新区块写入区块链的时候,也就是modules/blocks.js文件的1157行“processBlock()”执行的时候。检索该方法的调用,发现在1174行“onReceiveBlock()”方法里,以及1084行“loadBlocksFromPeer()”方法里,都调用了该方法,只有在“loadBlocksFromPeer()”方法里,“processBlock()”方法不执行广播操作。

该方法很长,但并不复杂,下面仅仅粘贴与分叉相关的源码,如下:

// modules/blocks.js文件
// 800行
Blocks.prototype.processBlock = function (block, broadcast, cb) {
    ...
    if (block.previousBlock != private.lastBlock.id) {
        // 859行 高度相同,父块不同
        modules.delegates.fork(block, 1);
        return done("Can‘t verify previous block: " + block.id);
    }
    //
    if (err) {
        // 877行 受托人时段不同
        modules.delegates.fork(block, 3);
        return done("Can‘t verify slot: " + block.id);
    }           

    if (tId) {
        // 910行 交易已经存在
        modules.delegates.fork(block, 2);
        setImmediate(cb, "Transaction already exists: " + transaction.id);
    }
};

上面列出了3种,还有一种:

// modules/blocks.js文件
// 1166行
Blocks.prototype.onReceiveBlock = function (block) {
    ...
    if (block.previousBlock == private.lastBlock.previousBlock && block.height == private.lastBlock.height && block.id != private.lastBlock.id) {
        // 1181行 高度和父块相同,但块ID不同
        modules.delegates.fork(block, 4);
        cb("Fork");
    }
    ...

事实上,这里写入分叉的代码“modules.delegates.fork()”方法,很简单,仅仅是向“forks_stat”表插入对应数据而已。我们需要重点关注的是,上面罗列了4种分叉,它们的具体分叉的原因是:

  1. 859行:块高度相同,父块不同。可能是父块验证出现问题;
  2. 910行:交易已经存在。可能用户重复提交了交易,典型的就是“双花”问题;
  3. 877行:受托人时段不同。出现时段验证错误,而块时段是与时间戳相关的,所以可能是时间处理出现了问题;
  4. 1166行:高度和父块都相同,但块ID不同。这是接收来的块,高度比最新块大于1,父块是最新块时才会正常写入区块链,不然只能写入分叉。块的ID信息是对块进行sha256加密算法得出的结果,可能获得的是不同分支上的块。

(6)同步区块链,并解决分叉

我们上面说了,当加载验证本地区块结束,程序触发了“blockchainReady”事件(modules/loader.js 398行),于是各个模块里对应的“onBlockchainReady()”方法被执行。如果,查看每个模块对应的“onBlockchainReady()”方法,我们就能很轻松地了解,接下来程序在做什么。

这里,我们要考察如何从其他节点同步区块链,自然要看看节点模块里对应的方法。我们在《一个精巧的P2P网络实现》一章,已经贴出了“onBlockchainReady()”方法的代码,这里不再重复。请看对应源码的364行,该行在更新了节点之后,调用了“library.bus.message(‘peerReady’)”方法,触发了另一个“peerReady”事件。这才是我们最想要的,再次回到modules/loader.js文件,该文件也定义了“peerReady”事件,如下:

// modules/loader.js
// 492行
Loader.prototype.onPeerReady = function () {
    setImmediate(function nextLoadBlock() {
        ...
            // 499行
            private.loadBlocks(lastBlock, cb);
        ...
    });

    setImmediate(function nextLoadUnconfirmedTransactions() {
        ...
        // 514行
        private.loadUnconfirmedTransactions(function (err) {
        ...

    });

    setImmediate(function nextLoadSignatures() {
        ...
        // 523行
        private.loadSignatures(function (err) {
        ...
    });
};

该事件方法,通过“private.loadBlocks()”等三个方法分别同步区块(499行)、未确认交易和签名。限于篇幅,我们仅分析“private.loadBlocks()”方法,其他两个逻辑,请自行查阅源码。

// modules/loader.js
// 225行
private.loadBlocks = function (lastBlock, cb) {
    // 226行
    modules.transport.getFromRandomPeer({
        api: ‘/height‘,
        method: ‘GET‘
    }, function (err, data) {
        var peerStr = data && data.peer ? ip.fromLong(data.peer.ip) + ":" + data.peer.port : ‘unknown‘;
        ...
        if (bignum(modules.blocks.getLastBlock().height).lt(data.body.height)) {
            ...
            if (lastBlock.id != private.genesisBlock.block.id) {
                // 259行
                private.findUpdate(lastBlock, data.peer, cb);
            } else { // Have to load full db
                // 261行
                private.loadFullDb(data.peer, cb);
            }
            ...
    });
};

226行的“transport.getFromRandomPeer()”方法,已经在《一个精巧的P2P网络实现》一章分析过,这里不再赘述。该方法通过随机选择节点,并调用这里提供的api获得远程节点的“height”数据,在确保本地区块链高度小于远程节点区块链高度的前提下,如果本地是创世区块就把远程节点整个数据库同步过来,调用“private.loadFullDb()”方法,不然就调用“private.findUpdate()”方法更新缺失的区块。前者很简单,属于后者的特殊情况,仅仅分析后者即可,代码如下:

// modules/loader.js
// 75行
private.findUpdate = function (lastBlock, peer, cb) {
    ...
    // 80行 获得正常块
    modules.blocks.getCommonBlock(peer, lastBlock.height, function (err, commonBlock) {
        ...
        var toRemove = lastBlock.height - commonBlock.height;

        if (toRemove > 1010) {
            // 89行 该节点的分支太长,限制从该节点同步数据(1小时)
            library.logger.log("long fork, ban 60 min", peerStr);
            modules.peer.state(peer.ip, peer.port, 0, 3600);
            return cb();
        }

        // 暂存未确认的交易
        var overTransactionList = [];
        modules.transactions.undoUnconfirmedList(function (err, unconfirmedList) {
            ...
            async.series([
                function (cb) {
                    if (commonBlock.id != lastBlock.id) {
                        // 还能反向循环
                        modules.round.directionSwap(‘backward‘, lastBlock, cb);
                    } else {
                        cb();
                    }
                },
                function (cb) {
                    // 这里处理侧链
                    library.bus.message(‘deleteBlocksBefore‘, commonBlock);
                    // 117行 删除正常块之前的块
                    modules.blocks.deleteBlocksBefore(commonBlock, cb);
                },
                ...
                function (cb) {
                    // 129行
                    modules.blocks.loadBlocksFromPeer(peer, commonBlock.id, function (err, lastValidBlock) {
                    ...

这个方法相对比较复杂,80行,为什么是获得正常块(或标准块)?因为上面有4种分叉的块,都被保存在一个数据库表“blocks”里,需要通过查询把分叉的块(不正常的)过滤掉。89行,最新块与正常块之间高度差太大,说明该节点的分支太长,暂时限制从该节点同步数据,可以提高效率,也能减少出错几率。117行,把分叉的块删除掉,就解决了分叉问题。129行,这里就跟创世块处理方法相似了。

这里需要理解的是,真实的数据库存储的数据,绝对不是像前面描述的那样,是一个个标准的抽屉罗列在一起。很多情况下,正常的区块和分叉的区块都被按照时间顺序存储,是杂乱无章的,展示给用户的是经过代码过滤之后的数据。而我们定义的区块链,是经过编码实现的理想结果,这应该不难理解。

总结

本文从技术角度,描述了区块链的相关概念,并结合源码,解读了亿书区块链相关实现,这对于直观了解和学习区块链是有帮助的。特别是社区里,有些币圈网友认为压根就不应该有区块链分叉,本文的回答可能会让他们失望了。在现实世界,理想永远是遥不可及的事情,只有更好,没有最好。因此,包括区块链技术在内,只要是介入人类经济生态的应用,永远都不是单纯的技术性问题,它的更深层次的问题在于社区,以及基于人类经济生态的政治文化。

这部分相对复杂,对于区块链分叉的处理,以及与区块关联的交易,还需要更多的优化,我们会在后续的版本中升级改造。聪明的小伙伴一定看出来了,对于创建新区块、分叉等都是受托人模块(modules/blocks.js)的核心功能,受托人是DPOS机制的内容,所以要想更深层次的把握本章知识,还应该再深入一步,切实掌握亿书的共识机制。因此,请看下一篇:《DPOS机制》

链接

本系列文章即时更新,若要掌握最新内容,请关注下面的链接

本源文地址: https://github.com/imfly/bitcoin-on-nodejs

亿书白皮书: http://ebookchain.org/ebookchain.pdf

亿书官网: http://ebookchain.org

亿书官方QQ群:185046161(亿书完全开源开放,欢迎各界小伙伴参与)

参考

从数据库发展规律看区块链技术

区块链

关于比特币硬分叉和软分叉的争议

以太坊软分叉失败,硬分叉成功

时间: 2024-11-24 18:09:06

《Nodejs开发加密货币》之二十三:区块链的相关文章

《Nodejs开发加密货币》之二十一:交易

题外话:这篇文章,耗费了我大量精力,用UML表达javascript类及流程本来就不是什么容易的事情,用来描述加密货币交易这种验证逻辑非常多的代码更难,加之Nodejs的回调在这些代码里嵌套很深,所以如何把异步调用变成人类容易理解的顺序调用,也做了一番取舍,时间不知不觉就过了一星期. 所幸,赶在比特币减半的今天完成并发布这篇文章,也算在区块链火热的今天,<Nodejs开发加密货币>走到了一个关键节点:触及了加密货币的灵魂和腹地.动辄几千一枚的比特币等加密货币可能会消亡,但是背后的技术却蓬勃发展

《Nodejs开发加密货币》之二十七:开发通用的HTML组件

人的懒惰常常是麻烦的开始.多数程序员都希望自己的工作一劳永逸,一次开发,到处使用,成了人人追逐的目标,我也不例外.最初写<Nodejs开发加密货币>系列文章,因为不喜欢设定好了去写,所以目录反复修改,索性弄了小工具gitbook-summary:在写入门文章的时候,反复搜索github,索性把检索与制图集成到一起,弄了个开发语言检索统计工具(见<Node.js让您的前端开发像子弹飞一样>文章实例):阅读源码的时候,手动整理Uml图很辛苦,干脆写成了js2uml工具(见<轻松从

《Nodejs开发加密货币》之二十六:轻松从Js文件生成UML类图

前言 上一篇<函数式编程入门经典>,罗嗦了很长,很多小伙伴看得云里雾里.这里提供一个实例,让大家切身感受函数式编程的奥妙和趣味.当然,仅仅为了举例而写代码就没有什么意义了,本书提供的例子都是承担了某项任务的具体项目或工具,这个例子自然也不能例外. 本书用到了大量的Uml类图,经常有小伙伴问我用什么工具画的.说实话,前几篇是我个人一点点手工整理的,但后来就感觉在浪费生命,作为程序员,怎么可能容忍这样的事情反复发生.所以,就有了 js2uml(见参考)这个小工具.只不过,当初目的单一,仅仅使用正则

《Nodejs开发加密货币》之十二:静态网站开发全景扫描

前言 在前面的入门部分,介绍了Nodejs在前端开发中的应用,并通过具体项目说明了Nodejs在比特币客户端领域被广泛应用.当时为了介绍Nodejs入门技术,一切都是从头创建,没有引入前端框架.但在具体的项目实践中,前端是有框架可以选择的,效率和体验会有明显提升. 具体到前端框架,我的选择是Ember.js.Ember给开发带来一种飞一般的感觉,如果问前端框架哪家强,我会毫不犹豫的说Ember.(具体为什么,网上仍然争论不休,本文不做讨论) 本文重点介绍静态网站的类型,亿书官网的技术选型,以及在

《Nodejs开发加密货币》之十七:共识机制,可编程的利益转移规则

本文是关于加密货币入门文章的最后一篇.加密货币入门文章主要针对开发人员,从理论层面描述加密货币的架构思路,共计3篇.本文标题在真正写作的时候作了修改,没有延续上文最后的提示<机制,左右社会未来的根源>.写作本文时,比特币遭遇疯涨,当前是3876元/比特币. 前言 前面的文章中,我们说过,加密货币都是去中心化的,去中心化的基础就是P2P节点众多,那么如何吸引用户加入网络成为节点,有那些激励机制?同时,开发的重点是让多个节点维护一个数据库,那么如何决定哪个节点写入?何时写入?一旦写入,又怎么保证不

《Nodejs开发加密货币》之十六:利益,魔鬼与天使的共同目标

前言 上篇文章<加密货币就是货币>吸引了很多小伙伴关注,非常感谢.同时说明,很多小伙伴因为对加密货币不了解(或者有误解),所以才会敬而远之,错失良机. 这篇文章,继续上一篇,仍然通过直白的语言来讲解技术.涉及到的内容包括未来趋势,应用场景和风险提示,让我们更直观地理解币圈里的一些概念,比如:智能合约等. 利益,主宰着人类行为 人活着到底是为了什么?我们每个人可能都问过自己这个问题.我们有时候踌躇满志,想要拥有一切.有时候又高尚地低下头,崇尚与世无争,无忧无虑.但在纷繁复杂的真实世界里,我们总会

《Nodejs开发加密货币》之九:在Nodejs中使用加密解密技术

关于 <Nodejs开发加密货币>,是一个加密货币产品的详细开发文档,涉及到使用Nodejs开发产品的方方面面,从前端到后台.从服务器到客户端.从PC到移动.加密解密.区款链等各个环节.代码完全开源.文章免费分享. 相关资源见 http://ebookchain.org QQ交流群: 185046161 前言 加密解密技术在加密货币开发中的作用不言而喻.但技术本身并不是什么新鲜事,重要的是如果没有前面的P2P网络,和后面要介绍的区块链,单独的加解密显然没有那么神奇,加密货币也不会成为无需验证.

《Nodejs开发加密货币》之十五:加密货币就是货币

这是一篇加密货币的入门文章,是对<Nodejs开发加密货币>的入门指南部分的补充,主要写给那些没有接触过比特币.加密货币的小伙伴,接下来的内容,都将与加密货币相关. 前言 "加密货币就是货币"听起来挺"白痴的".想想背后的意思,言外之意就是"加密货币可能不是货币",就非常值得玩味了.事实上,在我接触的很多朋友当中,一开始认为后者的更多.包括我自己,也是经过探究一段时间之后,才认定这个结论的. 惯性定律不仅存在于物质世界,也存在于人类的

《Nodejs开发加密货币》之八:一个精巧的p2p网络实现

发布本文时,比特币价格 ¥2909.92 / $448.29 .为什么一个凭空设计出来的加密货币如此受追捧?为什么微软.IBM等巨头纷纷进入?为什么尝试了解比特币的技术人员,都会被深深吸引?它到底有什么诱人之处?<Nodejs开发加密货币>,让我们一起探索其背后的密码. <Nodejs开发加密货币>,目的是提供加密货币(亿书币)的详尽开发文档,涉及到使用Nodejs开发产品的方方面面,从前端到后台.从服务器到客户端.从PC到移动.从IO密集型到计算密集型.从中心化到去中心化.加密解

《Nodejs开发加密货币》之七:入口程序app.js解读

入口程序app.js解读 发布本文时,比特币价格 ¥2873.95 / $443.95 .为什么一个凭空设计出来的加密货币如此受追捧?为什么微软.IBM等巨头纷纷进入?为什么尝试了解比特币的技术人员,都会被深深吸引?它到底有什么诱人之处?<Nodejs开发加密货币>,让我们一起探索其背后的密码. <Nodejs开发加密货币>,目的是提供加密货币(亿书币)的详尽开发文档,涉及到使用Nodejs开发产品的方方面面,从前端到后台.从服务器到客户端.从PC到移动.从IO密集型到计算密集型.