leveldb源码分析--日志

我们知道在一个数据库系统中为了保证数据的可靠性，我们都会记录对系统的操作日志。日志的功能就是用来在系统down掉的时候对数据进行恢复，所以日志系统对一个要求可靠性的存储系统是极其重要的。接下来我们分析leveldb的日志，首先在leveldb源码目录中有doc/log_format.txt，这个文件详细的描述了leveldb的日志格式：

record :=
    checksum: uint32    // crc32c of type and data[] ; little-endian
    length: uint16       // little-endian
    type: uint8          // One of FULL,FIRST, MIDDLE, LAST
    data: uint8[length]

如下图（图片引用）：

leveldb在写日志时，对日志文件进行了划分为多个32K的文件块，每次读写日志时都以这样的每个32K为单位。这样进行处理以后leveldb的日志文件的大致组成就可以看做为如下的形式：

那么我们初步描述一下Log的写入情况为：

当要写入一条首先判断当前block中是否足够存放该条日志

      S1.如果足够那么直接安装格式写入；

      S2.如果不够那么计算出去头以外可以存放多少内容，将内容组装为FIRST的Log typpe写入；然后新取一个块判断是否足够存放剩下的日志数据

       while（数据未写完）

            S21. 如果足够就组装为LAST的形式写入；

            S22. 如果仍然不够就组装为MIDDLE的形式写入

所以就容易理解这里的FULL，FIRST，MIDDLE和LAST了：

    FULL：一条完整的日志被写到block

    FIRST：一条日志，但是当前block无法完全写入，有部分数据被写到了下一个block,当前block的数据只是日志的开始（第一）部分

    MIDDLE：该日志内容是接着前一个block里面的最后一条日志的继续，而且本block还无法完全写完，在下一个block中继续有该条日志的数据

    LAST：    之前block的未写完的日志的最后一部分；

另外需要注意的就是根据前面的描述我们可以想象得到一个block在写入一部分数据以后会剩下部分空间，这个空间可能是大于7byte，等于7byte，小于7byte；这里为什么要以7byte为分界呢？日志记录的header（crc|length|type）长度为7，如果超过7就至少可以存一个FISRT的部分日志记录，而等于7就刚好存一个header，少于7就连header都存不了。LOG也正是基于这样的原因，小于7时就补充”\0”,7就存一个空header。我们来看看代码逻辑

Status Writer::AddRecord(const Slice& slice) {

bool begin = true;

// 循环向日志文件写，直到写完为止

do {
    const int leftover = kBlockSize - block_offset_;
    if (leftover < kHeaderSize) {// 小于 7 byte （header size ）填充 0x0
      if (leftover > 0) {
        dest_->Append(Slice("\x00\x00\x00\x00\x00\x00", leftover));
      }
      block_offset_ = 0;
    }

    const size_t avail = kBlockSize - block_offset_ - kHeaderSize;
    const size_t fragment_length = (left < avail) ? left : avail;

    RecordType type;
    const bool end = (left == fragment_length);{// 判断本段能否写完
    if (begin && end) {     // 开始结束都在本block
      type = kFullType;
    } else if (begin) {     // 开始在本block，结束不在
      type = kFirstType;
    } else if (end) {       // 结束在，开始不在
      type = kLastType;
    } else {                // 开始结束都不在本block
      type = kMiddleType;
    }
       // encode 然后再写入文件中
    s = EmitPhysicalRecord(type, ptr, fragment_length);
    ptr += fragment_length;
    left -= fragment_length;
    begin = false;
  } while (s.ok() && left > 0);
  return s;
}

读日志的代码在log_reader.cc中，代码的逻辑比写负责很多，主要是读入时会需要增加很多错误处理相关的内容，具体的代码不在罗列，理解了日志文件的格式以后的很容易就能读懂。当然同时其异常处理的逻辑也是我们码农们学习的材料，理解一下高手们是如何进行各种错误处理的。

leveldb源码分析--日志