leveldb源码分析之内存池Arena

转自：http://luodw.cc/2015/10/15/leveldb-04/

这篇博客主要讲解下leveldb内存池，内存池很多地方都有用到，像linux内核也有个内存池。内存池的存在主要就是减少malloc或者new调用的次数，较少内存分配所带来的系统开销。

Arena类采用vector来存储每次分配内存的指针，每一次分配的内存，我们称为一个块block。block默认大小为4096kb。我们可以先看下Arena的模型：

我们来看看源码： 首先看下这个类的几个成员变量：


1

2

3

4


char* alloc_ptr_;//内存的偏移量指针，即指向未使用内存的首地址

size_t alloc_bytes_remaining_;//还剩下的内存数

std::vector<char*> blocks_;//存储每一次分配的内存指针

size_t blocks_memory_;//到目前为止分配的总内存。

构造函数和析构函数：


1

2

3

4

5

6

7

8

9

10

11

12


Arena::Arena() {

blocks_memory_ = 0;

alloc_ptr_ = NULL; // First allocation will allocate a block

alloc_bytes_remaining_ = 0;

}//构造函数初始化总总分配的内存为0，指针偏移量为NULL,剩余内存为0。

vector会调用默认构造函数初始化。

Arena::~Arena() {

for (size_t i = 0; i < blocks_.size(); i++) {

delete[] blocks_[i];

}

}//Arena析构时，只需要把所有的指针指向的内存都delete就可以了。

都说谷歌的C++编程风格是最优美的。leveldb里面的每个类的构造函数都直接初始化所有的属性，这样就不会导致使用为初始化的变量，而且代码很清晰，知道哪些属性被初始化为何值。

接下来分析下Arena内存分配的主要函数。


1

2

3

4

5


public:

char* Allocate(size_t bytes);

private:

char* AllocateFallback(size_t bytes);

char* AllocateNewBlock(size_t block_bytes);

Arena对外提供的接口是public里的函数，但是该函数会调用private里的两个函数.我分析内存分配策略。当要分配内存的时候：

  1. 如果需求的内存小于剩余的内存，那么直接在剩余的内存分配就可以了；
  2. 如果需求的内存大于剩余的内存，而且大于4096/4，则给这内存单独分配一块bytes（函数参数）大小的内存。
  3. 如果需求的内存大于剩余的内存，而且小于4096/4，则重新分配一个内存块，默认大小4096，用于存储数据。

针对第二点，按源码的注释是说避浪费太多的剩余空间。我的理解是，如果剩余的内存为1500kb，那么假设有一个内存需求是500kb，一个内存需求是1500kb,则第一个需求可以使用三次才导致进行一次重新内存分配，而第二个只能使用一次就要进行一次重新内存分配。所以leveldb第二条的用意主要还是减少内存分配的次数。

源码如下：


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39


inline char* Arena::Allocate(size_t bytes) {

// The semantics of what to return are a bit messy if we allow

// 0-byte allocations, so we disallow them here (we don‘t need

// them for our internal use).

assert(bytes > 0);

if (bytes <= alloc_bytes_remaining_) {//需要的内存小于剩余的内存，直接分配，

//移动指针偏移量，减少剩余内存，返回刚分配内存的首位置

char* result = alloc_ptr_;//先保存指针偏移量，用于返回

alloc_ptr_ += bytes;//指针偏移量向上移动bytes个字节

alloc_bytes_remaining_ -= bytes;//剩余内存减少bytes个字节

return result;

}

return AllocateFallback(bytes);//当需求内存大于剩余内存时

}

char* Arena::AllocateFallback(size_t bytes) {

if (bytes > kBlockSize / 4) {//需求内存大于1024kb时

// Object is more than a quarter of our block size. Allocate it separately

// to avoid wasting too much space in leftover bytes.

char* result = AllocateNewBlock(bytes);

return result;

}

// We waste the remaining space in the current block.

alloc_ptr_ = AllocateNewBlock(kBlockSize);//需求内存大于剩余内存，且小于1024时。

alloc_bytes_remaining_ = kBlockSize;

char* result = alloc_ptr_;

alloc_ptr_ += bytes;

alloc_bytes_remaining_ -= bytes;

return result;

}

char* Arena::AllocateNewBlock(size_t block_bytes) {

char* result = new char[block_bytes];//分配内存

blocks_memory_ += block_bytes;//总的内存加上刚分配的内存

blocks_.push_back(result);//添加进内存指针数组

return result;

}

arena还提供了字节对齐内存分配，一般情况是8个字节对齐分配，即内存地址后三位必须为0.我们来看下源码，挺多学问的。


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23


char* Arena::AllocateAligned(size_t bytes) {

//用于判断对齐的大小，我64位电脑sizeof(void*)=8，不大于8，所以对齐大小为8。

const int align = (sizeof(void*) > 8) ? sizeof(void*) : 8;

//用于判断align是否为2的次幂，内存对齐肯定是2的次幂。

assert((align & (align-1)) == 0);

//判断当前的模式，align-1后三位为1，其他都为0，所以指针与align-1做与运算，

//其实就是指针与align求余运算。例如如果地址值为9，9&7，则最后一位为1，9%8=1。

size_t current_mod = reinterpret_cast<uintptr_t>(alloc_ptr_) & (align-1);

//根据当前的模式，算出需要添加的字节数

size_t slop = (current_mod == 0 ? 0 : align - current_mod);

size_t needed = bytes + slop;//原来需求的字节大小，加上为了对齐补充的字节大小

char* result;

if (needed <= alloc_bytes_remaining_) {

result = alloc_ptr_ + slop;

alloc_ptr_ += needed;

alloc_bytes_remaining_ -= needed;

} else {

// AllocateFallback always returned aligned memory

result = AllocateFallback(bytes);

}

assert((reinterpret_cast<uintptr_t>(result) & (align-1)) == 0);

return result;

}

这里边有一个uintptr_t类型，定义在<stddef.h>头文件里，是无符号长整形类型，是typedef unsigned long int 类型，对应有符号类型为typedef long int intptr_t。这种类型是机器指针大小对应,如果32位系统，则uintptr_t也为32位，如果是64位系统，则这个值为64位。

Arena最后一个对外接口是返回这个内存池分配总的内存大小。


1

2

3


size_t MemoryUsage() const {

return blocks_memory_ + blocks_.capacity() * sizeof(char*);

}

Arena内存大小包括分配的内存空间大小和所有指针大小之和。

Arena在memtabla（也就是跳跃链表）使用较多，因为刚插入的内存数据都放在了memtable里。

至此Arena就分析结束了。

原文地址：https://www.cnblogs.com/zhousong918/p/11080039.html

时间： 2024-11-02 08:33:11

leveldb源码分析之内存池Arena的相关文章

STL源码分析之内存池

前言 上一节只分析了第二级配置器是由多个链表来存放相同内存大小, 当没有空间的时候就向内存池索取就行了, 却没有具体分析内存池是怎么保存空间的, 是不是内存池真的有用不完的内存, 本节我们就具体来分析一下 内存池 static data template的初始化 template <bool threads, int inst> char *__default_alloc_template<threads, inst>::start_free = 0; // 内存池的首地址 tem

leveldb源码分析--Memtable

本节讲述内存中LevelDB的数据结构Memtable,Memtable义如其名即为内存中的KV Table,即LSM-Tree中的C0 Tree.我们知道在LSM-Tree中刚插入的的KV数据都是存储在内存中,当内存中存储的数据超过一定量以后再写到磁盘中.而对于leveldb来说这个过程演变为内存中的数据都是插入到MemTable中,当MemTable中的数据超过一定量(Options.write_buffer_size)以后MemTable就转化为Immutable Memtable等待du

redis 源码分析(一) 内存管理

一,redis内存管理介绍 redis是一个基于内存的key-value的数据库,其内存管理是非常重要的,为了屏蔽不同平台之间的差异,以及统计内存占用量等,redis对内存分配函数进行了一层封装,程序中统一使用zmalloc,zfree一系列函数,其对应的源码在src/zmalloc.h和src/zmalloc.c两个文件中,源码点这里. 二,redis内存管理源码分析 redis封装是为了屏蔽底层平台的差异,同时方便自己实现相关的函数,我们可以通过src/zmalloc.h 文件中的相关宏定义

leveldb源码分析--SSTable之TableBuilder

上一篇文章讲述了SSTable的格式以后,本文结合源码解析SSTable是如何生成的. void TableBuilder::Add(const Slice& key, const Slice& value) { //如果已经插入过数据,那么要保证当前插入的key > 之前最后一次插入的key, // SSTable必须是有序的插入数据 if (r->num_entries > 0) { assert(r->options.comparator->Compar

LevelDB源码分析--Cache及Get查找流程

本打算接下来分析version相关的概念,但是在准备的过程中看到了VersionSet的table_cache_这个变量才想起还有这样一个模块尚未分析,经过权衡觉得leveldb的version相对Cache来说相对复杂,而且version虽然对整个leveldb来说实现上跟其他功能十分紧密,但是从概念上来说却相对弱很多,有点感觉是附加的功能的感觉.所以从介绍系统首先应该注意的是整个系统概念的完整性的角度说还是先分析Cache相关的功能. 我们先来看Cache的基本框架结构数据: struct

leveldb源码分析--SSTable之Compaction

对于compaction是leveldb中体量最大的一部分,也应该是最为复杂的部分,为了便于理解我们首先从一些基本的概念开始.下面是一些从doc/impl.html中翻译和整理的内容: Level 0 当日志文件超过一定大小的阈值是 (默认为 1MB): 建立一个新的memtable和日志文件,以后的操作都是用新的memtable和日志文件 后台进行如下操作: 将旧的 memtable写到SSTable中(过程为先转为immtable_table,然后遍历写入) 废弃旧的 memtable 删除

leveldb源码分析--插入删除流程

由于网络上对leveldb的分析文章都比较丰富,一些基础概念和模型都介绍得比较多,所以本人就不再对这些概念以专门的篇幅进行介绍,本文主要以代码流程注释的方式. 首先我们从db的插入和删除开始以对整个体系有一个感性的认识,首先看插入: Status DB::Put(const WriteOptions& opt, const Slice& key, const Slice& value) { WriteBatch batch; //leveldb中不管单个插入还是多个插入都是以Wri

leveldb源码分析—Recover和Repair

leveldb作为一个KV存储引擎将数据持久化到磁盘,而对于一个存储引擎来说在存储过程中因为一些其他原因导致程序down掉甚至数据文件被破坏等都会导致程序不能按正常流程再次启动.那么遇到这些状况以后如何使程序最大程度的恢复数据就是非常重要的一项工作,leveldb也提供了这方面的工作. 首先来看recover,这是每一次启动数据库的时候都会呗调用到的流程.其功能是恢复数据库在运行中突然因为某些原因down掉而这个时候leveldb中的丢失的当前状态,以及memtable甚至immtable中还未

LevelDB源码分析--Iterator

我们先来参考来至使用Iterator简化代码2-TwoLevelIterator的例子,略微修改希望能帮助更加容易立即,如果有不理解请各位看客阅读原文. 下面我们再来看一个例子,我们为一个书店写程序,书店里有许多书Book,每个书架(BookShelf)上有多本书. 类结构如下所示 class Book { private: string book_name_; }; class Shelf { private: vector<Book> books_; }; 如何遍历书架上所有的书呢?一种实