berkeley db 内存池 LRU算法

priority based lru

in src/mp/mp_fget.c, __memp_fget(), 初始化 一个page buffer时, 设置其 priority:

    bhp->priority = MPOOL_LRU_REDZONE;
    

in src/mp/mp_fget.c, __memp_fput(), 对一个page buffer做put, 使其reference减一. bhp->ref--, 若reference减为0, 则调整其 priority. 下面的 bhp->priority = c_mp->lru_priority; 和 ++c_mp->lru_priority 保证LRU; 而且根据传入的 priority参数做相应的调整.
prioriry最大为UINT32_MAX, 所以有可能需要 wraparound. __memp_reset_lru() 降低 所有page buffer的priority.

/* Update priority values. */
if (priority == DB_PRIORITY_VERY_LOW ||
    mfp->priority == MPOOL_PRI_VERY_LOW)
    bhp->priority = 0;
else {
    /*
     * We don‘t lock the LRU priority or the pages field, if
     * we get garbage (which won‘t happen on a 32-bit machine), it
     * only means a buffer has the wrong priority.
     */
    bhp->priority = c_mp->lru_priority;

    switch (priority) {
    default:
    case DB_PRIORITY_UNCHANGED:
        pfactor = mfp->priority;
        break;
    case DB_PRIORITY_VERY_LOW:
        pfactor = MPOOL_PRI_VERY_LOW;
        break;
    case DB_PRIORITY_LOW:
        pfactor = MPOOL_PRI_LOW;
        break;
    case DB_PRIORITY_DEFAULT:
        pfactor = MPOOL_PRI_DEFAULT;
        break;
    case DB_PRIORITY_HIGH:
        pfactor = MPOOL_PRI_HIGH;
        break;
    case DB_PRIORITY_VERY_HIGH:
        pfactor = MPOOL_PRI_VERY_HIGH;
        break;
    }

    adjust = 0;
    if (pfactor != 0)
        adjust = (int)c_mp->pages / pfactor;

    if (F_ISSET(bhp, BH_DIRTY))
        adjust += (int)c_mp->pages / MPOOL_PRI_DIRTY;

    if (adjust > 0) {
        if (MPOOL_LRU_REDZONE - bhp->priority >=
            (u_int32_t)adjust)
            bhp->priority += adjust;
    } else if (adjust < 0)
        if (bhp->priority > (u_int32_t)-adjust)
            bhp->priority += adjust;
}

...

/*
 * On every buffer put we update the cache lru priority and check
 * for wraparound. The increment doesn‘t need to be atomic: occasional
 * lost increments are okay; __memp_reset_lru handles race conditions.
 */
if (++c_mp->lru_priority >= MPOOL_LRU_REDZONE &&
    (t_ret = __memp_reset_lru(env, infop)) != 0 && ret == 0)
    ret = t_ret;

return (ret);

src/mp/mp_alloc.c, __memp_alloc(), 无法分配新的 buffer的内存时, 则重用已有的 buffer内存. 算法很复杂, 单独写一个吧.

时间: 2024-10-17 10:28:01

berkeley db 内存池 LRU算法的相关文章

berkeley db 内存池分配机制

__memp_alloc() 注: MPOOL_ALLOC_SEARCH_DYN 没有 出现在 bdb document上, 也没出现在 除了mp_alloc外的代码里. 先删了 以便代码清楚. 按 mpool初始化代码来看, 一个hash bucket上 假定为 2.5个buffer. 查找有 三层嵌套: 遍历mpool region所有的hash bucket 遍历 此bucket的 buffer list 遍历此buffer的 version chain 用了 两个 栈内变量 标记 mtx

内存池--伙伴算法的实践

内存池主要分为三个部分:class buffer_t,class bufferpool_t,class mempool_t 1.class mempool_t:内存开辟与释放的接口,既可以通过内存池开辟释放或者在超过内存池最大内存分配大小时,通过系统进行开辟与释放. 2.class bufferpool_t:在mempool_t中申请的实际内存大小2^n(2^n<=最大内存分配大小)内存池)对应于一个bufferpool_t,一个bufferpool_t由list链表来管理多个2^n大小的内存块

使用java.util.LinkedList模拟实现内存页面置换算法--LRU算法

一,LRU算法介绍 LRU算法是最近最少未使用算法.当内存缺页时,总是优先选出距离当前最久未使用的页面换出,并把当前的缺页换入.该算法可用栈模拟实现. 栈顶总是保存当前最近访问的页面号,栈底则总是保存最久未访问的页面号.对于下一个页面,有两种情况: ①命中,则需要:更新栈顶元素.即将当前命中的页面号放到栈顶. ②未命中,这里还需要考虑栈是否满了.1)若栈未满,直接将未命中的页面号放到栈顶即可.2)栈已经满了,则需要选中一页换出(栈底元素是最久未访问的页面),然后再将新页面放入栈顶. 二,代码实现

Linux内核-内存回收逻辑和算法(LRU)

Linux内核内存回收逻辑和算法(LRU) LRU 链表 在 Linux 中,操作系统对 LRU 的实现主要是基于一对双向链表:active 链表和 inactive 链表,这两个链表是 Linux 操作系统进行页面回收所依赖的关键数据结构,每个内存区域都存在一对这样的链表.顾名思义,那些经常被访问的处于活跃状态的页面会被放在 active 链表上,而那些虽然可能关联到一个或者多个进程,但是并不经常使用的页面则会被放到 inactive 链表上.页面会在这两个双向链表中移动,操作系统会根据页面的

探究redis和memcached的 LRU算法--------redis的LRU的实现

一直对这redis和memcached的两个开源缓存系统的LRU算法感兴趣.今天就打算总结一下这两个LRU算法的实现和区别. 首先要知道什么是LRU算法:LRU是Least Recently Used 近期最少使用算法.相关的资料网上一大堆.http://en.wikipedia.org/wiki/Cache_algorithms#LRU   redis的六种策略 rewriteConfigEnumOption(state,"maxmemory-policy",server.maxme

BDB (Berkeley DB)数据库简单介绍(转载)

近期要使用DBD,于是搜了下相关的资料,先贴个科普性的吧: 转自http://www.javaeye.com/topic/202990 DB综述DB最初开发的目的是以新的HASH訪问算法来取代旧的hsearch函数和大量的dbm实现(如AT&T的dbm,Berkeley的ndbm,GNU项目的gdbm),DB的第一个发行版在1991年出现,当时还包括了B+树数据訪问算法.在1992年,BSD UNIX第4.4发行版中包括了DB1.85版.基本上觉得这是DB的第一个正式版.在1996年中期,Sle

Berkeley DB

Berkeley DB基础教程 http://blog.csdn.net/jediael_lu/article/details/27534223 Berkeley DB教程之三:读写数据的几种方法的比较 http://www.micmiu.com/nosql/berkeley/berkeley-write-read-data/ 三.一个简单的BDB JE例子 http://blog.csdn.net/ms_x0828/article/details/5506324 Berkeley DB基础教程

Berkeley DB基础教程

一.Berkeley DB的介绍 (1)Berkeley DB是一个嵌入式数据库,它适合于管理海量的.简单的数据.如Google使用其来保存账户信息,Heritrix用其来保存froniter. (2)key/value是Berkeley DB用来管理数据的基础,每个key/value对代表一条记录. (3)Berkeley DB在底层实现采用B树,可以看成能够存储大量数据的HashMap. (4)它是Oracle公司的一个产品,C++版本最新出现,之后JAVA等版本也陆续出现.它不支持SQL语

了解 Oracle Berkeley DB 可以为您的应用程序带来 NoSQL 优势的原因及方式。

将 Oracle Berkeley DB 用作 NoSQL 数据存储 作者:Shashank Tiwari 2011 年 2 月发布 “NoSQL”是在开发人员.架构师甚至技术经理中新流行的一个词汇.尽管这个术语最近很流行,但令人惊讶的是,它并没有一个普遍认可的定义. 通常来说,任何非 RDBMS 且遵循无模式结构的数据库一般都不能完全支持 ACID 事务,并且因高可用性的承诺以及在横向伸缩环境中支持大型数据集而普遍被归类为“NoSQL 数据存储”.鉴于这些共同特征(与传统的 RDBMS 的特征