分布式memcached学习(三)——memcached内存管理机制

 

几个重要概念

Slab

memcached通过slab机制进行内存的分配和回收,slab是一个内存块,它是memcached一次申请内存的最小单位,。在启动memcached的时候一般会使用参数-m指定其可用内存,但是并不是在启动的那一刻所有的内存就全部分配出去了,只有在需要的时候才会去申请,而且每次申请一定是一个slab。Slab的大小固定为1MB(1MB=1024KB=1024×1024B=1048576B,1048576字节),一个slab由若干个大小相等的chunk组成。

Slab的分类

根据chunk的大小而将Slab分为不同的类,chunk大小的增幅由增长因子factor决定。根据memcached版本的不同而分类也各有不同,-vv查询分类。

 

Chunk

chunk是Slab的组成单位,每个Slab都被分割成大小相等的chunk,分割Slab时,不够一个chunk大小的内存空间将被不可以避免的浪费(内存碎片化)。每个chunk中都保存了一个item结构体,item结构体由属性域和数据域组成,数据域中有一个变长数据data,是真正存储缓存记录key和value的地方。

 

图memcached Slab 分类示意图

 

源码

typedef struct _stritem {

//属性域

struct _stritem *next;

struct _stritem *prev;

......

//数据域

union {

        uint64_t cas;

        char end;

    } data[];

} item;

 

Chunk的计算

对于Slab 分类 i,求Slab 分类 i中的chunk的大小:

chunkSize  =  (default_size + item_size)*f^(i-1)  +  CHUNK_ALIGN_BYTES

各参数含义:

l i,分类

l default_size,默认大小为48字节,也就是item结构体中数据域的大小为48字节,可以通过-n参数来调节其大小

l item_size, item结构体的长度,固定为32字节

l f,factor,增长因子,是chunk变化大小的因素,默认值为1.25,调节f可以改变chunk的增幅,在启动时可以使用-f来指定

l CHUNK_ALIGH_BYTES 是一个长常量值,用来保证chunk的大小是这个常量值的整数倍,防止越界。CHUNK_ALIGH_BYTES 大小为sizeof(void *)

例如:void *的长度在不同系统上不一样,在32位机器上,sizeof(void *)值为4

所以,在32为的系统中,Slab 分类1中chunk的大小为:

chunkSize1  =  (48 + 32)* 1.25^(1-1)  +  4 = 84(有待验证)

从chunkSize的计算公式可以看出,可以通过调节-n,-f参数来调整chunk的大小,这也是实际中mecahced调优的关键,合理的调节-n,-f参数以充分利用内存资源,尽可能的减少内存碎片化。

 

内存分配

当我们通过add命令向memcached中添加一条记录的时候,memcached会根据数据的大小选择合适的slab,memcached维护着slab中空闲的chunk列表,并从中选择一块分配给要添加的记录。

如要存的item大小为100byte,chunk大小为80byte的slab将存不下,而chunk大小为120byte的slab又有剩余,此时memcached会将数据存到chunk大小为120byte的slab中。而剩余的20byte空间将不可避免的浪费。

需要注意的是,当chunk大小为120byte的slab已经满时,memcached并不会寻找更大chunk的slab,如chunk大小为140byte的slab来存储,而是把chunk大小为120byte的slab中的旧数据踢掉。

增长因子调优

memcached 在启动时可以通过-f 选项指定增长因子,默认为1.25。增长因子的不同,chunk大小也不同,应根据实际情况,指定合理的增长因子避免过多的内存空间浪费。

过期数据惰性删除

Memcached中,当某个chunk 中的数据过期后,并不会马上从内存中删除,因此,使用stats 统计时,curr_item 中仍然有其信息,直到新的数据占用该chunk ;当试图去get改数据时,先判断是否过期,如果过期则返回空并清空chunk,curr_item减1。过期数据不会马上删除,这种机制称为lazy expiration,即惰性失效,好处是不需要另外去检查数据是否失效,节省了CUP的检测成本。

LRU删除机制

和操作系统内存管理类似,memcached数据删除机制使用的是“最近最少使用”机制(Least Recently Used)进行数据剔除,memcached通过维护一个计数器,来判断最近谁最少被使用,当有新的数据进来时,最近最少用的数据将被剔除。

memcached使用三十二位元的循环冗余校验(CRC-32)计算键值后,将数据分散在不同的机器上。当chunk满了以后,接下来新增的数据会以LRU机制替换掉。

即使某个key被设置永久有效期,也一样会被踢出来,即永久数据被踢现象。

 

 

参考文档:

 

http://kenby.iteye.com/blog/1423989

 

http://www.dexcoder.com/selfly/article/2248

 

http://www.dexcoder.com/selfly/series/63

 

http://www.cnblogs.com/luluping/archive/2009/01/14/1375456.html

 

 

 

 

 

 

 

 

 

 

时间: 2024-10-05 22:17:23

分布式memcached学习(三)——memcached内存管理机制的相关文章

memcached内存管理机制详解

    我们知道,memcached是一个内存缓存系统,因此对于内存的管理是需要使用者了解的.本文将对memcached的内存模型及管理机制做一个详细的描述. 基本概念 在开始之前,有必要先了解几个基本概念: 1.slab class:在memcached中,对元素的管理是以slab为单元进行管理的.每个slab class对应一个或多个空间大小相同的chunk.参考下图一. 2.chunk:存放元素的最小单元.用户数据item(key.value等)最终会保存在chunk中.memcach

memcache(三)内存管理

memcached(三)内存管理 memcached使用预申请的方式来管理内存的分配,从而避免内存碎片化的问题.如果采用mallo和free来动态的申请和销毁内存,必然会产生大量的内存碎片. 基本知识 slab:内存块是memcached一次申请内存的最小单元,在memcached中一个slab的默认大小为1M: slabclass:特定大小的chunk的组. chunk:缓存的内存空间,一个slab被划分为若干个chunk: item:存储数据的最小单元,每一个chunk都会包含一个item:

轻量级操作系统FreeRTOS的内存管理机制(三)

本文由嵌入式企鹅圈原创团队成员朱衡德(Hunter_Zhu)供稿. 轻量级操作系统FreeRTOS的内存管理机制(二)中讲到,heap2.c的内存管理机制会导致内存碎片的问题,系统运行久后会出现无法分配大块内存的情况,heap4.c中的管理机制提供了解决方法,它是在heap2.c的基础上添加了地址相邻空闲块间合并的功能,而heap5.c是对heap4.c的进一步扩展,它能够支持多块不连续分布的RAM空间作为堆使用,本篇将对heap4.c.heap5.c中的管理机制进行分析. 一.heap4.c

Cocos2d-x学习笔记—内存管理机制

Cocos2d-x 3.x内存管理机制 1:C++内存管理 1-1:内存分配区域 创建对象需要两个步骤:第一步,为对象分配内存:第二步,调用构造函数初始化内存.在第一步中,可以选择几个不同的分配区域.这几个区域如下: (1) 栈区域分配.栈内存分配运算内置于处理器的指令集中,效率很髙,但是分配的内 存容量有限.由处理器自动分配和释放,用来存放函数的参数值和局部变量的值等.在执 行函数时,函数内局部变量的存储单元都可以在栈上创建,函数执行结束时这些存储单元自动被释放. (2) 堆区域分配.从堆上分

你必须了解的java内存管理机制(三)-垃圾标记

本文在个人技术博客不同步发布,详情可用力戳 亦可扫描屏幕右侧二维码关注个人公众号,公众号内有个人联系方式,等你来撩... 相关链接(注:文章讲解JVM以Hotspot虚拟机为例,jdk版本为1.8) 1. 你必须了解的java内存管理机制-运行时数据区 2. 你必须了解的java内存管理机制-内存分配 3. 你必须了解的java内存管理机制-垃圾标记 前言 前面花了两篇文章对JVM的内存管理机制做了较多的介绍,通过第一篇文章先了解了JVM的运行时数据区,然后在第二篇文章中通过一个创建对象的实例介

cocos2dx[3.2](24)——内存管理机制

[参考] http://zh.wikipedia.org/wiki/引用计数 (引用计数--维基百科) http://cn.cocos2d-x.org/tutorial/show?id=2300 (引用计数和自动释放池) http://cn.cocos2d-x.org/tutorial/show?id=1331 (内存管理--绕不过去的坎) http://blog.csdn.net/legendof1991/article/details/23360131 (内存优化) https://gith

cocos2d-x学习之自动内存管理

一.自动内存管理 1)概述 C++语言默认是没有提供自动内存管理的.使用者需要自己分配,自己释放.在cocos2d-x里提供了一个自动内存管理的方案.主要是通过CCObject来提供的,用户只要继承了CCObject,就可以通过调用autorelease()来告诉系统进行自动内存管理. 一般用法就是:    CCLayer* pLayer = CreateLayer(s_nActionIdx);    pLayer->autorelease(); 2)自动内存管理的实现 自动内存管理的实现原理大

Spark内存管理机制

Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色.理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优. 在执行 Spark 的应用程序时,Spark 集群会启动 Driver 和 Executor 两种 JVM 进程,前者为主控进程,负责创建 Spark 上下文,提交 Spark 作业(Job),并将作业转化为计算任务(Task),在各个 Executor 进程间协调任务的调度,后者负责在

Qt的内存管理机制

当我们在使用Qt时不可避免得需要接触到内存的分配和使用,即使是在使用Python,Golang这种带有自动垃圾回收器(GC)的语言时我们仍然需要对Qt的内存管理机制有所了解,以更加清楚的认识Qt对象的生命周期并在适当的时机加以控制或者避免进入陷阱. 这篇文章里我们将学习QObject & parent对象管理机制,以及QWidget与内存管理这两点Qt的基础知识. QObject和内存管理 在Qt中,我们可以大致把对象分为两类,一类是QObject和它的派生类:另一类则是普通的C++类. 对于第

(重点)Python深入之Python内存管理机制你会吗?

前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理.作者:醍醐三叶 请注意:如果你平时学Python遇到问题找不到人解答?或者没有较全面的教程?可以点我进裙里面都有,自行去拿! 关于python的存储问题 (1)由于python中万物皆对象,所以python的存储问题是对象的存储问题,并且对于每个对象,python会分配一块内存空间去存储它 (2)对于整数和短小的字符等,python会执行缓存机制,即将这些对象进行缓存,不会为