深入理解memcached,高并发、懒惰与LRU(一)

1. Memcached如何支持高并发

Memcached使用多路复用I/O模型。传统阻塞I/O中,系统可能随时因为某个用户连接还没做好I/O准备而一直等待,知道这个连接做好准备。如果这是有其他的用户连接服务器,就很可能因为系统阻塞得不到响应。

而多路复用I/O是一种消息通知模式,用户连接做好I/O准备后,系统才会通知我们这个连接可以进行I/O操作。这样就不会阻塞在某个用户连接。因此memcached才支持高并发。

此外,memcached使用了多线程模式,在开启memcached服务器时 使用‘-t’参数可以指定要开启的线程数。但并不是线程数越多越好。一般设置为CPU核数,这样效率最高。因为线程越多,系统需要的线程调度时间越多。而把CPU线程数设置成CPU核数,系统调度的时间最少。

2. 删除过期item

Memcached为每个item设置了一个过期时间,但不是到期就把item从内存中删除,而是访问item时如果到了有效期,才把item删除,实现的代码如下:

<span style="font-family:Microsoft YaHei;font-size:18px;"><span style="font-family:Microsoft YaHei;font-size:14px;"><?
      //删除过期的item代码
      item *do_item_get_notedeleted(const char*key,const size_t nkey,bool *delete_locked){
             item *it = assoc_find(key ,nkey);
             if(delete_locked) *delete_locked =false;
             if(it != NULL && (it ->it_flags & ITEM_DELETED)){
                    if(!item_delete_lock_over(it)){
                           if(delete_locked)*delete_locked = true;
                           it = null;
                    }
             }
             if(it != null &&settings.oldest_live != 0 && settings.oldest_live <= current_time&& it -> time <= settings.oldest_live){
                    do_item_unlink(it);
                    it = null;
             }
             if(it != null && it ->exptime != 0 && it -> exptime <= current_time){
                    do_item_unlink(it);
                    it = null;
             }
             if(!it = null ){
                    it -> refcount ++;
                    DEBUG_REFCNT(it,'+');
             }
             return it;
}</span></span>

使用do_item_get_notedeleted函数在memcached中查找指定的item,从上面代码可知,当item过期时间早于当前时间时,便会删除此item。

延迟删除过期的iten到查找进行,可以提高memcached的效率。这样不必每时每刻检查过期item,从而提高CPU工作效率。

3. 使用LRU算法淘汰数据

使用slabs_alloc函数申请内存失败时,就开始淘汰数据了。淘汰规则是,从数据项列表尾部开始遍历,在列表中查找一个引用计数器为0的item,把此item释放掉。

为什么要从item列表尾部开始遍历呢? 因为memcached会把刚刚访问过的item放到item列表头部,所以尾部的item都是没有或很少访问的,这就是LRU算法的精髓。

如果在item列表找不到计数器为0的item,就查找一个3小时没有访问过的item。把他释放,如果还是找不到,就返回NULL(申请内存失败)。

从上面的分析可以知道,当内存不足时,memcached会把访问比较少或者一段时间没有访问的item淘汰,以便腾出内存空间存放新的item。

更多可以参考:

http://www.cnblogs.com/xianbei/archive/2011/01/18/1924893.html

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-09 05:05:06

深入理解memcached,高并发、懒惰与LRU(一)的相关文章

探索 ConcurrentHashMap 高并发性的实现机制

简介 ConcurrentHashMap 是 util.concurrent 包的重要成员.本文将结合 Java 内存模型,分析 JDK 源代码,探索 ConcurrentHashMap 高并发的具体实现机制. 由于 ConcurrentHashMap 的源代码实现依赖于 Java 内存模型,所以阅读本文需要读者了解 Java 内存模型.同时,ConcurrentHashMap 的源代码会涉及到散列算法和链表数据结构,所以,读者需要对散列算法和基于链表的数据结构有所了解. Java 内存模型 由

程序猿眼中的高并发

简单理解下高并发: 高并发是指在同一个时间点,有很多用户同时的访问URL地址,比如:淘宝的双11,双12,就会产生高并发,如贴吧的爆吧,就是恶意的高并发请求,也就是DDOS攻击,再屌丝点的说法就像玩撸啊撸被ADC暴击了一样,那伤害你懂得(如果你看懂了,这个说法说明是正在奔向人生巅峰的屌丝. 高并发会来带的后果 服务端: 导致站点服务器/DB服务器资源被占满崩溃,数据的存储和更新结果和理想的设计是不一样的,比如:出现重复的数据记录,多次添加了用户积分等. 用户角度: 尼玛,这么卡,老子来参加活动的

[转]高并发访问下避免对象缓存失效引发Dogpile效应

避免Redis/Memcached缓存失效引发Dogpile效应 Redis/Memcached高并发访问下的缓存失效时可能产生Dogpile效应(Cache Stampede效应). 推荐阅读:高并发下的 Nginx 优化方案 http://www.linuxidc.com/Linux/2013-01/78791.htm 避免Memcached缓存的Dogpile效应 Memcached的read-through cache流程:客户端读取缓存,没有的话就由客户端生成缓存.Memcached缓

多线程——探索 ConcurrentHashMap 高并发性的实现机制

ConcurrentHashMap 的结构分析 为了更好的理解 ConcurrentHashMap 高并发的具体实现,让我们先探索它的结构模型. ConcurrentHashMap 类中包含两个静态内部类 HashEntry 和 Segment.HashEntry 用来封装映射表的键 / 值对:Segment 用来充当锁的角色,每个 Segment 对象守护整个散列映射表的若干个桶.每个桶是由若干个 HashEntry 对象链接起来的链表.一个 ConcurrentHashMap 实例中包含由若

Memcached理解笔记4---应对高并发攻击

近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意攻击,不停的刷新产品各个服务入口,制造垃圾数据,消耗资源.他们的最好成绩,1秒钟可以并发6次,赶在Database入库前,Cache进行Missing Loading前,强占这其中十几毫秒的时间,进行恶意攻击. 相关链接: Memcached笔记——(一)安装&常规错误&监控Memcached笔记——(二)XMemcached&Spring集成 Memcached笔记——(三)Memcached使用总结  Memcached

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://freeze.blog.51cto.com/1846439/677348 此文凝聚笔者不少心血请尊重笔者劳动,转载请注明出处.违法直接人肉出电话 写大街上. http://freeze.blog.51cto.com/个人小站刚上线 http://www.linuxwind.com 有问题还可以来QQ群89342115交流. 今儿网友朋友说:freeze黔驴技穷了,博客也不更新,也

应对Memcached缓存失效,导致高并发查询DB的几种思路

原文地址: http://blog.csdn.net/hengyunabc/article/details/20735701 当Memcached缓存失效时,容易出现高并发的查询DB,导致DB压力骤然上升. 这篇blog主要是探讨如何在缓存将要失效时,及时地更新缓存,而不是如何在缓存失效之后,如何防止高并发的DB查询. 个人认为,当缓存将要失效时,及时地把新的数据刷到memcached里,这个是解决缓存失效瞬间高并发查DB的最好方法.那么如何及时地知道缓存将要失效? 解决这个问题有几种思路: 比

基于Redis/Memcached的高并发秒杀设计

如何设计高并发时的秒杀,是面试电商技术职位时必考的题目.今天在这里分享一下基于Redis或Memcached的技术方案,能解决重复提交.超发.高并发的问题. <?php //预定义总库存define("TOTAL_STOCK", 5);//预定义商品编号define("ITEM_ID", "ITEM_001"); $userId = $_GET['userId'];$userIdKey = ITEM_ID . '_' . $userId;

Memcached笔记——(四)应对高并发攻击

近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意攻击,不停的刷新产品各个服务入口,制造垃圾数据,消耗资源.他们的最好成绩,1秒钟可以并发6次,赶在Database入库前,Cache进行Missing Loading前,强占这其中十几毫秒的时间,进行恶意攻击. 相关链接: Memcached笔记——(一)安装&常规错误&监控Memcached笔记——(二)XMemcached&Spring集成 Memcached笔记——(三)Memcached使用总结  Memcached