memcachedb-持久化存储的缓存系统

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

memcached是一套分布式的快取系统,当初是Danga Interactive为了LiveJournal所发展的,但目前被许多软件(如MediaWiki)所使用。这是一套开放源代码软件,以BSD license授权释出。[1]   memcached缺乏认证以及安全管制,这代表应该将memcached服务器放置在防火墙后。[1]   memcached的API使用三十二位元的循环冗余校验(CRC-32)计算键值后,将资料分散在不同的机器上。当表格满了以后,接下来新增的资料会以LRU机制替换掉。由于memcached通常只是当作快取系统使用,所以使用memcached的应用程式在写回较慢的系统时(像是后端的数据库)需要额外的程式码更新memcached内的资料[1]   memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。   这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。   Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态、数据库驱动网站更快的运行速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。但是它并不提供冗余(例如,复制其hashmap条目);当某个服务器S停止运行或崩溃了,所有存放在S上的键/值对都将丢失。   Memcached由Danga Interactive开发,其最新版本发布于2010年,作者为Anatoly Vorobey和Brad Fitzpatrick。用于提升LiveJournal . com访问速度的。LJ每秒动态页面访问量几千次,用户700万。Memcached将数据库负载大幅度降低,更好的分配资源,更快速访问。

特征  memcached作为高速运行的分布式缓存服务器,具有以下的特点。   · 协议简单   · 基于libevent的事件处理   · 内置内存存储方式   · memcached不互相通信的分布式
协议
  memcached的服务器客户端通信并不使用复杂的XML等格式,而使用简单的基于文本行的协议。   因此,通过telnet也能在memcached上保存数据、取得数据。下面是例子。   $ telnet localhost 11211   Trying 127.0.0.1...   Connected to localhost.localdomain (127.0.0.1).   Escape character is ‘^]‘.   set foo 0 0 3 (保存命令)   bar (数据)   STORED (结果)   get foo (取得命令)   VALUE foo 0 3 (数据)   bar (数据)
事件处理
  libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加,也能发挥O(1)的性能。memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍,可以参考Dan Kegel的The C10K Problem。
存储方式
  为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器,因此并没有过多考虑数据的永久性问题。
通信分布式
  memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么,怎样进行分布式呢?这完全取决于客户端的实现。本文也将介绍memcached的分布式。功能  一个用PHP编写的可视化的MemCached管理系统   MemAdmin是一款可视化的Memcached管理与监控工具,使用PHP开发,体积小,操作简单。   主要功能:   服务器参数监控:STATS、SETTINGS、ITEMS、SLABS、SIZES实时刷新   服务器性能监控:GET、DELETE、INCR、DECR、CAS等常用操作命中率实时监控   支持数据遍历,方便对存储内容进行监视   支持条件查询,筛选出满足条件的KEY或VALUE   数组、JSON等序列化字符反序列显示   兼容memcache协议的其他服务,如Tokyo Tyrant (遍历功能除外)   支持服务器连接池,多服务器管理切换方便简洁使用技巧  许多语言都实现了连接memcached的客户端,其中以Perl、PHP为主。仅仅memcached网站上列出   的语言就有   · Perl   · PHP   · Python   · Ruby   · C#   · C/C++   · Lua   等等。   如何使用memcached-Server端   在服务端运行:   # ./memcached -d -m 2048 -l 10.0.0.40 -p 11211   这将会启动一个占用2G内存的进程,并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址,所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程,并在不同端口进行监听。   如何使用memcached-Client端   在应用端包含一个用于描述Client的Class后,就可以直接使用,非常简单。   PHP Example:   $options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212");   $options["debug"] = false;   $memc = new MemCachedClient($options);   $myarr = array("one","two", 3);   $memc->set("key_one", $myarr);   $val = $memc->get("key_one");   print $val[0]."\n"; // prints ‘one‘   print $val[1]."\n"; // prints ‘two‘   print $val[2]."\n"; // prints 3版本发布  2012年02月03日,Memcached 1.4.13 发布。[2]   2012年08月02日,Memcached 1.4.14 发布。[3]   2012年09月05日,Memcached 1.4.15 发布。[4]

memcachedb-持久化存储的缓存系统
memcachedb故名思义就是 memcached + bdb,是基于memcached Socket层和berkeley-db存储层结构的实现, 是新浪互动社区技术团队2007年的一项重大的技术成果,现在应用于新浪互动社区多个产品线中,其中包括新浪博客等重头产品。能够实现任意memcache api的调用、数据实时落地以及主辅实时备份。

选择memcachedb:没 有什么特殊的原因,我们有最好的理由就是,在做到最大不牺牲数据读、写性能的前提下,我们能够让您原来存储在memcache里的数据不再遭受系统宕机或 者系统掉电而丢失,即使服务器电源爆炸了,只要硬盘还能够正常工作,换到另外一台服务器上,您的数据依然安然无恙地在硬盘上。

性能:我们做过小数据测试,小数据(几十个字节)数据的读写,每秒钟并发能够维持在5000+(单块146Scis硬盘,CPU和内存配置几乎可以忽略因为这不是性能瓶颈)。基本上满足所有互联网高效存储的应用。

应用场合:需 要频繁读写的小数据。例如数字类服务就像点击数,需要频繁写入小数据的例如评论系统,需要记录用户状态的例如在线人数以及在线用户等等。当然,如果您想用 来存储单笔超过10K以上的数据,例如新闻或者文章或者论坛帖子也可以,但是我们没有尝试过,如果您真的用来这样子玩了,可以反馈给我。

数据备份&&读写分离:memcachedb支持主辅实时无差异同步,配置主服务和辅服务仅仅需要很短的一条启动命令。当然,您也可以利用这一便利特性来实现读写分离,那样子会让您的系统更加的高效。

稳定性:memcachedb目前被应用于新浪互动社区多个产品线中,具有钢铁般的品质。

缺点:memcached不支持内存对象的遍历操作,当然更加不能支持复杂的查询操作,只能支持根据已知的key去查询对应的value。但后续我会介绍另外一个东东memcache_engine,它为mysql提供了一个memcached引擎。

一、安装
直接在memcached-1.2.2.tar.gz找到INSTALL文件,按照步骤安装就行了。很简单。

二、启动
#第一种,读写合并模式,即不做辅拷贝,即读又写,不做冗余备份
memcachedb -p21211 -d -r -u root -H /data/mdb_11211 -N

#第二种,读写分离/备份模式
#主服务器 192.168.0.1 读写监听 11211 ,同步通过31211的端口完成,不占用繁忙的主服务端口
memcachedb -p21211 -d -r -u root -H /data/mdb_11211_m -N -R 127.0.0.1:31211 -M

# 辅服务器 192.168.0.2 只读监听 21212,从192.168.0.1 的 31211端口同步数据,同时再开一个31212端口对外提供数据同步服务
memcachedb -p21212 -d -r -u root -H /data/mdb_11211_from_16801_s -O 192.168.0.1:31211 -R 192.168.0.2:31212 -S

时间: 2024-11-07 13:48:45

memcachedb-持久化存储的缓存系统的相关文章

浅谈缓存系统的三个问题

一.无处不在的缓存缓存在计算机系统是无处不在,在CPU层面有L1-L3的Cache,在Linux中有TLB加速虚拟地址和物理地址的转换,在应用层有Redis等内存数据库缓存.在浏览器有本地缓存.手机有本地文件缓存等等.可见,缓存在计算机系统中有非常重要的地位,主要作用就是提高响应速度.减少磁盘读取等,本文主要讨论在高并发系统中的缓存系统.一句话概括缓存系统在高并发系统中的地位的话,就是: 如果高并发系统是烤羊肉串,那么缓存系统就是那一撮孜然...... 二.高并发系统中的缓存 缓存系统的作用 缓

iOS持久化存储

如何将数据持久化存储在iOS系统上,Cocoa提供了4种机制:1 NSUserdefaults主要用来存储一些短小的信息,例如应用程序设置和属性及用户数据.2 属性列表以列表的形式把数据存储到磁盘上.属性列表类包括NSArray, NSDictionary, NSString, NSNumber, NSDate, NSdata.这些类型的数据可用直接调用writeToFile和相应的加载函数来存储到磁盘和从磁盘读出.相应的加载函数有:arrayWithContentsOfFile:diction

Memcache 内存对象缓存系统

简介: Memcached 是一个高性能的分布式内存存储对象缓存系统,用于动态 WEB 应用以减轻数据库负载. 它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提供动态.数据库驱动网站的速度. Memcached 基于一个存储键/值对的 hashmap . 其守护进程是用 C 写的,但是客户端可以用任何语言来编写,并通过 Memcached 协议与守护进程通信,且它不提供冗余; 当某个服务器停止运行或崩溃了,所有放在该服务器上的键/值对都将丢失. 下载地址: http://jaist.d

架构设计:系统存储(16)——Redis事件订阅和持久化存储

接上文<架构设计:系统存储(15)--Redis基本概念和安装使用> 3-4.事件功能和配置项 Redis从2.X版本开始,就支持一种基于非持久化消息的.使用发布/订阅模式实现的事件通知机制.所谓基于非连接保持,是因为一旦消息订阅者由于各种异常情况而被迫断开连接,在其重新连接后,其离线期间的事件是无法被重新通知的(一些Redis资料中也称为即发即弃).而其使用的发布/订阅模式,意味着其机制并不是由订阅者周期性的从Redis服务拉取事件通知,而是由Redis服务主动推送事件通知到符合条件的若干订

Android系统应用信息中存储和缓存的计算方法

进行如下操作: 设置->应用->选择一个应用->应用信息 会到达如下界面: 可以看到这个应用占用的磁盘空间. 先说结果,这几项会计算哪些文件(夹). 1.应用,由三项相加组成 /data/data/com.myapp/lib,即so库文件夹大小 /data/app/com.myapp-1.apk,原始apk文件的复制 /data/dalvik-cache/[email protected]@[email protected],dalvik虚拟机对dex文件的缓存 2.USB存储(应用).

两大数据库缓存系统实现对比

和redis,作为近些年最常用的缓存服务器,相信大家对它们再熟悉不过了.前两年还在学校时,我曾经读过它们的主要源码,如今写篇笔记从个人角度简单对比一下它们的实现方式,权当做复习,有理解错误之处,欢迎指正. 两大数据库缓存系统实现对比两大数据库缓存系统实现对比一. 综述读一个软件的源码,首先要弄懂软件是用作干什么的,那memcached和redis是干啥的?众所周知,数据一般会放在数据库中,但是查询数据会相对比较慢,特别是用户很多时,频繁的查询,需要耗费大量的时间.怎么办呢?数据放在哪里查询快?那

集群环境中使用 EhCache 缓存系统

EhCache 缓存系统 : 本章节将要介绍EhCache及EhCache实现分布式的一些解决方案.并针对于这些解决性方案做一个实现,后续将出一个提供项目模块化.服务化.插件化的VieMall快速开发平台,同时集成Dubbo服务化.Zookeeper(分布式调度/分布式配置管理服务).Redis分布式缓存技术及Memcache/Ehcache 二级缓存切换.FastDFS分布式文件系统.ActiveMQ异步消息中间件.Solr搜索.Nginx负载均衡等分布式及读写分离.如果有时间可以深入分表分库

(转)Memcache,Redis,MongoDB(数据缓存系统)方案对比与分析

Memcache,Redis,MongoDB(数据缓存系统)方案对比与分析 数据库表数据量极大(千万条),要求让服务器更加快速地响应用户的需求. 二.解决方案: 1.通过高速服务器Cache缓存数据库数据 2.内存数据库 (这里仅从数据缓存方面考虑,当然,后期可以采用Hadoop+HBase+Hive等分布式存储分析平台) 三.主流解Cache和数据库对比: 上述技术基本上代表了当今在数据存储方面所有的实现方案,其中主要涉及到了普通关系型数据库(MySQL/PostgreSQL),NoSQL数据

持久化存储 --- SQLite3 的使用

一.为什么要使用SQLite3,什么是SQLite3,常见的数据库可以用于移动端嘛? 1.持久化存储的方式有以下几种: 1.plist 只能存储NSDictionary 和NSArray的数据. 2.Preference 偏好设置NSUserDefaults,存取方便,但只能存储小数据. 3.NSCoding (NSKeyedArchiver\NSkeyedUnarchiver)归档可以存储大数据,但是不方便存取,每次存储都会覆盖上一次的内容. 4.SQLite3 重点,存储速度快,而且可以存储