（转）memcache缓存

转自：http://369369.blog.51cto.com/319630/833234/

memcache分布式缓存

Memcache知识点梳理

Memcached概念：
    Memcached是一个免费开源的，高性能的，具有分布式对象的缓存系统，它可以用来保存一些经常存取的对象或数据，保存的数据像一张巨大的HASH表，该表以Key-value对的方式存在内存中。
官网下载地址： http://www.memcached.org/
运行环境： linux，BSD，windows都可跑
协议理论：http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt （英文）

操作流程：

1、检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操作，路径操作为①②③⑦。
2、如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序明确实现），路径操作为①②④⑤⑦⑥。
3、每次更新数据库的同时更新memcached中的数据，保证一致性。
4、当分配给memcached内存空间用完之后，会使用LRU（Least Recently Used，最近最少使用）策略加上到期失效策略，失效数据首先被替换，然后再替换掉最近未使用的数据。

Memcached特征：
协议简单
   它是基于文本行的协议，直接通过telnet在memcached服务器上可进行存取数据操作
基于libevent事件处理
    Libevent是一套利用C开发的程序库，它将BSD系统的kqueue,Linux系统的epoll等事件处理功能封装成一个接口，与传统的select相比，提高了性能。
内置的内存管理方式
    所有数据都保存在内存中，存取数据比硬盘快，当内存满后，通过LRU算法自动删除不使用的缓存，但没有考虑数据的容灾问题，重启服务，所有数据会丢失。
分布式
   各个memcached服务器之间互不通信，各自独立存取数据，不共享任何信息。服务器并不具有分布式功能，分布式部署取决于memcache客户端。

Memcached安装与启动：
安装memcached需要先安装libevent

  1. Shell>tar zxvf libevent-1.4.14b-stable.tar.gz
  2. Shell>cd libevent-1.4.14b-stable
  3. Shell>./configure
  4. Shell>make && make install

安装memcached

  1. Shell>tar zxvf memcached-1.2.5.tar.tar
  2. Shell>cd memcached-1.2.5
  3. Shell>./configure –prefix=/usr/local/memcached
  4. Shell>make && make install

启动memcached
Shell>/usr/local/memcached/bin/memcached –p 11211 –d –u root –P /tmp/memcached.pid

  1. -P是表示使用TCP，默认端口为11211
  2. -d表示后台启动一个守护进程(daemon)
  3. -u表示指定root用户启动，默认不能用root用户启动
  4. -P表示进程的pid存放地点，此处“p”为大写“P”
  5. -l，后面跟IP地址，手工指定监听IP地址，默认所有IP都在监听
  6. -m后面跟分配内存大小，以MB为单位，默认为64M
  7. -c最大运行并发连接数，默认为1024
  8. -f 块大小增长因子，默认是1.25
  9. -M 内存耗尽时返回错误，而不是删除项，即不用LRU算法

在64位系统中，会报libevent-1.4.so.2文件无法找到，解决办法是把32位目录里的同名文件链接至64位目录中，即像windows那样建立快捷方式。
Shell > /usr/local/lib/libevent-1.4.so.2 /usr/lib64/libevent-1.4.so.2
启动后如果发现没有端口在监听，是因为命动命令时带pid参数的“p”是大写“P”，你可能写成小写了。

命令行直接操作命令

存，有六个命令项。

  1. Set：添加一个新条目到memcached或是用新的数据替换替换掉已存在的条目
  2. Add：当KEY不存在的情况下，它向memcached存数据，否则，返回NOT_STORED响应
  3. Replace：当KEY存在的情况下，它才会向memcached存数据，否则返回NOT_STORED响应
  4. Cas:改变一个存在的KEY值 ，但它还带了检查的功能
  5. Append:在这个值后面插入新值
  6. Prepend:在这个值前面插入新值

取，有两个命令项：

  1. Get:取单个值 ，从缓存中返回数据时，将在第一行得到KEY的名字，flag的值和返回的value长度，真正的数据在第二行，最后返回END，如KEY不存在，第一行就直接返回END
  2. Get_multi：一次性取多个值

删除，一个命令：

  1. Delete

实例操作：
先连接到memcache

  1. shell>telnet 127.0.0.1 11211

在入数据

  1. Set liuguohua 0 0 21
  2. 369369.blog.51cto.com

回车后系统自动保存，并返回正常值STORED
存入命令格式为
<command> <key> <flags> <exptime> <bytes> \r\n
注意在设定bytes字节后，存入的值的长度一定要与之匹配，否则无法保存成功，像liuguohua字段为21字节，所以存入的369369.blog.51cto.com长度为21（总计为21个数字或字母）。

取数据

  1. Get liuguohua

回车后，第一行返回VALUE liuguohua 0 21
第二行，返回真正值369369.blog.51cto.com

Memcached的内存算法：
    Memcached利用slab allocation机制来分配和管理内存，它按照预先规定的大小，将分配的内存分割成特定长度的内存块，再把尺寸相同的内存块分成组，数据在存放时，根据键值 大小去匹配slab大小，找就近的slab存放，所以存在空间浪费现象。
    传统的内存管理方式是，使用完通过malloc分配的内存后通过free来回收内存，这种方式容易产生内存碎片并降低操作系统对内存的管理效率。

Memcached的缓存策略：
    Memcached的缓存策略是LRU（最近最少使用）加上到期失效策略。当你在memcached内存储数据项时，你有可能会指定它在缓存的失效时间，默认为永久。当memcached服务器用完分配的内时，失效的数据被首先替换，然后也是最近未使用的数据。在LRU中，memcached使用的是一种Lazy Expiration策略，自己不会监控存入的key/vlue对是否过期，而是在获取key值时查看记录的时间戳，检查key/value对空间是否过期，这样可减轻服务器的负载。

Memcached的分布式算法：
    当向memcached集群存入/取出key/value时，memcached客户端程序根据一定的算法计算存入哪台服务器，然后再把key/value值存到此服务器中。也就是说，存取数据分二步走，第一步，选择服务器，第二步存取数据。

分布式算法(Consistent Hashing)：

选择服务器算法有两种，一种是根据余数来计算分布，另一种是根据散列算法来计算分布。
余数算法：
    先求得键的整数散列值，再除以服务器台数，根据余数确定存取服务器，这种方法计算简单，高效，但在memcached服务器增加或减少时，几乎所有的缓存都会失效。
散列算法：
    先算出memcached服务器的散列值，并将其分布到0到2的32次方的圆上，然后用同样的方法算出存储数据的键的散列值并映射至圆上，最后从数据映射到的位置开始顺时针查找，将数据保存到查找到的第一个服务器上，如果超过2的32次方，依然找不到服务器，就将数据保存到第一台memcached服务器上。如果添加了一台memcached服务器，只在圆上增加服务器的逆时针方向的第一台服务器上的键会受到影响。

Memcache的管理与性能监控：
可以通过命令行直接管理与监控也可通过nagios,cacti等web软件进行监控
命令行：

  1. Shell>telnet 127.0.0.1 1211 //如果在启动时指定了IP及端口号，这里要作相应改动
    连接成功后命令
  2. Stats:统计memcached的各种信息
  3. Stats reset:重新统计数据
  4. Stats slabs，显示slabs信息，可以详细看到数据的分段存储情况
  5. Stats items：显示slab中的item数目
  6. Stats cachedump 1 0：列出slabs第一段里存的KEY值
  7. Set|get：保存或获取数据
  8. STAT evictions 0：表示要腾出新空间给新的item而移动的合法item数目

其它常用软件使用：

  1. Shell>./Memcached-tool 127.0.0.1:11211
  2. Shell>./Memcached-tool 127.0.0.1:11211 display

Web软件：

  1. Memcache.php
  2. Nagios插件
  3. Cacti模块

Memcached与redis比较：

时间： 2024-12-28 18:04:57

（转）memcache缓存的相关文章

Memcache缓存服务器（Nginx+php+Memcache+MySQL）

一.MemCache简介: MemCache是一个自由.源码开放.高性能.分布式的分布式内存对象缓存系统,用于动态Web应用以减轻数据库的负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度.MemCaChe是一个存储键值对的HashMap,在内存中对任意的数据(比如字符串.对象等)所使用的key-value存储,数据可以来自数据库调用.API调用,或者页面渲染的结果.MemCache设计理念就是小而强大,它简单的设计促进了快速部署.易于开发并解决面对大规模的数据缓

Linux之搭建memcache缓存服务器

Linux之搭建memcache缓存服务器(一) 一.MemCache简 session MemCache是一个自由.源码开放.高性能.分布式的分布式内存对象缓存系统,用于动态Web应用以减轻数据库的负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度. MemCaChe是一个存储键值对的HashMap,在内存中对任意的数据(比如字符串.对象等)所使用的key-value存储,数据可以来自数据库调用.API调用,或者页面渲染的结果.MemCache设计理念就是小而强

Linux之搭建memcache缓存服务器（二）

Linux之搭建memcache缓存服务器(nginx+php+memcache+mysql) 二.centos7.2+nginx+php+memcache+mysql 环境描述: OS: [[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) nginx和php: nginx-1.10.2.tar.gz php-5.6.27.tar.gz ip地址:192.168.31.141/24

php memcache 缓存

缓存服务器有Memcache.Redis,我主要介绍了PHP中的Memcache,从Memcache简介开始,详细讲解了如Memcache和memcached的区别.PHP的 Memcache所有操作方法.每个操作方法的详细解释等.(我为什么要Memcache,因为Memcache是php用的最广泛的) 一.Memcache简介  Memcache是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力.

整理php操作memcache缓存为基础的方法

php操作memcache共享缓存方法 采用memcache的前提下,是需要在服务器端被配置memcahche环境! 证实memcahce经过正常的连接可以在程序中使用! <?php /** * Memcache缓存操作 * @update http://www.lai18.com */ class MCache extends Object implements CacheFace { private $mem = null; //Mem对象 private $sId = 1; //servi

使用Memcache缓存mysql数据库操作的原理和缓存过程浅析

转载自脚本之家 http://www.jb51.net/article/51831.htm  作者:忙碌的松鼠 对于大型网站如facebook,ebay等网站,如果没有Memcache做为中间缓存层,数据访问不可能吃得消,对于一般网站,只要具备独立的服务器,完全可以通过配置Memcache提高网站访问速度和减少数据库压力,这里主要讨论一下Memcache和MySQL数据库交互过程的流程关系,了解Memcache的中间缓存层作用,从而深入了解Memcache机制原理. Memcache和MySQL

整理php操作memcache缓存基础方法

php操作memcache缓存方法分享 使用memcache的前提是需要在服务端先配置好memcahche的环境!确认memcahce可以正常连接之后就可以在程序使用了! <?php /** * Memcache缓存操作 * @update http://www.lai18.com */ class MCache extends Object implements CacheFace { private $mem = null; //Mem对象 private $sId = 1; //servi

01-08-05【Nhibernate (版本3.3.1.4000) 出入江湖】NHibernate二级缓存：第三方MemCache缓存

一.准备工作 [1]根据操作系统(位数)选择下载相应版本的MemCache, MemCache的下载和安装,参看: http://www.cnblogs.com/easy5weikai/p/3760677.html [2]第三方MemCache缓存适配器,下载地址: http://sourceforge.net/projects/nhcontrib/files/ 特别说明: 1.一定要版本一致 MemCache缓存适配器写本文的时候最高版本是:NHCH-3.2.0.GA-bin(不支持高版本的N

sphinx ajax搜索分页,memcache缓存,批量删除

控制器层 <?php namespace frontend\controllers; use Yii; use yii\web\Controller; //use frontend\models\Zhan; use yii\data\Pagination; use SphinxClient; use yii\db\Query; use yii\widgets\LinkPager; use yii\caching\MemCache; class SphinxController extends C

memcache 缓存失效问题(转)

在大并发的场合,当cache失效时,大量并发同时取不到cache,会同一瞬间去访问db并回设cache,可能会给系统带来潜在的超负荷风险. 解决方法 方法一 在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据.为了防止死锁,mutex key也需要设置过期时间.伪代码如下 if (memcache.get(key) == null) { // 3 min timeout to avoid