memcached缓存服务器介绍及其安装过程

Memcache是什么?

memcached是以LiveJournal旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在

已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

Memcached是一款开源、高性能、分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对Database的访问来加速web应用程序。许多Web应用都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。这时就该memcached大显身手了。memcached一般的使用目的是,通过缓存数据库查询的结果,减少数据库访问次数,以提高动态Web应用的速度、 提高可扩展性。它是一个基于内存的“键值对”存储,用于存储数据库调用、API调用或页面引用结果的直接数据,如字符串、对象等。

其工作流程图为:

memcached的特征

memcached作为高速运行的分布式内存缓存服务器,具有以下的特点。

协议简单

基于libevent的事件处理

内置内存存储方式

memcached不互相通信的分布式

协议简单

memcached的服务器客户端通信并不使用复杂的XML等格式, 而使用简单的基于文本行的协议。因此,通过telnet 也能在memcached上保存数据、取得数据。

基于libevent的事件处理

libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能 封装成统一的接口。即使对服务器的连接数增加,也能发挥O(1)的性能。 memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

内置内存存储方式

为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。 由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。 另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。 memcached本身是为缓存而设计的服务器,因此并没有过多考虑数据的永久性问题。

memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。 在该机制出现以前,内存的分配是通过对所有记录简单地进行malloc和free来进行的。 但是,这种方式会导致内存碎片,加重操作系统内存管理器的负担,最坏的情况下, 会导致操作系统比memcached进程本身还慢。Slab Allocator就是为解决该问题而诞生的。

Slab Allocator的基本原理是按照预先规定的大小, 将分配的内存分割成各种尺寸的块(chunk), 并把尺寸相同的块分成组(chunk的集合)。各个尺寸的chunk大小是通过其增长因子(growth  factor)来决定的,默认增长因子为1.25。下一个尺寸的chunk大小=之前一个chunk大小*增长因子。如下图所示:

而且,slab allocator还有重复使用已分配的内存的目的。 也就是说,分配到的内存不会释放,而是重复利用。不过由于slab  Allocator分配的是特定长度的chunk,因此,当缓存的数据没有chunk长度大时,仍然会造成空间浪费。

memcached不互相通信的分布式

memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么,怎样进行分布式呢? 这完全取决于客户端的实现。

Memcached的设计哲学

Memcached是一款开发工具,它既不是一个代码加速器,也不是数据库中间件。其设计哲学思想主要反映在如下方面:

1. 简单key/value存储:服务器不关心数据本身的意义及结构,只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成;

2. 功能的实现一半依赖于客户端,一半基于服务器端:客户负责发送存储项至服务器端、从服务端获取数据以及无法连接至服务器时采用相应的动作;服务端负责接收、存储数据,并负责数据项的超时过期;

3. 各服务器间彼此无视:不在服务器间进行数据同步;

4. O(1)的执行效率

5. 清理超期数据:默认情况下,Memcached是一个LRU缓存,同时,它按事先预订的时长清理超期数据;但事实上,memcached不会删除任何已缓存数据,只是在其过期之后不再为客户所见;而且,memcached也不会真正按期限清理缓存,而仅是当get命令到达时检查其时长;

Memcached提供了为数不多的几个命令来完成与服务器端的交互,这些命令基于memcached的协议实现。

存储类命令:set, add, replace, append, prepend

获取数据类命令:get, delete, incr/decr

统计类命令:stats, stats items, stats slabs, stats sizes

清理命令: flush_all

一、安装libevent

memcached依赖于libevent API,因此要事先安装之,项目主页:http://libevent.org/,读者可自行选择需要的版本下载。本文采用的是目前最新版本的源码包libevent-2.0.16-stable.tar.gz。安装过程:

# tar xf libevent-2.0.22-stable.tar.gz

# cd libevent-2.0.22-stable

# ./configure --prefix=/usr/local/libevent

# make && make install

# echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf

# ldconfig

二、安装配置memcached

1、安装memcached

# tar xf memcached-1.4.22.tar.gz

# cd memcached-1.4.22

# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent(libevent的安装目录)

# make && make install

2、memcached SysV的startup脚本代码如下所示,将其建立为/etc/init.d/memcached文件:

#!/bin/bash

#

# Init file for memcached

#

# chkconfig: - 86 14

# description: Distributed memory caching daemon

#

# processname: memcached

# config: /etc/sysconfig/memcached

. /etc/rc.d/init.d/functions

## Default variables

PORT="11211"

USER="nobody"

MAXCONN="1024"

CACHESIZE="64"

RETVAL=0

prog="/usr/local/memcached/bin/memcached"

desc="Distributed memory caching"

lockfile="/var/lock/subsys/memcached"

start() {

echo -n $"Starting $desc (memcached): "

daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE

RETVAL=$?

echo

[ $RETVAL -eq 0 ] && touch $lockfile

return $RETVAL

}

stop() {

echo -n $"Shutting down $desc (memcached): "

killproc $prog

RETVAL=$?

echo

[ $RETVAL -eq 0 ] && rm -f $lockfile

return $RETVAL

}

restart() {

stop

start

}

reload() {

echo -n $"Reloading $desc ($prog): "

killproc $prog -HUP

RETVAL=$?

echo

return $RETVAL

}

case "$1" in

start)

start

;;

stop)

stop

;;

restart)

restart

;;

condrestart)

[ -e $lockfile ] && restart

RETVAL=$?

;;

reload)

reload

;;

status)

status $prog

RETVAL=$?

;;

*)

echo $"Usage: $0 {start|stop|restart|condrestart|status}"

RETVAL=1

esac

exit $RETVAL

使用如下命令配置memcached成为系统服务:

# chmod +x /etc/init.d/memcached

# chkconfig --add memcached

# service memcached start

查看memcached进程是否已经启动了。如:

3、使用telnet命令测试memcached的使用

Memcached提供一组基本命令用于基于命令行调用其服务或查看服务器状态等。

查看memcached的内部状态信息

首先是要telnet连接到memcached,然后再输入stats可以获取其memcached各种信息:

# telnet 127.0.0.1 11211

stats

STAT pid 14381

STAT uptime 307

STAT time 1427814867

STAT version 1.4.22

STAT libevent 2.0.22-stable

STAT pointer_size 64

STAT rusage_user 0.000000

STAT rusage_system 0.002999

STAT curr_connections 10

STAT total_connections 11

STAT connection_structures 11

STAT reserved_fds 20

STAT cmd_get 0

STAT cmd_set 0

STAT cmd_flush 0

STAT cmd_touch 0

STAT get_hits 0

STAT get_misses 0

STAT delete_misses 0

STAT delete_hits 0

STAT incr_misses 0

STAT incr_hits 0

STAT decr_misses 0

STAT decr_hits 0

STAT cas_misses 0

STAT cas_hits 0

STAT cas_badval 0

STAT touch_hits 0

STAT touch_misses 0

STAT auth_cmds 0

STAT auth_errors 0

STAT bytes_read 7

STAT bytes_written 0

STAT limit_maxbytes 67108864

STAT accepting_conns 1

STAT listen_disabled_num 0

STAT threads 4

STAT conn_yields 0

STAT hash_power_level 16

STAT hash_bytes 524288

STAT hash_is_expanding 0

STAT malloc_fails 0

STAT bytes 0

STAT curr_items 0

STAT total_items 0

STAT expired_unfetched 0

STAT evicted_unfetched 0

STAT evictions 0

STAT reclaimed 0

STAT crawler_reclaimed 0

STAT lrutail_reflocked 0

END

输入stats slabs或stats items可以获取其缓存相关信息,如:

stats slabs

STAT active_slabs 0

STAT total_malloced 0

END

stats items

END

测试,使用add命令添加数据

add命令语法格式:

add keyname flag  timeout  datasize

如:

add mykey 0 10 12

Hello world!

使用get命令获取指定key所对应的数据

get命令语法格式为:

get keyname

如:get mykey

VALUE mykey 0 12

Hello world!

END

4、memcached的常用选项说明

-l <ip_addr>:指定进程监听的地址;

-d: 以服务模式运行;

-u <username>:以指定的用户身份运行memcached进程;

-m <num>:用于缓存数据的最大内存空间,单位为MB,默认为64MB;

-c <num>:最大支持的并发连接数,默认为1024;

-p <num>: 指定监听的TCP端口,默认为11211;

-U <num>:指定监听的UDP端口,默认为11211,0表示关闭UDP端口;

-t <threads>:用于处理入站请求的最大线程数,仅在memcached编译时开启了支持线程才有效;

-f <num>:设定Slab Allocator定义预先分配内存空间大小固定的块时使用的增长因子;

-M:当内存空间不够使用时返回错误信息,而不是按LRU算法利用空间;

-n: 指定最小的slab chunk大小;单位是字节;

-S: 启用sasl进行用户认证;

注意:配到这里,memcached服务器已经搭建好了,下面还需配置php,让其支持memcached功能。上面的部分和下面的部分不是在同一个服务器上进行的。

三、安装Memcache的PHP扩展,使用php支持memcached功能

对于php的安装这里不再详述了。

①安装PHP的memcache扩展

# wget http://pecl.php.net/get/memcache-2.2.4.tgz

# tar xf memcache-2.2.4.tgz

# cd memcache-2.2.4

# /usr/local/php/bin/phpize

# ./configure --with-php-config=/usr/local/php/bin/php-config --enable-memcache

# make && make install

上述安装完后会有类似以下的提示:

Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-non-zts-20131226/

②编辑vim /etc/php.d/memcache.ini,添加如下行信息:

extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20131226/memcache.so

而后对memcached功能进行测试,在网站根目录中建立测试页面test.php,添加如下内容:

# vim  /usr/html/test.php

<?php

$mem = new Memcache;

$mem->connect("192.168.108.199", 11211)  or die("Could not connect");    ##这里我的memcached服务器所在地址为192.168.108.199

$version = $mem->getVersion();

echo "Server‘s version: ".$version."<br/>\n";

$mem->set(‘testkey‘, ‘Hello World‘, 0, 600) or die("Failed to save data at the memcached server");

echo "Store data in the cache (data will expire in 600 seconds)<br/>\n";

$get_result = $mem->get(‘testkey‘);

echo "$get_result is from memcached server.";

?>

测试,在浏览器上面输入http://192.168.108.230/test.php,如果显示如下信息,则表明memcache已经能够正常工作。

四、使用libmemcached的客户端工具

访问memcached的传统方法是使用基于perl语言开发的Cache::memcached模块,这个模块在大多数perl代码中都能良好的工作,但也有着众所周知的性能方面的问题。libMemcached则是基于C语言开发的开源的C/C++代码访问memcached的库文件,同时,它还提供了数个可以远程使用的memcached管理工具,如memcat, memping,memstat,memslap等。

1) 编译安装libmemcached

# tar xf libmemcached-1.0.2.tar.gz

# cd libmemcached-1.0.2

# ./configure

# make && make install

# ldconfig

2) 客户端工具

# memcat --servers=127.0.0.1:11211 mykey

# memping

# memslap

# memstat

五、Nginx整合memcached,为nginx提供静态页面缓存功能

虽然nginx自身可以提供缓存,不过由于该数据是缓存在磁盘上的,因此,性能赶不上memcached缓存性能。因此,我们也应当为nginx支持memecached功能,使其支持缓存静态页面功能。

server {

listen       80;

server_name  www.xsl.com;

#charset koi8-r;

#access_log  logs/host.access.log  main;

location / {

set $memcached_key $uri;       $memcached_key为键名,$uri为传递给memcached服务器的键

memcached_pass     192.168.108.199:11211;   memcached服务器的地址和端口

default_type       text/html; 只缓存html格式的数据

error_page         404 @fallback;           如果memcached上没有相应的数据,将会在后端应用程序服务器上寻找。

}

location @fallback {

proxy_pass http://127.0.0.1;   这里的地址指的是后端应用程序服务器的地址。

}

}

六、Memcached管理与监控工具MemAdmin

MemAdmin是一款可视化的Memcached管理与监控工具,使用PHP开发,体积小,操作简单。

主要功能:

服务器参数监控:STATS、SETTINGS、ITEMS、SLABS、SIZES实时刷新

服务器性能监控:GET、DELETE、INCR、DECR、CAS等常用操作命中率实时监控

支持数据遍历,方便对存储内容进行监视

支持条件查询,筛选出满足条件的KEY或VALUE

数组、JSON等序列化字符反序列显示

兼容memcache协议的其他服务,如Tokyo Tyrant (遍历功能除外)

支持服务器连接池,多服务器管理切换方便简洁

安装MemAdmin

时间: 2024-10-22 03:40:53

memcached缓存服务器介绍及其安装过程的相关文章

Memcached缓存服务器介绍

Memcached 是一个开源.易用.高性能的"分布式"的内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对数据库的访问来加速web应用程序,它把数据以"键值对"的形式存储在内存中. 现在已成为 mixi. hatena. Facebook. Vox.LiveJournal等众多服务中 提高Web应用扩展性的重要因素. memcached有如下特性 1.存储数据结构简单: 基于key/value存储数据: 2.协议简单: 客户端与服务端使用基于文本行

memcached 缓存服务器

Memcached 缓存服务器 Memcached 是高性能的分布式内存缓存服务器. 一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度.提高可扩展性. 主要特点: 1.C/S架构,协议简单: 2.基于libevent的事件处理(epoll): 3.Slab Allocation内存管理机制: 4.基于客户端的分布式: Memcached中保存的数据都在内存中,因此重启memcached,会导致全部数据丢失: 另外,内存容量达到指定值之后,就基于LRU(Le

Oracle 11g win7 64位【桌面类 &amp;&amp; 服务器类】安装过程

Oracle 11g  win7  64位[桌面类 && 服务器类]安装过程 一.首先,根据自己的操作系统位数(32位或64位),到官网下载相应的安装程序,如下图所示. 二.解压两个压缩包到同一目录,即"database".[]然后右键"setup.exe",点管理员身份运行(或者双击文件即可运行),如下图所示: 稍微等待一会,就会出现如下图所示的安装画面,取消下图所示的选中,然后单击"下一步"继续,同时在出现的信息提示框单击&q

CentOS 7部署memcached缓存服务器

1.简介 1.1Memcached   Memcached是一款开源的.高性能的纯内存缓存服务软件.   MySQL数据库属于磁盘上的数据库,数据的读写较慢:而Memcached数据库属于内存中的数据库,读写速度快,但数据容易丢失.Memcached天生不支持分布式集群,只能通过程序支持分布式存储.使用Memcached数据库,提高用户访问网站速度,降低MySQL数据库服务器压力,提高网站的并发访问,因此工作中,MySQL+Memcached搭配使用. 1.2Memcached工作过程 2.系统

Mecached 缓存服务器介绍

1.memcached  高性能分布式内存对象缓存系统 2.目的:减轻数据库负载,提高基于动态数据库驱动网站的响应速度 3.数据格式:文本行 4.协议:memcache协议 5.存储方式:hashMap 6.缺点:重启memcache服务器后,存储的数据会消失.在数据持久化方面有所欠缺 7.内存分配机制:最初的版本就是采用mollc和free来获取内存,释放内存,这样会造成很多内存碎片 最新的一般是采用slab allonation内存分配机制,首要目标就是防止出现很多内存碎片. 8.slab 

集群三 php+memcached缓存服务器

nginx+php 安装 yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel gd gd-devel curl curl

ansible实现nginx双主模式反代,keepalived高可用,memcached缓存

ansible自动化运维工具配置ngnix前端反代到后端真实机,并设置keepalived高可用,在后端一台真实主机上配置httpd,mysql,php-fpm:设置memcached缓存服务器在这台真实主机上:(因为本人电脑配置问题,无法开启那么多虚拟机,所以就简单构建了一下) IP配置: Directory1(MASTER): eno16777736:172.16.72.5 eno16777736:0:172.16.72.1(虚拟VIP) eno33554976:192.168.72.1 e

用varnish做缓存服务器

一.目的 通过配置Varnish缓存服务器,实现如下目标: 使用Varnish加速后端Apache Web服务 使用varnishadm命令管理缓存页面 使用varnishstat命令查看Varnish状态 二.方案, 服务器规划见我的另外一篇笔记:squid反向代理,通过源码编译安装Varnish缓存服务器 三.实施:主要是部署varnish缓存服务器 1.安装软件依赖包 yum -y install gcc readline-devel pcre-devel 2.创建程序的启动账户:user

缓存服务器

一.缓存服务器介绍 NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL",泛指非关系型的数据库,随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展.NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题. 二.NoSQL数据库的四大分类 2.