Python-memcached的基本使用 -
Flynewton成长点滴 - 开源中国社区
Python-memcached的基本使用 发表于3年前(2010-12-04 00:02)
阅读(9601) | 评论(3) 12人收藏此文章, 我要收藏 赞1 python memcached
想学Python,又想研究下memcached的客户端,于是拿Python-memcached研究研究~~~ 1.memcached的安装
请参考本博另一文章《Linux下安装memcached》 启动一个memcached实例:memcached -m 10 -p 12000
2.Python-memcached安装
到ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API,并解压tar包 输入python
setup.py install命令进行安装 3.小例子演示 将memcached.pyc拷贝到工作目录 #!/usr/bin/env
python import memcache mc = memcache.Client([‘127.0.0.1:12000‘],debug=0)
mc.set("foo","bar") value = mc.get("foo") print value 输出得到bar
4.Python-memcached API总结 整个memcache.py只有1241行,相当精简 主要方法如下:
@set(key,val,time=0,min_compress_len=0)
无条件键值对的设置,其中的time用于设置超时,单位是秒,而min_compress_len则用于设置zlib压缩(注:zlib是提供数据压缩用的函式库)
@set_multi(mapping,time=0,key_prefix=‘‘,min_compress_len=0)
设置多个键值对,key_prefix是key的前缀,完整的键名是key_prefix+key, 使用方法如下
>>> mc.set_multi({‘k1‘ : 1, ‘k2‘ : 2},
key_prefix=‘pfx_‘) == [] >>> mc.get_multi([‘k1‘,
‘k2‘, ‘nonexist‘], key_prefix=‘pfx_‘) == {‘k1‘ : 1, ‘k2‘ : 2}
@add(key,val,time=0,min_compress_len=0) 添加一个键值对,内部调用_set()方法
@replace(key,val,time=0,min_compress_len=0) 替换value,内部调用_set()方法
@get(key) 根据key去获取value,出错返回None @get_multi(keys,key_prefix=‘‘)
获取多个key的值,返回的是字典。keys为key的列表 @delete(key,time=0)
删除某个key。time的单位为秒,用于确保在特定时间内的set和update操作会失败。如果返回非0则代表成功
@incr(key,delta=1) 自增变量加上delta,默认加1,使用如下 >>> mc.set("counter",
"20") >>> mc.incr("counter") 21 @decr(key,delta=1)
自减变量减去delta,默认减1 5._set方法 很多方法内部都调用了_set方法,其源码如下: def _set(self, cmd,
key, val, time, min_compress_len = 0): self.check_key(key) server, key =
self._get_server(key) if not server: return 0 self._statlog(cmd)
store_info = self._val_to_store_info(val, min_compress_len) if not
store_info: return(0) if cmd == ‘cas‘: if key not in self.cas_ids:
return self._set(‘set‘, key, val, time, min_compress_len) fullcmd = "%s
%s %d %d %d %d\r\n%s" % ( cmd, key, store_info[0], time, store_info[1],
self.cas_ids[key], store_info[2]) else: fullcmd = "%s %s %d %d %d\r\n%s"
% ( cmd, key, store_info[0], time, store_info[1], store_info[2]) try:
server.send_cmd(fullcmd) return(server.expect("STORED") == "STORED")
except socket.error, msg: if isinstance(msg, tuple): msg = msg[1]
server.mark_dead(msg) return 0 注: memcached 的客户端使用TCP链接与服务器通讯,
一个运行中的memcached服务器监视一些端口,
客户端连接这些端口,发送命令到服务器,读取回应,最后关闭连接。(具体命令请参考《Memcached 协议中文版》)
6.python-memcached线程安全
本部分转自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/
python-memcached是不是线程安全的 答案是肯定的,前提你在使用Python 2.4+和python-memcached 1.36+
为什么我们需要线程安全的memcached
client,因为我们的实际应用一般是多线程的模型,例如cherrypy、twisted,如果python-memcached不是线程安全的话,引起的问题不仅仅是并发修改共享变量这么简单,是外部socket链接的数据流的混乱
python-memcached怎么实现线程安全的呢?查看源代码看到 try: # Only exists in Python 2.4+
from threading import local except ImportError: # TODO: add the
pure-python local implementation class local(object): pass class
Client(local):
很取巧的让Client类继承threading.local,也就是Client里面的每一个属性都是跟当前线程绑定的。实现虽然不太优雅,但是很实在。但是别以为这样就可以随便在线程里面用python-memcached了,因为这种thread
local的做法,你的应用必须要使用thread
pool的模式,而不能不停创建销毁thread,因为每一个新线程的创建,对于就会使用一个全新的Client,也就是一个全新的socket链接,如果不停打开创建销毁thread的话,就会导致不停的创建销毁socket链接,导致性能大量下降。幸好,无论是cherrypy还是twisted,都是使用了thread
pool的模式
Python-memcached的基本使用 - Flynewton成长点滴 - 开源中国社区,布布扣,bubuko.com