[转载] Redis

转载：http://snowolf.iteye.com/blog/1630697

大约一年多前，公司同事开始使用Redis，不清楚是配置，还是版本的问题，当时的Redis经常在使用一段时间后，连接爆满且不释放。印象中，Redis 2.4.8以下的版本由于设计上的主从库同步问题，就会导致整个问题，不知是否确为这个Bug所致。但从那以后，我就很少敢去尝试使用Redis。曾想转投MongoDB，但公司同事给我的回复是，由于MongoDB宕机，数据丢失，公司损失惨重。于是，我一直停留在Memcached使用范畴，且用的还比较一般。

由于前段时间使用Kestrel，同时要操作Memcached及时更新缓存，又要操作database，持久化数据。 貌似Redis既可以当Cache又可以当Queue！于是，今天开始研究Redis！

相关链接：

征服 Redis

征服 Redis + Jedis

征服 Redis + Jedis + Spring （一）—— 配置&常规操作（GET SET DEL）

征服 Redis + Jedis + Spring （二）—— 哈希表操作（HMGET HMSET）

征服 Redis + Jedis + Spring （三）—— 列表操作

一、Redis简要介绍

Redis —— REmote DIctionary Server，可以直接理解为远程字典服务，也就是基于Key-Value模式Memcached+Database Persistence。 如果真要把Redis与Memcached进行对比，参考下图： 使用Memcached，让我感触颇深的是Object Size的问题，由于SQL未作优化直接映射对象，导致缓存对象大于1MB，Memcached就抛了异常。而Redis默认缓存对象512MB，最大支持1GB。至少在缓存对象时，可以有更大的伸缩空间了！ 此外，是数据类型。Memcached比较简单，而Redis可以支持更多复杂的数据类型，如HASH、SET、SortedSet等等。

PS:Memcached是在Server端实现的Sharding，Redis没有对应的实现，据说3.0系列开始支持，不过这话貌似说了2年之久。

二、安装

Redis装起来，实在是过于简单，让我几乎“无从下手”。因为连“configure”文件都不需要，你只需要做个“make”就好。
在这里下载Redis最新版，这里用Redis 2.4.16
下载&解压：

Shell代码  

  1. wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz
  2. tar zxvf redis-2.4.16.tar.gz
wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz
tar zxvf redis-2.4.16.tar.gz

Redis可以解压至任何目录，一个make安装即可获得执行、配置文件。 安装（这里将redis解压到/opt/目录下）：

Shell代码  

  1. cd /opt/redis-2.4.16
  2. make
cd /opt/redis-2.4.16
make

make之后，我们会得到以下可执行文件：

  • redis-server：Redis服务器的daemon启动程序
  • redis-cli：Redis命令行操作工具。或者通过telnet进行纯文本协议操作
  • redis-benchmark：Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能

上述文件位于src目录下。
我习惯性的执行了make install，貌似我需要的可执行文件，安装到了/usr/local/bin：

引用

# make install cd src && make install make[1]: Entering directory `/opt/software/redis-2.4.16/src‘ MAKE hiredis make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis‘ make[2]: Nothing to be done for `static‘. make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis‘ MAKE linenoise make[2]: Entering directory `/opt/software/redis-2.4.16/deps/linenoise‘ make[2]: “linenoise_example”是最新的。 make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/linenoise‘ MAKE hiredis make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis‘ make[2]: Nothing to be done for `static‘. make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis‘     LINK redis-benchmark     LINK redis-cli
Hint: To run ‘make test‘ is a good idea ;)
mkdir -p /usr/local/bin cp -pf redis-server /usr/local/bin cp -pf redis-benchmark /usr/local/bin cp -pf redis-cli /usr/local/bin cp -pf redis-check-dump /usr/local/bin cp -pf redis-check-aof /usr/local/bin make[1]: Leaving directory `/opt/software/redis-2.4.16/src‘

这样，就不用我拷贝文件了。 意外收获！
此外，还会得到一个默认的配置文件——redis.conf。 最好，把它拷贝到固定的目录下，例如：/etc/redis/目录下！

Shell代码  

  1. mkdir /etc/redis
  2. cp redis.conf /etc/redis
mkdir /etc/redis
cp redis.conf /etc/redis

然后，我们就可以在任何路径下，直接启动Redis了！

三、运行

运行Redis：

Shell代码  

  1. redis-server /etc/redis/redis.conf
redis-server /etc/redis/redis.conf

引用

[1958] 13 Aug 16:18:24 * Server started, Redis version 2.4.16 [1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add ‘vm.overcommit_memory = 1‘ to /etc/sysctl.conf and then reboot or run the command ‘sysctl vm.overcommit_memory=1‘ for this to take effect. [1958] 13 Aug 16:18:24 * The server is now ready to accept connections on port 6379 [1958] 13 Aug 16:18:24 - 0 clients connected (0 slaves), 717544 bytes in use

四、测试

通过客户端命令redis-cli访问Redis

引用

# redis-cli      redis> set name zlex      OK      redis> get name       "zlex"

进行数据测试：

Shell代码  

  1. redis-benchmark -l
redis-benchmark -l

这个测试会一直进行下去，直到你Ctrl+C：

====== PING (inline) ====== 10000 requests completed in 0.12 seconds 50 parallel clients 3 bytes payload keep alive: 1
99.31% <= 1 milliseconds 99.53% <= 2 milliseconds 99.64% <= 3 milliseconds 99.70% <= 4 milliseconds 99.74% <= 5 milliseconds 99.78% <= 6 milliseconds 99.82% <= 7 milliseconds 99.84% <= 8 milliseconds 99.86% <= 9 milliseconds 99.89% <= 10 milliseconds 99.91% <= 11 milliseconds 99.93% <= 12 milliseconds 99.96% <= 13 milliseconds 99.98% <= 14 milliseconds 100.00% <= 15 milliseconds 81300.81 requests per second
====== PING ====== 10000 requests completed in 0.12 seconds 50 parallel clients 3 bytes payload keep alive: 1
99.96% <= 1 milliseconds 100.00% <= 1 milliseconds 84033.61 requests per second
^CET (10 keys): 26200.00

五、关闭

也可通过客户端命令redis-cli完成Redis关闭操作:

Shell代码  

  1. redis-cli shutdown
redis-cli shutdown

引用

[2639] 13 Aug 16:35:35 # User requested shutdown... [2639] 13 Aug 16:35:35 * Saving the final RDB snapshot before exiting. [2639] 13 Aug 16:36:49 * DB saved on disk [2639] 13 Aug 16:36:49 # Redis is now ready to exit, bye bye...

六、调优

1./etc/sysctl.conf 前面启动Redis时，看到如下警告：

引用

[1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add ‘vm.overcommit_memory = 1‘ to /etc/sysctl.conf and then reboot or run the command ‘sysctl vm.overcommit_memory=1‘ for this to take effect.

需要修改/etc/sysctl.conf文件：

Shell代码  

  1. vim /etc/sysctl.conf
vim /etc/sysctl.conf

末尾追加vm.overcommit_memory = 1 然后执行sysctl vm.overcommit_memory=1，使之生效：

Shell代码  

  1. # sysctl vm.overcommit_memory=1
  2. vm.overcommit_memory = 1
# sysctl vm.overcommit_memory=1
vm.overcommit_memory = 1

2./proc/sys/vm/overcommit_memory 为了调整内存分配策略，需要配置/proc/sys/vm/overcommit_memory

  • 0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
  • 1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
  • 2， 表示内核允许分配超过所有物理内存和交换空间总和的内存

默认为0，如果内存情况比较紧张的话，设为1：

Shell代码  

  1. echo 1 > /proc/sys/vm/overcommit_memory
echo 1 > /proc/sys/vm/overcommit_memory

3.redis.conf 前面启动Redis后，总是在命令行里不断跳着各种日志，很麻烦。即便通过“&”，领其后台运行，也无济于事。这就需要修改redis.conf，以Daemo模式运行！ redis.conf参数：

  • daemonize：是否以后台daemon方式运行
  • pidfile：pid文件位置
  • port：监听的端口号
  • timeout：请求超时时间
  • loglevel：log信息级别
  • logfile：log文件位置
  • databases：开启数据库的数量
  • save * *：保存快照的频率，第一个*表示多长时间（秒级），第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。
  • rdbcompression：是否使用压缩
  • dbfilename：数据快照文件名（只是文件名，不包括目录）
  • dir：数据快照的保存目录（这个是目录）
  • appendonly：是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。
  • appendfsync：appendonlylog如何同步到磁盘（三个选项，分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步）
  • slaveof <masterip> <masterport> ：主从配置，在redis-slave上配置master的ip port，即可。

例如，我们可以修改为如下方式：

引用

daemonize yes #守护进程模式 save 60 1000 #当时间间隔超过60秒，或存储超过1000条记录时，进行持久化。 maxmemory 256mb #分配256MB内存

PS：切记，一定要设定maxmemmory，且配置大小要小于物理内存，留有足够的内存供系统使用。

公司一同学的Redis，某期间数据暴涨，导致内存吃紧，SWAP加剧，直接宕机。就是因为没有设置maxmemmory。

七、集群配置

把鸡蛋都放在一个篮子里是件危险的事情。首先，要做好主备。其次，如果可以做一致性哈希，可以起到负载均衡的作用。

配置Master-Slave，只需要在Slave上配置Master节点IP Port：

这里的Master IP 为192.168.133.139 端口位6379，配置redis.conf：

slaveof 192.168.133.139 6379

PS：为了两个Redis Server可以互访，需要注释掉bind 127.0.0.1

依次启动Master，Slave：

Master

[7651] 17 Aug 19:08:07 * Server started, Redis version 2.4.16 [7651] 17 Aug 19:08:07 * DB loaded from disk: 0 seconds [7651] 17 Aug 19:08:07 * The server is now ready to accept connections on port 6379 [7651] 17 Aug 19:08:08 * Slave ask for synchronization [7651] 17 Aug 19:08:08 * Starting BGSAVE for SYNC [7651] 17 Aug 19:08:08 * Background saving started by pid 7652 [7652] 17 Aug 19:08:08 * DB saved on disk [7651] 17 Aug 19:08:08 * Background saving terminated with success [7651] 17 Aug 19:08:08 * Synchronization with slave succeeded

Slave

[7572] 17 Aug 19:07:39 * Server started, Redis version 2.4.16 [7572] 17 Aug 19:07:39 * DB loaded from disk: 0 seconds [7572] 17 Aug 19:07:39 * The server is now ready to accept connections on port 6379 [7572] 17 Aug 19:07:39 * Connecting to MASTER... [7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync started: SYNC sent [7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: receiving 10 bytes from master [7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Loading DB in memory [7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Finished with success

看到上述日志，就说明Master-Slave已经连通。

简单测试，Master写，Slave读：

Master写

telnet 192.168.133.139 6379 Trying 192.168.133.139... Connected to 192.168.133.139. Escape character is ‘^]‘. set name snowolf +OK

Slave读

telnet 192.168.133.140 6379 Trying 192.168.133.140... Connected to 192.168.133.140. Escape character is ‘^]‘. get name $7 snowolf

搞定！

八、主从备份

在从服务器上执行下列命令：

Shell代码  

  1. #备份
  2. redis-cli save
  3. #关闭redis服务器
  4. redis-cli shutdown
#备份
redis-cli save

#关闭redis服务器
redis-cli shutdown

然后，拷贝数据目录下的rdb文件。

九、系统服务

习惯了通过service启动一切服务，当然，这跟我生产环境部署有关，通常只分配给用于部署的账户操作service命令的权限。主要是为了确保系统安全。
参考之前写的Memcached的系统服务文件，改造一个Redis版本！
新建文件，并赋予权限：

Shell代码  

  1. touch /etc/init.d/redis-server
  2. chmod +x /etc/init.d/redis-server
touch /etc/init.d/redis-server
chmod +x /etc/init.d/redis-server

编辑/etc/init.d/redis-server，键入如下内容：

Shell代码  

  1. #!/bin/bash
  2. #
  3. # redis    Startup script for redis processes
  4. #
  5. # author: snowolf
  6. #
  7. # processname: redis
  8. redis_path="/usr/local/bin/redis-server"
  9. redis_conf="/etc/redis/redis.conf"
  10. redis_pid="/var/run/redis.pid"
  11. # Source function library.
  12. . /etc/rc.d/init.d/functions
  13. [ -x $redis_path ] || exit 0
  14. RETVAL=0
  15. prog="redis"
  16. # Start daemons.
  17. start() {
  18. if [ -e $redis_pid -a ! -z $redis_pid ];then
  19. echo $prog" already running...."
  20. exit 1
  21. fi
  22. echo -n $"Starting $prog "
  23. # Single instance for all caches
  24. $redis_path $redis_conf
  25. RETVAL=$?
  26. [ $RETVAL -eq 0 ] && {
  27. touch /var/lock/subsys/$prog
  28. success $"$prog"
  29. }
  30. echo
  31. return $RETVAL
  32. }
  33. # Stop daemons.
  34. stop() {
  35. echo -n $"Stopping $prog "
  36. killproc -d 10 $redis_path
  37. echo
  38. [ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog
  39. RETVAL=$?
  40. return $RETVAL
  41. }
  42. # See how we were called.
  43. case "$1" in
  44. start)
  45. start
  46. ;;
  47. stop)
  48. stop
  49. ;;
  50. status)
  51. status $prog
  52. RETVAL=$?
  53. ;;
  54. restart)
  55. stop
  56. start
  57. ;;
  58. condrestart)
  59. if test "x`pidof redis`" != x; then
  60. stop
  61. start
  62. fi
  63. ;;
  64. *)
  65. echo $"Usage: $0 {start|stop|status|restart|condrestart}"
  66. exit 1
  67. esac
  68. exit $RETVAL
#!/bin/bash
#
# redis    Startup script for redis processes
#
# author: snowolf
#
# processname: redis

redis_path="/usr/local/bin/redis-server"
redis_conf="/etc/redis/redis.conf"
redis_pid="/var/run/redis.pid"

# Source function library.
. /etc/rc.d/init.d/functions

[ -x $redis_path ] || exit 0

RETVAL=0
prog="redis"

# Start daemons.
start() {
    if [ -e $redis_pid -a ! -z $redis_pid ];then
        echo $prog" already running...."
        exit 1
    fi

    echo -n $"Starting $prog "
    # Single instance for all caches
    $redis_path $redis_conf
    RETVAL=$?
    [ $RETVAL -eq 0 ] && {
        touch /var/lock/subsys/$prog
        success $"$prog"
    }
    echo
    return $RETVAL
}

# Stop daemons.
stop() {
    echo -n $"Stopping $prog "
    killproc -d 10 $redis_path
    echo
    [ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog

    RETVAL=$?
    return $RETVAL
}

# See how we were called.
case "$1" in
        start)
            start
            ;;
        stop)
            stop
            ;;
        status)
            status $prog
            RETVAL=$?
            ;;
        restart)
            stop
            start
            ;;
        condrestart)
            if test "x`pidof redis`" != x; then
                stop
                start
            fi
            ;;
        *)
            echo $"Usage: $0 {start|stop|status|restart|condrestart}"
            exit 1
esac
exit $RETVAL

引用

# service redis-server restart Stopping redis                                             [失败] Starting redis                                             [确定] # service redis-server status redis (pid  14965) 正在运行...

非常方便！
暂且整理这么多，未完待续。

时间： 2024-08-07 17:50:55

[转载] Redis的相关文章

[转载] redis 的两种持久化方式及原理

转载自http://www.m690.com/archives/371 Redis是一种高级key-value数据库.它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富.有字符串,链表,集 合和有序集合.支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能.所以Redis也可以被看成是一个数据结构服务器.Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”):也可以把每一次数据变化都写入到一个app

[转载] Redis 起步

转载地址:http://www.cnblogs.com/shanyou/archive/2012/01/28/2330451.html Rdis和JQuery一样是纯粹为应用而产生的,这里记录的是在CentOS 5.7上学习入门文章: 1.Redis简介 Redis是一个key-value存储系统.和Memcached类似,但是解决了断电后数据完全丢失的情况,而且她支持更多无化的value类型,除了和string外,还支持lists(链表).sets(集合)和zsets(有序集合)几种数据类型.

[转载] Redis系统性介绍

转载自http://blog.nosqlfan.com/html/3139.html?ref=rediszt 虽然Redis已经很火了,相信还是有很多同学对Redis只是有所听闻或者了解并不全面,下面是一个比较系统的Redis介绍,对Redis的特性及各种数据类型及操作进行了介绍.是一个很不错的Redis入门教程. 1.介绍 1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统.R

[转载] Redis之七种武器

转载自http://blog.nosqlfan.com/html/2942.html?ref=rediszt 长生剑.孔雀翎.碧玉刀.多情环.离别钩.霸王枪.拳头是古龙笔下的七种武器,而本文打算将Redis的几种使用方式 Strings.Hashs.Lists.Sets.Sorted Sets.Pub/Sub.Transactions 也比作七种武器,为大家讲解Redis的七种特性,并列举其适合的应用场景. Strings Strings 数据结构是简单的key-value类型,value其实不

[转载] Redis集群搭建最佳实践

转载自http://blog.csdn.net/sweetvvck/article/details/38315149?utm_source=tuicool 要搭建Redis集群,首先得考虑下面的几个问题; Redis集群搭建的目的是什么?或者说为什么要搭建Redis集群? Redis集群搭建的目的其实也就是集群搭建的目的,所有的集群主要都是为了解决一个问题,横向扩展. 在集群的概念出现之前,我们使用的硬件资源都是纵向扩展的,但是纵向扩展很快就会达到一个极限,单台机器的Cpu的处理速度,内存大小,

[转载] Redis实现分布式锁

转载自http://zhidao.baidu.com/link?url=m56mmWYwRgCymsaLZ2tx-GWDy5FYmUWGovEtuApjTpktHS3bhofrCS-QVGiLoWeS0P-9xeS3p1n8eDqZv-D9KlHXGFYT-1BjC1xmKTnHNkG和http://blog.csdn.net/java2000_wl/article/details/8740911 Redis有一系列的命令,特点是以NX结尾,NX是Not eXists的缩写,如SETNX命令就应

[转载] Redis资料汇总专题

转载自http://www.cnblogs.com/tommyli/archive/2011/12/14/2287614.html 1.Redis是什么? 十五分钟介绍 Redis数据结构 Redis系统性介绍 一个很棒的Redis介绍PPT 强烈推荐!非同一般的Redis介绍 Redis之七种武器 锋利的Redis redis 适用场景与实现 2.Redis内部实现 Redis源码分析系列文章 深入Redis内部-Redis 源码讲解 redis源码分析-如何rehash Redis源码分析-

[转载] redis入门

原文: http://www.gamecbg.com/bc/db/redis/13852.html [本教程目录] 1.Redis是什么2.Redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8.redis数据结构 – strings9.redis数据结构 – lists10.redis数据结构 – 集合11.redis数据结构 – 有序集合12.redis数据结构 – 哈希13.聊聊redis持久化

[转载]Redis后台启动

FROM: http://www.art-coder.com/2011/12/01/how-to-run-redis-server-as-daemon/ How to run Redis server as daemon So I think, that those who will read this article probably know, what is Redis. For those who don't I can say shortly, that this is a softw