缓存key生成策略的一些思考

首选说说策略设计目标：

1、唯一性保证

2、方便获取

3、高效性

MD5码等编码策略：分布式情况下保证唯一性代价太大，效率太低。

测试结果：

UUID：jdk为分布式应用提供的唯一标识，128位。

测试结果

考虑到缓存对象的唯一方法

设计类

ICacheable:  cache接口，维护一个唯一key，包含一个getKey()方法，enum类定义Redis的五种数据类型，getType()方法获取对应的存储类型

RedisUtil: cache工具类, 统一提供redis访问接口saveObject(String key,Object obj),saveObject(String key,Collection<?> collection)（还有对应可以设置过期时间的2个方法）,getObject(String key)

这寄个方法根据ICacheable的类型来决定所要使用的内部私有方法以及对应存储类型。

实现ICacheable接口的类会实现其getkey方法获取存储key，比如对于常见的缓存查询对象的场景，我们就可以封装一个查询对象query，使用它的属性名和值生成一个唯一key。

做缓存层对于大型网站来说一般都是部署集群，所以这里把redis cluster单独拿出来说。

以下是转载内容：

转自:http://hot66hot.iteye.com/admin/blogs/2050676

最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群.

一:关于redis cluster

1:redis cluster的现状

reids-cluster计划在redis3.0中推出，可以看作者antirez的声明:http://antirez.com/news/49 (ps:跳票了好久，今年貌似加快速度了),目前的最新版本是redis3 beta2(2.9.51).

作者的目标:Redis Cluster will support up to ~1000 nodes. 赞...

目前redis支持的cluster特性(已亲测):

1):节点自动发现

2):slave->master 选举,集群容错

3):Hot resharding:在线分片

4):进群管理:cluster xxx

5):基于配置(nodes-port.conf)的集群管理

6):ASK 转向/MOVED 转向机制.

2:redis cluster 架构

1)redis-cluster架构图

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

2) redis-cluster选举:容错

(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.

(2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态.

b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

二:redis cluster的使用

1:安装redis cluster

1):安装redis-cluster依赖:redis-cluster的依赖库在使用时有兼容问题,在reshard时会遇到各种错误,请按指定版本安装.

(1)确保系统安装zlib,否则gem install会报(no such file to load -- zlib)

Java代码  

  1. #download:zlib-1.2.6.tar
  2. ./configure
  3. make
  4. make install

(1)安装ruby:version(1.9.2)

Java代码  

  1. # ruby1.9.2
  2. cd /path/ruby
  3. ./configure -prefix=/usr/local/ruby
  4. make
  5. make install
  6. sudo cp ruby /usr/local/bin

(2)安装rubygem:version(1.8.16)

Java代码  

  1. # rubygems-1.8.16.tgz
  2. cd /path/gem
  3. sudo ruby setup.rb
  4. sudo cp bin/gem /usr/local/bin

(3)安装gem-redis:version(3.0.0)

Java代码  

  1. gem install redis --version 3.0.0
  2. #由于源的原因，可能下载失败，就手动下载下来安装
  3. #download地址:http://rubygems.org/gems/redis/versions/3.0.0
  4. gem install -l /data/soft/redis-3.0.0.gem

2)安装redis-cluster

Java代码  

  1. cd /path/redis
  2. make
  3. sudo cp /opt/redis/src/redis-server /usr/local/bin
  4. sudo cp /opt/redis/src/redis-cli /usr/local/bin
  5. sudo cp /opt/redis/src/redis-trib.rb /usr/local/bin

2:配置redis cluster

1)redis配置文件结构:

使用包含(include)把通用配置和特殊配置分离,方便维护.

2)redis通用配置.

Java代码  

  1. #GENERAL
  2. daemonize no
  3. tcp-backlog 511
  4. timeout 0
  5. tcp-keepalive 0
  6. loglevel notice
  7. databases 16
  8. dir /opt/redis/data
  9. slave-serve-stale-data yes
  10. #slave只读
  11. slave-read-only yes
  12. #not use default
  13. repl-disable-tcp-nodelay yes
  14. slave-priority 100
  15. #打开aof持久化
  16. appendonly yes
  17. #每秒一次aof写
  18. appendfsync everysec
  19. #关闭在aof rewrite的时候对新的写操作进行fsync
  20. no-appendfsync-on-rewrite yes
  21. auto-aof-rewrite-min-size 64mb
  22. lua-time-limit 5000
  23. #打开redis集群
  24. cluster-enabled yes
  25. #节点互连超时的阀值
  26. cluster-node-timeout 15000
  27. cluster-migration-barrier 1
  28. slowlog-log-slower-than 10000
  29. slowlog-max-len 128
  30. notify-keyspace-events ""
  31. hash-max-ziplist-entries 512
  32. hash-max-ziplist-value 64
  33. list-max-ziplist-entries 512
  34. list-max-ziplist-value 64
  35. set-max-intset-entries 512
  36. zset-max-ziplist-entries 128
  37. zset-max-ziplist-value 64
  38. activerehashing yes
  39. client-output-buffer-limit normal 0 0 0
  40. client-output-buffer-limit slave 256mb 64mb 60
  41. client-output-buffer-limit pubsub 32mb 8mb 60
  42. hz 10
  43. aof-rewrite-incremental-fsync yes

3)redis特殊配置.

Java代码  

  1. #包含通用配置
  2. include /opt/redis/redis-common.conf
  3. #监听tcp端口
  4. port 6379
  5. #最大可用内存
  6. maxmemory 100m
  7. #内存耗尽时采用的淘汰策略:
  8. # volatile-lru -> remove the key with an expire set using an LRU algorithm
  9. # allkeys-lru -> remove any key accordingly to the LRU algorithm
  10. # volatile-random -> remove a random key with an expire set
  11. # allkeys-random -> remove a random key, any key
  12. # volatile-ttl -> remove the key with the nearest expire time (minor TTL)
  13. # noeviction -> don‘t expire at all, just return an error on write operations
  14. maxmemory-policy allkeys-lru
  15. #aof存储文件
  16. appendfilename "appendonly-6379.aof"
  17. #rdb文件,只用于动态添加slave过程
  18. dbfilename dump-6379.rdb
  19. #cluster配置文件(启动自动生成)
  20. cluster-config-file nodes-6379.conf
  21. #部署在同一机器的redis实例，把<span style="font-size: 1em; line-height: 1.5;">auto-aof-rewrite搓开，防止瞬间fork所有redis进程做rewrite,占用大量内存</span>
  22. auto-aof-rewrite-percentage 80-100

3:cluster 操作

cluster集群相关命令,更多redis相关命令见文档:http://redis.readthedocs.org/en/latest/

Java代码  

  1. 集群
  2. CLUSTER INFO 打印集群的信息
  3. CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。
  4. 节点
  5. CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。
  6. CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。
  7. CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点。
  8. CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。
  9. 槽(slot)
  10. CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。
  11. CLUSTER DELSLOTS <slot> [slot ...] 移除一个或多个槽对当前节点的指派。
  12. CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。
  13. CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。
  14. CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot 迁移到 node_id 指定的节点中。
  15. CLUSTER SETSLOT <slot> IMPORTING <node_id> 从 node_id 指定的节点中导入槽 slot 到本节点。
  16. CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。
  17. 键
  18. CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。
  19. CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。
  20. CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。

4:redis cluster 运维操作

1)初始化并构建集群

(1)#启动集群相关节点（必须是空节点）,指定配置文件和输出日志

Java代码  

  1. redis-server /opt/redis/conf/redis-6380.conf > /opt/redis/logs/redis-6380.log 2>&1 &
  2. redis-server /opt/redis/conf/redis-6381.conf > /opt/redis/logs/redis-6381.log 2>&1 &
  3. redis-server /opt/redis/conf/redis-6382.conf > /opt/redis/logs/redis-6382.log 2>&1 &
  4. redis-server /opt/redis/conf/redis-7380.conf > /opt/redis/logs/redis-7380.log 2>&1 &
  5. redis-server /opt/redis/conf/redis-7381.conf > /opt/redis/logs/redis-7381.log 2>&1 &
  6. redis-server /opt/redis/conf/redis-7382.conf > /opt/redis/logs/redis-7382.log 2>&1 &

(2):使用自带的ruby工具(redis-trib.rb)构建集群

Java代码  

  1. #redis-trib.rb的create子命令构建
  2. #--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点
  3. #节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000)
  4. redis-trib.rb create --replicas 1 10.10.34.14:6380 10.10.34.14:6381 10.10.34.14:6382 10.10.34.14:7380 10.10.34.14:7381 10.10.34.14:7382

(3):检查集群状态,

Java代码  

  1. #redis-trib.rb的check子命令构建
  2. #ip:port可以是集群的任意节点
  3. redis-trib.rb check 1 10.10.34.14:6380

最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

Java代码  

  1. [OK] All nodes agree about slots configuration.
  2. >>> Check for open slots...
  3. >>> Check slots coverage...
  4. [OK] All 16384 slots covered.

2):添加新master节点

(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预

a):根据端口生成配置文件(ps:establish_config.sh是我自己写的输出配置脚本)

Java代码  

  1. sh establish_config.sh 6386 > conf/redis-6386.conf

b):启动节点

Java代码  

  1. nohup redis-server /opt/redis/conf/redis-6386.conf > /opt/redis/logs/redis-6386.log 2>&1 &

c):加入空节点到集群

add-node  将一个节点添加到集群里面， 第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

Java代码  

  1. redis-trib.rb add-node 10.10.34.14:6386 10.10.34.14:6381

node:新节点没有包含任何数据， 因为它没有包含任何slot。新加入的加点是一个主节点， 当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中

d):为新节点分配slot

Java代码  

  1. redis-trib.rb reshard 10.10.34.14:6386
  2. #根据提示选择要迁移的slot数量(ps:这里选择500)
  3. How many slots do you want to move (from 1 to 16384)? 500
  4. #选择要接受这些slot的node-id
  5. What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf
  6. #选择slot来源:
  7. #all表示从所有的master重新分配，
  8. #或者数据要提取slot的master节点id,最后用done结束
  9. Please enter all the source node IDs.
  10. Type ‘all‘ to use all the nodes as source nodes for the hash slots.
  11. Type ‘done‘ once you entered all the source nodes IDs.
  12. Source node #1:all
  13. #打印被移动的slot后，输入yes开始移动slot以及对应的数据.
  14. #Do you want to proceed with the proposed reshard plan (yes/no)? yes
  15. #结束

3):添加新的slave节点

a):前三步操作同添加master一样

b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

Java代码  

  1. cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835

note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.

例如本次添加slave操作产生的rdb文件

Java代码  

  1. -rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-6386.rdb
  2. -rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7386.rdb

4):在线reshard 数据:

对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.

5):删除一个slave节点

Java代码  

  1. #redis-trib del-node ip:port ‘<node-id>‘
  2. redis-trib.rb del-node 10.10.34.14:7386 ‘c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378‘

6):删除一个master节点

a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除

master的slot迁移到一个节点上)

Java代码  

  1. #把10.10.34.14:6386当前master迁移到10.10.34.14:6380上
  2. redis-trib.rb reshard 10.10.34.14:6380
  3. #根据提示选择要迁移的slot数量(ps:这里选择500)
  4. How many slots do you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)
  5. #选择要接受这些slot的node-id(10.10.34.14:6380)
  6. What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)
  7. Please enter all the source node IDs.
  8. Type ‘all‘ to use all the nodes as source nodes for the hash slots.
  9. Type ‘done‘ once you entered all the source nodes IDs.
  10. Source node #1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)
  11. Source node #2:done
  12. #打印被移动的slot后，输入yes开始移动slot以及对应的数据.
  13. #Do you want to proceed with the proposed reshard plan (yes/no)? yes

b):删除空master节点

Java代码  

  1. redis-trib.rb del-node 10.10.34.14:6386 ‘f51e26b5d5ff74f85341f06f28f125b7254e61bf‘

三:redis cluster 客户端(Jedis)

1:客户端基本操作使用

Java代码  

  1. <span style="color: #333333; font-family: Arial, sans-serif;"><span style="color: #333333; font-family: Arial, sans-serif;"> private static BinaryJedisCluster jc;
  2. static {
  3. //只给集群里一个实例就可以
  4. Set<HostAndPort> jedisClusterNodes = new HashSet<HostAndPort>();
  5. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 6380));
  6. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 6381));
  7. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 6382));
  8. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 6383));
  9. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 6384));
  10. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 7380));
  11. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 7381));
  12. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 7382));
  13. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 7383));
  14. jedisClusterNodes.add(new HostAndPort("10.10.34.14", 7384));
  15. jc = new BinaryJedisCluster(jedisClusterNodes);
  16. }
  17. @Test
  18. public void testBenchRedisSet() throws Exception {
  19. final Stopwatch stopwatch = new Stopwatch();
  20. List list = buildBlogVideos();
  21. for (int i = 0; i < 1000; i++) {
  22. String key = "key:" + i;
  23. stopwatch.start();
  24. byte[] bytes1 = protostuffSerializer.serialize(list);
  25. jc.setex(key, 60 * 60, bytes1);
  26. stopwatch.stop();
  27. }
  28. System.out.println("time=" + stopwatch.toString());
  29. }</span></span>

2:jedis客户端的坑.

1)cluster环境下redis的slave不接受任何读写操作，

2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0

3)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch this command to Redis Cluster)错误，.

4)JedisCluster 没有针对byte[]的API，需要自己扩展(附件是我加的基于byte[]的BinaryJedisCluster  api)

时间： 2024-10-19 03:52:24

缓存key生成策略的一些思考的相关文章

面对缓存，有哪些问题需要思考？

缓存可以说是无处不在,比如 PC 电脑中的内存.CPU 中的二级缓存.HTTP 协议中的缓存控制.CDN 加速技术都是使用了缓存的思想来解决性能问题. 缓存是用于解决高并发场景下系统的性能及稳定性问题的银弹. 本文主要是讨论我们经常使用的分布式缓存 Redis 在开发过程中的相关思考. 1. 如何将业务逻辑与缓存之间进行解耦? 大部分情况,大家都是把缓存操作和业务逻辑之间的代码交织在一起的,比如(代码一): 从上面的代码可以看出以下几个问题: 缓存操作非常繁琐,产生非常多的重复代码: 缓存操作与

三大框架 之 Hibernate生成策略与缓存策略（主键生成策略、持久化、持久化类划分、一级缓存、事物管理）

目录 Hibernate生成策略与缓存策略 主键生成策略 主键分类 主键的生成策略 持久化 什么是持久化 什么是持久化类 持久化类编写规则 持久化类的划分 三种状态区分 持久态对象特征 一级缓存 什么是缓存 一级缓存 一级缓存特点 一级缓存内部结构 事务管理 什么是事务 事务特性 事务的隔离级别 Hibernate设置事务的隔离级别 事务业务层连接 Hibernate生成策略与缓存策略 主键生成策略 主键分类 自然主键 主键本身就是表中的一个字段 实体中一个具体的属性,对象本身唯一的特性 创建一

Hibernate 生成策略和缓存策略

主键生成策略 一.主键分类 1. 自然主键 主键本身就是表中的一个字段,实体中一个具体的属性,对象本身唯一的特性 比如:创建一个学生表:姓名.年龄.身份证号(自然主键) 2. 代理主键 主键本身不是表中必须的一个字段 同样创建一个学生表:姓名.年龄 .身份证号.SID(代理主键) 在实际开发当中尽量要使用代理主键 设计以学生身份证号为主键 在业务上添加学生身份证号,不小心录入错误 主键修改是如果两个相同是允许修改的.所以一旦参于业务,就可能存在一些问题 主键一般只作为条件,查询,不参与修改,使用

cglib源码分析2 ----- Class name 生成策略

一.如何获取动态生成的class 字节码 结合生成的class文件是一个学习cglib的比较好的方法.在cglib中,生成的class文件默认只存储在内存中,我们可以在代码中加入下面语句来获取class file. System.setProperty(DebuggingClassWriter.DEBUG_LOCATION_PROPERTY, "F:\\code "); 这里涉及到了一个比较关键的类DebuggingClassWriter,接下来我们简单的分析一下这个类.Debuggi

[原创]java WEB学习笔记93：Hibernate学习之路---Hibernate 缓存介绍，缓存级别，使用二级缓存的情况，二级缓存的架构集合缓存，二级缓存的并发策略，实现步骤，集合缓存，查询缓存，时间戳缓存

本博客的目的:①总结自己的学习过程,相当于学习笔记 ②将自己的经验分享给大家,相互学习,互相交流,不可商用 内容难免出现问题,欢迎指正,交流,探讨,可以留言,也可以通过以下方式联系. 本人互联网技术爱好者,互联网技术发烧友 微博:伊直都在0221 QQ:951226918 -----------------------------------------------------------------------------------------------------------------

Hibernate之：各种主键生成策略与配置详解

1.assigned 主键由外部程序负责生成,在 save() 之前必须指定一个.Hibernate不负责维护主键生成.与Hibernate和底层数据库都无关,可以跨数据库.在存储对象前,必须要使用主键的setter方法给主键赋值,至于这个值怎么生成,完全由自己决定,这种方法应该尽量避免. <id name="id" column="id"> <generator class="assigned" /> </id&g

hibernate5--主键生成策略

1.hibernate自己维护主键的值.首先获取该表中最大主键值,然后加一插入.主键字段对应的属性类型可以是int.short.long以及其封装类型.在高并发或者集群的情况下不能使用. 2.identity:使用数据库自身自增长来维护. <id name="id" column="tid"> <generator class="sequence"></generator> 结果sql Hibernate: c

hibernate系列笔记(4)---主键生成策略

主键生成策略 常见的生成策略分为六种 1.increment 由Hibernate从数据库中取出主键的最大值(每个session只取1次),以该值为基础,每次增量为1,在内存中生成主键,不依赖于底层的数据库,因此可以跨数据库. <id name="id" column="id"> <generator class="increment" /> </id> Hibernate调用org.hibernate.id.

Hibernate（4）——主键生成策略、CRUD 基础API区别的总结 和 注解的使用

俗话说,自己写的代码,6个月后也是别人的代码……复习!复习!复习!涉及的知识点总结如下: hibernate的主键生成策略 UUID 配置的补充:hbm2ddl.auto属性用法 注解还是配置文件 hibernate注解的基本用法 使用Session API CRUD操作对象,以及对象状态的转换 hibernate缓存的概念 get()/load()的区别到底是什么,源码分析 代理模式实现的懒加载 saveOrUpdate()/merge()的区别 Assigned(常用,一般情况使用很方便):