Redis之序列化POJO

redis存储方式有很多种,但是我个人觉得最好用的并非是String存储类型,而是Hash存储类型,如果在使用redis的时候单纯的只使用到String存储类型的话,我个人觉得完全体现不了redis的特性。

redis 是一个key-value数据库,但在我看来他并不是单纯的key-value数据库,因为他相对于其他同类型的nosql数据来讲,redis提供了更多数据类型存储格式。比如如果需要使用nosql类型的数据库作为应用的缓存,我相信memcached比redis更适合,但是现实中往往很多人使用redis就仅仅只是使用String类型来做缓存。

redis有hash类型的value存储数据格式,不知道说到这里,大家有没有想到我们传统的关系型数据的数据存储格式。

其实我一直都想把redis做成一个应用与传统关系型数据库之间的媒介,从而实现尽量在高负载的环境下减少数据库的IO,并实现数据库持久化,且能够更好的实现异步与传统数据库的数据同步。

Hash

   常用命令:

hget,hset,hgetall 等。

    应用场景:

我们简单举个实例来描述下Hash的应用场景,比如我们要存储一个用户信息对象数据,包含以下信息:

用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储,主要有以下2种存储方式:

第一种方式将用户ID作为查找key,把其他信息封装成一个对象以序列化的方式存储,这种方式的缺点是,增加了序列化/反序列化的开销,并且在需要修改其中一项信息时,需要把整个对象取回,并且修改操作需要对并发进行保护,引入CAS等复杂问题。

第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿,用用户ID+对应属性的名称作为唯一标识来取得对应属性的值,虽然省去了序列化开销和并发问题,但是用户ID为重复存储,如果存在大量这样的数据,内存浪费还是非常可观的。

那么Redis提供的Hash很好的解决了这个问题,Redis的Hash实际是内部存储的Value为一个HashMap,并提供了直接存取这个Map成员的接口,如下图:

也就是说,Key仍然是用户ID, value是一个Map,这个Map的key是成员的属性名,value是属性值,这样对数据的修改和存取都可以直接通过其内部Map的Key(Redis里称内部Map的key为field), 也就是通过 key(用户ID) + field(属性标签) 就可以操作对应属性数据了,既不需要重复存储数据,也不会带来序列化和并发修改控制的问题。很好的解决了问题。

hash操作对应数据库的表数据存储方式其实是一样的,所以我们能够很容易切入到redis中,并把传统数据库的表数据存入到redis的hash数据类型中。这里我需要跟大家分享的是如果快速的插入对象到redis中。

网上很多资料上都有pojo存入到redis的hash中,但是大多操作都比较繁琐,这里说的繁琐是开发者需要做更多的事并不是代码的繁琐,我这里跟大家分享一个更简单方便的方法:

/**
	 * 
	* @Title: set
	* @Description: 保存实体
	* @return void  (region + ":H:" + setKey(region)) key标示。
	* @throws
	 */
	@SuppressWarnings({ "unchecked", "rawtypes" })
	public void save(V v) {
		Map<K, V> map = new JacksonHashMapper(entityClass).toHash(v);
		redisTemplate.boundHashOps((K) (region + ":H:" + setKey(region))) 
				.putAll(map);
	};

存储之后格式是:

获取数据:

/**
	 * 
	* @Title: get
	* @Description: 根据redis 中对象的key 获取对象信息  想请请看entries()方法,connection.hGetAll
	* @return E
	* @throws
	 */
	@SuppressWarnings({ "unchecked", "rawtypes" })
	public E get(String key) {
		Map<K, V> map = (Map<K, V>) redisTemplate.boundHashOps(
				(K) (region + ":H:" + key)).entries();
		return (E) new JacksonHashMapper(entityClass).fromHash(map);
	}

以上介绍的是单个pojo的数据存储于获取,但是如果是大批量的数据,我们会不会也只是多次执行同一个方法的方式去获取对象集合的呢?答案是否定的,因为redis已经为我们提供了更好的处理方法Pipelined  管道操作,意指多个数据统一返回。

/**
	 * 
	* @Title: listConn
	* @Description: 管道批量获取对象集合 传入对象的key  官方提供方法
	* @return List<E>
	* @throws
	 */
	@SuppressWarnings("unchecked")
	public List<E> listPipe(final List<String> keys) {
		List<Object> result = redisTemplate.executePipelined(new RedisCallback<List<Object>>() {
			@Override
			public List<Object> doInRedis(RedisConnection connection)
					throws DataAccessException {
				for (int i = 0; i < keys.size(); i++) {
					byte[] key = redisTemplate.getStringSerializer().serialize(
							(region + ":H:"+keys.get(i)));
					connection.hGetAll(key);
				}
				return null;
			}
		});
		return ((List<E>) result);
	}
自己实现的方法:executeConn
@SuppressWarnings("unchecked")
	public List<E> listConn(final List<String> keys) {
		HashMapper<E, K, V> jhm = (HashMapper<E, K, V>) new JacksonHashMapper<E>(entityClass);
		List<Object> result = redisTemplate.executeConn(new RedisCallback<Map<byte[], byte[]>>() {
			@Override
			public Map<byte[], byte[]> doInRedis(RedisConnection connection)
					throws DataAccessException {
				Map<byte[], byte[]> map = new HashMap<byte[], byte[]>();
				for (int i = 0; i < keys.size(); i++) {
					byte[] key = redisTemplate.getStringSerializer().serialize(
							(region + ":H:"+keys.get(i)));
					connection.hGetAll(key);
				}
				return null;
			}
		},jhm);
		return ((List<E>) result);
	}

上述方法会返回一个结果集,但是我发现返回的结果集中序列化的属性并没有反序列化完全导致输出出现乱码,先看下springdataredis提供的反序列化方法:

@SuppressWarnings({ "unchecked", "rawtypes" })
	private List<Object> deserializeMixedResults(List<Object> rawValues, RedisSerializer valueSerializer,
			RedisSerializer hashKeySerializer, RedisSerializer hashValueSerializer) {
		if (rawValues == null) {
			return null;
		}
		List<Object> values = new ArrayList<Object>();
		for (Object rawValue : rawValues) {
			if (rawValue instanceof byte[] && valueSerializer != null) {
				values.add(valueSerializer.deserialize((byte[]) rawValue));
			} else if (rawValue instanceof List) {
				// Lists are the only potential Collections of mixed values....
				values.add(deserializeMixedResults((List) rawValue, valueSerializer, hashKeySerializer, hashValueSerializer));
			} else if (rawValue instanceof Set && !(((Set) rawValue).isEmpty())) {
				values.add(deserializeSet((Set) rawValue, valueSerializer));
			} else if (rawValue instanceof Map && !(((Map) rawValue).isEmpty())
					&& ((Map) rawValue).values().iterator().next() instanceof byte[]) {
				values.add(SerializationUtils.deserialize((Map) rawValue, hashKeySerializer, hashValueSerializer));
			} else {
				values.add(rawValue);
			}
		}
		return values;
	}
SerializationUtils类:
public static <HK, HV> Map<HK, HV> deserialize(Map<byte[], byte[]> rawValues, RedisSerializer<HK> hashKeySerializer,
			RedisSerializer<HV> hashValueSerializer) {
		if (rawValues == null) {
			return null;
		}
		Map<HK, HV> map = new LinkedHashMap<HK, HV>(rawValues.size());
		for (Map.Entry<byte[], byte[]> entry : rawValues.entrySet()) {
			// May want to deserialize only key or value
			HK key = hashKeySerializer != null ? (HK) hashKeySerializer.deserialize(entry.getKey()) : (HK) entry.getKey();
			HV value = hashValueSerializer != null ? (HV) hashValueSerializer.deserialize(entry.getValue()) : (HV) entry
					.getValue();
			map.put(key, value);
		}
		return map;
	}

再看下我修改的之后的反序列话方法:

@SuppressWarnings({ "unchecked", "rawtypes" })
	private List<Object> deserializeMixedResults(List<Object> rawValues,RedisSerializer hashKeySerializer, RedisSerializer hashValueSerializer,HashMapper<E, K, V> jhm) {
		if (rawValues == null) {
			return null;
		}
		List<Object> values = new ArrayList<Object>();
		for (Object rawValue : rawValues) {
			Map<byte[], byte[]>  obj = (Map<byte[], byte[]>) rawValue;
			Map<K, V> map = new LinkedHashMap<K, V>(obj.size());
			for (Map.Entry<byte[], byte[]> entry : obj.entrySet()) {
				map.put((K) hashKeySerializer.deserialize((entry.getKey())), (V) hashValueSerializer.deserialize((entry.getValue())));
			}
			values.add(jhm.fromHash(map));
		}
		return values;
	}

以上就是我处理管道结果反序列化乱码的解决方法。如果有不明白的地方,请大家指正。谢谢。

时间: 2024-10-12 07:48:52

Redis之序列化POJO的相关文章

Redis的序列化

本文参考http://www.cnblogs.com/yaobolove/p/5632891.html Redis通过序列化存对象. 首先来了解为什么实现序列化接口? 当一个类实现了Serializable接口(该接口仅标记为接口,不包含任何方法定义),表示该类可以序列化.序列化的目的是将一个实现了Serializable接口的对象转化成一个字节序列,可以把该字节序列保存起来(例如:保存在一个文件夹里),以后可以随时将该序列恢复成原来的对象.甚至可以将该字节序列放到其他计算机上或者通过网络传输到

Redis 数据序列化方法 serialize, msgpack, json, hprose 比较

最近弄 Redis ,涉及数据序列化存储的问题,对比了:JSON, Serialize, Msgpack, Hprose 四种方式 1. 对序列化后的字符串长度对比: 测试代码: $arr = [0, 1, 2, 'a', 'b', 'c', 'd', 'a'=>'12', '包含中文', 'abcd包含中文efg'=>'abc一二三四defg', '键名'=>['abc'=>['def'=>123, 456, 'abcd中文内容efg'], 'a之间c'=>['a'=

Gson手动序列化POJO(工具类)

gson2.7版本 只是简单的工具类(练习所用): package pojo; import javax.xml.bind.annotation.XmlSeeAlso; import com.google.gson.annotations.SerializedName; public class User { public String name; public int age; @SerializedName(value="email_Address",alternate={&quo

Spring Cache Redis 修改序列化方式

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId&

redis使用Jackson2JsonRedisSerializer序列化问题

一.spring boot 集成Redis方法 依赖 <!--redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.apache.c

一文彻底理解Redis序列化协议,你也可以编写Redis客户端

前提 最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块,过程中顺便阅读了Redis服务序列化协议RESP,结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析.编写本文的使用使用的JDK版本为[8+]. RESP简介 Redis客户端与Redis服务端基于一个称作RESP的协议进行通信,RESP全称为Redis Serialization Protocol,也就是Redis序列化协议.虽然RESP为Redis设计,但是它也可以应用在其他客户端-服务端(C

Flink资料(4) -- 类型抽取和序列化

类型抽取和序列化 本文翻译自Type Extraction and Serialization Flink处理类型的方式比较特殊,包括它自己的类型描述,一般类型抽取和类型序列化框架.该文档描述这些概念并解释其机理. Java API和Scala API处理类型信息的方式有根本性的区别,所以本文描述的问题仅与其中一种API相关 一.Flink中对类型的处理 一般处理类型时,我们并不干涉,而是让编程语言和序列化框架来自动处理类型.与之相反的,Flink想要尽可能掌握进出用户函数的数据类型的信息. 1

Netty5入门学习笔记004-使用Netty传输POJO对象(上)

使用Netty传输POJO对象,重点在于对象的序列化,序列化后的对象可以通过TCP流进行网络传输,结合Netty提供的对象编解码器,可以做到远程传输对象. 下面我们来看一个例子:模拟订票 首先Java序列化的POJO对象需要实现java.io.Serializable接口. 火车车次和余票量POJO: package bookticket; import java.io.Serializable; /**  * 火车pojo对象  * @author xwalker  */ public cla

redis.conf for Chinese

#引用其他配置文件 # include /path/to/local.conf # include /path/to/other.conf #是否daemon运行no,yes daemonize no #pid文件的位置 pidfile /tmp/redis.pid #开放的端口号 port 6379 #listen队列的长度 tcp-backlog 511 #绑定ip地址,多个ip用空格分隔 bind 127.0.0.1 #我没有用到 # unixsocket /tmp/redis.sock