Redis技术之旅十 高并发问题
redis为什么会有高并发问题
- redis的出身决定
Redis是一种单线程机制的nosql数据库,基于key-value,数据可持久化落盘。由于单线程所以redis本身并没有锁的概念,多个客户端连接并不存在竞争关系,但是利用jedis等客户端对redis进行并发访问时会出现问题。发生连接超时、数据转换错误、阻塞、客户端关闭连接等问题,这些问题均是由于客户端连接混乱造成。
同时,单线程的天性决定,高并发对同一个键的操作会排队处理,如果并发量很大,可能造成后来的请求超时。
在远程访问redis的时候,因为网络等原因造成高并发访问延迟返回的问题。
解决办法
- 在客户端将连接进行池化,同时对客户端读写Redis操作采用内部锁synchronized。
- 服务器角度,利用setnx变向实现锁机制。这个方法在实际环境中如何使用,本人并不清楚。
jedis常见错误分析
异常代码1:
redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
问题分析:redis.clients.util.Pool.getResource
会从JedisPool
池中返回一个可用的redis连接,关于JedisPool中可用连接的配置有几个重要的参数如下:
MaxActive:可用连接实例的最大数目,为负数的时候没有限制。
MaxIdle:空闲连接实例的最大数目,为负值时没有限制。
MaxWait:等待获取链接的超时时间。
也就是说当连接池中没有
active/idle
的连接时,会等待maxWait
时间,如果等待超时还没有可用连接,则抛出Could not get a resource from the pool
异常。所以为避免这样的错误,
我们应该根据程序实际情况合理设置这三个参数的值,同时在我们获取一个连接的程序方法中也应该合理的处理这个异常,当没有连接可用时,等待一段时间再获取也许是个比较好的选择。
异常代码2:
redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
遇到这个异常,可能会比较疑惑,redis是对内存的操作,速度一个在毫秒级别,在对redis操作出现秒级别的操作时会让人感觉疑惑,但是本文开头已经说过了,在一些特殊情况下,redis出现超时并不奇怪。jedis在初始化JedisPool时应该根据实际情况通过
redis.clients.jedis.JedisPoolConfig
合理设置连接池参数,通过redisPool
构造方法,设置socket读取输入InputStream
的超时时间。
`pool = new JedisPool(config, host, port, 100000)`;
第四个参数是time out,单位是毫秒。可以通过合理的设置这个值来规避问题。但是这不能完全解决超时的为题。有些高并发情况下,延时返回时间甚至会达到几十秒的极端情况。这个问题要通过代码层面解决redis单线程本身不支持锁,在对同一个键进行并发操作会产生竞争的问题。