Redis使用sortedset缓存IP段数据

我们原来的业务中，有很多地方需要解析用户IP的信息，刚开始是通过新浪、百度这些第三方的接口来解析IP信息，后来发现调用这些接口频繁时会被禁用一小段时间。不得已只得将数据存到我们的数据库中，表结构大致如下图，大家一看应该就明白那些字段的意思。

查询得SQL大致是：SELECT * FROM IPInfo WHERE IPIntStart<=IP地址转int AND IPIntEnd>IP地址转int，共45万条数据，加上索引查询效率还可以，能满足日常业务查询。

最近有一个数据清洗的任务，需要在日志入库的时候就要解析其IP信息并保存，这个时候使用数据库查询效率就太低了，我们准备将这些数据存到redis中。由于使用时必须进行范围查询，所以这里的数据结构只能用sortedset了，使用IPIntStart作为score，而查询时只需要查出IP小于等于sortedset中score的第一条数据即可。

redis查询命令如下：

ZREVRANGEBYSCORE   IpSet IP地址转int值 0 LIMIT 0 1

原文地址：https://www.cnblogs.com/focus-lei/p/9466814.html

时间： 2024-08-21 21:01:34

Redis使用sortedset缓存IP段数据的相关文章

CakePHP 2.5 使用Redis缓存Paginator的数据

本身的Paginator无法缓存 , 直接修改源代码方便缓存 /lib/Cake/Controller/Component/PaginatorComponent.php 定位到196行和大约215行 /* 修改一下代码 源代码仅为 $results = $object->find($type, array_merge($parameters, $extra)); */ if(!isset($options['cache_config'])){ $results = $object->find(

redis哈希缓存数据表

REDIS HASH可以用来缓存数据表的数据,以后可以从REDIS内存数据库中读取数据. 从内存中取数,无疑是很快的. 1)将数据表中的数据写入REDIS缓存 Redis.cmd_HSET('table1', 'field1', '1'); Redis.cmd_HSET('table1', 'field2', '2'); 2)从REDIS获取缓存的数据表数据 procedure TForm1.Button2Click(Sender: TObject); var s, s2: string; be

Net分布式系统之五：C#使用Redis集群缓存

本文介绍系统缓存组件,采用NOSQL之Redis作为系统缓存层. 一.背景 系统考虑到高并发的使用场景.对于并发提交场景,通过上一章节介绍的RabbitMQ组件解决.对于系统高并发查询,为了提供性能减少数据库压力,我们加入缓存机制,可以不同层次加入缓存支持,本文主要介绍应用服务层和数据层之间加入缓存机制提升性能.业界缓存组件有Redis.Memcached.MemoryCache.本系统采用Redis缓存组件,有些系统将Redis当作MQ使用,此场景本系统用RabbitMQ,Redis主要用于系

C#使用Redis集群缓存

C#使用Redis集群缓存 本文介绍系统缓存组件,采用NOSQL之Redis作为系统缓存层. 一.背景 系统考虑到高并发的使用场景.对于并发提交场景,通过上一章节介绍的RabbitMQ组件解决.对于系统高并发查询,为了提供性能减少数据库压力,我们加入缓存机制,可以不同层次加入缓存支持,本文主要介绍应用服务层和数据层之间加入缓存机制提升性能.业界缓存组件有Redis.Memcached.MemoryCache.本系统采用Redis缓存组件,有些系统将Redis当作MQ使用,此场景本系统用Rabbi

【转】Nginx学习---Nginx&amp;&amp;Redis&amp;&amp;hcache三层缓存架构总结

[原文]https://www.toutiao.com/i6594307974817120782/ 摘要: 对于高并发架构,毫无疑问缓存是最重要的一环,对于大量的高并发,可以采用三层缓存架构来实现,nginx+redis+ehcache Nginx 对于中间件nginx常用来做流量的分发,同时nginx本身也有自己的缓存(容量有限),我们可以用来缓存热点数据,让用户的请求直接走缓存并返回,减少流向服务器的流量 一.模板引擎 通常我们可以配合使用freemaker/velocity等模板引擎来抗住

mybatis整合Redis实现二级缓存

Mybatis整合ehcache实现二级缓存 导入相关依赖 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>${spring.version}</version> </dependency> <!--mybatis与ehcache整合--

redis文档翻译_LRU缓存

Using Redis as an LRU cache使用Redis作为LRU缓存 出处:http://blog.csdn.net/column/details/redisbanli.html When Redis is used as a cache, sometimes it is handy to let it automatically evict old data as you add new one. This behavior is very well known in the c

多线程批量探测目标IP段的服务器类型（内网也可用）

一 原理解释 这里所说的服务器类型是指像Apache,tomcat,nginx,IIS这种.其中原理用到了HTTP Header的Responses,这里面有项叫"Server"的参数就包涵我们所需要的信息.下面是Responses的部分截图: (PS:更多相关可自行百度"HTTP Header") 因此,我们想要做一个多线程批量探测的软件,思路有两种:(1)根据别人提供的接口然后我们去调用获取(比如:http://api.builtwith.com 这个我以后可能

基于内存，redis，mysql的高速游戏数据服务器设计架构

转载请注明出处,欢迎大家批评指正 1.数据服务器详细设计 数据服务器在设计上采用三个层次的数据同步,实现玩家数据的高速获取和修改. 数据层次上分为:内存数据,redis数据,mysql数据 设计目的:首先保证数据的可靠,防止数据丢失,保证数据完整.然后实现数据的高速访问,减少由玩家数量增加对数据服务器性能造成的影响.最后实现运维数据的入库,以及数据持久化. 在这个基础上数据服务器不再是一个单一服务器,它涉及到与其他服务器之间的交互. 数据服务器的核心在于redis数据层面.通过redis加快玩家