"过期不候"--具备生命周期的数据的技术实现方案

"过期不候"--具备生命周期的数据的技术实现方案

1   引言

本文可以作为之前的一个 原理性文章 对应的 技术实现部分 。

此处给出其上文的直达电梯:

http://www.cnblogs.com/beer/p/6029861.html

基于token的多平台身份认证架构设计

2   数据生命周期

所谓的 “数据生命周期” 是指:为数据设定一定的生存期限,过了这个时间后, 此数据就被删除掉(失效)。

在进行web开发的时候,有很多需求场景是要求数据是具有一定的生命周期,比如:

  • 具有一定时效的用户登录会话
  • 邀请码系统的时效控制
  • 具有时效的二维码/短信/邮件验证系统
  • 接口调用认证的token有效期
  • 第三方授权的期限控制
  • 分享内容的时效控制
  • 记录一段时间的日志

本文将以如下两种数据库特性为例子来对此功能的实现进行介绍:

  • mongodb
  • redis

3   mongodb

3.1   实现方法

在mongodb中有个 TTL(Time To Live 生存时间)索引 功能:

TTL索引是一种特殊索引,通过这种索引 MongoDB 会过一段时间后自动移除集合中的文档。 这对于某些类型的信息来说是一个很理想的特性,例如: 机器生成的事件数据,日志,会话信息等,这些数据都只需要在数据库中保存有限时间。

  • 如果你可以设定这个生命周期是多久他只要过了这段时间之后,它就会自动删除掉
  • 删除的周期就是一分钟左右(和mongodb服务的负载有关),mongodb后台会进行周期性地检查这些索引字段

在 mongodb 中的实现方式:

db.ttl_log_session.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } )

主要解释如下:

  • 对 ttl_log_session 合集建立索引
  • 索引字段为 lastModifiedDate
  • 索引顺序是 升序
  • 有效生存周期为 3600 秒

达到的效果:以 lastModifiedDate 时刻开始,经过 3600 秒之后,此文档会失效被删除掉。

3.2   过期时间精度

删除操作的一些注意事项:

  • TTL索引 不能 保证过期数据会被立刻删除

    在文档过期和MongoDB从数据库中删除文档之间,可能会有延迟。

  • 删除过期数据的后台任务每隔60秒运行一次

    在文档过期之后和后台任务运行或者结束之前,文档会依然存在于集合中(删除操作还没有完成)。

  • 删除操作的持续实际取决于您的 mongod 实例的负载

    在两次后台任务运行的间隔间,过期数据可能会继续留在数据库中超过60秒。

4   redis

redis是一个内存数据库,它具备快速IO的特点。在性能上会比Mongodb进行大幅度提升。

4.1   实现方式

通过如下方式:

EXPIRE key seconds

为给定的key设置生存时间,当key过期时(生存时间为0),它会被自动删除。

如下是一些设置生存时间相关的基本操作:

redis> SET cache_page "www.google.com"
OK

redis> EXPIRE cache_page 30  # 设置过期时间为 30 秒
(integer) 1

redis> TTL cache_page    # 查看剩余生存时间
(integer) 23

redis> EXPIRE cache_page 30000   # 更新过期时间
(integer) 1

redis> TTL cache_page
(integer) 29996

注意事项:

  • 生存时间可以通过使用 DEL 命令来删除整个 key 来移除,或者被 SET 和 GETSET 命令覆写(overwrite)
  • 如果使用 RENAME 对一个 key 进行改名,那么改名后的 key 的生存时间和改名前一样
  • 将一个带生存时间的 key 改名成另一个带生存时间的 another_key ,这时旧的 another_key (以及它的生存时间)会被删除,然后旧的 key 会改名为 another_key

4.2   过期时间精度

  • 在 Redis 2.4 版本中,过期时间的延迟在 1s 之内

    就算key已经过期,但它还是可能在过期之后一秒钟之内被访问到

  • 在新的 Redis 2.6 以后的版本中,延迟被降低到 1ms 之内

5   小结

在进行web开发过程中,很多场合都需要用到数据的生命周期的功能。 关于如何实现此功能时,可以参考如下结论后再进行相应的技术选型:

本文关于 "数据生命周期" 主题的主要结论如下:

  • 可以通过在web应用层上面做一些定时任务,但是那样的效率远没有直接在数据库层做操作要效率高
  • 内存数据库(Reids)在过期时间精度上面的控制要远比磁盘数据库(MongoDB)要强得多,可能达到6万倍

在进行技术选型时注意在如下几个特性上进行比较:

  1. IO速度
  2. 数据持久化
  3. 数据的备份和复制集
  4. 数据库对多核心的利用
  5. 数据库集群的部署的成本和难度
  6. 开发的成本和难度

最终能够得出合适自己的技术方案,实现自己系统的功能。


作者: Harmo哈莫
作者介绍: https://zhengwh.github.io
技术博客: http://www.cnblogs.com/beer
Email: [email protected]
QQ: 1295351490
时间: 2016-02
版权声明: 欢迎以学习交流为目的读者随意转载,但是请 【注明出处】
支持本文: 如果文章对您有启发,可以点击博客右下角的按钮进行 【推荐】
时间: 2024-10-22 11:59:44

"过期不候"--具备生命周期的数据的技术实现方案的相关文章

Vuejs——Vue生命周期,数据,手动挂载,指令,过滤器

版权声明:出处http://blog.csdn.net/qq20004604 目录(?)[+] 原教程: http://cn.vuejs.org/guide/instance.html http://cn.vuejs.org/guide/syntax.html 本博文是在原教程的基础上加上实例,并尝试说明的更详细. (十)Vue实例的生命周期 如图:(我自己翻译的中文版,英文版请查看本博文顶部的,第一个链接) (八)传入的数据绑定 先创建一个对象(假如是obj),然后将他传入Vue实例中,作为d

Vuejs——(2)Vue生命周期,数据,手动挂载,指令,过滤器

版权声明:出处http://blog.csdn.net/qq20004604 目录(?)[+] 原教程: http://cn.vuejs.org/guide/instance.html http://cn.vuejs.org/guide/syntax.html 本博文是在原教程的基础上加上实例,并尝试说明的更详细. (十)Vue实例的生命周期 如图:(我自己翻译的中文版,英文版请查看本博文顶部的,第一个链接) (八)传入的数据绑定 先创建一个对象(假如是obj),然后将他传入Vue实例中,作为d

windows phone应用程序生命周期及数据保存

windwos phone应用程序生命周期大家可以参考msdn上的介绍,上面介绍的很详细.http://msdn.microsoft.com/zhcn/library/windows/apps/xaml/hh464925.aspx 接下来主要介绍在应用程序挂起时数据的保存. 保存数据我们可以通过以下这三种方式. 1.通过SuspensionManager类 2.通过NavigationHelper类 3.通过微软提供的API,ApplicationData.Current.LocalSettin

Asp.Net生命周期和Http管道技术

本篇主要介绍一下内容: 1.ASP.NET生命周期 2.Http运行时 3.Http管道技术 a)inetinfo.exe b)asp.net_isapi.dll c)aspnet_wp.exe d)HttpHandler e)HttpModule 4.实现Httphandler的使用 5.ASP.NET生命周期 6.(IIS)Web服务器(inetinfo.exe): 1.只有少数几种被客户端请求的资源类型由iis直接处理,如对Html页面,文本文件,jpeg和gif图像的传入请求 2.对AS

【http】生命周期和http管道技术 整理中

httpModules 与 httpHandlers  正在写demo public class Httpext : IHttpModule { public void Dispose() { throw new NotImplementedException(); } public void Init(HttpApplication context) { context.BeginRequest += new EventHandler(this.BeginRequest); } private

大数据时代之hadoop(三):hadoop数据流(生命周期)

了解hadoop,首先就需要先了解hadoop的数据流,就像了解servlet的生命周期似的.hadoop是一个分布式存储(hdfs)和分布式计算框架(mapreduce),但是hadoop也有一个很重要的特性:hadoop会将mapreduce计算移动到存储有部分数据的各台机器上. 术语 MapReduce 作业(job)是客户端需要执行的一个工作单元:它包括输入数据.mapreduce程序和配置信息.hadoop将作业分成若干个小任务(task)来执行,其中包括两类任务:map任务和redu

android83 Activity的生命周期,启动模式,返回时传递数据

#Android四大组件 * Activity * BroadCastReceiver * Service * ContentProvider #Activity生命周期 * oncreate:Activity对象创建完毕,但此时不可见 * onstart:Activity在屏幕可见,但是此时没有焦点(不能够点,不能够交互) * onResume:Activity在屏幕可见,并且获得焦点 * onPause:Activity此时在屏幕依然可见,但是已经没有焦点 * onStop:Activity

01_Activity生命周期及传递数据

1. Activity的生命周期: 2. Activity启动另一个Activity,并传递数据: package com.example.activitydemo; import android.app.Activity; import android.content.Intent; import android.os.Bundle; import android.view.View; import android.widget.Button; import android.widget.Ed

Android笔记-活动生命周期&Bundle回收临时数据&活动启动模式&常用技巧

Android使用任务(Task)管理活动,是一组存放在返回栈(Back Stack)里的活动的合集: 系统总是显示栈顶活动给用户: 启动新活动->新活动入栈 按下Back键或调用finish()->栈顶活动出栈 活动生命周期的四种状态: 1. 运行状态:处于栈顶 2. 暂停状态:不处于栈顶,但仍然可见 3. 停止状态:不处于栈顶,完全不可见,系统仍然保存其状态和成员变量,但不可靠 4. 销毁状态:从栈中移除,活动被系统回收 Activity的七个回调方法: 1. onCreate():活动第