rocketMQ 删除过期文件

commitLog 删除文件的策略
指定时间到了,磁盘不足,人工删除,满足任一条件,判断文件是否过期或者磁盘不足,是则删除,一批次最多删除 10 个文件。

commitLog,consumeQueue,indexFile 的删除策略如下图:

commitLog 尾部是有空洞的,当一个消息在当前文件放不下时,rocketmq 认为下一个文件一定能放下该消息,消息不会分隔保存。

commitLog 文件尾部存在至少 8 字节的空洞。

一般情况的尾部组成:maxBlank,BLANK_MAGIC_CODE,随机的内容

// org.apache.rocketmq.store.CommitLog.DefaultAppendMessageCallback#doAppend
if ((msgLen + END_FILE_MIN_BLANK_LENGTH) > maxBlank) {
    this.resetByteBuffer(this.msgStoreItemMemory, maxBlank);
    // 1 TOTALSIZE
    this.msgStoreItemMemory.putInt(maxBlank);
    // 2 MAGICCODE
    this.msgStoreItemMemory.putInt(CommitLog.BLANK_MAGIC_CODE);
    // 3 The remaining space may be any value
    // Here the length of the specially set maxBlank
    final long beginTimeMills = CommitLog.this.defaultMessageStore.now();
    byteBuffer.put(this.msgStoreItemMemory.array(), 0, maxBlank);
    return new AppendMessageResult(AppendMessageStatus.END_OF_FILE, wroteOffset, maxBlank, msgId, msgInner.getStoreTimestamp(),
        queueOffset, CommitLog.this.defaultMessageStore.now() - beginTimeMills);
}

原文地址:https://www.cnblogs.com/allenwas3/p/12404169.html

时间: 2024-11-13 06:53:18

rocketMQ 删除过期文件的相关文章

Linux下的删除过期文件操作

在实际的软件开发项目中,经常会有实现删除过期文件的需求.即要求程序能够自动删除多长时间之前生成的文件.本文提供了一个示例代码,为相关的开发工作提供了参考. 程序如下(本程序用makefile进行编译): /*********************************************************************** 版权所有 (C)2014, Zhou Zhaoxiong.* * 文件名称: TestFileDelete.c* 内容摘要: 用于演示Linux下过期

Linux下两种删除过期文件的方法详述

一.概述 在实际的C软件开发项目中,不同的软件会在不同的目录中生成文件,由于磁盘的存储空间有限,开发人员不得不考虑对目录下的过期文件进行删除.一般说来,有两种删除过期文件的方法,一种是在C程序中实现,一种是利用crontab实现.本文对这两种方法的具体实现进行详细的介绍. 为了便于说明,本文中的过期文件的后缀为.c,存放在/home/zhou/zhouzx/Test目录下,过期时间为1天. 二.在C程序中实现过期文件删除 在该方法中,我们要考虑的主要问题为: (1)要删除过期多久的文件?文件存放

crontab定时任务打包备份文件并删除过期文件

Crontab 示例,最后这里要写成shell脚本定时运行 30 17 * * * cp -rf /usr/local/tomcat9-jforum/tomcat/logs/catalina.out  /usr/local/tomcat9-jforum/logs Crontab归结为以下几点特性:1.     Crontab约束2.      Crontab命令3.      Crontab文件语法4.      Crontab示例5.      Crontab环境设置6.     邮件7.  

linux删除过期文件

建立删除文件脚本 #!/bin/sh #定义所删除目录路径 location="/u01/app/oracle/admin/jmhrms/bdump" find $location -mtime +365 -type f -name 'jmhrms_*.trc' -exec rm -f {} \; 或者 #!/bin/sh find /u01/app/oracle/admin/jmhrms/bdump -mtime +365 -type f -name 'jmhrms*.trc' |x

Linux 下Shell脚本删除过期文件

在写这个shell之前先说一下,stat命令的使用方法 一.关于时间戳 每一个文件都有3中时间(称为时间戳timestamps),对这3种时间,很多时候容易混淆不清,因此 这里要说明下:   Access time(atime):是指取用文件的时间,所谓取用,常见的操作有:使用编辑器查看文件内容,使用cat命令显示文件内容,使用cp命令把该文件(即来源文件)复制成其他文件,或者在这个文件上运用grep sed more less tail head 等命令,凡是读取而不修改文件的操作,均衡改变文

linux 删除过期文件

写完备份后发现,数据需要定时删除:第一想法遍历文件,判断文件名,比对当前时间进行删除:然而这当然也是可以的:却又更加简便的方法: find /mnt/sqlBac/ -type f -mtime +15 -exec rm -f '{} \;' find /mnt/sqlBac/ -type f -mtime +15 -exec rm -f {} \; find /mnt/sqlBac/ -type f -mtime +15 -exec rm -f {}\; centos 6.5 下 使用第二条命

批处理实现自动删除过期文件的定期操作

执行后会在相同目录下生成日志文件:DelExpiredLog.log现实执行的起始时间点.@echo off rem write to log set filename=DelExpiredLog.log echo -------------------Delete Expired Log Files------------------------- >>%filename% echo Start >>%filename% echo (%date% %time%) >>

forfiles命令批处理删除过期文件

命令格式: forfiles.exe /p "D:\备份" /s /m *.zip /d -7 /c "cmd /c del @path" /p:指定目录 /s:递归搜索子目录 /m:搜索"*.zip"文件来删除,默认是"*.*" /d:-7表示7天前的文件 /c:自行命令,后面双引号括起来的是删除文件命令

windows下自动删除过期文件的脚本

前言: 比如日志文件每天都产生,时间长了就会有很大的一堆垃圾.整理一下 定时删除文件的方法. 正文: Windows: 定时删除tomcat日志和缓存.可以保留天数 forfiles /p "e:\Program Files\Tomcat 7.0\logs" /s /m *.log /d -5 /c "cmd /c del @path" forfiles /p "e:\Program Files\Tomcat 7.0\logs" /s /m *.