Linux UBI子系统设计初探

问题领域

flash存储设备存在如下特点:

  • 存在坏块
  • 使用寿命较短
  • 存储介质不稳定
  • 读写速度慢
  • 不支持随机访问(nand)
  • 只能通过擦除将0改成1
  • 最小读写单位为page or sub-page
  • 便宜

针对flash设备的特点,flash文件系统的核心功能需求和质量需求需包括如下这几个方面:

  • 读写
  • 性能
  • 可靠性
  • 持久性

针对这些需求,可分析得出flash文件系统需要满足如下属性要求:

  • 数据保护
  • 坏块管理
  • 垃圾回收
  • 磨损均衡
  • 分区管理
  • 文件管理
  • 性能优化

在ubifs文件系统中,这7条属性中的数据保护、坏块管理、垃圾回收、磨损均衡、分区管理等需求由ubi子系统实现,也是此次分析的重点。

架构模型

ubi是ubifs的一个子系统,其位于MTD之上,ubifs之下,如图所示。

ubi子系统内部又细分多个模块(如下),每个模块后面逐个展开介绍。

其设计架构如下:

为了管理架构栈中的各个子系统,ubi在用户态导出多个控制接口,以便于对模型进行控制管理。
/dev/mtd0:
  mtd对象,对mtd设备操作的实体
/dev/ubi_ctrl:
  ubi控制对象,用于ubi与mtd的映射与解映射(attach and detach)
/dev/ubi0:
  ubi 抽象层对象,对ubi操作的实体
/dev/ubi0_0:
  ubi volume对象,对ubi volume操作的实体

UBI数据模型

数据是建模和设计的核心,UBI有2个顶层数据对象:ubi_attach_info和ubi_volume_desc。其数据关系模型如下:

UBI数据持久化设计

因为磨损均衡、逻辑块管理、分卷管理等需要,ubi自身支持这些功能的元数据需要持久化存储,如:块擦除次数、LEB/PEB映射、volume/LEB映射、分卷表、fastmap等数据,具体的数据结构有:

OOB
ubi_ec_hdr - UBI erase counter header
ubi_vid_hdr - on-flash UBI volume identifier header
ubi_vtbl_record - a record in the volume table.
ubi_fm_sb - UBI fastmap super block
ubi_fm_hdr - header of the fastmap data set
ubi_fm_scan_pool - Fastmap pool PEBs to be scanned while attaching
ubi_fm_ec - stores the erase counter of a PEB
ubi_fm_volhdr - Fastmap volume header
ubi_fm_eba - denotes an association beween a PEB and LEB

其中ubi_ec_hdr、ubi_vid_hdr、ubi_vtbl_record、OOB的数据结构定义、存储位置和数据示例如下:

ubi_ec_hdr,存放在每个PEB(1MB)的page 0,每个page(8K)一段OOB(0x1C0);

ubi_vid_hdr,对于已分配到volume中的PEB,vid hdr存放在PEB page 1(8K) or page 0 sub-page 1(2K);

ubi_vtbl_record,作为UBI_LAYOUT_VOLUME_ID的数据,LEB0,LEB1相互备份,从PEB的page 2 开始存放。

每个PEB块有个OOB区,OOB前面几个字节是坏块标记(橙色标示),尾部一段字节为ECC数据(绿色标示),如果中间有多余字节,则闲置不用(黄色标示)。各段的大小依赖于页格式、ecc位数、各flash厂商定义的坏块标记形式而定。

UBI attaching子系统

attaching子系统的核心任务就是创建并初始化ubi设备,其核心数据是ubi_attch_info对象,对照上一节的数据模型,这个过程包括创建ubi_ainf_volume对象;扫描所有PEB的ec header和vid header,读取OOB区坏块标记,统计坏块个数,初始化ai->bad_peb_count;如果attaching时PEB的ec header为无效值,此时会有平均的ec值初始化其ec header;如果发现2个PEB具有相同的lnum,选用seqnum大的PEB,seqnum小的PEB放入 ai->erase链表。

校验每个块的ec header、vid header和data,并对其错误类型进行分类,对可纠正的错误,放入ai->erase表,对于无法纠正的错误,放入ai->corr或ai->alien表;对于没有错误的块,放入ai->free表。具体分类规则请参照下表。

错误类型:

  • UBI_IO_FF: 全0xFF;
  • UBI_IO_FF_BITFLIPS: 全0xFF,但是有可纠正的ECC错误;
  • UBI_IO_BAD_HDR: EC或VID头损坏(如magic number错误或者CRC错误)
  • UBI_IO_BAD_HDR_EBADMSG: 由不可纠正的ECC错误导致的EC或VID头损坏
  • UBI_IO_BITFLIPS: 有可纠正的ECC错误;

PEB分类:

  • free:正常块;
  • erase:擦除块,需要进行擦除;
  • corr:损坏块,不再参与磨损均衡;
  • alien:异常块,不再参与磨损均衡;
  • scrub:擦洗块,数据搬移到正常快上,并对其进行擦除,确认没有问题;
  • torture:拷问块,数据搬移到正常快上,并对其反复多次读写擦除,确认没有问题;

UBI EBA子系统

EBA子系统主要提供如下功能:

  • LEB/PEB的映射表管理:上层只看到LEB,不再关心块的读写错误处理、替换等细节;
  • LEB的sequence counter管理:seq counter主要是为了标记顺序,解决LEB/PEB的映射冲突;
  • LEB访问接口封装:如read, write, copy, check, unmap, atomic change等;
  • LEB访问保护:每一个LEB的并发访问都由读写信号量锁rwsem进行保护;

EBA提供了2种写方式:ubi_eba_write_leb和ubi_eba_atomic_leb_change。ubi_eba_write_leb用于对块的write,ubi_eba_atomic_leb_change用于对块的modify或者append。ubi_eba_write_leb写后会做读校验,如果有-EIO错误,将老PEB上的数据移动到新的PEB上,并将新数据也写到新的PEB中,对老PEB进行torture。ubi_eba_atomic_leb_change为了避免破坏已有数据,采用异地更新的方式来实现原子写,并加一个ubi->alc_mutex来进行串行化保护,其具体流程如下:

  1. 读取leb数据(ubifs内完成)
  2. 检查写数据长度是否为0,为0时,unmap leb
  3. 分配初始化vid_hdr
  4. 分配新的peb(ubi_wl_get_peb)
  5. 新peb中写入vid_hdr
  6. 新peb中写入老leb数据+新增数据
  7. 回收老的peb(ubi_wl_put_peb)
  8. 更新leb map(vol->eba_tbl)

UBI wear-leveling子系统

磨损均衡是UBI的核心功能之一,负责管理PEB的分配、回收、擦除、scrub、磨损均衡等。其中scrub、擦除, 磨损均衡功能由UBI后台线程进行异步调度管理。
UBI磨损均衡基于PEB的擦除次数实现,采用静态磨损均衡策略。对于静态磨损均衡,建立在如下假设上:擦除次数(ec)少的PEB比擦除次数多的PEB稳定,将ec大的PEB数据交换到ec小的PEB上,达到磨损均衡的目的。

PEB的分配、回收、擦除、scrub都会触发磨损均衡检查。为了避免频繁磨损均衡,进一步加重磨损情况,磨损均衡的触发频率通过UBI_WL_THRESHOLD控制,UBI_WL_THRESHOLD值不宜太小。但这种策略也存在一些问题,为了避免极端情况下对某些特定块反复擦除,通过磨损均衡_FREE_MAX_DIFF (2*UBI_WL_THRESHOLD)来控制挑选最坏的free PEB范围。

根据attaching时的PEB分类,磨损均衡模块初始化时,启动对erase块的擦除,对torture块的拷问,构建磨损均衡块红黑树,scrub红黑树等。PEB的分配通过ubi_wl_get_peb接口实现,分配具有平均擦除次数的free PEB。PEB的回收通过ubi_wl_put_peb接口实现,回收后调度erase_worker擦除。

UBI IO子系统

IO子系统主要为上层模块提供统一的读写接口,这主要包含:

PEB读写接口的统一封装,包括mtd read/write 封装;参数检查;读写检查(read io check, write verify check), 通过ubi->dbg.chk_io控制,默认没有使能。
ubi ec/vid hdr的读写接口的统一封装,包括有效性验证;支持非对齐存储;支持vid存于sub-page。

UBI fastmap子系统

缩短ubi初始化(attach)时间,使attach时间复杂度是个常数,不随PEB个数成线性增长。(Experimental feature,产品中暂未使能,未研究)

参考资料

Linux kernel 3.14-rc6 source code
http://en.wikipedia.org/wiki/Wear_leveling
www.linux-mtd.infradead.org

--EOF--

时间: 2024-08-24 21:33:05

Linux UBI子系统设计初探的相关文章

Linux时间子系统之六:高精度定时器(HRTIMER)的原理和实现

上一篇文章,我介绍了传统的低分辨率定时器的实现原理.而随着内核的不断演进,大牛们已经对这种低分辨率定时器的精度不再满足,而且,硬件也在不断地发展,系统中的定时器硬件的精度也越来越高,这也给高分辨率定时器的出现创造了条件.内核从2.6.16开始加入了高精度定时器架构.在实现方式上,内核的高分辨率定时器的实现代码几乎没有借用低分辨率定时器的数据结构和代码,内核文档给出的解释主要有以下几点: 低分辨率定时器的代码和jiffies的关系太过紧密,并且默认按32位进行设计,并且它的代码已经经过长时间的优化

Linux输入子系统(转)

Linux输入子系统(Input Subsystem) 1.1.input子系统概述 输入设备(如按键,键盘,触摸屏,鼠标等)是典型的字符设备,其一般的工作机制是低层在按键,触摸等动作发生时产生一个中断(或驱动通过timer定时查询),然后cpu通过SPI,I2C或者外部存储器总线读取键值,坐标等数据,放一个缓冲区,字符设备驱动管理该缓冲区,而驱动的read()接口让用户可以读取键值,坐标等数据. 在Linux中,输入子系统是由输入子系统设备驱动层.输入子系统核心层(Input Core)和输入

Linux MTD子系统 _从模型分析到Flash驱动模板

MTD(Memory Technology Device)即常说的Flash等使用存储芯片的存储设备,MTD子系统对应的是块设备驱动框架中的设备驱动层,可以说,MTD就是针对Flash设备设计的标准化硬件驱动框架.本文基于3.14内核,讨论MTD驱动框架. MTD子系统框架 设备节点层:MTD框架可以在/dev下创建字符设备节点(主设备号90)以及块设备节点(主设备号31), 用户通过访问此设备节点即可访问MTD字符设备或块设备. MTD设备层: 基于MTD原始设备, Linux在这一层次定义出

【转】 linux iio子系统

原文网址:http://blog.csdn.net/tsy20100200/article/details/47101661 最近由于工作的需要,接触了Linux iio子系统,对于这个目录其实以前是很少接触,接下了对 Linux iio 子系统进行分析. 1.首先 iio子系统在内核树中位置:drivers/staging/iio 详细的iio子系统说明文档位置:drivers/staging/iio/Documentation(文档是个好东西,详细阅读文档,有利于更深层次的理解iio子系统)

Linux usb子系统(三):通过usbfs操作设备的用户空间驱动

内核中提供了USB设备文件系统(usbdevfs,Linux 2.6改为usbfs,即USB文件系统),它和/proc类似,都是动态产生的.通过在/etc/fstab文件中添加如下一行:none /proc/bus/usb usbfs defaults或者输入命令:mount -t usbfs none /proc/bus/usb可以实现USB设备文件系统的挂载. 一个典型的/proc/bus/usb/devices文件的结构如下(运行的arm Linux 2.6.37内核上的机器上插入了一个u

全网络对Linux input子系统最清晰、详尽的分析

Linux input分析之二:解构input_handler.input_core.input_device 输入输出是用户和产品交互的手段,因此输入驱动开发在Linux驱动开发中很常见.同时,input子系统的分层架构思想在Linux驱动设计中极具代表性和先进性,因此对Linux input子系统进行深入分析很有意义. 本文继续在<Linuxinput子系统分析之一:软件分层>的基础上继续深入研究Linux输入子系统的分层架构思想以及其实现.软件分层探讨的是输入消息从底层硬件到内核.应用层

Linux时间子系统(十七) ARM generic timer驱动代码分析

一.前言 关注ARM平台上timer driver(clocksource chip driver和clockevent chip driver)的驱动工程师应该会注意到timer硬件的演化过程.在单核时代,各个SOC vendor厂商购买ARM core的IP,然后自己设计SOC上的peripherals,这里面就包括了timer的硬件.由于没有统一的标准,各个厂商的设计各不相同,这给驱动工程师带来了工作量.然而,如果仅仅是工作量的话就还好,实际上,不仅仅如此.linux的时间子系统要求硬件t

Linux时间子系统(十五) clocksource

一.前言 和洋葱一样,软件也是有层次的,内核往往需要对形形色色的某类型的驱动进行抽象,屏蔽掉其具体的特质,获取该类驱动共同的逻辑,而又根据这些逻辑撰写该类驱动的抽象层.嵌入式系统总是会提供timer的硬件block,软件需要对timer硬件提供的功能进行抽象:linux kernel将timer类型的硬件抽象成两个组件,一是free running的counter,另外一个是指定的counter值上产生中断的能力.本文主要描述第一个组件,在内核中被称作clock source. 二.什么是clo

Linux usb子系统(一):子系统架构

摘自:http://www.360doc.com/content/15/0519/05/22854460_471598740.shtml 摘自:https://www.cnblogs.com/cslunatic/p/3726053.html Linux usb子系统(一):子系统架构 一.USB协议基础知识   前序:USB概念概述 USB1.0版本速度1.5Mbps(低速USB) USB1.1版本速度12Mbps(全速USB)  USB2.0版本速度480Mbps(高速USB). USB 分为