UBI文件系统分析
- 格式:pdf
- 大小:290.80 KB
- 文档页数:84
UBI文件系统分析技术一部:曾宪炀L o g o1 2 3 4UBIFS在linux中层次结构图UBIFS介绍UBIFS驱动—UBI子系统UBIFS重要数据结构介绍大纲UBIFS在linux系统中的层次结构图UBIFS分区布局UBIFS的六个分区:1.Super Block:超级块分区(superblock area)使用LEB0。
该区域保存文件系统配置相关信息,如:LEB大小、最大LEB数、日志区域占用的LEB数等。
2.master area:主节点分区(master area)使用LEB1和LEB2。
主分区中包含两个主节点,主节点保存索引树根节点位置、为垃圾回收保留的LEB号、LPT管理的所有LEB脏空间总和等,一般情况下,两个主节点保存着相同数据,主节点大小为512 byte。
3.Journal area:日志分区(journal area)从LEB3开始。
为了降低节点的更新频率,UBIFS中创建了journal区,在其中缓存对节点的修改,然后一次写到Flash上去,这样就降低了更新的频率。
当需要修改索引树叶节点时并不会马上更新闪存上的索引树,首先更新RAM中的TNC,同时将更新信息以日志方式记录在内存中,等到commit时再更新闪存上的索引树。
日志由log和bud组成。
log记录日志位置,log包含两种类型的节点:commit开始节点、引用节点。
commit开始节点记录commit过程的开始,引用节点记录bud的数量。
UBIFS分区布局4.LPT area:LEB属性树分区(LEB Properties Tree area,简称LPT area),跟随在日志之后,LPT 的大小在创建文件系统时确定,LPT使用B+树结构。
该区域除了包含LEB属性树外,还维护一张擦除块表LTAB(LPT area erase blocks)和一张LEB数量信息表LSAVE。
5.Orphan:孤儿分区(orpan area)在log area和main area之间,使用固定数目的LEB。
ubi文件系统原理
Ubi文件系统,全称为Unsorted Block Images,是一种专为闪存设备设计的卷管理系统。
它能够在单个物理闪存设备上管理多个卷,并在整个闪存芯片上实现损耗均衡。
Ubi文件系统的主要原理如下:
1. 逻辑到物理的映射:Ubi系统将逻辑擦除块(LEBs)映射到物理擦除块(PEBs)上。
这种映射是动态的,意味着一个逻辑擦除块可以被映射到任何一个物理擦除块上。
这种映射由Ubi系统管理,对用户来说是透明的。
2. 损耗均衡:Ubi通过跟踪每个物理擦除块的擦除计数,可以将数据从损耗严重的物理块转移到损耗较少的擦除块,从而实现全局的损耗均衡。
3. 坏块管理:Ubi文件系统可以更好地处理闪存设备上的坏块。
它可以将坏块转换为虚拟块,并将数据移动到其他可用块。
4. 日志型结构:Ubi采用了与JFFS2不同的日志型结构。
它将数据写入闪存设备的空闲块中,同时还会将元数据写入闪存设备的另一个区域。
5. 分区与卷管理:Ubi可以跨多个闪存设备进行分区,并支持多个Ubi卷。
这使得Ubi可以更好地处理大型闪存设备和数据集。
此外,Ubi文件系统还支持动态卷大小调整。
6. 数据加密与压缩:Ubi文件系统具有数据加密和压缩的功能,以提高数据传输速度并增强数据安全性。
总的来说,Ubi文件系统的设计目的是为了提高闪存设备的性能和可靠性,通过动态映射、损耗均衡、坏块管理以及分区管理等手段实现。
Write-BackUBIFS的设计的时候是支持writeback的,也就是带缓存的。
可以不同步的写进去,这样就降低了文件写入flashmedia中的次数,从而提高了文件系统的效率。
这样的事情都是由后台进程来完成的。
在UBIFS中,这个进程是在attach设备的时候建立的,:当然这个后台进程也可以在内核选项中去掉,Drivers-> Memory Technology Device (MTD) support ->UBI - Unsorted block images->UBI debugging->Do not enable the UBI background thread.下面这段代码是截取的函数mount_ubifs中的一段:c->bgt = kthread_create(ubifs_bg_thread, c, "%s", c->bgt_name);也就是说每一个UBI设备都有一个这样的后台进程。
下面我们来看看这个进程主要的工作:err = ubifs_bg_wbufs_sync(c);if (err)ubifs_ro_mode(c, err);run_bg_commit(c);首先看ubifs_bg_wbufs_sync(c)这个函数,在深入这个函数之前,需要详细的介绍一下这个函数中涉及到得一个极其重要的结构体struct ubifs_wbuf;这个结构体定义在fs/ubifs/ubifs .h中struct ubifs_wbuf {struct ubifs_info *c;void *buf;//数据缓存区int lnum;//缓冲区中的数据将要被写入到哪个lnum中去int offs;//与上面lnum相同,数据写入到lnum中的offsetint avail;//缓冲区中的可用字节数int used;//缓冲区中的已用字节数int dtype;//将要存储在lnum中数据的类型,分为UBI_LONGTERM, %UBI_SHORTTERM,%UBI_UNKNOWN三种,用于GC。
UBI文件系统的移植作者:piaozhiye86@首次做UBIFS的移植,不足之处欢迎批评指正。
2010-7-15自从linux2.6.27以后的内核版本都支持UBI文件系统了,新版本的uboot已经支持UBIFS了。
软件平台VMwareFedora-10使用源码:linux-2.6.30.4.tar.bz2u-boot-2010.06-rc1.tar.bz2硬件环境mini2440—64M NAND关于uboot的移植可以参考《嵌入式Linux之我行》中uboot的移植,那里写得比较详细。
我也是参考了其中的文章。
1、uboot的UBI的移植关于uboot的UBI的移植几乎没有说明介绍,移植首先要保证你的flash驱动能够跑起来,我是在nand flash 上跑的UBI。
刚开始的时候我也没有什么头绪,只能够从uboot的readme开始查找一些蛛丝马迹。
- MTD Support (mtdparts command, UBI support)CONFIG_MTD_DEVICEAdds the MTD device infrastructure from the Linux kernel.Needed for mtdparts command support.CONFIG_MTD_PARTITIONSAdds the MTD partitioning infrastructure from the Linuxkernel. Needed for UBI support.因此呢,要UBI支持首先得要MTD支持,因此在配置文件中要添加以上两项的定义。
要移植UBI还要添加:#define CONFIG_CMD_UBIFS#define CONFIG_CMD_UBI总的关于UBI的部分是以下几个宏/****MTD Support (mtdparts command, UBI support)****/#if 1#define CONFIG_MTD_DEVICE 1#define CONFIG_MTD_PARTITIONS 1#define CONFIG_CMD_MTDPARTS#define CONFIG_CMD_UBIFS#define CONFIG_CMD_UBI#define CONFIG_LZO 1#define CONFIG_RBTREE 1#endif同时呢要给NAND建立个默认的分区。
UBIFS文件系统说明文档注意:在了解UBIFS之前一定要注意到UBIFS和任何传统的文件系统是不一样的:UBIFS不是运行在block device之上的(如hard disk,MMC/SD卡,USB flash等)。
UBIFS是运行于raw flash之上,请在开始认识UBIFS前确保理解raw flash这个概念。
UBIFS是建立在MTD device基础上的,而不是block device上的。
简介:UBIFS是由NOKIA工程师在赛格德大学帮助下开发的新的Flash文件系统,UBIFS是JFFS2文件系统的下一代产品。
JFFS2运行在MTD设备之上,而UBIFS则只能工作于UBI volume之上。
UBIFS涉及三个子系统:1.MTD子系统,提供对Flash芯片的访问接口,MTD子系统提供了MTD 设备的概念,比如/dev/mtdx,MTD可以认为是raw flash。
2.UBI子系统,为Flash设备提供了耗损均衡(wear leveling)和卷管理(volume management)功能; UBI工作在MTD设备之上,提供了UBI volume;UBI是MTD设备的高层次表示,对上层屏蔽了一些直接使用MTD设备需要处理的问题,比如损耗均衡以及坏块管理。
3.UBIFS文件系统,工作于UBI之上的文件系统。
UBIFS的主要特点:1.可扩展性:UBIFS对Flash 尺寸有着很好的扩展性,也就是说mount时间,内存消耗以及I/O速度都不依赖于Flash 的尺寸,UBIFS可以很好的运行在GB级的 Flashe设备上,当然UBI本身还是有扩展性的问题,但是无论如何UBI/UBIFS都比JFFS2的可扩展性好。
如果UBI 成为瓶颈,可以改进UBI而不需改变UBIFS本身。
2.快速mount:不像JFFS2文件系统,UBIFS在mount阶段不需要扫描整个文件系统,UBIFS mount的时间只是毫秒级,时间不依赖与Flash的尺寸;然而UBI的初始化时间是依赖Flash 的尺寸的,因此必须把这个时间考虑在内。
文章标题:论ubi volume分卷烧写技术的应用与发展引言:在当今科技快速发展的时代,存储技术一直是备受关注的领域之一。
而ubi volume分卷烧写技术,作为一种新兴的存储技术,正在逐渐引起广泛关注并得到应用。
本文将从深度和广度两个方面对ubi volume分卷烧写技术进行全面评估,并探讨其在未来的发展方向。
一、什么是ubi volume分卷烧写技术?ubi volume分卷烧写技术是指将UBIFS文件系统卷划分成一个个可独立擦除的ubivolume的技术。
其中UBIFS为一种适用于flash存储设备的文件系统,而ubivolume则代表了对UBIFS卷进行烧写的逻辑分区。
该技术的出现,使得在使用flash存储设备时,可以更加高效地进行数据管理与烧写操作。
二、ubi volume分卷烧写技术的应用领域1. 智能设备领域中的应用ubi volume分卷烧写技术在智能设备领域得到了广泛的应用。
由于智能设备的硬件资源有限,对于存储空间的利用要求较高。
而ubi volume分卷烧写技术通过对存储设备进行合理的划分和管理,可以提高存储空间的利用效率,满足智能设备对存储管理的需求。
2. 工业控制领域中的应用在工业控制领域,ubi volume分卷烧写技术的应用同样发挥着重要的作用。
工业控制设备通常需要长时间稳定运行,对存储设备的稳定性和可靠性要求较高。
ubi volume分卷烧写技术可以在一定程度上提高存储设备的稳定性,保证工业控制设备的长时间稳定运行。
3. 其他领域的潜在应用值得注意的是,ubi volume分卷烧写技术所具有的高效管理存储空间的能力,也为其在其他领域的应用打开了新的可能性。
比如在物联网、汽车电子等领域,都有着对存储空间高效利用的需求,ubi volume分卷烧写技术或许会在这些领域有更多的发展空间。
三、ubi volume分卷烧写技术的未来展望ubi volume分卷烧写技术作为一种新兴的存储管理技术,在未来有着广阔的应用前景。
制作ubi文件系统目录开发环境 (1)Ubi文件系统简介 (1)UBI文件系统前期准备 (2)内核配置 (2)开发板UBIFS工具(flash_eraseall、ubiattach、ubimkvol) (2)主机mtd-utils工具(mkfs.ubifs、ubinize) (4)编译问题 (4)制作ubi文件系统镜像 (5)生成ubifs格式的镜像文件 (5)实际可用的ubi格式镜像 (5)注意事项 (6)文件系统上烧写 (6)通过NFS挂载方式 (6)设置启动参数 (6)将一个分区挂载为ubifs (7)文件系统读写速度测试 (7)ubifs常见指令 (7)开发环境开发环境:vmware+ubuntu10.04开发目录:/home/lisongqing/armLinux源码包:busybox-1.19.2.tar.bz2、linux-3.0.4.tar.bz2交叉编译工具:arm-linux-gcc-4.4.3-20100728.tar.gzUbi文件系统简介由IBM、nokia工程师Thomas Gleixner,Artem Bityutskiy等人于2006年发起,致力于开发性能卓越、扩展性高的FLASH专用文件系统,以解决当前嵌入式环境下以FLASH作为MTD 设备使用时的技术瓶颈(JFFS2、YAFFS2等专用文件系统也存在着一些技术瓶颈,如:内存消耗大,对FLASH容量、文件系统大小、内容、访问模式等的线性依赖,损益均衡能力差或过渡损益等)。
UBI:类似于LVM的逻辑卷管理层,主要实现损益均衡,逻辑擦除块、卷管理,坏块管理等UBIFS:基于UBI的FLASH日志文件系统有关ubifs的详细介绍,请参考:/doc/ubi.html/doc/ubifs.htmlUBI文件系统前期准备内核配置1)Device Drivers --->Memory Technology Device (MTD) support --->enable UBI - Unsorted block images2)File systems --->Miscellaneous filesystems --->UBIFS file system support如果不配置此处,nfs挂载时会出现如下错误:ubiupdatevol: error!: UBI device name was not specified (use -h for help)Kernel panic - not syncing: Attempted to kill init!开发板UBIFS工具(flash_eraseall、ubiattach、ubimkvol)mtd-utils工具中提供了对UBIFS的支持,所以我们需要下载和编译这些工具,下载以下几个文件。
UBIFS分区制作及UBIFS烧写和启动 (转载)相关命令工具ubiattach version 1.0 - a tool to attach MTD device to UB I.Usage: ubiattach <UBI control device node file name>[-m <MTD device number>] [-d <UBI device number>][--mtdn=<MTD device number>] [--devn <UBI device number>]Example 1: ubiattach /dev/ubi_ctrl -m 0 - attach MTD device 0 (mtd0) to UBIExample 2: ubiattach /dev/ubi_ctrl -m 0 -d 3 - attach MTD device 0 (mtd0) to UBI andand create UBI device number 3 (ubi3)-d, --devn=<UBI device number> the number to assign to the newly created UBI device(the number is assigned automatically if this is not specified)-m, --mtdn=<MTD device number> MTD device number to attach-O, --vid-hdr-offset VID header offset (do not specify this unless you really know what you do and the optimal defaults will be used)-h, --help print help m essage-V, --version print program v ersionubimkvol version 1.0 - a tool to create UBI volumes.Usage: ubimkvol <UBI device node file name> [-h] [-a <alignm ent>] [-n <volume ID>] [-N <name>] [-s <bytes>] [-S <LEBs>] [-t <static|dynamic>] [-V] [-m] [--alignment=<alignment>][--vol _id=<volume ID>] [--name=<name>] [--size=<bytes>] [--lebs=<LEBs>] [--type=<static|dynamic>] [--help] [--version] [--maxavsize]Example: ubimkvol/dev/ubi0 -s 20MiB -N config_data - create a 20 Megabytes volumenamed "config_data" on UBI device /dev/ubi0.-a, --alignment=<alignment> volume alignment (default is 1)-n, --vol_id=<volume ID> UBI volume ID, if not spec ified, the volume IDwill be assigned automatically-N, --name=<name> volume name-s, --size=<bytes> volume size volume size in bytes, kilobytes (KiB)or megabytes (MiB)-S, --lebs=<LEBs count> alternative way to give vo lume size in logicaleraseblocks-m, --maxavsize set volume size to maximum available size-t, --type=<static|dynamic> volume type (dynamic, static), default is dynamic-h, -?, --help print help message-V, --version print program versi onThe following is a compatibility option which is deprecated, do not use it-d, --devn=<devn> UBI device number - m ay be used instead of the UBIdevice node name in which case the utility assumesthat the device node is "/dev/ubi<devn>"ubidetach version 1.0 - a tool to remove UBI devices (deta ch MTD devices from UBI)Usage: ubidetach<UBI control device node file name> [-d <UBI device number>] [-m <MTD device number>] [--devn <UBI devic e number>] [--mtdn=<MTD device number>]Example 1: ubidetach /dev/ubi_ctrl -d 2 - delete UBI device 2 (ubi2)Example 2: ubidetach /dev/ubi_ctrl -m 0 - detach MTD device 0 (mtd0)-d, --devn=<UBI device number> UBI device number to delete-m, --mtdn=<MTD device number> or altrnatively, MTD device number to detach -this will delete corresponding UBI device-h, --help print help m essage-V, --version print program v ersionubiformat version 1.0 - a tool to format MTD devices and flash UBI imagesUsage: ubiformat <MTD device node file name> [-h] [-V] [-y] [-q] [-v][-x <num>] [-E <value>] [-s <bytes>] [-O <offs>] [-n][--help] [--version] [--yes] [--verbose] [--quiet][--ec=<value>] [--vid-hdr-offset=<offs>][--ubi-ver=<num>] [--no-volume-table]Example 1: ubiformat /dev/mtd0 -y - format MTD device number 0 and donot ask questions.Example 2: ubiformat /dev/mtd0 -q -e 0 - format MTD device number 0,be quiet and force erase counter value 0.-s, --sub-page-size=<bytes> minimum input/output unit used fo r UBIheaders, e.g. sub-page size in case of NANDflash (equivalent to the minimum input/outputunit size by default)-O, --vid-hdr-offset=<offs> offset if the VID header from s tart of thephysical eraseblock (default is the nextminimum I/O unit or sub-page after the ECheader)-n, --no-volume-table only erase all eraseblock a nd preserve erasecounters, do not write empty volume table-f, --flash-image=<file> flash image file-e, --erase-counter=<value> use <value> as the erase counter value for alleraseblocks-y, --yes assume the answer is "yes" for all questionthis program would otherwise ask-q, --quiet suppress progress p ercentage information-v, --verbose be verbose-x, --ubi-ver=<num> UBI version number to put to EC headers(default is 1)-h, -?, --help print help message-V, --version print program version使用实例将一个MTD分区挂载为UBIFS格式●flash_eraseall /dev/mtd5 //擦除mtd5●ubiattach /dev/ubi_ctrl -m 5 -d 0 //UBI和mtd5关联->ubi0●ubimkvol /dev/ubi0 -n 0 -N rootfs0 -s 256MiB //创建分区ubi0_0设定volume 大小●mount -t ubifs ubi0_0 /mnt/ubi或mount -t ubifs ubi0:rootfs0 /mnt/ubi //挂载烧写UBIFS文件系统映像U-Boot烧写ubifs:(mmc)#mmcinit#fatload mmc 0:1 81000000 ubi.img#nand unlock#nand ecc sw#nand erase 680000 7980000#nand write.i 81000000 680000 $(filesize)NFS文件系统上烧写法一,使用ubiformat工具./ubiformat -q /dev/mtd5 -f ubi.img法二,不必烧写映像,将ROOTFS打包,解压到UBIFSubiattach /dev/ubi_ctrl -m 5 -d 0ubimkvol /dev/ubi0 -n 0 -N rootfs -s 128MiBmount -t ubifs ubi0_0 /mnt/ubi0tar -jxv -C /mnt/ubi0 rootfs.tar.bz2umount /mnt/ubi0UBI文件系统启动设置UBIFS文件系统作为根文件系统启动的参数#setenv bootargs console=ttyAM0,115200n8 ubi.mtd=5 root=ubi0:root fs rootfstype=ubifs init=linuxrc# setenv bootcmd nand read.i 80300000 280000 200000\;bootm 80 300000UBIFS一、UBIFS 简介由IBM、nokia工程师Thomas Gleixner,Artem Bityutskiy等人于2006年发起,致力于开发性能卓越、扩展性高的FLASH专用文件系统,以解决当前嵌入式环境下以FLASH作为MTD设备使用时的技术瓶颈,开发背景:FLASH特性:FLASH是一类电可擦出可编程存储体,在使用方式上与硬磁盘最大不同是:FLASH文件系统所必须的关键技术:1. 由于FLASH的“先擦除后写”的特性决定,必须(或者说所被公认为)采用异地更新策略(out-of-place update)。
ubi文件系统原理
UBI文件系统(UBIFS)是一个用于嵌入式设备的日志结构文件系统。
它的设计目标是提供高性能、高可靠性和可扩展性,以适应各种嵌入式设备的需求。
UBIFS的核心思想是将闪存设备中的数据组织成一个树状结构,以提高数据的访问效率和可靠性。
这个树状结构被分为多个节点,每个节点对应一个闪存块。
每个节点中包含了数据和元数据,如文件的大小、权限等信息。
UBIFS通过使用日志技术来保证文件系统的一致性,即每次写入操作都会被记录在日志中,以便在系统崩溃或断电时能够恢复数据的完整性。
UBIFS还采用了压缩算法来节省闪存空间的使用。
它使用了一种称为UBI(Unsorted Block Images)的闪存管理层,将闪存设备划分为多个块,并对这些块进行管理和映射,从而提供了灵活的闪存管理功能。
UBIFS可以自动地在闪存设备上执行块的擦除和写入操作,以保证数据的完整性和可靠性。
UBIFS的设计还考虑了嵌入式设备的特殊需求。
它采用了一种称为UBI Fastmap的技术,可以加速文件系统的挂载过程。
此外,UBIFS 还支持闪存设备的坏块管理和wear leveling,以延长闪存设备的使用寿命。
UBIFS是一个专为嵌入式设备设计的高性能、高可靠性的日志结构
文件系统。
它通过使用树状结构、日志技术和压缩算法来提供快速、可靠的数据存储和访问功能。
无论是在智能手机、平板电脑还是其他嵌入式设备中,UBIFS都可以为用户提供优秀的文件系统体验。
它的设计理念和技术特点使得它成为嵌入式设备领域的首选文件系统之一。