当前位置：文档之家 › 文件读取

文件读取

  • 格式：pdf
  • 大小：555.33 KB
  • 文档页数：53

提交BIO——Generic_make_request
• Request：连续的磁盘块组成的IO请求 • Gendisk：磁盘（驱动模型） • Request queue：每个磁盘都有一个请求队列负责收集上层的IO请求
Bio & request
• 都表示连续磁盘块请求 • Bio表示可以使用一次磁盘传输完成（受到 /sys/block/hda/queue/max_hw_sectors_kb影响） • Request中可以包含扇区连续的多个bio，将多个bio合并到 一个request由IO调度模块完成
• 如何将用户空间读取文件操作抽象表示？ • 磁盘数据存储结构？
• 内核如何构建用于向磁盘驱动提交的读请 求？ • 如何利用缓存提高系统读取文件的速度？
内核基本模块
页
进程地址空间
VFS 文件系统
进程管理
页表
页 帧
内存管理 内存 缓存
CPU
磁盘
硬件驱动
基本概念
• 读进程内存空间分配 • VFS • 文件系统文件存放：ext2/ext3 • 磁盘高速缓存：页高速缓冲（即磁盘中的 数据以页的方式缓冲在RAM中） • 块设备驱动 • IO调度
内存寻址
• 线性地址空间被分为 低地址和高地址两个 部分，分别被用于用 户进程（当进程切换 时，这部分地址空间 的内容也随着改变了） 和内核（这部分地址 空间中的内容总是一 样的）。
PAGE
PAGE frame
High memory for kernel
Kernel Page Tables
Phy memory totalram_pages mem_map
I/O调度
• 默认的处理请求的程序q->make_request_fn （默认为__make_request）使用当前的 gendisk的queue中设置的I/O调度算法进行 调度，例如：
void elv_merged_request(struct request_queue *q, struct request *rq, int type) { struct elevator_queue *e = q->elevator; if (e->ops->elevator_merged_fn) e->ops->elevator_merged_fn(q, rq, type); if (type == ELEVATOR_BACK_MERGE) elv_rqhash_reposition(q, rq); q->last_merge = rq; }
• Get_block
mpage_alloc->bio_alloc
构造BIO
BIO (设备号+起始扇 区号）
Alloc page & insert into cache
• 根据用户请求（磁盘 文件页、页中偏移等） 构造IO请求 • 构造BIO传往通用块 层（submit_bio）
Bio_bi_vec Page
• 写时复制备用来提高进程创建速度，父、 子进程试图写共享页帧时产生异常，需要 为进程分配新的页帧。
用户空间地址
• Malloc为用户申请线性区 • 调用Glibc封装的系统调用read—— kernel_read
Buf = malloc(BUFSIZE); read(fd, buf, BUFSIZE);
构造的BIO
• bi_io_vec表示当前bio代表的磁 盘数据需要读入的内存页：将 数据放入到页：0xc101cb40 (0x101cb40)中 • bi_rw=0（读） • bi_sector=71018400 • bi_end_io：读完成后的处理方 案（因为读是硬件异步完成的， 这个方法要负责更新页帧的一 些标志位）
Head
Buf
Head
Buf
Head
S_fs_info
S_sb
h
Ext2_sb_info
S_g
rou p_d esc
Bg
_in o
struct ext2_super_block 和struct ext2_sb_info：
• ext2_super_block是ext2文件系统超级块的磁盘数据结构， 包括了表征磁盘数据分配的全局变量，如：inode总数， block的大小，inode数据结构的大小，文件系统大小（以 块为单位），每个块组（group）包含的块数，每个块组 包含的inode个数等。而ext2_sb_info是ext2超级块在内存 中的数据结构，由于缓冲块的存在，这个结构不仅仅包括 了ext2_super_block的大部分字段，还包括了指向内核磁盘 缓冲区的超级块缓冲的头部。
VFS
• Super_block：包含文件系统的全局信息 （块大小等） • Inode：文件的信息（大小，引用次数等） • Dentry和File由内核负责构造，磁盘上不存 在相关数据结构
Ext2/ext3磁盘数据结构
• 超级块 组描述符 数据块 数据块位图 • 索引节点表 索引节点位图
Ext2/ext3磁盘数据结构
找到磁盘文件数据
• 通过open操作找到文件对象 • 通过dentry找到inode • 通过inode找到数据块索引
磁盘数据高速缓冲——页缓冲
• 为了了解读文件的过程，需要知道页高速 缓冲的一些性质，缓存的目的就是减少IO次 数，提高系统性能，页高速缓冲作为一种 磁盘高速缓冲主要包括了对磁盘上的文件 的
文件系统操作
• 超级块的操作：用来对inode和超级块进行操作，如分配超级块、读取 超级块等等 • Inode操作：包括目录、链接等操作，主要是修改inode属性 • 文件操作：文件打开、读、写操作，需要注意的是，文件操作很多都 是不同文件系统通用的操作，如read操作使用generic_file_aio_read操 作，只不过是在文件内部数据寻址的时候需要使用到具体文件系统的 操作（文件中的偏移量转换为磁盘中的扇区号）。 • 如何从逻辑块号得到扇区号：blocks << (blkbits - 9)。也就是逻辑块号 其实就是物理扇区（512-9）的倍数。
• 超级块和组描述符在每个数据块组中都有相同的映像，通 过超级块可以知道当前文件系统的信息，如索引节点的总 数 • Ext2的inode大小相同，ext2_inode为128bytes，其中包括 了一个描述逻辑上的一个数据组成单元所具有的性质，如 修改时间，所有者ID，硬链接技术，指向数据库的指针 （i_block），文件访问控制链表（ACL），文件大小等。 通过VFS中inode的标号i_ino找到磁inode数据后就可以找到 数据所分布的block了。
0xffff880000000000
g Pa
be tal e
Low memory for user process
进程地址空间
进程描述符中的mm_struct 描述了进程地址空间的使用 情况，进程使用的所有线性 地址都是以线性区（页为单 位的）vm_area_struct表示 的，
Page & page frame
– 普通数据内容的缓冲； – 磁盘块设备的元数据的缓冲（如超级块、inode、 目录等）；
页缓存
• 直接将磁盘数据读取 到页帧中
页帧
构造并提交 bio
Mpage_readpage
• 以页为单位的文件视 图 • 以inode作为文件的唯 一标识 • Address_space对象 • 预读
Inode Buf or not
• 通过ext2_sb_info可以直接诸如有都多少个 块组这样的信息，每个块组都有一个组描 述符与之对应：ext2_group_desc，通过这 个数据结构我们可以得到当前组所对应的 inode table所在块的块号、块位图和inode位 图。
• 以上所有的超级块和组描述符的数据都在 内核安装文件系统时调用ext2_fill_super函 数初始化并将ext2_sb_info的指针赋值给VFS 中的超级块super_block的s_fs_info。这里面， 每一个组描述符对应一个缓冲区头部，通 过VFS的s_fs_info->ext2_sb_info>s_group_dest就可以获得组描述符进而获 得inode table和inode bitmap、block bitmap。
read内核态执行
• 内核态执行read操作后的内 核函数堆栈如图所示， vfs_read后调用的是具体文件 系统的read函数，但是大部 分文件系统的read函数都是 generic_file_aio_read。aio表 示异步IO。
VFS
• • • • Super_block Inode Dentry File
文件IO——read
用户空间的文件read
• 不带缓冲的read操作(POSIX.1)：利用open返 回的文件描述符 read(STDIN, buf, BUFSIZE) • 带缓冲的fread操作(ISO C)：使用fopen返回 的FILE对象指针fread(buf, 1, 10, fp)
问题提出
Generic_file_aio_read
• 当前磁盘页是否在页高速缓冲中 • 是否需要预读
– 预读量
– 读取页ext3_mpage_readpages(mpage_readpages)
• 阻塞读进程，带到磁盘IO完成之后从页缓冲 中拷贝到用户空间
Mpage_readpages
Read Page (mpage_readpage) Generic File read
Bio_vec
Lock page(PG_locked)
Bio_vec Bio_vec
Submit_bio Bi_end_io PG_uptodate& PG_unlock Copy_to_user

合集下载

java四种方式读取文件

java四种方式读取文件

java四种⽅式读取⽂件读取⽂件的四种⽅式：按字节读取、按字符读取、按⾏读取、随机读取⼀、按字节读取//1.按字节读写⽂件，⽤FileInputStream、FileOutputStreamString path = "D:\\iotest.txt";File file = new File(path);InputStream in;//每次只读⼀个字节try {System.out.println("以字节为单位，每次读取⼀个字节");in = new FileInputStream(file);int c;while((c=in.read())!=-1){if(c!=13&&c!=10){ // \n回车的Ascall码是10 ，\r换⾏是Ascall码是13，不现实挥着换⾏System.out.println((char)c);}}} catch (FileNotFoundException e) {e.printStackTrace();}//每次读多个字节try {System.out.println("以字节为单位，每次读取多个字节");in = new FileInputStream(file);byte[] bytes = new byte[10]; //每次读是个字节，放到数组⾥int c;while((c=in.read(bytes))!=-1){System.out.println(Arrays.toString(bytes));}} catch (Exception e) {// TODO: handle exception}⼆、按字符读取//2.按字符读取⽂件，⽤InputStreamReader,OutputStreamReaderReader reader = null;try {//每次读取⼀个字符System.out.println("以字符为单位读取⽂件，每次读取⼀个字符");in = new FileInputStream(file);reader = new InputStreamReader(in);int c;while((c=reader.read())!=-1){if(c!=13&&c!=10){ // \n回车的Ascall码是10 ，\r换⾏是Ascall码是13，不现实挥着换⾏System.out.println((char)c);}}} catch (Exception e) {// TODO: handle exception}try {//每次读取多个字符System.out.println("以字符为单位读取⽂件，每次读取⼀个字符");in = new FileInputStream(file);reader = new InputStreamReader(in);int c;char[] chars = new char[5];while((c=reader.read(chars))!=-1){System.out.println(Arrays.toString(chars));}} catch (Exception e) {// TODO: handle exception}三、按⾏读取//3.按⾏读取⽂件try {System.out.println("按⾏读取⽂件内容");in = new FileInputStream(file);Reader reader2 = new InputStreamReader(in);BufferedReader bufferedReader = new BufferedReader(reader2);String line;while((line=bufferedReader.readLine())!=null){System.out.println(line);}bufferedReader.close();} catch (Exception e) {// TODO: handle exception}四、随机读取//4.随机读取try {System.out.println("随机读取⽂件");//以只读的⽅式打开⽂件RandomAccessFile randomAccessFile = new RandomAccessFile(file, "r");//获取⽂件长度，单位为字节long len = randomAccessFile.length();//⽂件起始位置int beginIndex = (len>4)?4:0;//将⽂件光标定位到⽂件起始位置randomAccessFile.seek(beginIndex);byte[] bytes = new byte[5];int c;while((c=randomAccessFile.read(bytes))!=-1){System.out.println(Arrays.toString(bytes));}} catch (Exception e) {// TODO: handle exception}。

简述c语言对文件读操作写操作的步骤

简述c语言对文件读操作写操作的步骤

简述c语言对文件读操作写操作的步骤C语言是一门基础的编程语言，它在文件读操作和写操作中应用广泛。

下面我们将简述C语言在文件读写操作中的步骤，分为两类进行介绍。

一、文件读操作文件读操作是指从文件中读取数据到程序中进行处理，C语言可以通过以下步骤实现文件读取：1.打开文件在C语言中，可以通过fopen()函数打开文件。

fopen()函数主要有两个参数：文件路径和文件打开方式，例如“r”表示以只读方式打开文件，“w”表示以写方式打开文件，还有“a”表示以追加方式打开文件等。

2.读取数据打开文件之后，可以通过fscanf()函数按照格式从文件中读取数据。

fscanf()函数的第一个参数是定义的文件指针，第二个参数是格式控制字符串，后面的参数是需要读取的变量地址。

例如，可以通过以下代码读取文件中的一个整数：```int num;fscanf(fp, "%d", &num);```3.关闭文件操作完成之后，需要关闭文件，可通过fclose()函数来实现，该函数的参数是之前打开文件的文件指针。

二、文件写操作文件写操作是指将程序中的数据写入文件中进行保存，C语言可以通过以下步骤实现文件写入：1.打开文件与文件读取操作一样，可以通过fopen()函数打开文件。

2.写入数据打开文件之后，通过fprintf()函数将程序中的变量数据写入文件中。

fprintf()函数的第一个参数是定义的文件指针，第二个参数是格式控制字符串，后面的参数是需要写入的变量地址。

例如，可以通过以下代码将一个整数写入文件中：```int num = 2022;fprintf(fp, "%d", num);```3.关闭文件完成文件写入操作后，需要关闭文件，可通过fclose()函数来实现。

以上就是C语言在文件读写操作中的步骤。

有关文件读写，还有一些常见的注意事项，例如文件路径的写法、打开文件是否成功的判断、文件读写的错误处理等。

linux 读取文件的原理

linux 读取文件的原理

linux 读取文件的原理
Linux 读取文件的原理主要涉及到操作系统、文件系统和硬件等多个方面。

下面是一个简要的概述：
1.文件系统：Linux 系统使用的是类Unix 的文件系统，称为Ext4。

文件系统负责管理文件在硬盘上的存储和访问，以及文件的权限和属性等信息。

当一个程序试图读取一个文件时，文件系统会接收到这个请求，并查找文件在硬盘上的位置。

2.打开文件：要读取一个文件，首先需要打开这个文件。

在Linux 中，打开文件是通过系统调用（如open() 或fopen()）实现的。

这些系统调用会向操作系统发出请求，请求中包含文件名和打开文件的模式（例如只读、写入等）。

操作系统会查找文件并返回一个文件描述符，这个文件描述符是一个整数，用于标识已经打开的文件。

3.读取文件数据：一旦文件被打开，就可以通过系统调用（如read() 或fread()）来读取文件的内容。

这些系统调用会向操作系统发出请求，请求中包含文件描述符、读取的起始位置和要读取的字节数。

操作系统会将读取的请求传递给硬件，硬件会从硬盘中读取相应的数据，并将其存储在内存中。

4.关闭文件：当读取完文件后，需要通过系统调用（如close() 或fclose()）来关闭文件。

这个系统调用会将文件描述符释放回操作系统，以便其他程序可以使用它。

读取文件的方式

读取文件的方式

读取文件的方式本文主要介绍四种常用的方法：1、利用Excel对象来处理文件；2、利用VBA文件处理语句来处理文件；3、利用FileSystemObject对象来处理文件；4、利用API函数来处理文件。

当然对于数据库文件，还可以利用ADO＋SQL的方法操作，不过论坛已经有前辈详细介绍过此类方法，本文就不再重复了。

一、利用Excel对象来处理文件利用Excel对象自带的方法来操作文件是最方便，也是最简单的。

我们主要利用Workbooks集合和Workbook对象的方法来操作文件。

1、打开Excel文件我们可以用Workbooks.Open方法打开一个Excel工作簿。

Workbooks.Open(FileName, UpdateLinks, ReadOnly, Format, Password, WriteResPassword, IgnoreReadOnlyRecommended, Origin, Delimiter, Editable, Notify, Converter, AddToMru, Local, CorruptLoad)其中FileName是必选的参数，表示要打开的工作簿名，如果没有指定路径，则代表当前路径。

另外14个是可选参数，除了密码参数，其他的一般很少用。

具体的含义可以参看VBA 的帮助。

例：Workbooks.Open "F:\test.xls"可以打开F盘的test.xls文件。

2、打开文本文件使用Open方法也可以打开文本文件，但建议使用OpenText方法。

此方法是载入一个文本文件，并将其作为包含单个工作表的工作簿进行分列处理，然后在此工作表中放入经过分列处理的文本文件数据。

完整语法如下：Workbooks.OpenText(FileName, Origin, StartRow, DataType, TextQualifier, ConsecutiveDelimiter, Tab, Semicolon, Comma, Space, Other, OtherChar, FieldInfo, TextVisualLayout, DecimalSeparator, ThousandsSeparator, TrailingMinusNumbers, Local)关于以上参数的具体含义可以参看VBA的帮助，这里就不重复了。