fastdfs 集群原理

fastdfs的工作原理

FastDFS是一个开源的分布式文件系统，它的工作原理是通过将大文件分割成多个小文件进行存储，并提供文件的上传、下载、删除等操作。它主要由跟踪器（Tracker）和存储节点（Storage Node）两部分组成。

我们来了解一下FastDFS的组成部分。跟踪器是文件系统的管理节点，负责管理整个文件系统的元数据信息，如文件的名称、大小、存储位置等。存储节点是实际存储文件的节点，每个存储节点都有一个唯一的标识，可以根据该标识来定位存储节点。

在FastDFS中，文件被划分为若干个大小固定的块，每个块的大小一般为64KB。当上传一个文件时，客户端首先连接到跟踪器，并向其发送上传文件的请求。跟踪器接收到请求后，会选择一个合适的存储节点，并将文件的元数据信息返回给客户端。

客户端接收到存储节点的信息后，会与选定的存储节点建立连接，并将文件的各个块依次发送给存储节点。存储节点接收到块后，会将其存储在本地磁盘上，并返回存储的结果给客户端。客户端在接收到存储节点的存储结果后，会将文件的元数据信息发送给跟踪器进行更新。

当下载一个文件时，客户端同样首先连接到跟踪器，并发送下载文件的请求。跟踪器接收到请求后，会返回文件的元数据信息给客户端。客户端在接收到文件的元数据信息后，会根据元数据信息选择一个合适的存储节点，并与其建立连接。

客户端通过与存储节点建立的连接，从存储节点获取文件的各个块，并将其组合成完整的文件。客户端在接收到完整的文件后，将其保存到本地磁盘上。

当删除一个文件时，客户端同样首先连接到跟踪器，并发送删除文件的请求。跟踪器接收到请求后，会根据文件的元数据信息选择一个合适的存储节点，并将删除文件的请求转发给该存储节点。

存储节点接收到删除文件的请求后，会删除该文件的所有块，并返回删除的结果给跟踪器。跟踪器在接收到存储节点的删除结果后，会将文件的元数据信息进行更新。

总结一下，FastDFS的工作原理是通过将大文件分割成多个小文件进行存储，并提供文件的上传、下载、删除等操作。它通过跟踪器和存储节点的协作，实现了文件的分布式存储和访问。通过这种方式，可以提高文件的存储和访问效率，提供高可用性和可扩展性的文件存储服务。

（⼀）FastDFS⾼可⽤集群架构学习---简介

1、什么是FastDFS

FastDFS 是余庆⽼师⽤c语⾔编写的⼀筐开源的分布式⽂件系统,充分考虑了冗余备份,负载均衡,线性扩容等机制,并注

重⾼可⽤、⾼性能等指标,使⽤FastDFS可以很容易搭建⼀套⾼性能的⽂件服务器集群提供⽂件上传下载.

FastDFS 实现了软件⽅式的RAID，可以使⽤廉价的IDE硬盘进⾏存储⽀持存储服务器在线扩容⽀持相同内容的⽂件只

保存⼀份，节约磁盘空间；

FastDFS 只能通过Client API访问，不⽀持POSIX访问⽅式；

FastDFS 特别适合⼤中型⽹站使⽤，⽤来存储资源⽂件（如：图⽚、⽂档、⾳频、视频等等）。

2、FastDFS 的框架结构

FastDFS 系统有三个⾓⾊：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

Tracker Server: 跟踪服务器，主要做调度⼯作，起到均衡的作⽤；负责管理所有的storage server和group，每个storage在启动后会连接 Tracker，告知⾃⼰所属 group 等信息，并保持周期性⼼跳。多个Tracker之间是对等关系，不存

在单点故障。

Storage Server: 存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storageserver，组内的所有Storage Server之间是平等关系,会相互连接 进⾏⽂件同步,从⽽保证组内的所有Storage Server的⽂件

内容⼀致，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费,不同组之间的Storage Server之间不

会相互通信。

group内每个storage的存储依赖于本地⽂件系统，storage可配置多个数据存储⽬录，⽐如有10块磁盘，分别

挂载在/data/disk1-/data/disk10，则可将这10个⽬录都配置为storage的数据存储⽬录。

1

分布式文件系统FastDFS详解

2

目录

为什么要使用分布式文件系统 ................................................................................................................... 3

单机时代 ................................................................................................................................................... 3

独立文件服务器 ....................................................................................................................................... 3

分布式文件系统 ....................................................................................................................................... 4

FastDFS ........................................................................................................................................................ 4

什么是FastDFS ....................................................................................................................................... 4

- 1 - fastdfs工作原理

FastDFS是一个轻量级的分布式文件系统，用于存储和管理大型文件，其工作原理如下：

1. 文件上传：客户端向Tracker服务器发起上传请求，Tracker服务器返回一个可用的Storage服务器地址。客户端将文件传输到该Storage服务器，并返回文件ID。

2. 文件下载：客户端向Tracker服务器发起下载请求，Tracker服务器返回该文件所在的Storage服务器地址。客户端直接从该服务器下载文件。

3. 文件删除：客户端向Tracker服务器发起删除请求，Tracker服务器返回该文件所在的Storage服务器地址。客户端直接从该服务器删除文件。

4. 文件元数据管理：FastDFS使用元数据来管理文件，包括文件名、文件大小、创建时间、修改时间等信息。元数据存储在Tracker服务器中，可通过Tracker服务器进行修改和查询。

5. 负载均衡：FastDFS使用Tracker服务器来维护Storage服务器列表，并根据负载均衡算法将上传请求发送到最优的Storage服务器上，以实现高并发的文件上传和下载。

总之，FastDFS通过分布式存储和负载均衡技术实现了高效的文件存储和管理，广泛应用于各种大型网站和应用中。