分布式文件存储方案

龙源期刊网

基于Ceph的企业分布式存储方案

作者：刘军军

来源：《电子技术与软件工程》2016年第11期

摘 要

本文首先通过对比主要的开源分布式存储系统的优缺点和适用场合，确定Ceph是目前适合企业需要的分布式存储系统。之后，提出一套基于Ceph的企业分布式存储解决方案，给出软硬件组件选型、构架设计，并对系统细化调优。在这套方案基础上，企业用户可以很容易构建出一套高效运行的分布式存储系统。

【关键词】分布式存储 Ceph Openstack 构架设计 性能优化

1 分布式存储Ceph

1.1 简介

Ceph是一个开源的、理论上可无限扩展的、具有高可靠性、高性能的分布式存储解决方案。目前很多商业分布式存储解决方案是在开源的Ceph基础上发展来的，如Bigtera的VirtualStor系列产品，Hope Bay的ArkFlex云端大规模数据存储平台产品，SanDisk的InfiniFlash的产品IF500等产品都使用了Ceph。

1.2 Ceph与其他分布式存储方案的对比

分布式存储除了Ceph还有Moosefs（MFS）、Glusterfs、HDFS、Lustre等很多种。本文综合分析熊文等的论文和其他一些讨论，发现Moosefs的优点是实施简单，缺点是存在单点故障和性能瓶颈；Ceph的优点是扩展性好，可以很好的与OpenStack集成，发展很快，缺点是部分功能还不够成熟，通过POSIX接口访问CephFS时候，底层不稳定性使得不适合应用于生产环境；Glusterfs的优点是扩展性好，缺点是没有MDS，因此增加了客户端的负载，占用相当的CPU和内存，同时遍历文件目录时，实现较为复杂和低效，需要搜索所有的存储节点；HDFS的优点是适合部署在大量通用、廉价硬件上，缺点是只适合特定应用场景，即一次写入，多次读出，做数据分析类应用；Lustre的优点是成熟，缺点是复杂，同时MDS无法扩展，存在性能瓶颈。从适用场合方面分析：Moosefs适合企业小型应用环境，存储小文件；Ceph适合一般企业使用，如私有云平台应用，存储小文件；Glusterfs适合一般企业中型应用，存储大文件，下文件读写效率很低；HDFS适合存储超大数据集，做数据分析类应用；Lustre是一个并行文件系统，做高性能计算（HPC）类应用，存储大文件，适合大型科研、企业应用，一般HPC具有计算密集型、海量数据处理等特点，在石油勘探、地震预测、气象预报、航天航空、科学研究、机械制造、动漫渲染等领域都有应用。 龙源期刊网

⽂件分布式存储⽅案

对于IIS⽹站，⼤伙⽤的⽐较多，就不啰嗦了。

今天和说说⼤伙⽐较少使⽤的"IIS应⽤程序”和虚拟⽬录的区别及⾼级应⽤场景，⽂件分布式存储⽅案。

1：IIS⽹站：

⼀个⽹站，基本就是⼀个站点，绑定N个域名，绑定N个IP，然后设定⼀个应⽤程序池，基本就跑起来了，⼀个⽹站可以新建⽆数个应⽤程

序和虚拟⽬录。

⼀⾏就带过了，⼤伙都懂，不多说。

2：应⽤程序（同⼀域名下程序的独⽴开发，独⽴部署的最佳应⽤策略）：

我们发现，IIS⽹站下，可以新建“应⽤程序”，如下图：

点击就是如下界⾯了：

接下来就举例说下应⽤程序的应⽤场景：

举例⼀：⽐较通常的⼀个⽹站，就分前台和后台（系统管理站点的后台）

1：域名的分布：

⽽对于后台，通常情况下，我们部署之后的域名：

基本不会⽤：

多数是采⽤：/admin888

采⽤后者的原因，多数是因为同⼀个域名下，cookie好办事，或传统就差不多这样的原因。

2：IIS对应的部署：

A:传统的部署⽅式：

要采⽤第⼆种⽅式，如果你不知道应⽤程序的应⽤场景，你可能会采取如下的部署⽅式：

将⽹站发布到主域名的根⽬录下，⽂件夹名叫:admin888，顺着路径⽽为。

这样部署，就等于开发时是独⽴，最终运⾏是⼀个站点在运⾏，当然修改后台程序，也会影响到前台应⽤程序。

B：使⽤应⽤程序⽅式部署：

如果你看到上图的第⼆张图⽚，你可以看三个点：

1：别名：（相当于⽬录名，之后访问路径就变成：/别名）

2：应⽤程序池：可以独⽴⼀个应⽤程序域运⾏，后台的程序修改，将不再影响前台。

3：物理路径：可以将后台放到任意路径，⽽不⽤⾮要放在主站的根⽬录。

从这三点，可以看出，应⽤程序⽅式的部署，才是推荐选择的⽅式。

PS：事实上，默认整个站点，就是⼀个默认的应⽤程序。

举例⼆：常见的站点频道：

⽐如：/news 代表⼀个新闻频道

分布式文件系统（DFS）解决方案

一 “分布式文件系统（DFS）”概述

DFS并不是一种文件系统，它是Windows Server System上的一种客户/服务器模式的网络服务。它可以让把局域网中不同计算机上的不同的文件共享按照其功能组织成一个逻辑的分级目录结构。系统管理员可以利用分布式文件系统 (DFS)，使用户访问和管理那些物理上跨网络分布的文件更加容易。通过 DFS，可以使分布在多个服务器或者不同网络位置的文件在用户面前显示时，就如同位于网络上的一个位置。用户在访问文件时不再需要知道和指定它们的实际物理位置。

例如，如果您的销售资料分散在某个域中的多个存储设备上，您可以利用 DFS 使其显示时就好像所有的资料都位于同一网络共享下，这样用户就不必到网络上的多个位置去查找他们需要的信息。

二 部署使用“分布式文件系统（DFS）”的原因

 访问共享文件夹的用户分布在一个站点的多个位置或多个站点上；

 大多数用户都需要访问多个共享文件夹；

 通过重新分布共享文件夹可以改善服务器的负载平衡状况；

 用户需要对共享文件夹的不间断访问；

 您的组织中有供内部或外部使用的 Web 站点；

 用户访问共享文件需要权限。

三 “分布式文件系统（DFS）”类型

可以按下面两种方式中的任何一种来实施分布式文件系统：

1．作为独立的分布式文件系统。

 不使用 Active Directory。

 至多只能有一个根目录级别的目标。

 使用文件复制服务不能支持自动文件复制。

 通过服务器群集支持容错。

2．作为基于域的分布式文件系统。

 必须宿主在域成员服务器上。

 使它的 DFS 名称空间自动发布到 Active Directory 中。

 可以有多个根目录级别的目标。

 通过 FRS 支持自动文件复制。

 通过 FRS 支持容错。

四 分布式文件系统特性

除了 Windows Server System 中基于服务器的 DFS 组件外，还有基于客户的 DFS 组件。DFS 客户程序可以将对 DFS 根目录或 DFS 链接的引用缓存一段时间，该时间由管理员指定。此存储和读取过程对于用户客户端来说完全是透明的。

minio分布式文件存储使用场景

1.引言

1.1 概述

概述分为三个方面: 目前存储行业的发展状况、Minio分布式文件存储的基本概念、以及本文将要探讨的Minio分布式文件存储使用场景。

首先，随着云计算和大数据技术的快速发展，存储行业也在不断壮大。传统的中心化存储架构已经无法满足日益增长的数据存储需求和高可用性要求。分布式存储系统应运而生，通过将数据分散存储在多个节点上，提供了更高的可扩展性、灵活性和可靠性。

其次，Minio是一个基于开源分布式文件系统的对象存储服务器。它采用了分布式架构和横向扩展的设计理念，能够将数据存储在多个节点上，实现高可用性和容错能力。Minio不仅提供了兼容Amazon S3接口的API，还支持Erasure Code编码方式，提供数据冗余和容错功能。

最后，本文将探讨Minio在云存储领域的应用场景。随着云计算的普及，越来越多的企业和个人开始使用云存储服务来存储和管理数据。Minio作为一个开源的对象存储服务器，具有成本低廉、易于部署和管理等优势，非常适合用于构建自己的私有云存储平台。此外，Minio还可以与容器化技术结合使用，为容器提供持久化存储解决方案。

在接下来的章节中，本文将详细介绍Minio分布式文件存储的基本概念和原理，以及在云存储领域的应用场景。希望通过本文的阐述，读者能够更深入地了解Minio分布式文件存储的优势，并对其未来的发展前景有所展望。 1.2 文章结构

文章结构部分的内容可以包括以下内容：

【文章结构】

本文将按照以下结构进行叙述：

第一部分，引言：

在引言部分，将对Minio分布式文件存储的背景和意义进行简要介绍，以及本文的目的和重要性。

第二部分，正文：

2.1 Minio分布式文件存储的基本概念和原理：

在这一部分，将详细介绍Minio分布式文件存储的基本概念和原理，包括其核心组件、数据存储方式、一致性算法等。同时也会涉及Minio的特点和优势。