数字图书馆的数据存储方案研究

数字图书馆的数据存储方案研究

赵刚

（山西大学图书馆，山西太原!"!!!#）

摘要：本文对$%&、’%&、&%’三种数据存储技术进行了介绍、分析和比较，结合图书馆数字化建设的需求，提出了数据存储系统的实际方案，并对数字图书馆存储技术的发展趋势进行了相应的探讨。

关键词：数据存储；$%&；&%’；’%&中图分类号：()*)文献标识码：%文章编号：+!!,-+#.!（)!!#）!"-!!"+-!,

+引言

随着计算机及网络技术的迅猛发展，社会信息

化的程度不断深入，数字化图书馆成为)+世纪图书

馆发展的方向所在，并逐渐成为知识经济时代重要

的知识载体。数据处理、数据存储和数据传输这三个方面是数字图书馆的支撑技术，其中数据存储系

统是数字图书馆存在与发展的前提，没有它所保存

的海量数据，数字图书馆也就无从谈起。

在数字图书馆建设的过程中，如何管理维护大

量的存储数据，同时确保数据的一致性、安全性和可

靠性，如何实现不同数据的集中与分散管理，如何实

现网络上的数据集中与均衡访问，如何实现不同主

机类型的数据访问和保护，如何满足用户要求系统具有更高的海量数据存储能力和更快的访问速度，

都是我们需要考虑的问题。所以提供合理、可靠的

数据存储方案是数字图书馆建设的一个重要研究课

题。

目前流行的数据存储技术有三种：传统的

$%&、基于网络的’%&和&%’技术。三种存储技

术各有特点，相互补充，特别是’%&与&%’的融合

被看作是未来数字图书馆存储系统发展的趋势。

)数据存储技术介绍

当前流行的数据存储系统普遍具有高可靠性、

高性能、动态可扩展性、开放性等众多方面的特征，

就存储系统结构而言数据存储技术可分为：直接附

接存储$%&（$/0123%3342516&370481）、网络附加存

储’%&（’13970:%3342516&370481）、存储区域网络

&%’（&370481%014’13970:;）。其中$%&是传统

的存储式，以单个服务器为中心，而’%&和&%’是面向网络的存储技术，尤其是&%’被公认为目前最有潜力的存储技术。

)<+直接附接存储$%&直接附接存储$%&（$/0123%3342516&370481）属于传统的存储方式，是以服务器为中心的存储结构，

各种存储设备通过标准的接口（比如=$>、&?&=等）

直接挂接在各种服务器或客户端扩展接口下，服务器通过=／@通道直接访问$%&中的数据。其体系

结构如图+

图+$%&体系结构

$%&的=／@路径为：应用———文件系统———存

储设备。数据库应用程序可以跳过文件系统，通过

使用“原始分区”（也叫“裸设备”），而不是文件系统来对=／@过程进行直接管理。通过$%&，服务器直接拥有自己的存储设备。

)<)网络附加存储’%&

’%&（’13970:%3342516&370481）是一个存储单位，连接在网络上提供文件访问服务。’%&系统拥

有一个专用的文件服务器（瘦服务器），此服务器上

安装着一个优化的文件系统和瘦操作系统，该操作

系统专门服务于文件请求。’%&实现了操作系统和文件服务器功能的专门化，为网络存储提供了最

优的价格和性能。其体系结构如图)所示。

’%&将存储设备连接到基于=A协议的以太网络中。在这种存储系统中，应用和存储部分不

在同一服务器上，即有专用的应用服务器和专用的

服务器，其中专用服务器不再承担应用服

+")!!#年#月)!!#年第"期（总第B,期）晋图学刊&54CD/E/F040GH7I0C4JHIC<，)!!#’7<"，)!!#（=;;I1’7

图!典型的"#$体系结构务。数据服务器通过局域网的接口与应用服务器连

接，应用服务器将数据服务器视做网络文件系统，通

过标准%#"进行访问。由于采用局域网上通用数据传输协议，如"&$协议、’(&$协议、#))*+,-*.协

议和&/0协议等，所以"#$能够在异构的服务器

之间共享数据，如1234567"/和8"(9混合系统。

"#$系统的关键就是应用服务器（又称为文件服务器），它是文件系统所在地和"#$存储设备的

控制中心，该服务器一般可以支持多个(／:节点和

网络接口，每个(／:节点都有自己的存储设备。

!;+#=+-"+,65=.7）是

一种专门连接服务器和存储设备的高速网络，是一

种采用光纤接口将磁盘阵列或磁带库和光盘库与通用服务器连接起来的高速专用网络。$#"由于采

用不同的传输介质又可以分成&’?$#"和@?

$#"。&’?$#"的传输介质是&’（光纤通道），@

?$#"的传输介质是以太网，而最新的$#"标准

是2$’$(，其传输介质是高速以太网（主要是千兆以

太网和万兆以太网）。&’?$#"是目前主流的

$#"技术。

$#"通过专用的交换设备和环路设备连接若

干台存储设备和备份设备组成一个单独的数据网

络，提供企业级的数据存储服务。其系统结构如图

务器）、$,5=->+（存储设备）、$#"&-B=2C（连接设

备）、$5D,6-=+（管理软件）、$+=A2C+（服务）。$#"理论上可扩展到无限个节点，通过光纤通道来提高数据传输速度，这样不仅可以提供更大容量的数据

存储，而且可以实现地域上的分散，缓解了大量数据

传输对于局域网的影响。

$#"的结构允许任何服务器连接到任何存储

阵列或磁带库，这样不管放置在哪里，服务器都

可直接存取所需的。$#"结构中的存储设备

是被当作本地设备访问的，文件系统和的维护在主机端完成。因此，$#"需要基于主机或存储系

统的数据隔离，即所谓的%8"E-7.23>技术，这种

技术主要保证多种操作系统平台不会互相破坏文件系统。

图<$#"的典型体系结构

!;F三种存储技术的比较

G#$是一种传统的存储方式，"#$和$#"则

相对较新，特别是$#"尚未制定统一的标准，许多

方面还不完善。

"#$使用的是“文件级的(／:”，而$#"和

G#$则使用“块级(／:”。"#$设备上有专门处理

针对文件内具体信息请求的文件系统，负责把该请求转换为磁盘设备上的特定数据块的操作，于是

"#$就可以使用(／:块访问磁盘设备。而对于

G#$和$#"来说，所有操作均为(／:块。"#$将

存储设备通过标准的网络拓扑结构连接到一组计算机上，可以说是网络技术在存储领域的延伸和发展，

数据以文件的形式按照网络协议在客户机与存储设

备之间流动。当数据存储发展到一定规模，"#$的缺陷就显现出来，特别是没有解决与文件服务器相

关的一个关键性问题———对生产网络进行备份和恢

复。

与"#$相比较，$#"的优点在于以下几方面：（H）$#"几乎可以无限扩展，用户可以在$#"结构上自由添加各种存储设备，整个系统扩展灵活。

（!）由于采用光纤通道（&’）的传输方式，$#"的传输速率非常高，当前的传输速度为HIIEB)7／

!IIEB)7。

（<）$#"上数据传输的方式是块传输，在光纤

上可以传输大数据块。（F）由于$#"独特的结构特别适合于进行连续

的大流量的数据备份，促进了新型的%#"?&=++和

$+=A+=*+77的备份方式。

三种存储技术的比较见表H。

针对以上三种存储技术的不同特点，我们

!

特性"#$%#$$#%

连接方式"&’()*+$,$-，$$#，.&/(’,0122(3，(*)以太网.&/(’,0122(3

数据共享困难容易研究中

安全性视服务器而定视网络而定视软件／硬件而定

安装视服务器而定容易较困难

管理传统方法容易研究中

备份传统方法多种途径可实现无服务器备份

容错性视服务器而定研究中对等网络解决方案

-／4类型块级-／4文件级-／4块级-／4

优点费用低，技术成熟，安装简单，适用于单独的服务器连接安装过程简单，易于管理，利用现有的网络实现文件共享，扩展性较高，可满足无专用直接连接存储设备的主机存储需要高性能，高扩展性，光纤连接距离远，可连接多个磁盘阵列或磁带库组成存储池，易于管理，通过备份软件可以做到$(’5(’+6’((和7#%+6’((备份，减轻服务器和网络负担

缺点距离短、扩展性差、信息资源利用率不高增加额外的网络开销、系统资源占用率较高尚不成熟

了解到它们分别适用不同的应用领域，相互补充。因此，各个图书馆在进行数字化建设的过程中应该

结合自身的资金、技术力量、应用方向等实际情况，

认真设计存储方案，选择适合的存储设备。

以下结合我馆的实际经验，提供几种针对不同应用的数字图书馆数据存储系统设计方案。

89!"#$专用存储方案

这种方案可以针对单一的、规模较小的数字化

应用。因为"#$的实现容易、管理集中且费用最便宜，因而是中、小型图书馆的首选方案，特别适用于

某些使用频率不高或是服务专门化的情况。例如我

馆清华同方,%:-数据库就是使用一台带有"#$（;<）的"(33服务器向全校提供服务的。

89;%#$存储方案

这种方案是目前大多数图书馆采用的存储方

案。因为%#$是基于-=协议的，可以很方便地接

入局域网，且由于%#$自带文件系统和管理服务，所以部署与管理较为方便，成本也相对便宜。更重

要的是%#$可以直接对文件进行-／4读写，所以具

有文件检索的优势。目前数字图书馆的大部分应用

系统如电子期刊、电子图书、多媒体数据库等均可部署在%#$上。

898$#%存储案

这种案主要针对要求提供高速网络服务的应

用系统，适合规模较大且资金充足的图书馆。特别适用于读取块文件的应用，譬如>?@、A1&3、多媒体数据库等。我馆目前使用BC,$#%（;<）面向全省各高校提供维普全文电子期刊服务，以充分提升网

络服务速度。

89D%#$E$#%方案

这是目前技术水平下最佳的方案，也是数字图书馆的数据存储系统的发展方向。因为$#%目前

尚存在标准不统一、价格较高、管理手段专业等不完

善因素，所以将%#$与$#%融合在局域网中，发挥

它们各自优势是一种追求性价比的最佳方案。%#$E$#%有三种方式：基于&$,$-的融合、%#$作为

$#%的存储子系统、使用$#%连接%#$，各馆可根

据自身设备与网络情况选择其一。

D结束语

"#$、%#$和$#%作为数字图书馆的三种数

据存储技术，各有其技术特点和适用领域。在设计

与构建数字图书馆的数据存储系统时，需要针对实

际需求做出相应的选择。

%#$与$#%的融合是数字图书馆网络存储发

展的趋势，是目前研究的热点之一。它们的融合可

以较好地解决二者之间的存储共享问题，有效地利

用各自的优点，提高可扩展性、灵活性以及效率。但是，%#$E$#%的融合，不仅仅是简单地将它们进

行连接或重构，还应包括相应的能够对%#$和

$#%进行综合管理的软件管理策略以保证成功。

但目前还比较缺乏这种综合存储管理软件。参考文献：

88;FFG年G月;FFG年第8期（总第HD期）晋图学刊$012I&7&/’1’JK?L’213KL29，;FFG%?98，;FFG（-MML(%?9HD）