浅析数字图书馆中的存储技术

＜新疆社会科学信．ｔ，）２０ｏ６年第ｌ期（总第１８３期）　●辛平包瑞　

浅析数字图书馆中的存储技术　

随着信息技术的高速发展和读者对于数字图书馆　的需求的不断增长，图书馆要对有价值的图像、文本、语　音、影像、影视、软件和科学数据等多媒体信息进行收　集、数字化加工、存储、管理，并提供基于网络的电子存　取服务，来接受成百上千的读者访问。图书馆的数据存　储量急剧膨胀，需要越来越大的存储空间，如何管理维　护大量的存储数据，同时确保数据的一致性、安全性和　可靠性，如何实现不同数据的集中与分散管理，如何实　现网络上的数据集中与均衡访问，如何实现不同主机类　型的数据访问和保护，如何满足用户要求系统具有更高　的海量数据存储能力和更快的访问速度，将是数字图书　馆建设中必须重视的问题。同时随着网络结构和存储　设备的日趋复杂，存储管理的成本日益上升，存储设备　的自动化及存储管理软件成为降低存储设备综合拥有　成本的重要手段，因此，了解目前的几种存储技术并分　析其优劣来建立起一套能有效地存储和管理数据且功　能较为完善的存储系统已成为数字图书馆建设的重要　任务之一。　１数字图书馆的网络存储架构　从架构上来分，数字图书馆网络化存储系统应用主　要包括ＤＡＳ（Ｄｉｒｅｃｔ　Ａｔｔａｃｈｅｄ　Ｓｔｏｒａｇｅ，直接连接存储）、ＮＡＳ　（Ｎｅｔｗｏｒｋ　Ａｔｔ￣ｈｅｄ　Ｓｔｏｒａｇｅ，网络连接存储）和ＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ，存储区域网络）。　１．１　ＤＡｓ　ＤＡＳ是指将存储设备通过ｓｃＳＩ接口或光纤通道直　接连接到一台计算机上。ＤＡＳ的适用环境为：服务器在　地理分布上很分散，或存储系统必须被直接连接到应用　服务器上时，也适合包括许多数据库应用和应用服务器　在内的应用，它们需要直接连接到存储器上。。　当服务器在地理上比较分散，很难通过远程连接进　行互连时，直接连接存储是比较好的解决方案，甚至可　能是唯一的解决方案。　１．２　ＮＡｓ　ＮＡＳ是将存储设备通过标准的网络拓扑结构（例如　以太网），连接到一群计算机上，提供给各异构平台（包　含Ｕｎｉｘ，Ｗｉｎｄｏｗｓ，Ｌｉｎｕｘ，Ｎｅｔｗａｒｅ）的客户端及服务端达到　文档共享的储存装置。　ＮＡＳ是通过存储器件（例如硬盘驱动器阵列、ＣＤ或　ｌ４　ＤＶＤ驱动器、磁带驱动器或可移动的存储介质）和集成　在一起的简易服务器，可用于实现涉及文件存取及管理　的所有功能。它可做到异构平台之间文档格式的转换　和资源共享。不但具高效能传递，多任务效能的最佳　化，减少工作人员安装、管理、备份的成本，是最佳化的　附加式网络存储设备。　ＮＡＳ具有几个弓ｆ人注意的优点。首先，ＮＡＳ是真正　即插即用的产品。ＮＡＳ设备一般支持多计算机平台，用　户通过网络支持协议可进入相同的文档。因而ＮＡＳ设备　无需改造即可用于异构平台的局域网内。其次，ＮＡＳ设　备的物理位置同样是灵活的。它们可放置在工作组内，　靠近数据中心的应用服务器，或者也可放在其他地点，　通过物理链路与网络连接起来。无需应用服务器的干　预，ＮＡＳ设备允许用户在网络上存取数据，这样既可减小　ＣＰＵ的开销，也能显著改善网络的性能。　ＮＡＳ适合于数字图书馆建立初期，用户的数据规模　并不大，存储需求也很简单，只是要把相关数据存放在　某一地方即可。而存放数据的最终目的不但是为了能　够安全保存，还必须保证数据可以随时被调用。这种方　法从两方面改善了数据的可用性。第一，即使相应的应　用服务器不再工作了，仍然可以读出数据。第二，简易　服务器本身不会崩溃，因为它避免了引起服务器崩溃的　首要原因，即应用软件引起的问题。　１．３　ＳＡＮ　ＳＡＮ通过光纤通道连接到一群计算机上。在该网络　中提供了多主机连接，是独立于服务器网络系统之外几　乎拥有无限存储能力的高速存储网络，这种网络采用高　速的光纤通道作为传输媒体。以ＦＣ（Ｆｉｂｅｒ　Ｃｈａｎｎｄ，光通　道＋ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）。小型计算机系　统接口的应用协议作为存储访问协议，将存储子系统网　络化，实现了真正高速共享存储的目标。　ＳＡＮ解决方案的优点有以下几个方面：　ＳＡＮ提供了一种与现有ＬＡＮ连接的简易方法，并且　通过同一物理通道支持广泛使用的ＳＣＳＩ和ＩＩ＇协议。　ＳＡＮ不受现今主流的、基于ＳＣＳＩ存储结构的布局限制。　特别重要的是，随着存储容量的快速增长，ＳＡＮ允许图书　馆根据需要不断增存储容量。　ＳＡＮ的结构允许任何服务器连接到任何存储阵列，

　维普资讯 http://www.cqvip.com 浅析数字图书馆中的存储技术　这样不管数据置放在那里。服务器都可直接存取所需的　数据。因为采用了光纤接口。ＳＡＮ还具有更高的带宽。　光纤接口提供了１０公里的连接长度。这使得实现物理上　分离的、不在机房的存储变得非常容易。较为适合现在　的高校图书馆多个分馆的实际环境。　２三种存储系统的对比分析　２．１　ＤＡＳ的问题与不足　ＤＡＳ依赖服务器主机操作系统进行数据的ｌ０读写　和存储维护管理，数据备份和恢复要求占用服务器主机　资源（包括ＣＰＵ、系统ｌ０等）。数据流需要回流主机再到　服务器连接着的磁带机（库）。数据备份通常占用服务器　主机资源２ｏ一３ｏ％。因此图书馆在做日常数据备份常常　在深夜或业务系统不繁忙时进行，以免影响正常业务系　统的运行。直连式存储的数据量越大。备份和恢复的时　间就越长。对服务器硬件的依赖性和影响就越大。　ＤＡＳ与服务器主机之间的连接通道通常采用ＳＣＳＩ　连接，带宽为１０ＭＢ／ｓ、２０ＭＢ／ｓ、４０ＭＢ／ｓ、８０ＭＢ／ｓ等。随着服　务器ＣＰＵ的处理能力越来越强，存储硬盘空间越来越　大。阵列的硬盘数量越来越多。ＳＣＳＩ通道将会成为１０瓶　颈；服务器主机ＳＣＳＩ　ＩＤ资源有限，能够建立的ＳＣＳＩ通道　连接有限。　对于ＤＡＳ的扩展过程中。从一台服务器扩展为多台　服务器组成的群集（Ｃｌｕｓｔｅｒ），或存储阵列容量的扩展，都　会造成业务系统的停机，从而给广大读者检索造成不　便。　２．２　ＮＡＳ的问题与不足　ＮＡＳ没有解决与文件服务器相关的一个关键性问　题。即备份过程中的带宽消耗。与将备份数据流从Ｌｆ　中转移出去的存储区域网（ｓＡＮ）不同。ＮＡＳ仍使用网络　进行备份和恢复。ＮＡＳ的一个缺点是它将存储事务由　并行ＳＣＳＩ连接转移到了网络上。这就是说Ｉ＿ＡＮ除了必　须处理正常的最终用户传输流外。还必须处理包括备份　操作的存储磁盘请求。　２．３　ＮＡＳ与ＳＡＮ的不同点　ＮＡＳ：用户通过ＴＣＰ／ＩＰ协议访问数据。采用业界标准　文件共享协议如：ＮＦＳ、Ｉ－ｒｌＴＰ、ＣＩＦＳ实现共享。　ＳＡＮ：通过专用光纤通道交换机访问数据，采用Ｓｃ．　ＳＩ、Ｆｃ—ＡＬ接口。　ＮＡＳ是在ＲＡＩＤ的基础上增加了存储操作系统，而　ＳＡＮ是独立出一个数据存储网络，网络内部的数据传输　率很快，但操作系统仍停留在服务器端，用户不是在直　接访问ＳＡＮ的网络，因此这就造成ＳＡＮ在异构环境下不　能实现文件共享。ＳＡＮ是只能独享的数据存储池，ＮＡＳ　是共享与独享兼顾的数据存储池。因此。ＮＡＳ与ＳＡＮ的　关系也可以表述为：ＮＡＳ是Ｎｅｔｗｏｒｋ一毗砒　。而ＳＡＮ是　Ｃｈａｎｎｅｌ—ａｔｔａｃｈｅｄ。ＳＡＮ结构中。文件管理系统（Ｆｓ）还是　分别在每一个应用服务器上；而ＮＡＳ则是每个应用服务　器通过网络共享协议（如：ＮＦＳ、（＝ＩＦｓ）使用同一个文件管　理系统。换句话说：ＮＡＳ和ＳＡＮ存储系统的区别是ＮＡＳ　有自己的文件系统管理。‘　ＮＡＳ是将目光集中在应用、用户和文件以及它们共　享的数据上。ＳＡＮ是将目光集中在磁盘、磁带以及联接　它们的可靠的基础结构。　３　ＳＡＮ结构在我馆的应用　３．１选择ＳＡＮ结构原因　３．１．１互联网的迅速发展。需集中和直接管理大量　存储设备。而无需在分布服务器上建立多个存储设备；　３．１．２在线信息不断增加，对信息的可靠性的要求　提高；　３．１．３存储设备与多种服务器（Ｗ￣０００，ＩＩＮⅨ）的同　时跨接。实现文件系统的并行操作。使用户的应用系统　变得更加灵活。结构更加合理；　３．１．４用户对信息种类的要求越来越多。传输中音　频视频文件的数量大大增加；　３．１．５要求网络能提供更高的传输速率。　３．２　ＳＡＮ结构在图书馆中应用优势　３．２．１性能：ＳＡＮ避免了网络传输带宽瓶颈的出现；　３．２．２可访问性：任何被授权的数据均能访问；　３．２．３连通性：实现不同类型数据同时被访问；　３．２．４扩容能力：无须改造网络实现平缓升级；　３．２．５管理性：能有效的管理存储的开销。　３．３应用实例　３．３．１存储部分　采用集中的光纤通道磁盘阵列ＤⅡ工（　）ｃｘ５００。　其中配置３ｏ＊１４６ＧＢ（４．４１Ｂ）光纤硬盘。用于保证高性能　传输部分的在线存储。配置１５＊２５０ＧＢ（３．铘）ＳＡＴＡ硬　盘。用于提供大容量在线存储。例如：电子图书、期刊、视　频等数据库的存储。　每台服务器采用单光卡连接。中间配置一台１６口光　纤交换机用于ＳＡＮ的连接。　３．３．２备份部分　由于采用集中存储。对于重要的数据（例如：自建数　据库或硕博士论文等）进行自动备份。磁带库采用ＦＶ　１３２１＂ｏ其中配置了用于实现自动备份功能的备份软件，　并实现了对数据库部分的自动备份。　３．３．３自动化平台　因为ＩＬＡＳＩＩ自动化系统采用的是ＳＣＯ　ＵＮＩＸ平台。故　采用一台高端的ＰＥ　６６５Ｏ服务器。配置多硬盘。提供ＳＣＯ　

】５　维普资讯 http://www.cqvip.com ＜新疆社会科学信忠）２ｏｏ６年第１期（总第１８３期）　系统的在线数据存储，然后通过磁带实现自动备份，以　保证数据的完整性和安全性。　３．３．４数据分级处理　考虑到数据所需空间增长较快，扩容硬件所需周期　较短、资金较大。对部分可以包库远程访问的数据库采　用付费远程访问方式。以减轻本地存储压力，充分发挥　现代快速网络优势。同时为提高热点数据的快速访问。　结合信息生命周期。部分数据库内容随着时间的流逝，　有些数据变得不再重要。需要从高效高端存储设备上迁　移到访问量低的配置较低存储设备上，以实现较高的硬　件投资效益。　我馆的数字图书馆建设采用基于ＳＡＮ架构的光纤　通道存储系统不仅实现了与原有硬件资源的有机整合。　而且满足了目前海量数字资源的存储。还为今后的扩容　留有余地。　总的来说，ＤＡＳ、ｂＩＡＳ、ＳＡＮ三种存储模式，各图书馆　尤其是西部高校图书馆和公共图书馆可根据本馆需求　和资金来考虑采用。由于ＳＡＮ是高带宽存储网络，具有　传输速率高，数据吞吐量大。容错能力强，稳定性高并且　能够整合存储空间等特性，ＳＡＮ构架的存储方案是目前　能够较好地满足数字图书馆在多服务器扩容、高可用集　群、高性能、高可用、高扩展的网络存储等方面的需求，　已成今后为建设大型数字图书馆存储系统的主流架构。　

参考文献：　１．李军艳．数字图书馆存储系统解决方案．现代情　报，２００Ｉ５（１２）　２．舒炎祥．数字图书馆的存储解决方案．图书馆学　研究。２ｏｏ５（１０）　３．杨宜培．基于现代数据存储技术的高校数字图书　馆建设．图书馆工作与研究。２ｏｏ５（ｏ６）　４．杨清波．利用存储技术构建数字图书馆存储系　统．情报理论与实践。２００Ｉ５（０６）　（新疆师范大学图书馆）