利用信息生命周期理论管理图书馆视音频数据史敏鸽(长安大学图书馆技术部 陕西西安 710064)摘 要 运用信息生命周期管理理论,讨论分析分级存储技术在图书馆视频点播中的应用与管理,同时提出与之相适宜的分级存储体系构建策略。
关键词 信息生命周期 分级存储 Vo D 存储应用 随着多媒体技术、硬件存储技术及网络通信技术的发展,以千兆计算机局域网为基础,在多媒体图书馆网络信息系统中,作为多媒体应用的一个重要方面,视频点播(VoD)系统得到了迅速发展。
众所周知,VoD是一种最直接、最形象的交互式视频信息的服务方式,它可以大大增强信息服务的主动性和生动性。
系统能在用户需要时随时提供交互式视频信息服务,它具有提供给单个用户对大范围的影片、视频节目、多媒体课件等信息进行同时访问的能力,用户和被访问的资料之间高度的交互性使它更受用户的欢迎。
系统是一种多级服务器和多级网络交换的结构。
多媒体数据经过压缩、存储、检索和网络传输到达用户终端,用户终端完成节目解压缩和同步回放。
它的主要组成部分是节目采编录入系统,专业视频服务器、播控服务器和管理软件。
由于视频数字化后,数据量很大,视频服务器必须使用高速、宽带的SCSI接口硬盘或最先进的FC接口硬盘作为视音频数据存储介质,并支持磁盘阵列,支持可变帧大小技术,保证最佳的视音频节目质量,满足用户对各种信息的查阅。
随着图书馆馆藏视音频资料的增加,视频存储服务器的压力很大,为了解决此问题,我们馆在做点播服务项目时,就充分认识到该技术问题解决的重要性。
经过充分讨论研究后,我们决定利用信息生命周期理论原理,结合分级存储技术来解决视频点播数据的存储问题。
1 信息生命周期管理理论信息生命周期管理(I nf or mati on L ifecycle Man2 age ment,简称I L M)是St orageTek公司针对不断变化的存储环境推出的先进存储管理理念。
数据生命周期管理是一项复杂的系统工程,其存储架构的建立比较简单,最大的难题是现有应用系统中的数据是否可以按照生命周期实施分存储,以及满足当年数据、历史数据查询使用的具体要求。
1.1 信息生命周期管理的一般理论现在,人们已经认识到,信息也有自己的生命周期,也会随着在生命周期中所处的阶段不同而起起落落。
我们使用和管理的信息量每年成倍地增长。
这些信息不但需要保存较长的时间,而且需要对其进行查询。
为了以最低的成本实现信息价值最大化,人们已经开始将自动化网络存储基础设施与其综合服务和解决方案结合在一起,然后以此为基础制定出新的信息管理策略,这种新的信息管理策略称为信息生命周期管理。
采用这种新的信息管理方式意味着根据信息对用户的价值进行分类,然后制定相应的存储策略。
利用自动化网络存储基础设施将信息转移到相应的服务等级,以满足使用要求。
借助信息生命周期管理,人们能够在整个信息生命周期内充分发挥信息的潜力。
Legat o公司将信息生命周期划分为7个阶段,包括了数据从产生直至灭亡的全部过程。
具体为:业务需求、采集/组织、保护/恢复、复制/镜像、共享、迁移/归档、删除。
由于是一个周期的管理,因此,在这个周期的每个环节都要有相应的产品来满足需求。
在一定的时期,人们可能只会应用到其中的某个或某几个环节,但是,把整个信息系统作为一个整体来管理是一个必然的趋势。
I L M的核心就是针对不同数据的不同生命阶段,采用不同的存储策略和存储介质,其中近线存储是重要一环。
在数据备份中,利用近线存储概念,用软件实现磁盘与磁带的有机结合,用较低价格的磁盘作为备份设备或现有备份设备的补充。
从管理信息的角度出发,我们会根据信息生命周期的特点,将其存储在与自身价值相符的不同层次的架构里,通过有计划、主动地增加存储,不断降低复杂性并增加整个存储系统的可用容量。
1.2 信息生命周期管理的意义信息生命周期管理是针对信息作主动管理的策略,此策略是基于以业务为中心、以政策为基础。
39图1 信息的价值随时间变化示意图图1向我们清晰的展示信息价值随时间的推移,它教会我们如何去评估和管理信息的存储方式。
教育我们平衡信息价值和管理费用,根据数据所能提供的使用价值来决定存储费用。
信息从产生到使用直到灭亡,其全部过程都需要进行管理,因此,信息生命周期管理可以说是用户发展到一定阶段的存储需求,只不过它是一种很复杂的需求,具体来说,就是如何建立一个更完整、更具有价值的信息系统,能够完全满足用户对于数据的以下五种需求:随时访问、按时间恢复、方便的共享、所有数据受到适当的保护以及按照一定的时间规定管理数据。
2 分级存储技术分级存储管理(H ierarchical St orage Manage2 ment,HS M)是一种将离线存储与在线存储融合的技术。
它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。
当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。
对于使用者来说,上述数据迁移操作完全是透明的,只是在访问磁盘的速度上略有怠慢,而在逻辑磁盘的容量上明显感觉大大提高了。
通俗地讲,数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上,只在磁盘阵列上保存少量访问频率高的数据的技术。
当那些磁带等介质上数据被访问时,系统自动地把这些数据回迁到磁盘阵列中;同样,磁盘阵列中很久未访问的数据被自动迁移到磁带介质上,从而大大降低投入和管理成本。
由此可见,分级存储管理更多从降低成本、不影响数据应用效果的角度解决数据的存储问题。
将最常用的信息放在最易取用的存储空间里,这样的分级存储管理可以帮助使用者实现信息在整个生命周期中的最大价值,而且能够节约成本。
2.1 分级存储的存储方式传统的数据存储一般分为在线(On-line)存储及离线(Off-line)存储两级存储方式。
分级存储管理是以数据生命周期的不同阶段来决定存储的位置,从而在在线存储与离线存储之间诞生了第三种存储方式———近线(Near-line)存储,使存储网络从“在线-离线”的两级架构向“在线-近线-离线”的三级架构演变。
近线存储的特点是性能接近在线存储,而成本接近离线存储。
众所周知,在线存储多采用高速磁盘阵列等存储设备,存取速度快,价格昂贵。
而离线存储采用磁带作为存储介质,其访问速度低,但能实现海量存储,同时价格低廉。
但是,这些数据逐年累积以后管理它们就成了一件十分困难的事情。
近年来,由于AT A硬盘的性能不断提高和其成本远远低于SCSI硬盘,使基于AT A硬盘的近线存储设备成为令人关注的领域。
随着信息生命周期管理的兴起,近线存储领域必将成为数据备份和数据保护中的重要一环。
2.2 分级存储技术的优点数据分级存储之所以重要,是因为它既能最大限度地满足用户需求,又可使存储成本最小化。
首先,分级存储可以将不经常访问的数据驻留在较低成本的存储器中,可综合发挥磁盘驱动器的性能优势与磁带的成本优势。
其次,分级存储可使不同性价比的存储设备发挥最大的综合效益。
再次,分级存储把很少使用的老数据迁移到辅助存储器中,或归档到离线存储池中,这样就无需反复保存,减少了存储的时间;同时提高了在线数据的可用性,使磁盘的可用空间维持在系统要求的水平上。
最后,进行分级存储后,数据移动到另外的存储器时,应用程序不需要改变。
存储实现分级以后,在线、近线与离线存储存放的数据使用价值不同,在同一级别存储内部,存放的数据也应该不同,实现每一级别内的分级存储。
如何将各个级别存储中数据统一管理起来便成了最为关键的问题。
3 利用信息生命周期理论管理图书馆VoD数据的必要性VoD视音频资料以其直观、形象、生动等自身优势而备受用户的青睐,图书馆的视音频数据需求增长迅速。
视音频数据通常是使用高速、宽带的SCSI 接口硬盘或最先进的FC接口硬盘作为视音频数据存储介质,所占存储空间大,费用高。
上面我们已经探讨过了,每条数据都是具有生命周期,不同的时期有其存在的不同价值。
刚上传新数据,访问频率最高,为读者带来的价值也高。
随着时间的推移,访问频率降低,数据的价值也随之下降,低访问频率的数据量远远超过高访问频率的数据量,如果图书馆全部用企业级存储产品来存储VoD数据,费用非常49高,也没有必要。
根据信息周期理论我们知道,不同时期的数据,提供给读者使用价值也是不同的。
图书馆应考虑如何以最低的成本获得最高的使用价值,而不是采用以往单纯的购买更多磁盘的解决方式,徒增存储费用和管理复杂程度。
同时,数据量的急剧增长,也使存储管理复杂性增加。
数据的分级存储是简化存储管理的需要。
通过设定优化的数据迁移规则,能使重要数据和常用数据在最短的时间内访问到,使极少使用的数据备份在廉价的海量存储器中。
4 信息生命周期理论在管理图书馆VoD数据的具体实现技术分级存储在很多情况下,它更多地用于分布式网络环境中。
数据分级存储的工作原理是基于数据访问的局部性。
通过将不经常访问的数据自动移到存储层次中较低的层次,释放出较高成本的存储空间给更频繁访问的数据,可以获得更好的性价比。
文件由HS M系统选择进行迁移,然后被拷贝到HS M介质上。
当文件被正确拷贝后,一个和原文件相同名字的标志文件被创建,但它只占用比原文件小得多的磁盘空间。
以后,当用户访问这个标志文件时,HS M系统能将原始文件从正确的介质上恢复过来。
分级存储可以有不同的实施方式,HS M根据两级或三级体系将动态迁移/回迁的数据分类,从而实现分级存储。
随着技术的发展,存储技术在视频数据存储中得到了广泛应用。
按照数据生命周期进行管理,能够有效地控制在线数据规模,提高数据访问效率,缩短或控制备份窗口,从而提高应用系统运行的整体效率和效果。
,实现视频数据的良性管理,最大限度的体现信息自身价值。
正是基于这样的考虑,我们在考虑数据存取和调用时,充分利用信息数据是具有生命周期原理,结合数据分级技术来实现图书馆数据存储架构。
长安大学图书馆由一个中心馆和三个分馆构成:校本部、雁塔校区分馆、小寨校区分馆、渭水校区分馆。
我们每个馆都提供本地化VoD点播服务,它们用作上传视频数据和点播服务。
同时,我们在图书馆中心机房有一台VoD共享目录服务器,四校区的点播服务内容和条目均能从此台服务器下载点播。
在这样典型分布式网络环境中,在物理层次上,我们按照数据生命周期将其数据存储架构做成在线存储、近线存储和离线存储三种模式。
VoD点播服务在线存储永久链接在具有很高的访问速度和良好的反应能力的服务器设备(即各分馆点播服务器)上,适合访问要求频繁,并且对反应和数据传输都要求较高的应用。
在点播服务实际应用中在线存储设备一般采用高性能的存储服务器,用于上传、播出的视音频数据。
