ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.doczj.com/doc/4d13620596.html,
Journal of Software, Vol.20, No.10, October 2009, pp.2752?2765 https://www.doczj.com/doc/4d13620596.html, doi: 10.3724/SP.J.1001.2009.03427 Tel/Fax: +86-10-62562563
? by Institute of Software, the Chinese Academy of Sciences. All rights reserved.
?
一种基于磁盘介质的网络存储系统缓存
尹洋1,2+, 刘振军1, 许鲁1
1(中国科学院计算技术研究所,北京 100190)
2(中国科学院研究生院,北京 100049)
Cache System Based on Disk Media for Network Storage
YIN Yang1,2+, LIU Zhen-Jun1, XU Lu1
1(Institute of Computing Technology, The Chinese Academy of Sciences, Beijing 100190, China)
2(Graduate University, The Chinese Academy of Sciences, Beijing 100049, China)
+ Corresponding author: E-mail: yinyang@https://www.doczj.com/doc/4d13620596.html,, https://www.doczj.com/doc/4d13620596.html,
Yin Y, Liu ZJ, Xu L. A cache system based on disk media for network storage. Journal of Software, 2009,
20(10):2752?2765. https://www.doczj.com/doc/4d13620596.html,/1000-9825/3427.htm
Abstract: With the dramatic increase in the scale of computing, the applications of network storage systems
become wider, and the requirements for their I/O performance are also higher. Now with I/O heavy loaded, it
becomes meaningful to cache data by using low-speed media in the I/O path between the client and network storage
systems. In this paper, a cache system prototype D-Cache is designed and implemented based on disk media at
block level for storage system. A two-level structure is adopted to manage disk cache and a corresponding cache
management algorithm is provided for it at block level. The algorithm effectively solves the management problem
of disk cache brought by the low-speed characteristic of disk media. By the use of bitmap, the cache management
algorithm also eliminates the overhead of Copy on Write operations caused by write miss of disk cache.
Experimental results show that the prototype can efficiently improve the overall performance for storage system
with I/O heavy loaded.
Key words: cache management; disk media; network storage; cache algorithm
摘要: 随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.
在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际
的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管
理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁
盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在
存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.
关键词: 缓存管理;磁盘介质;网络存储;缓存算法
中图法分类号: TP393文献标识码: A
? Supported by the National Basic Research Program of China under Grant No.2004CB318205 (国家重点基础研究发展计划(973));
the National High-Tech Research and Development Plan of China under Grant No.2007AA01Z402 (国家高技术研究发展计划(863))
Received 2008-01-09; Revised 2008-06-11; Accepted 2008-08-11
尹洋等:一种基于磁盘介质的网络存储系统缓存2753
现今,NAS,SAN等网络存储技术已为研究界和工业界广泛关注,利用存储集中化简化系统管理成为网络存储研究的一个热点,如Xcat[1],OSCAR[2]等有效管理大规模HPC集群的研究以及Blutopia[3],Frisbee[4],VAP[5], COD[6],SonD[7]等快速部署工作站或者服务器的研究.上述研究的核心方法是数据集中存储和管理,通过网络为客户机提供所需数据,以达到提高资源利用率、降低管理开销的目的.但是,随着客户机规模的日益扩大,集中化网络存储系统的I/O性能需求不断提升.如何进一步提高存储系统的可用性和可扩展性,保证在大规模、高负载环境下的存储应用是亟待解决的问题.
缓存技术一直以来都是网络存储领域解决性能问题的主要方法和研究重点.客户端的缓存系统能够提高整体系统的性能,但是当前的网络存储系统缓存大都基于内存构建,其空间相对较小,一些研究开始探索客户端本地磁盘作为缓存的方法.如xCachefs[8],Sun的NFS[9],IBM的AFS[10],Coda[11],xFS[12],CAPFS[13]等分布式文件系统,它们在客户端使用本地磁盘作为缓存来提高系统的性能、可扩展性和可用性,从而缓解后端服务器的负载压力.但是,这些缓存系统大都针对具体文件系统,其通用性有限.在块一级实现的缓存可以透明地应用于绝大多数存储系统中,具有更强的通用性.但目前采用Fibre Channel,iSCSI,NBD和AoE(ATA over ethernet)等协议的块级网络存储系统却缺乏类似的本地磁盘缓存系统.与此同时,高性能存储技术的一个发展趋势是SAN与NAS 的结合,即由SAN提供块一级存储资源,并在文件一级实现分布式文件共享,如目前较先进的Panasas[14], Luster[15]系统.这些因素都使得在I/O的访问路径上添加块一级的缓存对当前的网络存储系统具有较强的现实意义.
然而,磁盘相对于内存具有速度慢、非易失的特点,加之现代操作系统在块一级不允许对读写操作进行过久的等待,因此,传统的缓存管理方法并不能很好地满足块一级磁盘介质缓存管理的需要.针对这种情况,本文设计实现了基于磁盘介质的网络存储系统缓存D-Cache,并提出了一种适用于块一级缓存的缓存管理算法.该算法考虑了磁盘介质的特性,结合当前主流操作系统本身的特点,在保证块一级缓存功能实现的同时提供了较好的性能.
本文第1节对系统进行概述.第2节描述D-Cache缓存系统设计和实现.第3节给出测试评价的结果,并对实验结果进行对比和分析.第4节介绍相关研究和结论.
1 系统概述
D-Cache缓存系统位于客户机与远程网络存储系统的I/O路径之间,提供磁盘存储块一级的缓存服务. D-Cache整合磁盘缓存空间和远程的存储设备,构建出虚拟存储设备(virtual device),向客户机提供与原远程存储设备兼容的块级存储服务.因此,对于客户机而言,D-Cache系统与远程存储系统没有差异,其缓存服务对客户机的上层应用透明,具有较强的通用性.
D-Cache基本架构如图1所示,D-Cache既能够以虚拟存储设备的形式直接挂接在客户机上作为直接的客户端缓存使用,也能够以独立存储设备的形式在局域网(LAN)和广域网(WAN)上通过FCP,ISCSI,NBD等网络存储协议为客户机提供服务.当I/O请求发送到D-Cache向外提供的虚拟设备之后,D-Cache的缓存管理层(cache management level)会根据具体的缓存管理策略,决定将I/O请求发送到本地的磁盘缓存或者是通过网络发送到远程存储设备中.
缓存系统在局域网或者广域网的I/O访问路径中存在的模式具有相当的复杂性,要考虑不同设备动态共享缓存资源的问题,这涉及到缓存资源的调度、一致性保证等复杂的问题.为了简化研究,我们在当前的工作中暂未考虑这些问题,而采用了缓存资源静态分配模式实现一对一的磁盘缓存功能.在具体实现过程中,我们直接将缓存以紧耦合的方式实现在客户机的本地系统中,其逻辑位置和在主机的I/O路径上没有区别,只是简化了多个客户机共享缓存资源的情况,并不影响本文中所描述的研究的效果和正确性.
2754 Journal of Software软件学报 V ol.20, No.10, October 2009
WAN
Local network
(FCP, iSCSI, NBD, AoE)
Fig.1 System architecture of D-Cache
图1 D-Cache系统架构
2 D-Cache缓存系统的设计与实现
2.1 设计考虑
由于本缓存系统在介质特性和操作系统处理层次上与传统内存系统的差异较大,因此,在缓存管理和替换算法的设计上必须对这些差异点进行考虑.
2.1.1 磁盘介质特性的影响
非易失性存储:磁盘是持久性存储介质,不会因断电造成数据丢失.因此,磁盘在作为缓存的情况下,数据的回写可以根据具体的情况适当推迟.
响应速度较慢:相比于SDRAM,flash等缓存介质,磁盘的响应速度较慢,I/O等待时间远高于这些高速介质.因此,缓存处理需要充分考虑这一特性,在必要时采用直接跳过缓存的方法保证系统性能.
数据连续性要求高:磁盘的连续读写性能和随机读写性能差距巨大,因此,现代的磁盘驱动器会利用本身的缓存尽量将相关联的数据放到物理上连续的位置以提高数据访问的性能.
在用磁盘等低速介质作为数据缓存的方法中,其缓存块粒度的大小对系统性能有比较明显的影响.磁盘与内存的不同之处在于,缓存块过小,比如若以一个扇区为单位,则会消耗大量的内存记录元数据,维护缓存算法的开销较高;同时,由于当前缓存替换算法并不考虑数据在缓存中的位置对性能的影响,可能导致数据在磁盘介质缓存上的不连续性.如果缓存块粒度过大,则读取数据到缓存的时间过长,为保持数据一致性,数据复制到缓存的过程中不能够对本缓存块进行正常的I/O操作,因此,过大粒度的缓存块将使上层应用的性能受到影响.所以,在缓存块的管理中需要充分考虑这一因素,在尽量保证缓存块数据连续性的同时,减少因Copy on Write(COW)和缓存块替换等操作带来的I/O延迟等待开销.
2.1.2 操作系统块处理特性的影响
当前,主流操作系统的块一级操作和文件一级操作有所不同,文件级允许等待读写,但在操作系统的通用块一级层次上,等待时间不能过长,否则,I/O得不到及时处理,最终将导致系统宕机.结合磁盘介质的特点,这一处理特性决定了缓存管理算法的设计中不能采用通用缓存替换算法中的替换方法(等待脏块回刷完成,再等待数据读入缓存,最后完成本次读写请求),否则会导致操作系统在通用块层进行等待的I/O操作过多,而致使系统宕机.
尹洋等:一种基于磁盘介质的网络存储系统缓存2755
2.2 D-Cache缓存关键技术
针对上述设计考虑,D-Cache采用了特有的两级缓存管理结构和相应的缓存管理及替换算法,针对磁盘缓存进行管理,减少了不必要的写Miss时的COW拷贝,并能够灵活配置缓存块大小,保证了缓存上数据的物理连续性,提供了较好的访问性能.
2.2.1 两级缓存管理结构
通常在缓存系统中,使用单层次的缓存块作为缓存管理的基本单元,如Linux操作系统使用4K大小的页作为基本的缓存单元.但是,磁盘的特性使得缓存块的大小不能够太大也不能够太小.若缓存块太大,则会因为预取等操作导致系统等待时间过长;若缓存块太小,则会因为在磁盘上数据分布的连续性较差而影响访问磁盘缓存的性能.D-Cache中采用了两级层次的缓存结构来解决磁盘缓存管理中的问题.
1) 第1级缓存块层:缓存管理和替换的基本单位为缓存块,其大小允许用户自定义,可以根据具体应用
调整缓存块大小取得较优的性能.通常,缓存块的粒度较大,在几十KB到几百KB.通过大粒度的缓存块管理,不仅能够保证数据在一定范围内的连续性,还起到了数据的预取作用;
2) 第2级块内扇区层:在各缓存块内,将扇区作为缓存管理子单位,通过细粒度扇区级的管理,可以有效
避免因写Miss产生缓存块级的COW操作.
图2描述了D-Cache缓存管理相关的元数据结构,元数据由3部分组成:缓存块映射表(描述缓存和源之间数据块的映射关系)、扇区脏状态位图以及扇区有效性位图.扇区的有效状态位为1表示该扇区的数据有效,上层应用可以直接从该缓存扇区进行读取;扇区的脏状态位为1表示该缓存扇区具有最新的数据,而相应源设备的对应扇区则无效.如果缓存的扇区处于脏状态,则该扇区一定是有效的.通过对各扇区的有效性进行记录,则在每次写Miss时不必对扇区对应的整个缓存块做COW操作,只需在D-Cache中写入该扇区新数据并将对应的脏状态位置1即可.由于减少了COW的开销,缓存系统的主要开销将集中在缓存块同步和缓存替换产生的缓存块回写操作上.
Cache block No.
Source data
block No.
...
Map table
of cache
block Sector 1
0 Sector 2
1 Sector 3
...
Bitmap of sector dirty status
Sector 1
1
Sector 2
1
Sector 3
... Bitmap of
sector valid
status
Fig.2 Metadata structure of D-Cache
图2 D-Cache元数据结构
虽然D-Cache与传统的缓存管理策略相比增加了两个位图,会额外消耗一定的内存,但与能够管理的磁盘缓存空间相比,D-Cache位图所消耗的内存空间还是可以接受的.一个20G的磁盘缓存对应的位图仅需要消耗80M的内存资源,而一个20G的缓存空间对目前的绝大多数应用是足够的.
2.2.2 D-Cache缓存管理算法
因为前述磁盘本身和操作系统的特点以及D-Cache采用的两级缓存管理结构,传统的缓存管理算法并不适用于D-Cache,因此,我们设计实现了D-Cache缓存管理算法以适合本文所设计的磁盘介质缓存的需要.
D-Cache缓存管理算法为缓存块定义了7种状态,见表 1.当缓存块处于WRITEBACK,RESERVED或PART_READ状态时,对该缓存块的读写请求将会被挂载在等待队列上进行等待,直到当前状态对应的数据操作完成后,D-Cache再继续处理等待的读写请求.上述7种状态随着I/O访问处理的请求进行变化,通过这些状态保证缓存管理的正常进行并确保缓存块数据的有效性.
由于采用了两层缓存结构并引入了7种缓存块状态,D-Cache缓存管理算法对缓存块的处理与传统管理算
2756 Journal of Software软件学报 V ol.20, No.10, October 2009
法相比有很大的不同,具体如算法1所示.D-Cache在进行缓存替换时会逐个检查系统候选缓存块是否确实可以替换.如果当前缓存块处于DIRTY,RESERVED,PART_READ,FIRSTWRITE状态,则不能够进行替换.这时,D-Cache会根据替换方法继续查找下一个能够替换的缓存块,直到找到一个可替换的块进行替换或者全部缓存块遍历完毕.如果D-Cache没有找到可以替换的缓存块,则会将遍历中遇到的第1个处于DIRTY状态的缓存块进行回刷,这时,该缓存块进入WRITEBACK状态并开始数据的回写.D-Cache算法根据每个扇区的位图来判断当前缓存块中扇区是否有效,从而最终决定数据是否在缓存中命中.缓存块只是缓存管理的一个粒度,缓存命中并不表示缓存中存在有效数据,只有当表示有效状态的位图被设置为1时才表示对应扇区的数据是有效的.现代操作系统中,对物理存储设备写操作的基本单位是扇区,因此,通过以扇区为单位的位图信息,D-Cache能够确认有效数据是在缓存还是在源设备中.
Table 1States of cache block
表1缓存块状态
Status of cache block Explanation
VALID If there are some valid sectors in a cache block, then the cache block is in VALID status
INVALID If all sectors of a cache block are not valid, then the cache block is in INVALID status
DIRTY If there is one dirty sector in a cache block, then the cache block is in DIRTY status
WRITEBACK When a DIRTY cache block flashes data to disk due to cache replacement operation, then the cache block is in WRITEBACK status
RESERVED When a cache block copy data from original volume because of read miss, then the cache block is in RESERVED status during the copy process
PART_READ If the cache hits but the target area which the read requests consists of valid sectors, the cache block will change to PART_READ status. Accordingly, the D-Cache starts to update all invalid sectors of the cache block by copying corresponding data from the source device, which guarantees all sectors of the cache block are valid after the data update
FIRSTWRITE When an I/O write request will create new cache block entry in cache system, the new cache entry is in FIRSTWRITE status before this write request completes
算法1. D-Cache缓存管理算法.
Cache(Request){
根据当前请求和具体的缓存替换算法在缓存中查找本请求对应的缓存块Cache_block;
根据查找结果和具体缓存替换算法更新缓存信息;
if
(cache_block==NULL)
Cached_Miss(Request);
else
Cache_Hit(Request,Cache_block);
}
Cache_Miss(Request){
根据当前采用的缓存替换算法选择替换的缓存块;
if
(存在可替换的缓存块cache_block){
if (WRITE){
更新位图信息,设置缓存块为VALID和FIRSTWRITE状态;
写入数据到本地缓存;
}else{
将缓存块设置为RESERVED状态;
发起读cache_block操作将缓存块对应数据读取到本地缓存中,并将缓存块设置成VALID
状态;
返回读请求对应的数据;
}
}else{
根据替换策略选择一个脏缓存块,发起数据回写操作,并将该缓存块设置为WRITEBACK状态;
尹洋等:一种基于磁盘介质的网络存储系统缓存2757
将请求直接转发到远程设备;
}
}
Cache_Hit(Request,cache_block){
(WRITE){
If
(缓存块cache_block处于PART_READ或者RESERVED状态){
If
将请求放入等待队列中等待当前的缓存操作完成;
(cache_block处于WRITEBACK状态){
if
}else
将请求放入等待队列,等待WRITEBACK操作完成后,直接转发Request到远程存储设备,
并且将相应的缓存块状态设置为INVALID状态;
}else{
更新位图信息;
写入数据到本地缓存;
}
}else{
if (缓存块cache_block处于PART_READ或者RESERVED状态){
将请求放入等待队列中,等待当前的缓存操作完成;
(请求的数据在缓存中全部有效){
if
}else
直接从缓存中读取;
(请求的数据在缓存中全部或者部分无效){
}else
if
从缓存设备和远程存储设备中分别读取所需数据;
启动PART_READ操作,将本缓存块对应的其他有效数据读取到缓存中;
}
}
}
D-Cache的数据映射粒度不是缓存块,而是扇区.所以,D-Cache的读写操作要根据缓存块命中情况以及表示扇区状态的位图信息来进行具体的处理.D-Cache在写Miss时不用等待将原始数据读取到缓存块后再进行写操作,而可以直接写入到缓存块,并将相应扇区对应的两个位图位置1,表示当前扇区数据脏且是有效数据.而对于读操作,因为D-Cache的数据映射单位是扇区,所以在读缓存块命中时并不表示缓存块中一定有读请求所需数据.缓存块命中后,D-Cache的读操作可能存在3种情况,如图3所示:1) 读请求所需数据在缓存中全部有效;2) 读请求所需数据在缓存中部分有效;3) 读请求所需数据在缓存中不存在.在D-Cache算法中,我们对这3种情况分别处理如下:
1) 因为所有数据在缓存中全部有效,所以D-Cache将请求直接发送给缓存设备完成处理.
2) D-Cache会使该缓存块进入PART_READ状态,对当前请求在缓存块中映射的无效扇区,D-Cache会发
起Read Copy Job,从源设备读取相应数据返回给上层请求并写入到缓存中.对于当前请求映射到缓存块中有效扇区的部分会发起Read Job,从缓存上读取相应的数据.而对本缓存块其他无效的扇区, D-Cache也会发起Read Copy Job,完成数据从源设备到缓存设备的复制以及缓存块数据的预取工作,并更新相应扇区的位图信息.为了提高读请求响应速度、减少因预读操作导致的等待开销,D-Cache对当前读请求映射的缓存块区域进行单独处理.如图3(b)所示,D-Cache把当前读请求对应的读任务设置为Main Job,其他因预读操作产生的Read Copy Job设置为Sub Job.当所有Main Job的读操作完成后,当前的读请求即可返回,而不必等到其他Sub Job的完成.
3) 如图3(c)所示,D-Cache同样会使该缓存块进入PART_READ状态,然后系统发起Read Copy Job,从源
设备读取请求所需数据并写入到缓存块中.对于该缓存块中其他无效扇区的处理与上一种情况一样,也会将相应数据从源设备中复制到缓存块中.
2758 Journal of Software软件学报 V ol.20, No.10, October 2009
通过上述读请求的处理,当I/O读请求在缓存块中没有命中或者部分命中时,会触发从源设备到缓存设备的数据复制操作.这样在复制完成后,缓存块扇区全部有效,起到了数据预取的效果,使得随后的操作可以直接在本地进行,减少了请求不命中的次数.实际测试表明,上述缓存管理算法能够有效地支撑两级缓存结构的管理,正确处理数据的请求,并取得了较好的性能.
(a)
Sub job1Main
job1
Sub job2Sub job3
Dirty
sector
Invalid
sector
Valid
sector
Read
job
Read
copy
job
Cache
block
Fig.3 Different cases of the read request in D-Cache
图3 读请求的不同情况
2.3 D-Cache缓存系统实现
我们基于Linux操作系统实现了D-Cache缓存系统原型.整个缓存系统由缓存策略管理、数据同步控制、元数据处理以及I/O处理、系统监控这5部分组成,如图4所示.
? 缓存策略管理是系统的核心,它负责I/O请求的映射,通过内部的缓存替换算法决定缓存块的替换,必要时发起缓存和源之间的数据复制请求.D-Cache缓存策略管理模块中可以方便地集成多种缓存替换算法,比如ARC[16],LRU,LIRS[17]等.目前,D-Cache缓存管理算法的替换策略采用了当前主流的几种缓存替换方法,并对这些替换方法进行了针对性的简单修改.在具体的写缓存策略上,D-Cache目前只支持Write-Back写方式.
? I/O处理模块根据缓存策略完成具体的I/O处理,包括正常的I/O请求、缓存和源之间的复制操作产生的I/O请求以及因为读操作而产生的需要分别读写缓存和源的特殊I/O请求.
? 同步控制负责控制缓存与源设备之间的数据复制过程.
? 元数据处理负责完成缓存块映射表和位图信息的更新以及相关内存的申请和释放工作.
? 系统监控负责统计记录缓存系统的基本信息,包括从缓存和源进行读写的响应时间、缓存命中和不命中的情况等.
D-Cache缓存系统各个模块按如下所述对数据I/O进行处理:当处于操作系统通用块层的虚拟设备接收到上层发送的I/O请求后,则将I/O请求交给D-Cache的缓存决策模块去处理.缓存决策模块根据当前的缓存命中情况和具体的管理策略决定是将I/O请求发送到等待队列中由正常I/O处理线程完成,还是发送到复制线程去完成,或是直接发送到物理设备中完成.如果当前缓存已满,并且所需缓存块不在缓存中,缓存决策模块会根据当前采用的缓存替换算法决定是否需要进行缓存块替换以及选择哪一个缓存块进行替换.正常I/O线程会从等
尹洋等:一种基于磁盘介质的网络存储系统缓存2759
待队列上不断地摘除I/O请求发送到下层物理设备中完成具体的I/O操作.当数据同步事件、替换回写操作或者预读操作发生时,D-Cache会触发复制线程,发起相应的I/O请求并让复制线程完成具体的复制I/O操作.为了防止D-Cache因为替换导致大量缓存块同时被回写到源设备中,造成回写负载对存储服务器的I/O聚集压力,我们对同时进行数据回写的缓存块数进行了限制.D-Cache采用的具体策略是:如果当前缓存已满,且有两个缓存块正在进行回写操作,则在I/O请求缓存不命中时,D-Cache不会选择一个可回写的脏缓存块发起数据回写操作,而只是将当前请求转发到存储设备上去.为了维护数据的一致性,D-Cache中对缓存系统主动发起的同步I/O 请求进行了特殊处理:在D-Cache中,正常I/O操作和同步I/O请求引发的复制操作是互斥的,同步I/O只有在正常I/O完成时才能够进行,并且选择系统空闲的时候进行数据的自动同步工作.
Fig.4 Logical architecture of D-Cache components
图4 D-Cache各部分的逻辑结构
3 评价
3.1 测试环境
测试环境由一台存储服务器和8台应用服务器组成.存储服务器采用Intel Xeon(TM) CPU 3.20GHz×2, 4GB内存,Adaptec (formerly DPT) SmartRAID V RAID控制器和6块74GB SCSI磁盘组成的RAID0存储阵列, Intel 82546GB千兆网卡,操作系统为32位的Fedora Core4,采用2.6.11-1.1369_FC4smp内核.每个应用服务器配置为Intel Xeon(TM) CPU 3.20GHz×2, 4GB内存,Adaptec (formerly DPT) SmartRAID V RAID控制器和3块74GB SCSI磁盘组成的RAID0本地存储系统,Intel 82546GB千兆网卡,操作系统为64位的Fedora Core4,采用2.6.17-1.2142_FC4smp内核.应用服务器和存储服务器通过千兆交换机进行互联,采用NBD(network block device)协议[18]进行数据的访问.
3.2 性能评价结果
在性能测试中,我们采用了能够方便实现分布式多机同时测试的iozone作为I/O性能的测试工具,同时选择应用服务器内存的2倍8G作为iozone测试文件的大小,以减少客户机内存对测试结果的影响.为了测试D-Cache对存储系统扩展性的影响,我们对1台、2台、4台、8台不同数量的应用服务器分别进行了测试.在测试过程中,每个应用服务器同时启动iozone对存储服务器进行顺序读写并发访问.每次测试之前都会重启应用服务器,以保证应用服务器内存中没有有效数据,减少内存缓存数据对测试的影响.每次测试开始时,存储服务器导出的逻辑卷其文件系统都会被重新初始化,应用服务器也重建本地的磁盘缓存.我们对本地缓存能够缓存全部测试数据和部分测试数据的两种情况分别进行了测试,也测试了iozone不同读写块大小以及不同缓存
2760 Journal of Software软件学报 V ol.20, No.10, October 2009
块大小对系统性能的影响.测试主要对D-Cache和本地磁盘、通过NBD直接连接的网络块设备以及IBM的dm-cache[19]系统的性能作了比较??.测试中,D-Cache和dm-cache都采用Write-Back数据写入方式.我们首先检查了iozone顺序测试过程中读写块大小对系统性能的影响,对4K,32K,256K,1 024K这4种不同大小的读写块分别作了测试.测试结果显示,顺序测试时,iozone读写块的不同对性能测试结果影响不大.因此在下文中,我们主要针对1 024K的读写块测试结果进行讨论和分析.
3.2.1 全缓存的测试结果
我们先对本地缓存磁盘能够完全缓存iozone测试文件的情况进行了测试,缓存磁盘大小为16G.我们使用两组不同性能的本地磁盘系统作为D-Cache在每个应用服务器上的缓存介质:3块72GB的SCSI盘组成的RAID5磁盘系统和3块72GB的SCSI盘组成的RAID0,缓存块大小分别为128K和512K.通过图5所显示的测试结果我们可以发现:使用D-Cache缓存的存储系统能够取得更好的扩展性,其总的读写I/O吞吐量与直接访问本地磁盘一样,随着并发测试应用服务器数量的增加呈线性增加;而在直接使用网络设备测试时,随着并发测试服务器数量的上升,其总的读写I/O吞吐量没有上升,甚至下降.
图5(a)的结果显示,当应用服务器数量从4台上升为8台时,纯网络访问测试的read和reread性能下降得十分明显,从81M/Sec下降到57M/Sec,损失20%多.这是因为,D-Cache缓存在本地处理了绝大多数的I/O请求,避免了存储系统因为多个应用服务器同时大量读写造成的性能急剧下降的问题,有效地提高了系统的扩展能力.而与dm-cache相比,D-Cache在第1次写测试的时候因为没有额外的COW操作的负载,新数据的写性能优势十分明显.在其他测试中,两者的整体性能差距不大,dm-cache的read和reread的性能稍好一点,总的I/O带宽大概有10M/Sec的优势.这种性能差距是由于D-Cache相对复杂的缓存算法产生的开销所导致的,比如查找位图的额外开销、维护一致性的同步开销等.但总体来说,测试情况表明,D-Cache对网络存储系统在高I/O负载下的可扩展性有非常显著的提高.
3.2.2 各种替换算法的测试结果
因为缓存容量不可能无限扩大,即使采用廉价磁盘作为存储系统的缓存,在多数应用中本地缓存系统也无法缓存全部数据.所以,为了更全面地说明D-Cache的效果,我们对缓存容量小于测试文件大小的情况也进行了测试.该测试中,缓存大小设置为4G,并继续使用iozone对8G大小的文件进行顺序读写测试.因为不同的缓存替换算法测试可能会导致不同的性能,我们测试并比较了采用多种不同缓存替换算法下D-Cache的性能.我们在D-Cache框架下实现了FIFO,LIRS[17],ARC[16],LRU,2Q[20],LFU等6种算法,使得它们在保持基本替换原则的同时,又兼顾磁盘介质响应慢的特性,可以有效地在D-Cache框架下工作.
具体的测试结果如图6所示.从测试结果中我们可以发现,LFU对iozone顺序测试具有较好的总体性能,在读写两种测试中都有较好的表现.我们通过对替换情况进行追踪后发现,在iozone测试中,LFU总是替换固定的几个缓存块并将其回写,使得大部分有效数据被保存在本地缓存磁盘中,这样能够有效地提高iozone测试的命中率,同时又能够比较充分地利用网络带宽.所以,在应用服务器数量较少并且存储服务器I/O负载较低的情况下,LFU算法也能取得相对于其他替换算法较好的I/O吞吐性能.
从测试中我们还可以看到,dm-cache由于每个替换操作都需要进行Copy on Write操作,其读写性能受到很大的影响,甚至在8台应用服务器并发访问时,其性能也比网络块设备性能要低.在LIRS算法测试中,我们设定HIR块和LIR块缓存空间分别是缓存大小的1/4和3/4.测试结果表明,该缓存替换算法虽然具有比较好的写性能,但其读性能相比于其他算法而言非常低,我们猜测,这与HIR块和LIR块所占缓存的比例有关.在2Q算法的测试中,我们设置A1in,Am和A1out分别为缓存大小的25%,75%和75%.测试结果显示,2Q算法在第1次写入数据和重写数据的性能与其他算法性能相仿,但其读性能与除LIRS算法以外的其他算法相比下降很多.我们猜测,这也与2Q算法的A1in等参数的具体设置有关.
?? dm-cache采用LRU的替换算法.测试结果相关图示中,我们用nbd表示通过NBD直接连接的网络块设备,rawdisk表示本地网络磁盘,而D-Cache的测试结果用其采用的具体替换策略来表示,比如lru表示采用LRU缓存替换算法的D-Cache.
尹洋 等:一种基于磁盘介质的网络存储系统缓存 2761
(a) Local cache media adopts RAID5 and cache block size is set to 128K
(a) 本地缓存介质采用RAID5方式,缓存块大小为128K
(b) Local cache media adopts RAID0 and cache block size is set to 512K
(b) 本地缓存介质采用RAID0方式,缓存块大小为512K
Fig.5 Iozone test result for 16G cache size 图5 缓存大小为16G 时iozone 测试结果
Iozone write result Number of client node
1 2 4 8
200180160140120100806040200
T h r o u g h o u t (M B /s )
Rawdisk LRU
Dm-Cache NBD
Iozone rewrite result Number of client node
1 2 4 8
200150100500
T h r o u g h o u t (M B /s )
Rawdisk LRU
Dm-Cache NBD
Iozone read result Number of client node
1 2 4 8
450T h r o u g h o u t (M B /s )
400350300250200150100500
Rawdisk LRU
Dm-Cache NBD
Iozone reread result Number of client node
1 2 4 8
450T h r o u g h o u t (M B /s )
400350300250200150100500
Rawdisk LRU
Dm-Cache NBD
Iozone write result Number of client node
1 2 4 8
1000T h r o u g h o u t (M B /s )
9008007006005004003002001000
Rawdisk LRU
Dm-Cache NBD
Iozone rewrite result Number of client node
1 2 4 8
800T h r o u g h o u t (M B /s )
7006005004003002001000
Rawdisk LRU
Dm-Cache NBD
Iozone read result Number of client node 1 2 4 8
600T h r o u g h o u t (M B /s )
5004003002001000
Rawdisk LRU
Dm-Cache NBD
Iozone reread result Number of client node
1 2 4 8
600T h r o u g h o u t (M B /s )
5004003002001000Rawdisk LRU
Dm-Cache NBD
2762 Journal of Software 软件学报 V ol.20, No.10, October 2009
Fig.6 Iozone test result of different cache replacement algorithms with 512K cache block size and 4G cache size
图6 4G 磁盘缓存、512K 读写块大小情况下,不同替换算法的iozone 测试结果
3.2.3 缓存块大小对性能测试结果的影响
我们对缓存块大小对系统性能的影响也进行了相应的测试.在该项测试中,磁盘缓存大小为4G,测试文件大小为8G.我们主要比较了缓存块大小为128K 和512K 两种不同的情况,其测试结果如图7所示.从测试结果我们可以发现,当缓存块大小设置为512K 时,D-Cache 取得了较高的写性能.这是因为,
1) 大的缓存块能够一次预读和回写更多数据并且使得数据在缓存设备上变得相对连续,提高了I/O 性能; 2) 缓存块的增大减少了缓存块替换时脏缓存块数据回写的次数;
3) 大块回写时数据更加连续,在写操作异步的情况下,这也有助于提高存储服务器对请求的处理速度. 对于具有同步特性的读请求来说,缓存块虽然增大,但是同步等待从网络读取有效数据到本地缓存的时间也会增大,抵消了由于数据连续性带来的好处.因此,在应用服务器数量不多时,缓存块大小对D-Cache 读性能的影响并不明显.而随着同时访问存储服务器的应用服务器数量的增长,大缓存块的数据连续性在读操作中的优势开始体现.因此,从测试结果中我们可以看到,在8台客户机时,D-Cache 的缓存块设置为512K 较128K 能够取得更好的读测试性能.而对于dm-cache 来说,在写入新数据时需要先从源设备中读入整个缓存块对应的数据到本地磁盘缓存中,这样虽然缓存块变大,数据连续性得到提高,但等待读的开销也会随之增加,所以,dm-cache 的写性能在两种缓存块大小下没有较大的差异.dm-cache 的读性能在两种缓存块大小下性能差距也不大,但表现为在多客户机并发测试时,缓存块为512K 的dm-cache 缓存系统读性能更高.测试结果显示,D-Cache 在不同大小缓存块的情况下都能够取得比dm-cache 更好的读性能.这是因为测试中配置的缓存大小只有测试文件的一半,顺序读写测试过程中会发生较多的替换操作,这种替换操作对两个系统的影响不一样.D-Cache 限制了同时进行回写的缓存块数量,在网络存储系统繁忙时,能够减少回写的次数,降低了存储服务器负载,提高了系统整体性能.同时,由于回写脏数据块策略的不同,使得两种方法对具体缓存块的替换和保留有所区别.这样在写后读测试时,具体缓存的数据有所差异,从而进一步导致了D-Cache 和dm-cache 在读性能上的差异.
Iozone write result Number of client node
1 2 4 8
200T h r o u g h o u t (M B /s )
180160140120100806040NBD
Dm-Cache LRU FIFO ARC 2Q LIRS LFU
Iozone rewrite result Number of client node
1 2 4 8
200
T h r o u g h o u t (M B /s )
18016014012010080604020
NBD
Dm-Cache LRU FIFO ARC 2Q LIRS LFU
Iozone read result Number of client node
1 2 4 8
100
T h r o u g h o u t (M B /s )
908070605040302010
NBD
Dm-Cache LRU FIFO ARC 2Q LIRS LFU
Iozone reread result Number of client node
1 2
4 8
T h r o u g h o u t (M B /s ) NBD
Dm-Cache LRU FIFO ARC 2Q LIRS LFU
100908070605040302010
尹洋 等:一种基于磁盘介质的网络存储系统缓存 2763
Fig.7 Comparison result of 512K and 128K cache block size
图7 128K 和512K 两种缓存块大小测试结果比较
4 结束语
4.1 相关研究工作
磁盘因为其廉价、非易失等特点被广泛地用作各种存储系统的缓存介质以提高数据访问的局域性,减少因网络访问拥塞和距离等原因导致的延迟,从而提高整个系统的性能.在前面我们已经提到,分布式文件系统中大量使用了磁盘作为本地的缓存系统,比如AFS [10],xFS [12],Coda [11]等.但相比于这些在分布式文件系统中常见的文件一级磁盘介质缓存,D-Cache 具有如下优点:
1) 实现简单,不用处理各种复杂的文件系统接口,对应用透明,具有更高的通用性; 2) 采用存储网络协议,相对于分布式文件系统具有更高的性能和可扩展性.
虽然也有相关块一级缓存的研究工作在进行,比如IBM 的dm-cache,它和本文所描述的D-Cache 逻辑架构基本一致,都是通过磁盘和远程的存储设备构建缓存设备,为上层应用提供数据缓存服务.但是,它与D-Cache 的主要不同之处在于:
1) D-Cache 具有更好的整体性能,它采用两级缓存管理结构,通过位图的使用将缓存块的管理和扇区数
据有效地区分对待,消除写Miss 时的COW 操作开销,极大提高了写操作的性能;
2) D-Cache 具有更好的扩展性,D-Cache 的框架下可以方便地实现不同缓存替换策略以适应不同应用模
式,在性能上也表现出比dm-cache 更好的扩展性.
其他的类似系统如STICS [21]是一个通用的网络存储设备缓存系统,该系统实现了从SCSI 协议到IP 协议的转化,其内部的缓存结构与DCD [22],RAIPD-Cache [23]等基本一致.该缓存系统通过本地缓存聚集小写操作能够有效地提高小写的性能,而对存储设备的数据没有起到读缓存的作用,这对于所有客户端的初始数据都来源于存储服务器的分布式应用来说帮助不大,并且相比于D-Cache,STICS 的相关文献中并没有给出它对存储系统扩展性方面的影响.
国内研究机构清华大学利用大量内存在iSCSI target 上实现了块一级的缓存系统STML(SCSI target middle
Iozone write result Number of client node
1 2 4 8
200T h r o u g h o u t (M B /s )
180160140120100806040200
NBD
Rawdisk
Dm-Cache-512K LRU-512K
Dm-Cache-128K LRU-128K
Iozone rewrite result Number of client node
1 2 4 8
T h r o u g h o u t (M B /s )
NBD Rawdisk
Dm-Cache-512K LRU-512K
Dm-Cache-128K LRU-128K
200180160140120100806040200
Iozone read result Number of client node
1 2 4 8
T h r o u g h o u t (M B /s )
NBD
Rawdisk
Dm-Cache-512K LRU-512K
Dm-Cache-128K LRU-128K
450400350300250200150100500
Iozone reread result Number of client node
1 2 4 8
T h r o u g h o u t (M B /s )
NBD Rawdisk
Dm-Cache-512K LRU-512K
Dm-Cache-128K LRU-128K
450400350300250200150100500
2764 Journal of Software软件学报 V ol.20, No.10, October 2009
level) cache[24]去提高IP SAN的整体性能.STML cache利用iSCSI Target自带的计算处理能力和添加的大量RAM缓存资源来实现一个类似于SSD的缓存系统.STML cache和D-Cache相比,首先,两者缓存介质不同导致缓存管理算法极大不同;其次,设计目标也有所不同,STML cache主要是提高存储服务器的性能,而D-Cache则可以在访问存储服务器的整个I/O路径上向上层应用提供缓存服务,从而提高整个系统的I/O性能和可用性.华中科技大学研制的高可用磁盘阵列Cache[25,26]采用NVRAM实现磁盘阵列的非易失缓存以提高RAID5的小写性能.文献[25,26]通过将写操作事务化并对映射表进行备份的方式保证缓存数据的一致性.与D-Cache相比,文献[25]的缓存主要面向存储服务器端的磁盘阵列而设计,采用NVRAM作为缓存介质,其介质特点和相应的管理方法差异较大.
在当前的热门技术——虚拟机领域也有大量的在块一级缓存的研究工作在进行.Collective[27],Machine Bank[28]都实现了基于本地磁盘的缓存.但与D-Cache相比,这些系统的通用性依然较差.而D-Cache缓存系统可以较方便地集成到不同虚拟机系统中,本地主机只需将D-Cache向上提供的块设备导出给虚拟机使用即可.
4.2 结论和未来工作
本文设计实现了一种基于磁盘介质的网络存储系统缓存D-Cache,提出了适合于该缓存系统的缓存管理算法,并对该磁盘介质缓存原型系统的性能进行了评估.实验结果表明,D-Cache能够有效地缓解大规模并发I/O 访问时的网络存储系统负载,提高网络存储系统的可扩展性和可用性.在未来的工作中,我们会尝试提高缓存管理策略的自适应性,以求D-Cache能够在不同的响应速度缓存介质和数据访问负载中都取得较好的性能.当前, D-Cache采用的同步回写策略非常简单,因此在后续工作中我们会考虑结合其他相关领域的知识,提高回写策略的智能性,并对如何提高回写效率的问题进行研究.
References:
[1] Exterme cluster administration toolkit. 2008. https://www.doczj.com/doc/4d13620596.html,/
[2] https://www.doczj.com/doc/4d13620596.html,/
[3] Oliveira F, Patel J. Blutopia: Cluster life-cycle management. Technical Report, RC23784, IBM Research Division Austin Research
Laboratory, 2005.
[4] Hibler M, Storller L, Lepreau J, Ricci R, Barb C. Fast, scalable disk imaging with Frisbee. In: Proc. of the 2003 USENIX Annual
Technical Conf. San Antonio, 2003. 283?296. https://www.doczj.com/doc/4d13620596.html,/events/usenix03/tech/full_papers/hibler/hibler_html/
[5] Sapuntzakis C, Brumley D, Chandra R, Zeldovich N, Chow J, Lam MS, Rosenblum M. Virtual appliances for deploying and
maintaining software. In: Proc. of the 17th Large Installation Systems Administration Conf. (LISA 2003). Berkeley, 2003. 181?194.
https://www.doczj.com/doc/4d13620596.html,/event/lisa03/tech/full_papers/sapuntzakis/sapuntzakis_html/index.html
[6] Moore J, Chase J. Cluster on demand. Technical Report, CS-2002-07, Department of Computer Science, Duke University, 2002.
[7] L iu ZJ, XU L, Yin Y. Blue Whale SonD: A service-on-demand management system. Chinese Journal of Computers, 2005,28(7):
1110?1117 (in Chinese with English abstract).
[8] Sivathanu G, Zadok E. A versatile persistent caching framework for file systems. Technical Report, FSL-05-05, Stony Brook
University, 2005.
[9] Sandberg R, Goldberg D, Kleiman S, Walsh D, Lyon B. Design and implementation of the Sun network file system. In: Proc. of the
Summer 1985 USENIX. Portland, 1985. 119?130.
[10] Howard JH. An overview of the andrew file system. Technical Report, CMU-ITC-062, CMU Information Technology Center,
1988.
[11] Satyanarayanan M. Coda: A highly available file system for a distributed workstation environment. IEEE Trans. on Computers,
1990,39(4):447?459.
[12] Anderson T, Dahlin M, Neefe J, Patterson D, Roselli D, Wang R. Serverless network file systems. ACM SIGOPS Operating
Systems Review, 1995,29(5):109?126.
[13] Vilayannur M, Nath P, Sivasubramaniam A. Providing tunable consistency for a parallel file store. In: Proc. of the 4th USENIX
Conf. on File and Storage Technologies. San Francisco, 2005. 17?30. https://www.doczj.com/doc/4d13620596.html,/events/fast05/tech/full_papers/ vilayannur/vilayannur_html/index.html
尹洋等:一种基于磁盘介质的网络存储系统缓存2765
[14] https://www.doczj.com/doc/4d13620596.html,
[15] https://www.doczj.com/doc/4d13620596.html,/software/products/lustre/index.xml
[16] Megiddo N, Modha D. ARC: A self-tuning, low overhead replacement cache. In: Proc. of the 2nd USENIX Conf. on File and
Storage Technologies (FAST 2003). San Francisco, 2003. 115?130. https://www.doczj.com/doc/4d13620596.html,/events/fast03/tech/megiddo.html
[17] Jiang S, Zhang X. LIRS: An efficient low interreference recency set replacement policy to improve buffer cache performance. In:
Proc. of the 2002 ACM SIGMETRICS. Marina Del Rey: ACM, 2002. 31?42.
[18] https://www.doczj.com/doc/4d13620596.html,
[19] Hensbergen EV, Zhao M. Dynamic policy disk caching for storage networking. Technical Report, RC24123, IBM Research
Division Austin Research Laboratory, 2006.
[20] Johnson T, Shasha D. 2Q: A low overhead high performance buffer management replacement algorithm. In: Proc. of the 20th Int’l
Conf. on VLDB. Santiago de Chile: Morgan Kaufmann Publishers, 1994. 439?450. https://www.doczj.com/doc/4d13620596.html,/conf/1994/P439.PDF [21] He X, Zhang M, Yang Q. STICS: SCSI-to-IP cache for storage area networks. Journal of Parallel and Distributed Computing, 2004,
64(9):1069?1085.
[22] Hu Y, Yang Q. DCD—Disk caching disk: A new approach for boosting I/O performance. In: Proc. of the 23rd Annual Int’l Symp.
on Computer Architecture. Pennsylvania: ACM, 1996. 169?178. https://www.doczj.com/doc/4d13620596.html,/Research/hpcl/DCD/DCD.html
[23] Hu Y, Yang Q, Nightingale T. RAPID-Cache—A reliable and inexpensive write cache for disk I/O systems. In: Proc. of the 5th
Int’l Symp. on High Performance Computer Architecture. Orlando, 1999. 204?213 https://www.doczj.com/doc/4d13620596.html,/Research/hpcl/RAPID/ RAPID.html
[24] Luo YF, Shu JW, Yu B, Wen DC. A cache system hosted on the iSCSI target in an IP SAN. In: Proc. of the 5th Int’l Conf. on Grid
and Cooperative Computing-Workshops. Changsha: IEEE, 2006. 412?417. https://www.doczj.com/doc/4d13620596.html,/citation.cfm?id=1170685
[25] Xiong JG, Feng D. Design and implementation of a high availability RAID cache. Computer Engineering and Science, 2006,28(8):
119?124 (in Chinese with English abstract).
[26] F eng D, Xiong JG. Study and implementation of consistency of RAID-based NVRAM cache. Journal of Huazhong University of
Science and Technology (Nature Science), 2005,33(10):70?72 (in Chinese with English abstract).
[27] Chandra R, Zeldovich N, Sapuntzakis C, Lam MS. The collective: A cache-based system management architecture. In: Proc. of the
2nd Symp. on Networked Systems Design and Implementation (NSDI 2005). Boston, 2005. 259?272. https://www.doczj.com/doc/4d13620596.html,/ events/nsdi05/tech/full_papers/chandra/chandra_html/index.html
[28] Tang S, Chen Y, Zhang Z. Machine bank: Own your virtual personal computer. In: Proc. of the 21st Int’l Parallel and Distributed
Processing Symp. Long Beach, 2007. https://www.doczj.com/doc/4d13620596.html,/apps/pubs/default.aspx?id=69423
附中文参考文献:
[7] 刘振军,许鲁,尹洋.蓝鲸SonD服务部署系统.计算机学报,2005,28(7):1110?1117.
[25] 熊建刚,冯丹.高可用的磁盘阵列Cache的设计和实现.计算机工程与科学,2006,28(8):119?124.
[26] 冯丹,熊建刚.磁盘阵列cache数据一致性的研究与实现.华中科技大学学报(自然科学版),2005,33(10):70?72.
尹洋(1980－),男,四川广安人,博士生,主要研究领域为存储系统,集群管理.
许鲁(1962－),男,博士,研究员,博士生导师,CCF高级会员,主要研究领域为存储系统,体系结构,操作系统
.
刘振军(1976－),男,博士,助理研究员,主
要研究领域为存储系统,数据备份.
第十二章海量存储系统设计 以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。 12.1 海量数据存储系统架构方案 考虑到海量存储系统是IT 构架的核心模块，这里存储网络架构采用双Fabric 网络结构，这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。下面是海量存储系统的双Fabric 网络结构图： 图12-1 双光纤通道结构 其中网络核心采用director 级别的核心光纤通道交换机1 台（端口数>=128），通过在其内部划分虚拟SAN 分别构成两个独立的fabric；为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个HBA 连接到不同的Fabric 网络中，而
且存储设备（磁盘阵列和磁带库）也是同时接入两个fabric，这样构成了一个无单点故障的网络系统。 双Fabric 存储网络设计要点和优势： ?主机和存储设备的冗余连接，整体提高系统的可靠性 ?主机和存储设备的双路连接，工作在Active-Active 模式，整体提高系统的性能?双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断 ?双网络结构设计，核心-边缘体系架构，方便未来网络的扩充 ?交换机具有很强的向下兼容性，即可兼容1G 的交换机，又可兼容1G 的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率 ?可做LAN-Free 备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度 ?有利于系统的在线维护和扩展，而不影响系统的正常运行 ?采用硬件实现的网络安全性管理，保证数据的安全性 与外部存储网络的互联方案 外部存储网络的接入是为了更好的提供基于数据复制（异步或同步）的容灾服务。本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即： FCIP 接入方案 DWDM 接入方案 SDH 接入方案 在100Km 以内的连接上这三种接入方案的特点如下： 表12-1 外部网络存储通道比较
本技术提供了一种智能耳机的数据存储系统及数据存储方法。本技术的智能耳机的中央处理模块在接收到数据存入请求后，基于存入请求中的数据类别及占用存储空间大小，根据预设存储优先级将该数据存入智能耳机的本地存储模块或与该智能耳机交互通信的远程终端的存储模块内。本技术借助远程终端拓展了智能耳机的存储空间。 权利要求书 1.一种智能耳机的数据存储系统，其特征在于，包括：智能耳机的中央处理模块、智能耳机的本地存储模块以及远程终端的存储模块，所述远程终端与所述智能耳机交互通信； 其中，所述智能耳机的中央处理模块用于： 接收数据存入请求，所述数据存入请求包含数据的类别及占用存储空间大小； 以及基于所述数据类别及占用存储空间大小，根据预设存储优先级将所述数据存入所述智能耳机的本地存储模块或所述远程终端的存储模块内。2.根据权利要求1所述的数据存储系统，其特征在于，还包括语智能耳机的物联网终端处理模块；所述物联网终端处理模块用于接收所述中央处理模块的存入请求，基于所述存入请求中的数据占用存储空间大小，判断物联网终端的存储模块的当前剩余空间是否可存入，并将判断结果反馈给所述中央处理模块。 3.根据权利要求1或2所述的数据存储系统，其特征在于，还包括语智能耳机的云端处理模块；所述云端处理模块用于接收所述中央处理模块的存入请求，基于所述存入请求中的数据占用存储空间大小，判断云端服务器的存储模块的当前剩余空间是否可存入，并将判断结果反馈给所述中央处理模块。 4.根据权利要求2所述的数据存储系统，其特征在于，所述物联网终端具有多个，所述物联网终端处理模块逐个判断每一物联网终端的存储模块的当前剩余空间是否可存入，直至找到可存入的物联网终端，并将可存入以及可存入的物联网终端反馈给所述中央处理模块；或找不到可存入的物联网终端，将不可存入物联网终端反馈给所述中央处理模块。 5.根据权利要求3所述的数据存储系统，其特征在于，所述云端服务器具有多个，所述云端处理模块逐个判断每一云端服务器的存储模块的当前剩余空间是否可存入，直至找到可存入的云端服务器，并将可存入以及可存入的云端服务器反馈给所述中央处理模块；或找不到可存入的云端服务器，将不可存入云端服务器反馈给所述中央处理模块。 6.根据权利要求1所述的数据存储系统，其特征在于，所述智能耳机为外语口语学习用人机交互耳机，所述数据存入请求源自与所述耳机交互通信的 移动终端，或源自所述耳机在人机交互过程中产生的数据包。
操作系统作业操作系统——虚拟存储器与磁盘缓存1 1.问题描述 虚拟存储器技术牺牲了内存访问速度，换取了可用内存容量的增加；磁盘高速缓存以内存容量的牺牲换取了I/O性能的提升。一个以时间换空间，一个以空间换时间，这两种看似矛盾的技术为什么可以并存？ 2.解答 在操作系统中，各种存储器管理方式都有一个共同点，就是他们都要求将一个作业全部装入内存后方能运行，所以就会出现有的作业很大，其所要求的内存空间超过了内存总容量，作业不能全部装入内存，致使该作业无法运行或者出现有大量作业要求运行，但由于内存容量不足以容纳所有这些作业，只能将少数的作业装入内存让他们先运行，而将其他大量的作业留在外存上等待，而这种情况的原因都是由于内存容量不够大，所以要增加内存容量，要是从物理上增加内存容量，成本太大。而虚拟内存则是在逻辑上扩充了内存容量. 在具有层次结构存储器的计算机系统中，自动实现部分装入和部分替换功能，能从逻辑上为用户提供一个比物理贮存容量大得多，可寻址的“主存储器”。虚拟存储区的容量与物理主存大小无关，而受限于计算机的地址结构和可用磁盘容量。 虚拟内存在计算机中的作用很大，电脑中所有运行的程序都需要经过内存来执行，如果执行的程序很大或很多，就会导致内存消耗殆尽。为了解决这个问题，Windows中运用了虚拟内存技术，即拿出一部分硬盘空间来充当内存使用，当内存占用完时，电脑就会自动调用硬盘来充当内存，以缓解内存的紧张。这样,在有效缓解了内存紧张的同时,也控制了成本. 而在文件系统中，对文件的访问速度至关重要，为了提高对文件的访问速度，可以提高磁盘的I/O的速度，能够将文件中的数据快速地从磁盘传送到内存中，或者相反。但是目前，磁盘的I/O的速度远低于内存的访问速度，所以采用磁盘高速缓存技术硬盘上集成了高速缓存的芯片（内存），来提高硬盘的运行速度。 磁盘高速缓存是指利用内存中的存储空间，来暂存从磁盘中读出的一系列盘
NAS网络存储解决方案
一．石科院存储备份系统的基本目标 1.足够的存储备份空间，可以满足现在及未来几年的数据存储备份需求； 2.开放式平台，实现弹性规划，支持现有平台并方便未来添加新系统； 3.具有高可用性，保证存储设备中数据的安全； 4.实现异种平台间的数据共享； 5.简化备份/恢复操作，对备份数据实现分级管理； 6.高效率地实现存储备份工作过程 二．NAS网络存储网络架构 本次投标的NAS网络存储解决方案在充分考虑用户需求的同时，充分满足日益增长的存储需求，利用成熟的NAS网络存储设备解决方案，实现了大容量数据在异构网络内的存储与备份。 方案中采用IBM-300作为NAS网络存储设备，实现异构服务器对NAS网络存储的高速访问，NAS300内部采用高可用性设计的冗余光纤连接，及光纤盘阵（采用73G光纤磁盘）进行存储扩展，同时IBM-3583磁带库连接NAS300网络存储服务器实现数据备份. 网络结构见附图。 三．厂商介绍 1.IBM公司存储系统部 人类社会进入信息时代，计算机的应用已进入千家万户，计算机系统中的存储设备更是与人们的生活有着密不可分的关系。由于多媒体技术的广泛应用，Internet及Intranet的迅猛发展，电子商务及数字图书馆的方兴未艾，数据爆炸越来越成为人们所关心的热点，相应而来的对数据存储的需求以每年2-3倍的速度迅速增长。 谈到“存储”，许多人首先会想到3英寸软盘或是计算机硬盘，而它们只是一些简单的存储介质。我们在这里要说的是在计算机系统中扮演非常重要角色的存储系统。“存储系统”
这个词看起来貌似陌生，其实与我们每天的生活息息相关。例如当我们去银行办理存取款业务时，通过帐号银行便可马上从计算机系统中调出帐户的所有信息，包括存款、支取、利息计算等。这些至关重要而又非常庞大的数据信息必须妥善保存才能保证银行业务的正常运行。担当此重任的正是计算机系统中的存储系统。这样的例子在生活中是不胜枚举的，例如电信局对移动电话话费的管理，股票交易所每日大量数据的交换，石油勘探队采掘信息的记录等，存储系统在这些领域都发挥着不可替代的作用。 存储系统，包括数据记录介质如磁盘、光盘和磁带，大型自动化的数据记录系统如磁盘阵列、磁带库和光盘库，以及存储管理软件。磁盘系统拥有最高的数据传输速度，适于主机直接的数据访问。磁带和光盘系统适于数据的近线、离线访问，数据检索和数据备份。存储管理软件，则帮助我们将服务器--客户端的分布式网络环境中的数据进行集中的统一管理。 回顾存储系统的发展历程，1956年9月，IBM公司发明了世界上第一台数据存储器，305RAMAC。它标志着直接数据访问存储系统工业的诞生。在此之后，IBM一直以其无人可及的技术发明和产品领导着存储系统工业的发展。IBM发明了软盘驱动器、Winchester硬盘驱动器、RAID技术专利和磁阻记录磁头技术,将存储技术推入一个个新纪元。1999年，IBM在存储领域获得了220多项专利，超过了业界其它存储厂商的总和。从第一台约有三个冰箱大的数据存储器的诞生到现在，IBM已推出了最新的1GB硬盘，其大小只相当于一枚一元硬币，从体积、容量、存取速度方面都较以前有了惊人的发展。 2000年，IBM在存储领域获得了320多项专利，拥有此领域50%以上的专利，超过了业界其他主要存储厂商的总和 ,并因此在2000年11月12日获得了“美国国家卓越科技勋章”以表彰IBM公司多年来在数据存储领域所取得的成就和领先地位。 今天，存储系统的高可靠性，高性能，良好的扩充能力，及易于管理性已经成为存储设备的必需。信息是计算机系统最宝贵的资源，保护信息的安全，进行迅速的信息访问是存储
目录 目录................................................................................. 东莞樟木头人民医院服务器、存储系统设计方案说明........................................... 一、项目概述............................................................................. 二、服务器、存储系统架构组成设计......................................................... 三、服务器系统设计....................................................................... 四、存储系统设计......................................................................... 五、系统设计特点......................................................................... 东莞樟木头人民医院服务器、存储系统设计方案说明 一、项目概述 樟木头人民医院位于樟木头镇东城区仙河大道、莞惠公路旁，广深铁路在樟木头镇设有车站，医院占地面积6万多平方米。病床330张，职工500余人，日门诊量预计在1500～2000人次左右，现有医生工作站150台左右。其中高级职称68多人，中级职称60余人，是一所集医疗、教学、科研、预防、康复于一体的国营非营利性综合性医院，是东莞市社会医疗保险定点医院，是法定产科医院，是全镇唯一一家法定发放医学出生证的医疗机构，是广东省普通高等医学院校教学医院，是珠江三角洲经济发展区的知名医院。 在经济全球化，社会信息化的进程中，医院已经进入了数字化和信息化的时代，大型的数字化医疗设备在医院中使用，各种医院管理信息系统和医疗临床信息系统正在普及。常见的系统包括医院信息系统HIS：(Hospital Information System)、实验室信息系统LIS：（Laboratory Information System）、医学影像存档与传输系统PACS：（Picture Archiving and Communication System）、临床信息系统CIS：(Clinical Information System)、电子病历CPR：（Computerized Patient Record）、社保系统等。考虑现有医院2台服务器将无法承担全院的业务量，为完善樟木头人民医院信息化建设，保证HIS系统、PACS系统业务正常运行，现重新规划设计医院的信息化系统。具体设计方案如下： 二、服务器、存储系统架构组成设计 三、服务器系统设计 1、HIS系统服务器 HIS（Hospital Information System）即医院信息系统：主要是医院各科室对病人诊疗信息和行政管理信息的收集、存储、处理、提取、交换，由于其需要多任务同时处理，并且需要数据库的长时间运
<1>华为OceanStor S6800T存储系统 华为OceanStor S6800T存储系统是面向企业级高端存储应用的新一代产品，以业界领先的硬件规格为支撑，融合了高密设计，TurboModule高密 度I/O模块及热插拔设计，TurboBoost三级性能加速技术，多重数据保护 等高端技术，能够满足大型数据库OLTP/OLAP，高性能计算，数字媒体，互联网运营，集中存储，备份，容灾，数据迁移等不同业务应用的需求， 有效保证用户业务安全性与连续性。 高性能，高扩展性 业界领先的硬件：64位多核处理器以及高速大容量缓存，高 交换带宽，整体性能较上一代产品提升50% 按需选择多种类型的硬盘：FC/SAS/NL SAS/SATA/SSD 领先的IO扩展性和灵活性：最大12个I/O模块，48个I/O接口 (包括前后端接口)；支持4/8Gbps FC，1 Gbps iSCSI，10 Gbps iSCSI(TOE)，10Gbps FCoE与6Gbps SAS接口；独创的TurboModule 技术大幅提升I/O模块密度，支持前后端I/O模块灵活配比，降低 维护成本 TurboBoos t按需提升系统性能：强大硬件支撑其固有高性 能；SmartCache通过使用闪存驱动器来扩展缓存，获得针对 系统优化的性能，混合工作负载的运行速度可提升数倍；纯 SSD RAID组性能大幅提高。三级性能加速机制，按需提升系 统性能，降低整体拥有成本。 高可靠，高可用性 热插拔设计：TurboModule技术实现控制器、风扇、电源、I/ O模块、备电模块、硬盘等模块热插拔，不影响主机业务，支 持在线I/O扩容 掉电保护技术：系统掉电后内置的备电模块自动将Cache数据 写入数据保险箱，保证数据不丢失 硬盘预拷贝技术：提前发现即将故障的硬盘，主动迁移故障 盘数据，规避系统降级的风险，有效降低数据丢失的风险
网络存储与数据备份复习资料 网络存储方式选择 直连存储（DAS）;存储区域网络（SAN）；ISCSI技术； DAS优点： 1实现大容量存储；2可实现应用数据和操作系统的分离；3提高存取性能；4实施简单。DAS缺点： 1扩展性差；2资源利用率低；3可管理性差；4异构化严重。 DAS适用环境： 1服务器在地理分布上较为分散，利用SAN或NAS在进行互连时非常非常困难时；2存储系统必须被直接连接到应用服务器上时；3包括许多数据库应用和应用服务器在内的应用，都需要直接连接到存储器上。 SAN优点： 1设备整合2数据集中3高扩展性4总体拥有成本低5具有无限的扩展能力6更高的连接速度和处理能力 SAN缺点： 1SAN各个客户端的存储空间是分离的，通过光纤实现连接，许多设备价格高昂，因此，SAN 的实现需要相当高的费用2网络维护也需要相当的开销 SAN适用环境：1关键任务数据库应用2集中的存储备份，3高可用性和故障切换环境4可扩展的存储虚拟化5改进的灾难容错特性。 在制定网络存储方案应遵循的原则 1网络存储的核心——数据2要产品也要技术3需求为主4长远考虑，打好基础 选择存储产品 1容错能力2性能3容量4连接性5管理性6附加功能 SATA硬盘特点 1更高的数据传输速率2更简单的连接方式3真正的热插拔4更高的数据传输精度 SATA目前传输速率150MBps二代三代300MBps，600MBps SAS技术特点 1兼容SATA2连接简单3传输速率高（平均速率3GBps峰值5GBps） RAID1 又称镜像阵列，是一种由两块磁盘实现的冗余磁盘阵列（最大程度地保证了系统的可靠性和可修复性） RAID1的优点 1数据存储安全2读取速度较高 缺点：1写入速度较低2存储成本高 RAID5：是由至少3块磁盘实现的冗余磁盘阵列 R AID5的优点：1数据存储安全2读取速度较高3磁盘利用率较高 缺点：写入速度较低
hinkpad T系列笔记本电脑，上装固态硬盘当缓存 一、确保BIOS下iRST技术开启，ThinkPad机型修改路径为：BIOS--config--power--Intel rapid start technology，确保后面为enable，默认开启如果BIOS中没有这项，那么主板就是不支持IRST 技术。 二、进系统，确保睡眠休眠都正常，可以查看磁盘管理，看SSD是否有分区，建议都删除分区后重新创建休眠分区，可以使用diskpart删除分区： 在cmd输入diskpart回车，开启diskpart，然后 list disk； #分号；表示按回车 select disk 0； #如果显示SSD是磁盘1，则这边输入1 list partition； select partition 1； #如果是第二个分区，输入2 delete partition override； #如果不止一个分区，重复操作
三、开始重新创建休眠分区，仍旧使用cmd开启diskpart list disk； select disk 0； create partition primary size=9000 id=84； #size表示分区大小，必须比物理内存大，单位M 如果分区模式是GPT id则需要将84改为：d3bfe2de-3daf-11df-ba40-e3a556d89593
四、安装Intel rapid start technology程序,可以在Intel官网下载，链接：https://https://www.doczj.com/doc/4d13620596.html,/zh-cn/download/21612 支持win7（32/64）、win8/8.1（32/64）*
1、下列典型行业应用对存储的需求，正确的是（ C ） A．WEB应用不包括对数据库的访问 B．WEB应用是大数据块的读取居多 C．邮件系统的数据特点介于数据库和普通文件二者之间，邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的 D．视频点播系统要求比较高的IOPS，但对存储带宽的稳定性要求不高 2、对于存储系统性能调优说法正确的是：( C ) A. 必须在线业务下进行调优 B. 存储系统的调优可以与主机单独进行，应为两者性能互不影响 C. 存储系统的性能调优属于系统性调优，需要了解客户IO模型、业务大小、服务器资 源利用和存储侧资源利用综合分析，对于存储侧重点关注RAID级别，分条深度， LUN映射给主机的分布情况等 D. 以上都不正确 3、不具备扩展性的存储架构有（ A ） A. DAS B. NAS C. SAN D. IP SAN 4、DAS代表的意思是( D )direct access s A. 两个异步的存储 B. 数据归档软件 C. 连接一个可选的存储 D. 直连存储 5、哪种应用更适合采用大缓存块？（ A ） A. 视频流媒体 B. 数据库 C. 文件系统 D. 数据仓库 6、衡量一个系统可靠性常见时间指标有哪些？( CD ) A. 可靠度 B. 有效率 C. 平均失效时间 D. 平均无故障时间 7、主机访问存储的主要模式包括( ABC ) A. NAS B. SAN C. DAS D. NFS 8、群集技术适用于以下场合：（ ABCD ） A. 大规模计算如基因数据的分析、气象预报、石油勘探需要极高的计算性 B. 应用规模的发展使单个服务器难以承担负载 C. 不断增长的需求需要硬件有灵活的可扩展性 D. 关键性的业务需要可靠的容错机制 9、常见数据访问的级别有（ AD ） A．文件级（file level） B．异构级（NFS level） C．通用级（UFS level） D．块级（block level） 10、常用的存储设备介质包括（ ABC ） A. 硬盘 B. 磁带 C. 光盘 D. 软盘 11、常用的存储设备包括（ ABCD） A. 磁盘阵列 B. 磁带机 C. 磁带库 D. 虚拟磁带库 12、存储网络的类别包括（ ABC ） A. DAS B. NAS C. SAN D. Ethernet 13、常用数据备份方式包括（ ACD ） A. D2D B. D2T2D C. D2D2T D. D2T 14、为了解决同位(为)检查码技术的缺陷而产生的一种内存纠错技术是（ D ） A. Chipkill B. 热插拔 C. S.M.A.R.T D. Advanced ECC Memory 15、以下不是智能网卡的主要特点是（ D ） A. 节能降耗 B. 降低TCO C. 数据更安全 D. 可作为主机总线适配器HBA使用
1.1.存储及备份设备命名 存储、备份、存储区域网设备命名依次连接，不留空格，其表示形式为： 代表 Mass Storage) 存储及备份系统3字代码：M ( 1.1.1.存储设备命名 : 例1：cq-mdsk-ibmds830001解读如下 例2：cqspb-mdsk-ibmds830001解读如下:
1.1. 2.备份设备命名 例1：cq-mtap-ibm765001解读如下： 例2：cqspb-mtap-ibm765001解释如下： 1.1.3.存储区域网设备命名 例1：cq-msan-ibm2005b1601解读如下: 例2：cqspb-msan-ibm2005b1601解读如下: 1.1.4.存储虚拟化设备命名 例1：cq-mvir-ibmsvc4101解读如下:
例2：cqspb-mvir-ibmsvc4101解读如下: 1.1.5.存储逻辑单元命名 存储设备逻辑单元号(LUN-Logical Unit Number)命名依次连接，不留空格，其表示形式为： 例1：cq-aupm-lunoradata01解读如下： 例2：cqspb-axxx-lunoradata01解读如下：
1.1.6.全球名称的别名命名 在存储区域网中，为全球名称(WWN-World Wide Name)别名命名，包括服务器设备全球名称和存储设备全球名称别名两种，全球名称别名命名依次连接，不留空格，其表示形式为： 1. 服务器设备全球名称别名 例1：cq-aupm-db1-wwnhba1解读如下: 例2：cqspb-aupm-db1-wwnhba1解读如下: 2. 存储设备全球名称别名 例1：cq-mdsk-wwnibmds830001i0003解读如下 :
企业解决方案 其成本远远低于使用服务器存储，而效率却远远高于后者。NAS能够满足那些希望降低存储成本但又无法承受SAN昂贵价格的中小企业的需求，具有相当好的性价比。 NAS系统网络存储产品由于采用了多任务、多线程的嵌入式Linux系统技术，能够快速处理和响应来自网络的多个并发用户及来自多种不同操作系统的请求，其数据传输速率已接近网络带宽的极限。NAS网络存储设备具有很强的扩展性，可随着视频数据的迅速增长逐步扩充容量。 案例概述 方案建议将NAS作为网络存储设备，通过内部局域网络连接。局域网络的数据、文件可以通过ISCSI协议、FTP协议或者SAMBA协议传输并存储到NAS网络存储设备中，且网络中可以连接多个NAS网络存储设备，实现大容量安全存储。 文件服务器 文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。
U-NAS是为存储备份而优化的系统 ●以工业级计算机的制造为标准进行产品设计与制造，通过采用嵌入式的主板、cpu大大提高设备运行的稳定性和可靠性。 ●由于采用嵌入式的Linux操作系统，因而稳定性及安全性方面大为提高。 ●控制软件简单易懂，任何人都可根据自己的相应权限轻松地对自己的数据进行备份。 ●系统稳定性高，不易受计算机病毒影响(这受益其采用的精简、固化的Linux操作系统)，因而不需要专业人员维护。 ●通过第三方的备份软件（比如second copy等），即使用户正在使用计算机也能实时地对操作系统进行备份工作，而不会中断用户的正常工作。 ●通过设置，能定时对用户指定的数据进行备份，不须人手干预，自动化程度高。 ●即使用客户主机的操作系统崩溃，亦能通过网络启动(事前)事先备份在NAS上的操作系统，并恢复原有数据。 ●整机耗电发热小，更为节能，且对使用环境的要求比较低。 ● U-NAS在windows、linux、mac等当前主流平台构成的应用平台之间，能够轻松应对。 U-NAS综合功能特别是在文件处理能力方面更为强大，同时在数据安全如数据容灾方面NAS更具优势。
巧用FreeNAS搭建网络存储及备份系统 摘要：文章论述了使用iSCSI技术解决本地数据存储的问题，并且利用网络存储可方便解决重要数据及移动存储介质中数据备份的问题。网络存储盘初次使用时只需初始化一次，使用方式就跟本地硬盘一样。既使用方便又避免了数据备份耗时、数据丢失的风险，提高了数据可靠性和工作效率。 关键词：iSCSI；ZFS卷；CHAP认证；Portals；Targets 我们在日常办公中习惯将个人数据存储在电脑的本地硬盘中，一旦电脑的操作系统因病毒感染或者系统文件被破坏而无法启动时，就面临着本地硬盘中数据恢复的问题。尽管可通过一定的技术手段实现数据的完整恢复，且费时又费力。此时我们不禁会想到倘若重要的信息数据不是存储在本地硬盘之中，那么也就不用担心系统崩溃时数据丢失的隐患。能否有一种方法可完全取代本地数据存储的方式。文章介绍的iSCSI技术可有效解决本地数据存储的问题，并且利用网络存储可方便解决重要数据及移动存储介质中数据备份的问题。 1 现象描述 大多数人都将重要的数据存储于个人电脑之中，然而一旦系统崩溃或者硬盘损毁，则恢复本地硬盘中的数据将变得非常麻烦。虽然我们可通过FTP、CIFS 等方式实现数据的异地存放和共享，但是通过这些协议搭建的存储环境其传输效率较低，当传输的文件数据量较大时，I/O吞吐率较高时，其瓶颈效应就体现出来了。为此，我们改用基于SAN技术架构的iSCSI协议，借助于FreeNAS开源系统来搭建一套成熟、完善的网络存储系统以满足重要信息数据存储和备份的需求。 2 原因分析 既然采取FreeNAS所提供的iSCSI技术来解决网络存储的问题，那么首先我们需要了解一下，FreeNAS是什么？可以用来做什么？FreeNAS是一套开源免费的NAS服务器，它能够将一台普通电脑转变成为专业的网络存储服务器。软件基于FreeBSD开发，支持Samba 及PHP，通过iSCSI、CIFS（samba）、FTP、NFS protocols、Software RAID （0，1，5）等丰富的协议实现多种模式下得网络存储及共享功能。便捷的web 界面的设定工具，方便用户通过Windows、Macs、FTP、SSH 以及网络文件系统（NFS）来访问存储服务器。此外，FreeNAS支持部署在外部移动介质或Flash Disk上，系统资源开销小，运行空间仅16 MB左右。在清楚了FreeNAS后，接下来我们就需要对其进行部署实施了。 3 处理过程 由于所选用的是开源软件，其更新速度较快，此处以FreeNAS 8.2 64Bit版本为例介绍其部署和iSCSI服务端、客户端的详细调试过程（全套实际部署环境均为硬件真实环境，因截图需要部分图片取自虚拟环境，但在实际操作中无差异，
数字媒体智能网络存储 数字媒体智能网络储备 支持RAID 0，1与专利技术X-RAID? 最大支持2TB硬盘，可配备2x 2TB共4TB的储备容量 产品介绍 一个专门为家庭使用设计的网络附加储备 NAS 设备 ?为您所有运算机方便地共享而提供的外部储备 当家里有超过一台运算机的时候，ReadyNAS Duo 是一个完美的解决方案。不 像 USB 硬盘，ReadyNAS 能直截了当连到网络中，并承诺所有的 Windows 或 者 Macintosh 运算机同时存取内部的信息。 ?不管身在何方通过互联网都能够访问储备 只要有一个互联网宽带连接和一个家用路由器，ReadyNAS 通过设置，就能够通过 互联网安全地访问其内部信息。 ?为您的所有数据做一个完整备份，可选的备份硬盘功能为硬盘故障提供爱护为所存数据提供安全爱护，能够选装第二块硬盘。那个备份硬盘将额外储存所有数 据，一旦主硬盘故障，将赶忙接管提供服务。 ?支持大部分网络音乐、图片、视频播放器 高级流媒体支持，承诺 ReadyNAS 直截了当提供媒体服务，不需要依靠运算机。这些支持的设备包括NETGEAR EVA8000、Sonos? Digital Music System、Logitech Squeezebox?、Apple iTunes? clients、Sony Playstation? 3 and Microsoft Xbox 360? ?内嵌BitTorrent?客户端实现直截了当从互联网下载资源 正式授权的 BitTorrent 客户端，让你无需依靠运算机直截了当从互联网中下载资源。
能够从运算机通过Web 治理界面，方便地进行下载治理，或者能够在 EVA8000 通过 NETGEAR 数字娱乐界面进行治理。 ?综合了文件和文件夹的异地备份！ 所有ReadyNAS储备系统都内置了ReadyNAS Vault的备份软件，只要确认你想要爱护的文件，剩下的工作ReadyNAS Vault就会自动安全的帮你处理！ ?支持MAC系统 所有ReadyNAS系统支持苹果系统的文件协议（AFP格式）和苹果的Time Machine(时刻机器) ！ 因此专门多苹果用户都能够用一个中心储备来共享文件，并做备份。支持自己开发软件同时支持 Macintosh状态监测工具 产品规格 储霸王ReadyNAS Duo数字媒体智能网络储备的要紧技术规范表如下： 产品名储霸王ReadyNAS? Duo数字媒体智能网络储备 RAID‐硬件加速X-RAID独立卷自动扩充 ‐多个卷支持硬件加速RAID 0,1 ‐热插拔支持 系统需求‐Microsoft?Windows?2000 (SP4),XP Home or Pro (SP1 or SP2), ‐Vista, Macintosh OS-X, Linux ‐支持远程访问功能，但必须有路由器与宽带连接 ‐Web扫瞄器支持：IE6.0+, Netscape Navigator 7.0+, Fafari 1.22+, Mozilla Firefox 1.03+ 硬件配置‐ReadyNAS Duo 网络附加储备设备 ‐2 Serial A TA 通道 ‐兼容SATA 和SATA II 硬盘 ‐热插拔和可锁硬盘托架
存储设备与数据容灾备份系统 数据容灾备份系统为现实中一种信息安全技术手段，在企业及互联网中用得非常普遍，它指在不同地埋位置节点，建立两套或多套功能相同的IT系统，使他们互相之间可以进行功能切换和健康状态监视，当一处系统因意外(包括自然灾害，如火灾、地震等)停止工作时，整个应用系统可以自动切换到另一处，使得该业务功能可以继续正常工作。本文介绍如何选取存储设备构建数据容灾备份系统。 充分利用当前主流的数据备份技术构建企业或个人内部的数据容灾解决方案，离不开选择正确的存储设备与之配合。现今数据量的日益膨胀大大刺激了各存储厂商开发新产品的热情，同时也促进了各式存储设备的销售，如何选择合适的存储设备为存放信息，带着这个问题结合数据备份技术，针对当前主流的专业存储设备展开探讨。 1、文件服务器 文件服务器是应用较普遍的存储设备，其功能大体是专门负责企业内部文件的管理与处理，文件服务器日常的数据管理及处理工作通常包括数据上传、下载、共享、存储、备份等。 文件服务器通常是采用直接数据备份的方式，当然通过另外付费配置相关数据备份软件，其备份技术及方式等方面也能得到一定的提升。文件服务器由于通常采取性能较高的处理器、容量较大的内存及做工精良的主板作为它的核心部件，这些在某种程度上提高了文件服器的的高效及稳定性，同时由于一般的文件服务器通常会采用通用的操作系统作为它的操作平台，因此其在可操作性及易用性等方面具有一定的优势。 企业通常会用双机容灾的方式，即通过利用两台文件服务器构建双机备份系统，这在一定程度确保了数据安全，同时对于网络的稳定及安全也起到一定的效果。以双机备份为例，在正常情况下，确实是确保数据安全的“双保险”，但当出现问题时，如其中的一台文件服务器出现非致命性的故障如因某种原因导致数据出现损毁或错误时，极有可能导致另外一台机器里面的数据也会受到影响，这个时候的数据恢复的付费也是一件头痛的事情；文件服务器的通用操作系统在当前病毒、黑客“猖獗”的互联网时代极易受伤，文件服务器一面充当文件管理、处理的工作，一面还须承担承载整个外部网接入及管理的重任，过重的负载是造成文件服务器不稳定的重要原因；最后从投资的角度来看，文件服务器在对异构平台数据备份及存储方面的兼容性较差，通常都要购置若干台基于不同操作平台的服务器，这无形中加大了IT设备的投入。 2、磁盘阵列柜 磁盘阵列柜的构成是由多个类型、容量、接口甚至品牌一致的专用硬磁盘或普通硬磁盘组成一个阵列组，使其能以某种快速、准确和安全的方式来读写磁盘数据。这种存储设备一般采用数据备份和磁盘备份两种技术作为主要的数据备份技术，优点在于其具有较高可靠性、安全性、稳定性，同时其存储容量相对于其他存储设备而言也是较大，这种设备通常在数据量较大的企业中作为构建中央存储系统的核心部分。 磁盘阵列柜不菲的价格是众多企业面前的一道坎，专业的磁盘阵列柜通常售价动辄数万、数十万以上，选择合适的专业数据存储、备份软件与之配套也颇费心思，磁盘阵列柜高贵的身价也需专业的IT人员进行“侍奉”，设备或人为操作出现问题导致数据被破坏后的数据还原的付费也着实令不少企业头痛，这也意味着磁盘阵列柜后期维护管理方面与其他存储设备相比需要付出更多。 3、光盘塔 光盘塔由几台或十几台CD-RW/DVD-RW驱动器并联构成，通过软件控制某台光驱的读写操作，使之按照人们的要求自动读取信息，这种存储备份设备在文件服务器、高容量磁盘等存储设备价格不菲的时代，凭借其良好的性价比得到部分企业的“热捧”。这种设备采用数据备份的技术。优点是可以能按需求保存数据，且保存的数据具可移动性。缺点是光盘容
网络存储系统的设计与实现 --用户界面及数据库的设计与实现 数学学院信息与计算科学（软件服务外包） 摘要：随着网络技术的迅猛发展，人们对数据储存的需求越来越大,U盘与硬盘的缺点愈发严重，网络储存应运而生，有效解决了这些问题，分布式储存不怕硬件丢失和损坏，多个用户可在网络存储系统中很方便的共享。分布式储存只要容量不够，直接加机器和硬盘都可以实现容量的拓展，就容量来说，几乎是无限的。我们做的就是网络储存系统，而我做的是用户页面及数据库设计，本篇论文主要讲解了我是如何设计并用html实现这个网页的及数据库的设计。 关键词:分布式储存；网页设计；数据库设计 Abstract:With the rapid development of network technology, people's growing demand for data storage, U disk and hard disk shortcomings worsening insecurity exist. shortcomings, and network storage came into being, an effective solution to these problems, distributed hardware store will not be afraid of loss and damage occurs, while multiple users can very easy to share in the network storage system, and distributed As long as the storage capacity is not enough, and hard disks are added directly to the machine can expand capacity, and therefore capacity, it is almost unlimited.What we do is network storage system, and I am doing is one of the user pages and database design, this paper mainly on how I designed and implemented with the html of this page. As well as the design of the database. Key words: Distributed storage；Web Design；Database design 1 引言 1.1 研究背景 二十一世纪进入信息发展高速路，大数据时代信息量的爆发，普通的存储方式已经不能满足大批量数据的存储与分享。硬件存储系统存在诸多弊端和不便，网络存储系统由此应运而生。随着互联网的发展，出现了众多网络存储系统，这些系统良莠不齐，而我们的网络存储系统正是以分布式存储系统为技术支撑。分
如何设置缓存提高计算机运行速度 大家知道，所有应用程序的运行都必须通过内存来处理，要是待处理的目标程序很大的话，就很容易使内存资源消耗殆尽。为了缓解内存资源的不足，人们往往会通过设置硬盘缓存的方法，来想办法提高系统的整体性能。事实上，系统缓存由于是直接设置在硬盘中的，因此缓存设置是否得当，不仅影响到系统的运行性能，而且还会对硬盘自身的读写性能造成一定影响。有鉴于此，本文特意从缓存设置出发，提出如下几则方法来着力改善硬盘读写性能! 为缓存文件，保留足够空间 缓存文件的大小设置得当与否，不但关系到硬盘的读写效率，而且还会影响到系统的整体效率;由于缓存文件是保存在硬盘中的，因此我们一定要确保先为其保留足够的空间，毕竟虚拟缓存设置得再大，它还需要硬盘为其提供空间，一旦空间要求得不到满足的话，那硬盘自身的读写状态不但会受到影响，而且整个Windows系统的运行性能也将不会太稳定。 正常情况下，要是我们对硬盘缓存设置不太了解，或者对计算机运行没有特殊要求的时候，我们最好使用“系统管理的大小”的方法，来让系统自动对硬盘缓存进行设置，毕竟这种设置方式比自己随意定义的方法来得更稳定、更安全。 善用写入缓存，提高读写速度 为了让硬盘的读写速度更进一步，我们不妨启用硬盘的写入缓存功能，来对硬盘的读写操作进行优化，下面就是启用硬盘写入缓存功能的具体操作步骤: 首先在Windows系统桌面中，用鼠标右键单击“我的电脑”图标，从其后弹出的右键菜单中单击“属性”命令，打开系统的属性设置界面;单击该界面中的“硬件”标签，然后在对应的标签页面中单击“设备管理器”按钮，进入到系统的设备列表窗口; 启用写入缓存 展开该窗口中的“磁盘驱动器”项目，选中当前正在使用的硬盘型号，再用鼠标右键单击硬盘项目，从其后出现的右键菜单中执行“属性”命令;接着在硬盘的属性设置界面中，单击“策略”标签，打开如图1所示的标签页面;选中该标签页面中的“启用磁盘上的写入缓存”复选项，再单击“确定”按钮，这样的话硬盘的写入缓存功能就被启用了，日后当我们再次对硬盘进行读写操作时发现速度明显快了许多。 当然，需要提醒各位注意的是，一旦将硬盘的写入缓存功能启用后，要是发生计算机系统突然掉电这一突发事故时，硬盘中的重要数据可能会发生丢失现象，所以为保证数据的安全，大家最好在有稳压电源为计算机供电的情况下开启硬盘的写入缓存功能。 平均分配缓存，提高整体性能 大家知道，有效设置好系统缓存的话，可以让系统的整体运行性能大幅度地提升。一般来说，在计算机只使用一块硬盘的情况下，硬盘缓存的设置并没有什么特别的学问;不过对于同时使用
网络存储技术优缺点与 发展趋势 文档编制序号：[KKIDT-LLE0828-LLETD298-POI08]
网络存储技术优缺点与发展趋势 随着不断加速的信息需求使得存储容量飞速增长，存储系统网络平台已经成为一个核心平台，同时各种应用对平台的要求也越来越高，不仅在存储容量上，还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说，存储网络平台的综合性能的优劣，将直接影响到整个系统的正常运行。因此，发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。信息量的飞速发展使得存储容量也飞速增长，发展一种具有成本效益和可管理和先进存储方式就成为必然。本文就几种传统的网络存储框架进行探讨，之后介绍了新的存储技术，并分析了网络存储体系结构的发展趋势。 随着不断加速的信息需求使得存储容量飞速增长，存储系统网络平台已经成为一个核心平台，同时各种应用对平台的要求也越来越高，不仅在存储容量上，还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说，存储网络平台的综合性能的优劣，将直接影响到整个系统的正常运行。因此，发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。 一、网络存储技术概述 所谓网络存储技术(Network Storage Technologies)，就是以互联网为载体实现数据的传输与存储，数据可以在远程的专用存储设备上，也可以是通过服务器来进行存储。网络存储技术是基于数据存储的一种通用网络术语。实际上，我
们可以将存储技术分为三个阶段：①总线存储阶段；②存储网络阶段；③虚拟存储阶段。以存储网络为中心的存储是对数据存储新需求的回答。它采用面向网络的存储体系结构，使数据处理和数据存储分离；网络存储体系结构包括了网络和I/O的精华，将I/O能力扩展到网络上，特别是灵活的网络寻址能力，远距离数据传输能力，I/O高效的原性能；通过网络连接服务器和存储资源，消除了不同存储设备和服务器之间的连接障碍；提高了数据的共享性、可用性和可扩展性、管理性。 二、几种传统的网络存储架构 网络存储架构大致分为三种：直连附加存储、网络附加存储、存储区域网络。这几种网络存储方式特点各异，应用在不同的领域。下面我们来做简单的介绍并分析其中区别。 直连附加存储(DAS：Direct Attached Storage) 直接网络存储(DAS)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中，主要优点是存储容量扩展的实施简单，投入成本少，见效快。DAS主要应用于： ①服务器在地理分布上很分散，SAN或NAS在它们之间进行互连非常困难时； ②存储系统必须被直接连接到应用服务器时； ③包括许多数据库应用和应用服务器在内的应用时。