当前位置:文档之家› 存储基础知识

存储基础知识

存储基础知识
存储基础知识

第1章网络存储主要技术

1.1 概述

存储系统是整个IT系统的基石,是IT技术赖以存在和发挥效能的基础平台。

早先的存储形式是存储设备(通常是磁盘)与应用服务器其他硬件直接安装于同一个机箱之内,并且该存储设备是给本台应用服务器独占使用的。

随着服务器数量的增多,磁盘数量也在增加,且分散在不同的服务器上,查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。更换磁盘也需要拆开服务器,中断应用。于是,一种希望将磁盘从服务器中脱离出来,集中到一起管理的需求出现了。不过,一个问题:如何将服务器和盘阵连接起来?

面临这样的问题,有厂商提出了SCSI协议,通过专用的线缆将服务器的总线和存储设备连接起来,通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样,多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这样的方式,我们称之为直接附加存储(DAS)。

1.2 DAS:直接附加存储

DAS(Direct Attached Storage—直接附加存储)是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。

一个SCSI环路或称为SCSI通道可以挂载最多16台设备;

FC可以在仲裁环的方式下支持126个设备;

DAS方式实现了机内存储到存储子系统的跨越,但是缺点依然有很多:

◆扩展性差,服务器与存储设备直接连接的方式导致出现新的应用需求时,只能为新

增的服务器单独配置存储设备,造成重复投资。

◆资源利用率低,DAS方式的存储长期来看存储空间无法充分利用,存在浪费。不同

的应用服务器面对的存储数据量是不一致的,同时业务发展的状况也决定这存储数

据量的变化。因此,出现了部分应用对应的存储空间不够用,另一些却有大量的存

储空间闲置。

◆可管理性差,DAS方式数据依然是分散的,不同的应用各有一套存储设备。管理分

散,无法集中。

异构化严重,DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备,设备之间异构化现象严重,导致维护成本据高不下。

1.3 SAN:存储区域网络

1.3.1 什么是SAN?

SAN(Storage Aera Network )存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储构架,这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。

1.3.2 SAN的误区

SAN的发展历程较短,从90年代后期兴起,由于当时以太网的带宽有限,而FC协议在当时就可以支持1Gb的带宽,因此早期的SAN存储系统多数由FC存储设备构成,导致很多用户误以为SAN就是光纤通道设备,其实SAN代表的是一种专用于存储的网络架构,与协议和设备类型无关,随着千兆以太网的普及和万兆以太网的实现,人们对于SAN的理解将更为全面。

1.3.3 SAN的组成

SAN由服务器,后端存储系统,SAN连接设备组成;

后端存储系统由SAN控制器和磁盘系统构成,控制器是后端存储系统的关键,它提供存储接入,数据操作及备份,数据共享、数据快照等数据安全管理,及系统管理等一系列功能。

后端存储系统为SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。

连接设备包括交换机,HBA卡和各种介质的连接线。

SAN的优点:

◆设备整合,多台服务器可以通过存储网络同时访问后端存储系统,不必为每台服务

器单独购买存储设备,降低存储设备异构化程度,减轻维护工作量,降低维护费用;

◆数据集中,不同应用和服务器的数据实现了物理上的集中,空间调整和数据复制等

工作可以在一台设备上完成,大大提高了存储资源利用率;

◆高扩展性,存储网络架构使得服务器可以方便的接入现有SAN环境,较好的适应应

用变化的需求;

总体拥有成本低,存储设备的整合和数据集中管理,大大降低了重复投资率和长期管理维护成本;

1.3.4 FC SAN的问题

◆兼容性差,FC协议发展时间短,开发和产品化的大厂商较少,而且厂商之间各自

遵循内部标准,导致不同厂商的FC产品之间兼容性和互操作差,即使同一厂商的

不同版本不同型号的FC产品也存在类似的问题;

◆成本高昂,FC SAN的成本包括先期设备成本和长期维护成本,由于FC协议在成熟

度和互联性上无法与以太网相比,导致FC协议只能局限于存储系统应用,无法实

现大规模推广,这直接导致了FC产品价格的昂贵;同样与FC-SAN相关的所有产品

都身价高昂,无论是备份软件的FC-SAN模块,甚至SCSI硬盘简单更换连接口成为

FC硬盘,都要翻上几倍的价钱;另外兼容性差也导致了用户无法自己维护FC设备,必须购买昂贵的厂商服务,如果用户的环境中包括多种FC存储设备,用户每年花

在FC-SAN的系统保修服务的费用占当年采购成本的15%左右。如果再算上系统安

装部署阶段的专业服务费用支出,以5年计算,整个服务费用支出与系统采购达到

1:1!

◆扩展能力差,FC-SAN高昂的成本和协议封闭,使得产品的开发、升级、扩容代价

高昂。从2000年以来,存储市场中最大的中端部分就一直5年不变地维持着前端两

个存储控制器,后端两个(最多四个)光纤环路的结构。不仅产品本身无法进行性

能和处理能力扩展,产品型号向上的升级付出的代价几乎相当于购买一套新的设

备;

◆异构化严重,各厂商按照自有标准开发各种功能,如快照、复制、镜像等,导致不

同厂商存储设备之间功能无法互通,结果又出现的DAS方式的各种问题,重复投资、难以管理的局面

SAN的出现,从根本上是要建立一个开放、高性能、高可靠、高可扩展性的存储资源平台,从而能够应对快速的业务变化和数据增长,然而以上问题使得用户使用网络存储的目标产生了严重的偏离,很多用户甚至开始质疑为什么要放弃DAS而使用昂贵复杂的FC-SAN。

1.3.5 IP SAN

IP网络是一个开放,高性能,高可扩展,可靠性高的网络平台。

◆IP网是国际互连网,企业内部网络的主要形式。经过多年发展,IP网络实现了最高

的可管理性和互操作性。

◆TCP/IP协议弹性强,适应网络的各种变化,无需停止服务即可实网络变更。

◆1G的以太网已经普及,2006年会扩展到10G。FC在2008年才能到4G。

◆不同厂家的IP网设备兼容性好。网络设备采购成本低廉。

◆以太网知识普及,以太网多年的发展培养了无数的网络管理人员。

IP SAN的基本想法是通过高速以太网络连接服务器和后端存储系统。将SCSI指令和数据块经过高速以太网传输,继承以太网的优点,实现建立一个开放、高性能、高可靠性,高

可扩展的存储资源平台。

IP SAN

将数据块和SCSI指令通过TCP/IP协议承载,通过千兆/万兆专用的以太网络连接应用服务器和存储设备,这样的解决方案称为IP SAN。

IP SAN遵循IETF的iSCSI标准,通过以太网实现对存储空间的块级访问,由于早先以太网速度,数据安全性以及系统级高容错要求等问题,这一标准经历了三年的认证过程,在包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等众多家厂商的努力,和万兆/千兆以太网10GBit Ethernet支撑下,IP SAN/iSCSI已解决了网络瓶颈,数据安全和容错等问题,进入了实用阶段。

IP SAN继承了IP网络的优点:

◆实现弹性扩展的存储网络,能自适应应用的改变。

◆已经验证的传输设备保证运行的可靠性

◆以太网从1G向10G及更高速过渡,只需通过简单的升级便可得到极大的性能提升,

并保护投资

◆IP跨长距离扩展能力,轻松实现远程数据复制和灾难恢复

◆大量熟悉的网络技术和管理的人才减少培训和人力成本

将以太网的经济性引入存储降低用户总体拥有成本。

1.4 NAS:网络附加存储

NAS(Network Attached Storage—网络附加存储),是一种文件共享服务。拥有自己的文件系统,通过NFS或CIFS对外提供文件访问服务。

NAS包括存储器件(例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质)和专用服务器。专用服务器上装有专门的操作系统,通常是简化的unix/linux 操作系统,或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS,充当远程文件服务器,对外提供文件级的访问。

NAS的优点:

◆NAS可以即插即用。

◆NAS通过TCP/IP网络连接到应用服务器,因此可以基于已有的企业网络方便连接。

◆专用的操作系统支持不同的文件系统,提供不同操作系统的文件共享。

◆经过优化的文件系统提高了文件的访问效率,也支持相应的网络协议。即使应用服

务器不再工作了,仍然可以读出数据。

NAS的缺点:

1、NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。

2、NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易,但是要想将两个NAS设备的存储空间无缝合并并不容易,因为NAS设备通常具有独特的网络标识符,存储空间的扩大上有限。

3、NAS访问需要经过文件系统格式转换,所以是以文件一级来访问。不适和Block级的应用,尤其是要求使用裸设备的数据库系统。

1.5 SAN和NAS

SAN和NAS经常被视为两种竞争技术,实际上,二者能够很好地相互补充,以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输,而NAS则提供文件级的数据访问和共享服务。

尽管这两种技术类似,但严格意义上讲NAS其实只是一种文件服务。

NAS和SAN不仅各有应用场合,也相互结合,许多SAN部署于NAS后台,为NAS设备提供高性能海量存储空间。

NAS和SAN结合中出现了NAS网关这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成,可以看作是一个专门的文件管理器。NAS网关连接到后端上的SAN上,使的SAN的大容量存储空间可以为NAS所用。因此,NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。

“NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”,系统对外只有一个用户接口。

NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题,但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件系统负载很大时,NAS网关很可能成为系统的瓶颈。

第2章主要协议和相关技术

关键字:SCSI FC iSCSI

2.1 SCSI

SCSI是小型计算机系统接口(Small Computer System Interface)的简称,于1979首次提出,是为小型机研制的一种接口技术,现在已完全普及到了小型机,高低端服务器以及普通PC上。

SCSI可以划分为SCSI-1、SCSI-2、SCSI-3,最新的为SCSI-3,也是目前应用最广泛的SCSI 版本。

1、SCSI-1:1979年提出,支持同步和异步SCSI外围设备;支持7台8位的外围设备,最大数据传输速度为5MB/s。

2、SCSI-2:1992年提出,也称为Fast SCSI,数据传输率提高到20MB/s。

3、SCSI-3:1995年提出,Ultra SCSI(Fast-20)。Ultra 2 SCSI(Fast-40)出现于1997年,最高传输速率可达80MB/s。1998年9月,Ultra 3 SCSI(Utra 160 SCSI)正式发布,最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。

2.2 FC(光纤通道)

FC光纤通道:用于计算机设备之间数据传输,传输率达到2G(将来会达到4G)。光纤通道用于服务器共享存储设备的连接,存储控制器和驱动器之间的内部连接。

此图需要更换

协议基本架构:

FC-4 Upper Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP

FC-3 common service

FC-2 Framing Protocol /Flow Control

FC-1 Encode/Decode

FC-0 Media:Optical or copper,100MB/sec to 1.062GB/sec

协议层说明:

FC-0:物理层,定制了不同介质,传输距离,信号机制标准,也定义了光纤和铜线接口以及电缆指标

FC-1:定义编码和解码的标准

FC-2:定义了帧、流控制、和服务质量等

FC-3:定义了常用服务,如数据加密和压缩

FC-4:协议映射层,定义了光纤通道和上层应用之间的接口,上层应用比如:串行SCSI 协议,HBA 的驱动提供了FC-4 的接口函数,FC-4 支持多协议,如:FCP-SCSI,FC-IP,FC-VI 协议简介:

FCP-SCSI:

FCP-SCSI:是将SCSI并行接口转化为串行接口方式的协议,应用于存储系统和服务器之间的数据传输。新的ANSI T10 标准,支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。FCP-SCSI 提供200MB/s(全双工独占带宽)的传输速率,每连接最远达10 公里,最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。

2.3 iSCSI

iSCSI(互联网小型计算机系统接口)是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的,并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF(互联网工程任务组)认证通过。iSCSI继承了两大最传统技术:SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。

基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能,甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术,它解决了开放性、容量、传输速度、兼容性、安

全性等问题,其优越的性能使其备受始关注与青睐。

iSCSI的数据包结构:

工作流程:

iSCSI系统由SCSI适配器发送一个SCSI命令。

命令封装到TCP/IP包中并送入到以太网络。

接收方从TCP/IP包中抽取SCSI命令并执行相关操作。

把返回的SCSI命令和数据封装到TCP/IP包中,将它们发回到发送方。

系统提取出数据或命令,并把它们传回SCSI子系统。

安全性描述:

iSCSI协议本身提供了QoS及安全特性。

可以限制initiator仅向target列表中的目标发登录请求,再由target确认并返回响应,之后才允许通信;

通过IPSec将数据包加密之后传输,包括数据完整性、确定性及机密性检测等;

iSCSI的优势

(1)广泛分布的以太网为iSCSI的部署提供了基础。

(2)千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。

(3)以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。

(4)由于基于TCP/IP网络,完全解决数据远程复制(Data Replication)及灾难恢复(Disaster Recover)等传输距离上的难题。

(5)得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性,设备扩充和应

用调整的成本付出小。

2.4 iSCSI与光纤通道的比较

从传输层看,光纤通道的传输采用其FC协议,iSCSI采用TCP/IP协议。

FC协议与现有的以太网是完全异构的,两者不能相互接驳。因此光纤通道是具有封闭性的,而且不仅与现有的企业内部网络(以太网)接入,也与其他不同厂商的光纤通道网络接入(由于厂家对FC标准的理解的异样,FC设备的兼容性是一个巨大的难题)。因此,对于以后存储网络的扩展由于兼容性的问题而成为了难题。而且,FC协议由于其协议特性,网络建完后,加入新的存储子网时,必须要重新配置整个网络,这也是FC网络扩展的障碍。

iSCSI基于的TCP/IP协议,它本身就运行于以太网之上,因此可以和现有的企业内部以太网无缝结合。TCP/IP网络设备之间的兼容性已经无需讨论,迅猛发展的internent网上运行着全球无数家网络设备厂商提供的网络设备,这是一个最好的佐证。

从网络管理的角度看,运行FC协议的光网络,其技术难度相当之大。其管理采用了专有的软件,因此需要专门的管理人员,且其培训费用高昂。TCP/IP网络的知识通过这些年的普及,已有大量的网络管理人才,并且,由于支持TCP/IP的设备对协议的支持一致性好,即使是不同厂家的设备,其网络管理方法也是基本一致的。

FC运行于光网络之上,其速度是非常快的,现在已经达到了2G的带宽,这也是它的主要优势所在。下一代的FC标准正在制定当中,其速度可以达到4G,

今天的千兆以太网已经在普及当中,这也是基于TCP/IP的iSCSI协议进入实用的保证。得益于优秀的设计,以太网从诞生到现在,遍及了所有有网络的地方,到现在依然表现出非凡的生命力,在全球无数网络厂商的共同努力下,以太网的速度稳步提升,千兆网络已经实际应用,万兆网络呼之欲出,以太网的主要部件交换机路由器均已有万兆级别的产品。随着产品的不断丰富,以及设备厂商间的剧烈竞争,其建设成本在不断下降,万兆网络的普及已日益临近。当iSCSI以10Gb的高速传输数据时,基于iSCSI协议的存储技术将无可争议的成为网络存储的王者。

第3章文件系统相关知识

3.1 什么是文件系统

文件系统定义了把文件存储于磁盘时所必须的数据结构及磁盘数据的管理方式。我们知道,磁盘是由很多个扇区(Sector)组成的,如果扇区之间不建立任何的关系,写入其中的文件就无法访问,因为无法知道文件从哪个扇区开始,文件占多少个扇区,文件有什么属性。为了访问磁盘中的数据,就必需在扇区之间建立联系,也就是需要一种逻辑上的数据存储结构。建立这种逻辑结构就是文件系统要做的事情,在磁盘上建立文件系统的过程通常称为“格式化”。

以Windows平台下最常见的FAT文件系统为例。FAT文件系统有两个重要的组成部分:FAT 表(File Allocation Table)和数据存储区。FAT表是FAT文件系统的名称来源,它定义了存储数据的簇(Cluster,由2的n次方个Sector组成,n值根据分区大小而定,需综合考虑数据存取效率和存储空间的利用率)之间的链接关系,这种链接关系是一个单向链表,指向0xFF 表示结束。依据一个簇编号所用bit数的不同,可分为FAT12、FAT16和FAT32文件系统。数据区存储的数据包含文件目录项(Directory Entries)和文件数据。文件目录项存储的是一个文件或目录的属性信息,包括文件名称(把目录也看成是文件)、读写属性、文件大小、创建时间、起始簇编号等,一个目录下的每个子目录和文件都对应一个表项记录。文件目录项以固定32字节的长度存储,以树型结构管理,其中根目录的位置是确定的。也就是说,根据分区根目录可以找到下级子目录和文件的起始簇编号,根据下级子目录又可以找到更下级目录或文件的起始簇编号。可见,FAT表和文件目录项是为了文件的访问和管理而建立的。

应用程序要访问一个文件时,根据文件路径(逻辑分区号+目录,如F:\software)和文件名称(如setup.exe)可从文件目录项中获得存储文件数据的起始簇号,之后从FAT表查询这个簇号对应的链表,就可以获得该文件对应的全部簇编号。从这些簇中读出全部数据,就得到一个完整的文件。

一般来说,文件系统是和操作系统紧密结合在一起的,不同的操作系统使用不同的文件系统,但有时为了兼容,不同操作系统也使用相同的文件系统。

3.2 主流文件系统和特点

在Windows系列操作系统中,MS-DOS和Windows 3.x使用FAT16文件系统,默认情况下Windows 98也使用FAT16,Windows 98和Windows Me可以同时支持FAT16、FAT32两种文件系统,Windows NT则支持FAT16、NTFS两种文件系统,Windows 2000可以支持FAT16、FAT32、NTFS三种文件系统.每一种文件系统提供的功能与特点各不相同。比如FAT32文件系统。,采用32位的文件分配表,磁盘的管理能力大为增强。但由于文件分配表的增大,性能相对来说有所下降。此外,这个版本的文件系统不能向下兼容。

NTFS是随着 Windows NT操作系统而产生的,它的优点和FAT文件系统相比是有更好的安全性和稳定性,在使用中不易产生文件碎片,NTFS分区对用户权限作出了非常严格的限制,同时它还提供了容错结构日志,从而保护了系统的安全。但NTFS分区格式的兼容性不好,Windows 98/ME操作系统均不能直接访问该分区。

对于超过4GB以上的硬盘,使用NTFS分区,可以减少磁盘碎片的数量,大大提高硬盘的利用率;NTFS可以支持的文件大小可以达到64GB,远远大于FAT32下的4GB;支持长文件名,支持的最大分区为 2TB。

在Linux系统中,每个分区都是一个文件系统,都有自己的目录层次结构。Linux的最重要特征之一就是支持多种文件系统,并可以和许多其它种操作系统共存。

随着Linux的不断发展,它所支持的文件格式系统也在迅速扩充。特别是Linux 2.4内核正式推出后,出现了大量新的文件系统. Linux系统可以支持十多种文件系统类型包括:JFS、ext、ext2、ext3、ISO9660、XFS、Minx、MSDOS、UMSDOS、VFAT、NTFS、HPFS、NFS、SMB、SysV、PROC等。

各主流操作系统和平台的文件系统名称和特点如下表所示

3.3 NFS和CIFS网络文件系统工作原理和特点

NFS (Network File System,网络文件系统)是当前主流异构平台共享文件系统之一.主要应用在UNIX环境下。最早是由SUN microsystem开发,现在能够支持在不同类型的系统之间通过网络进行文件共享,广泛应用在FreeBSD、SCO、Solaris等等异构操作系统平台,允许一个系统在网络上与它人共享目录和文件。通过使用NFS,用户和程序可以象访问本地文件一样访问远端系统上的文件,使得每个计算机的节点能够像使用本地资源一样方便地使用网上资源。换言之,NFS 可用于不同类型计算机、操作系统、网络架构和传输协议运行环境中的网络文件远程访问和共享。

NFS的工作原理是使用客户端/服务器架构,由一个客户端程序和服务器程序组成。服务器程序向其它计算机提供对文件系统的访问,其过程就叫做“输出”。NFS 客户端程序对共享文件系统进行访问时,把它们从 NFS 服务器中“输送”出来。文件通常以“块” 为单位进行传输. 其尺寸是 8K (虽然它可能会将操作分成更小尺寸的分片).NFS 传输协议用于服务器和客户机之间文件访问和共享的通信,从而使客户机远程地访问保存在存储设备上的数据。

CIFS(Common Internet File Syste,公共互联网文件系统)是当前主流异构平台共享文件系统之一。主要应用在NT/Windows环境下,是由Microsoft公司开发。其工作原理是让CIFS协议运行于TCP/IP通信协议之上,让Unix计算机可以在网络邻居上被Windows计算机看到。

共享文件系统特点:

异构平台下的文件共享:不同平台下的多个客户端可以很容易的共享NAS中的同一个文件。

充分利用现有的LAN网络结构,保护现有投资。

容易安装,使用和管理都很方便,实现即插即用。

广泛的连接性:由于基于IP/Ethernet以及标准的NFS和CIFS,可以适应复杂的网络环境。

内部资源的整合:可以将内部的磁盘整合成一个统一的存储池,以卷的方式提供给不同的用户,每一个卷可以格式化成不同的文件系统

允许应用进程打开一个远地文件,并能够在该文件的某一个特定的位置上开始读写数

据。NFS 可使用户只复制一个大文件中的一个很小的片段,而不需复制整个大文件,在网络上传送的只是少量的修改数据。

需要注意的是,CIFS和NFS虽然同样也是文件系统(File System),但它并不能用于在磁盘中存储和管理数据,它定义的是通过TCP/IP网络传输文件时的文件组织格式和数据传输方式。利用CIFS和NFS共享文件实际涉及到两次的文件系统转换。客户端从服务器端申请一个文件时,服务器端首先从本地读出文件(本地文件系统格式),并以NFS/CIFS的格式封装成IP报文并发送给客户端。客户端收到IP报文以后,把文件存储与本地磁盘中(本地文件系统格式)。

3.4 存储系统与文件系统的关系

提到NAS,通常会想到传统的NAS设备,它具有自己的文件系统,具有较大的存储容量,具有一定的文件管理和服务功能。NAS设备和客户端之间通过IP网络连接,基于NFS/CIFS协议在不同平台之间共享文件,数据的传输以文件为组织单位。

虽然NAS设备常被认为是一种存储架构,但NAS设备最核心的东西实际上在存储之外,那就是文件管理服务。从功能上来看,传统NAS设备就是一个带有DAS存储的文件服务器。从数据的IO路径来看,它的数据IO发生在NAS设备内部,这种架构与DAS毫无分别。而事实上,很多NAS设备内部的文件服务模块与磁盘之间是通过SCSI总线连接的。至于通过NFS/CIFS共享文件,完全属于高层协议通信,根本就不在数据IO路径上,所以数据的传输不可能以块来组织。正是由于这种功能上的重叠,在SAN出现以后,NAS头设备(或NAS网关)逐渐发展起来,NAS over SAN的方案越来越多,NAS回归了其文件服务的本质。

由此可知,NAS与一般的应用主机在网络层次上的位置是相同的,为了在磁盘中存储数据,就必须要建立文件系统。有的NAS设备采用专有文件系统,而有的NAS设备则直接借用其操作系统支持的文件系统。由于不同的OS平台之间文件系统不兼容,所以NAS设备和客户端之间就采用通用的NFS/CIFS来共享文件。

至于SAN,它提供给应用主机的就是一块未建立文件系统的“虚拟磁盘”。在上面建立什么样的文件系统,完全由主机操作系统确定。

存储基础知识

第1章网络存储主要技术 1.1 概述 存储系统是整个IT系统的基石,是IT技术赖以存在和发挥效能的基础平台。 早先的存储形式是存储设备(通常是磁盘)与应用服务器其他硬件直接安装于同一个机箱之内,并且该存储设备是给本台应用服务器独占使用的。 随着服务器数量的增多,磁盘数量也在增加,且分散在不同的服务器上,查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。更换磁盘也需要拆开服务器,中断应用。于是,一种希望将磁盘从服务器中脱离出来,集中到一起管理的需求出现了。不过,一个问题:如何将服务器和盘阵连接起来? 面临这样的问题,有厂商提出了SCSI协议,通过专用的线缆将服务器的总线和存储设备连接起来,通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样,多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这样的方式,我们称之为直接附加存储(DAS)。 1.2 DAS:直接附加存储 DAS(Direct Attached Storage—直接附加存储)是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。 一个SCSI环路或称为SCSI通道可以挂载最多16台设备; FC可以在仲裁环的方式下支持126个设备;

DAS方式实现了机内存储到存储子系统的跨越,但是缺点依然有很多: ◆扩展性差,服务器与存储设备直接连接的方式导致出现新的应用需求时,只能为新 增的服务器单独配置存储设备,造成重复投资。 ◆资源利用率低,DAS方式的存储长期来看存储空间无法充分利用,存在浪费。不同 的应用服务器面对的存储数据量是不一致的,同时业务发展的状况也决定这存储数 据量的变化。因此,出现了部分应用对应的存储空间不够用,另一些却有大量的存 储空间闲置。 ◆可管理性差,DAS方式数据依然是分散的,不同的应用各有一套存储设备。管理分 散,无法集中。 异构化严重,DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备,设备之间异构化现象严重,导致维护成本据高不下。 1.3 SAN:存储区域网络 1.3.1 什么是SAN? SAN(Storage Aera Network )存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储构架,这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。

存储基础知识

存储的介质及其存储原理? 1.磁存储介质 磁存储介质主要分为磁带存储和磁盘存储。 (1)磁带存储 磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存,近年来由于采用了具有高纠错能力的编码技术和即写即读的通道技术,大大提高了磁带存储的可靠性和读写速度。磁带存储器则是以磁带为存储介质,由磁带机及其控制器组成的存储设备,是计算机的一种辅助存储器。磁带机由磁带传动机构和磁头等组成,能驱动磁带相对磁头运动,用磁头进行电磁转换,在磁带上顺序地记录或读出数据。磁带存储器是计算机外围设备之一。磁带存储器以顺序方式存取数据。存储数据的磁带可脱机保存和互换读出。磁带存储器也称为顺序存取存储器(SequentialAccessMemory,简称SAM)即磁带上的文件依次存放。磁带存储器存储容量很大,但查找速度慢,在微型计算机上一般用做后备存储装置,以便在硬盘发生故障时,恢复系统和数据。 根据读写磁带的工作原理可分为螺旋扫描技术、线性记录(数据流)技术、DLT技术以及比较先进的LTO技术: 螺旋扫描读写技术: 以螺旋扫描方式读写磁带上数据的磁带读写技术与录像机基本相似,磁带缠绕磁鼓的大部分,并水平低速前进,而磁鼓在磁带读写过程中反向高速旋转,安装在磁鼓表面的磁头在旋转过程中完成数据的

存取读写工作。其磁头在读写过程中与磁带保持15度倾角,磁道在磁带上以75度倾角平行排列。采用这种读写技术在同样磁带面积上可以获得更多的数据通道,充分利用了磁带的有效存储空间,因而拥有较高的数据存取密度。 线性记录读写技术: 以线性记录方式读写磁带上数据的磁带读写技术与录音机基本相同,平行于磁头的高速运动磁带掠过静止的磁头,进行数据记录或读出操作。这种技术可使驱动系统设计简单,读写速度较低,但由于数据在磁带上的记录轨迹与磁带两边平行,数据存储利用率较低。为了有效提高磁带的利用率和读写速度,人们研制出了多磁头平行读写方式,提高了磁带的记录密度和传输速率,但驱动器的设计变得极为复杂,成本也随之增加。 数字线性磁带技术: DLT是一种先进的存储技术标准,包括1/2英寸磁带、线性记录方式、专利磁带导入装置和特殊磁带盒等关键技术。利用DLT技术的磁带机,在带长为1828英尺、带宽为1/2英寸的磁带上具有128个磁道,使单磁带未压缩容量可高达20GB,压缩后容量可增加一倍。 线性开放式磁带技术: 这是由IBM、HP、Seagate三大存储设备制造公司共同支持的高新磁带处理技术,它可以极大地提高磁带备份数据量。LTO磁带可将磁带的容量提高到100GB,如果经过压缩可达到200GB。LTO技术不仅可以增加磁带的信道密度,还能在磁头和伺服结构方面进行全面改

计算机的技能高考基础知识(常考知识点记忆)

模块一:信息、数据及通信的基本概念 考点1:信息、数据的基本概念 1、数据:所有能够被计算机接受和处理的符号的集合都称为数据 2、信息:有意义的数据的内容。指数据经过加工处理后得到的有价值的知识。 3、信息的基本特征:载体依附性、人地性、时效性、共享性、传递性、客观性、可处理性、真伪性 考点2:通信的基本概念 1、信号是数据在传输过程中的具体物理表示形式。 2、信号分为模拟信号(连续信号)和数字信号,数据信号相对模拟信号,抗干扰强,可靠性高。 3、调制解调器可完成数字信息与模拟信号之间的转换。其中,调制是将数据信号转换为模拟信号;解调是将模拟信号转换为数字信号。 4、通信系统三个基本要素:信源、信道、信宿 考点3:计算机的发展、类型及其应用领域。 1、第一台计算机:ENIAC,美国,1946年宾夕法尼亚大学 2、计算机的发展过程 3、计算机主要特点:运算速度快、精确度高、具有记忆和逻辑判断能力 4、计算机的主要应用 1)科学计算:例如:气象预报、海湾战争中伊拉克导弹的监测 2)数据/信息处理:例如:高考招生中考生录取与统计工作,铁路、飞机客票的预定系统,银行系统 的业务管理 3)计算机控制 4)计算机辅助系统:例如:用CAI演示化学反应 5)人工智能:例如:代替人类到危险的环境中去工作 6)办公自动化系统中的应用:例如:Internet发email 常用缩写: CBE:计算机辅助教育 CAI:计算机辅助教学 CMI:计算机管理教学 CAD:计算机辅助设计 CAT:计算机辅助翻译 CAM:计算机辅助制造 CAE:计算机辅助工程 5、计算机的分类: 1)根据规模大小分类:巨型机、大型通用机、微型机、工作站、服务器 2)根据用途分类:通用计算机、专用计算机 3)根据计算机处理数据的类型:模拟计算机、数字计算机、数字与模拟计算机 6、计算机科学研究与应用 人工智能:研究如何让计算机来完成过去只有人才能做的智能的工作。 网格计算:专门针对复杂科学计算的新型计算模式。 中间件技术:是介于应用软件和操作系统之间的系统软件。 云计算:是分布式计算、网格计算、并行计算、网络存储及虚拟化计算机和网络技术发展融合的产物,

存储和相关基础知识.doc

存储和相关基础知识 范围:限opensystem 和windows 版本:Version 0.1 build 20060904 说在前面的几句话: 我工作的时间也不短了,但是还算是一个老菜鸟,所以我姑妄说之,您姑妄听之.另外,我也是想到哪儿写道哪儿,没什么章法,还望海涵. 有些新手总是在各式各样的概念里绕来绕去,弄的不亦乐乎。所以我就把我的一些理解写了下来,供您参考.我说的不局限于任何一种具体产品和厂家,也可能有些说法和某些厂家的说法不一样,但是我觉得应该算的上是本原的东西,有以不变应万变之功效,呵呵,见笑 1、关于HBA HBA的全称为Host Bus Adapter,即主机总线适配器。 a、总线适配器是个什么东西呢? 我们首先要了解一下主机的结构,一台计算机内部多半由两条总线串在起来(当然实际情况会有不同,这里只讨论常见的,简单的情况),一条总线叫系统总线,一条叫I/O总线。系统总线上接了CPU, MEmory, cache什么的,I/O总线上接的就是外围设备,现如今最常见的就是PCI总线了。这两条总线之间用桥接的芯片或者说电路连接起来。举个形象的例子,就好比一个城市里,有两条主干道,一条属于行政区,一条属于商业区,中间有个环岛,将两条主干道连接到了一起,系统总线就好比行政区里的主干道,而I/O总线就好比商业区的主干道。系统总线和I/O总线的带宽的单位都是以Gbyte来记,但是显而易见的是,行政区的主干道和商业区的主干道相比的话,前者肯定更“核心”,更宽,更顺畅,设计的要求也高。 我们知道,在向公仆部门要求服务的时候,是要有一些接口的部门和程序的,而桥接芯片的作用就是连接和协调两条总线的工作的。 虽然I/O总线的速度和系统总线的带宽相比要低很多,但是好歹也是以G来计量的,而我们知道外围设备的速度,往往只有几百兆,甚至几十k而己,怎么协调工作呢?好比卖煎饼果子摊子不能直接戳到城市主干道上,怎么办?好办,在主干道边上开个2000平米的小吃城, 把摊子都收进去好了。那么主机总线适配器的作用也就是这个,我们就是要把外设组织起来, 连接到I/O总线上去!HBA就是指Host和I/O BUS直接的一个适配器,也好比一个水管工常说的“双通”。 b、常见的HBA有哪些呢? 比如显卡,网卡,scsi卡,1394卡等等。我要拿出来说的就是FCHBA和ATA&IDE。我们通常说的什么Emulex 的LP9002,什么Qlogic 的QLA2340 都是FCHBA 卡,就是将Fibre Channel 的设备和10总线连接起来的适配器。ATA也是一种适配器技术,我们PC主板上的ATA接I I, 就是一个磁盘适配器的对外接口,要强调的就是,ATA说的是适配器技术,IDE是说得存储外设技术,比如我们可以说IDE硬盘,IDE光驱,说ATA接口,但是说IDE接口,ATA硬盘就不时那么合适了,虽然很多情况下,大家都习惯把他们混在一起说。 描述HBA的时候,有几个主要的规范要说一下 >一个承上,就是说,HBA和IOBUS怎么连,我们经常说的PCI接口卡,就是指这个HBA 卡是要插在PCI BUS ±的PCI slot上的,但是现在的计算机上,不仅仅只有PCI总线而己,大家碰到的时候留意。 >一个启下,就是说HBA要和外设怎么连,这样的规范就很多了。 >再说HBA本身,比如带宽,比如运行机制(protocol等),独立处理能力等等 Tips:有时候我们看到的一块卡,看到的实际是一个物理的卡,有的时候实际上是多个Adapter,好比一家机构,挂多个牌子,有的时候,一块卡有两条通道,好比一家公司,有两套人马。

存储基本知识及行业分析

存储基本知识及行业分析 1存储架构分析 目前存储市场上,根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400等服务器,开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储。 开放系统的外挂存储分为:DAS存储(Direct-Attached Storage)和NAS存储(Network-Attached Storage)和存储区域网络(Storage Area Network)。 1.1DAS存储 DAS存储已经有数十年的使用历史,随着用户数据的不断增长,其在数据读写、扩展、备份等方面的问题变得日益困扰系统管理员。 DAS存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据读写等任何操作都要占用服务器主机资源(包括CPU、系统IO等)。DAS存储的数据量越大,对服务器硬件的依赖性和影响就越大。 DAS存储与服务器主机之间的连接通道通常采用SCSI或者USB、1394等连接,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI

通道将会成为IO瓶颈;同时服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。 DAS存储的共享性和扩展性很差。每个服务器直连的JBOD只能供其独自使用。任何形式的扩展都会造成业务系统的停机,对于7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。 1.2NAS存储 网络附加存储(Network-Attached Storage,)采用网络(TCP/IP、ATM、FDDI)技术,通过网络交换机连接存储系统和服务器主机,存储设备作为网络标准件连入局域网中,本身具有文件系统,直接为服务器提供文件级存储服务。 由于NAS存储采用IT业界标准协议TCP/IP进行数据交换,不同厂商的产品(服务器、交换机、NAS存储)只要满足协议标准就能够实现互连互通,无兼容性的要求。NAS存储特点: 首先,NAS存储可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的桎梏; 其次,在企业数据量飞速膨胀中,NAS存储在解决足够的存储和扩展空间的同时,还提供极高的性价比。因此,无论是从适用性还是TCO的角度来说,NAS自然成为多数企业,尤其是大中小企业的最佳选择; 1.3SAN存储 存储局域网络SAN是目前最为先进的海量数据存储架构,是建立在服务器集群和存储设备之间的网络,给服务器集群提供集中式的共享的存储空间,便于管理。SAN存储模式中,磁盘阵列只提供块级裸盘存储空间,文件系统分部在各个应用服务器上,这是SAN和NAS的最本质区别。

信息技术基础知识

第一章信息技术基础知识 1.1 重点知识 一、信息与信息技术 (一)信息技术及其主要特征 1.有关信息的定义和解释 几种影响较大的对信息的定义和解释: (1)信息是可以减少或消除不确定性的容。 (2)信息是控制系统进行调节活动时,与外界相互作用、相互交换的容。 (3)信息是事物运动的状态和状态变化的方式。 从系统科学角度看,信息是物质系统中事物的存在方式或运动状态,以及对这种方式或状态的直接或间接的表述。通俗地说:信息是人们对客观存在的一切事物的反映,是通过物质载体所发出的消息、情报、指令、数据、信号中所包含的一切可传递和交换的知识容。 2. 信息的主要特征 社会性、传载性、不灭性、共享性、时效性、能动性。 3. 信息的分类 对信息进行分类的常见的8 种方法:容上、存在形式上、状态上、外化结果上、符号上、信息流通方式上、信息论方法上、价值观念上。 (二)信息在现代社会中的作用 简要掌握信息在现代中的 5 点作用:认知作用、管理作用、控制作用、交流作用、娱乐作用。 (三)信息技术 1.信息技术的概念 信息技术就是能够提高或扩展人类信息能力的方法和手段的总称。这些方法和手段主要是指完成信息产生、获取、检索、识别、变换、处理、控制、分析、显示及利用的技术。 2. 信息技术的三个发展时期 ⑴以人工为主要特征的古代信息技术;⑵以电信为主要特征的近代信息技术;⑶以网络为主要特征的现代信息技术。 3.信息技术的体系信息技术是一个由若干单元技术相互联系而构成的整体,又是一个多 层次、多侧面的复 杂技术体系。信息技术大致可归纳为以下三个相互区别又相互关联的层次。 ⑴主体层次:是信息技术的核心部分。①信息存储技术;②信息处理技术;③信息传输技术; ④信息控制技术。 ⑵应用层次:是信息技术的延伸部分。 ⑶外围层次:是信息技术产生和发展的基础。 4.信息技术的特点

集群存储备份基础知识考试题(答案)教学文案

集群、存储备份基础知识测试题 测试人:得分: 一、选择题(每题2分,共20道题,单选和多选) 1.不具备扩展性的存储架构有( A ); A.DAS B. NAS C. SAN D.IP SAN 2.SAN架构基本组成要素包括( ABCE ); A.服务器 B.后端存储系统 C.交换机 D.SAN控制软件 E.HBA卡 3.IP SAN由( ABD )组成; A.设备整合,多台服务器可以通过存储网络同时访问后端存储系统,不必为每台服务器单独购买存储设备,降低存储设备异构化程度,减轻维护工作量,降低维护费用; B.数据集中,不同应用和服务器的数据实现了物理上的集中,空间调整和数据复制等工作可以在一台设备上完成,大大提高了存储资源利用率; C.兼容性好,FC协议经过长期发展,已经形成大规模产品化,而且厂商之间均遵循统一的标准,以使目前FC SAN成为了主流的存储架构; D.高扩展性,存储网络架构使得服务器可以方便的接入现有SAN环境,较好的适应应用变化的需求; 4.以下哪些是IP SAN的优点:(ABCDE ) A.实现弹性扩展的存储网络,能自适应应用的改变。 B.已经验证的传输设备保证运行的可靠性 C.以太网从1G向10G及更高速过渡,只需通过简单的升级便可得到极大的性能提升,并保护投资 D.大量熟悉的网络技术和管理的人才减少培训和人力成本 E.IP跨长距离扩展能力,轻松实现远程数据复制和灾难恢复 5.哪类存储系统有自己的文件系统:(B ) A.DAS B. NAS C.SAN 6.iSCSI继承了两大最传统技术:( AC ) A.SCSI协议 B.IP SAN协议 C.TCP/IP协议 D.FC协议 7.8个300G的硬盘做RAID 5后的容量空间为( C ) A. 1200G B. 1.8T C. 2.1T D.2400G 8.8个300G的硬盘做RAID 1后的容量空间为( A ) A. 1200G B. 1.8T C. 2.1T D.2400G 9.磁盘空间利用率最大的RAID技术是( A )

计算机专业基础知识.doc

第1章计算机基础知识 1.1 计算机与信息社会 电子计算机是20 世纪人类最伟大的发明之一,随着计算机科学的发展与应用的普及, 计算机已经融入人们的生活,成为人们日常生活、工作、学习中不可缺少的一个基本工具。“21 世纪是以计算机为基础的信息时代”,掌握以计算机为核心的信息技术基础知识和 应用能力是现代大学生必备的基本素质。 1.1.1 计算机的发展 一般认为,世界上第一台数字式电子计算机诞生于1946 年2 月,它是由美国宾夕法尼 亚大学物理学家莫克利(J.Mauchly)和工程师埃克特(J.P.Eckert)等人共同开发的电子数值积分 计算机(Electronic Numerical Integrator And Calculator,简称ENIAC)。 ENIAC 体积非常庞大,其占地面积为170 平方米,总重量达30 吨,如图1-1 所示。机 器中约有18 800 只电子管、1 500 个继电器、70 000 只电阻以及其他各种电气元件,每小时 耗电量约为140 千瓦。这样一台“巨大”的计算机每秒钟可以进行5 000 次加减运算,相当 于手工计算的20 万倍、机电式计算机的1000 倍。这台计算机的功能虽然无法与今天的计 算 机相比,但它的诞生却是科学技术发展史上一次意义重大的事件,展现出新技术革命的曙光。图1-1 ENIAC(电子数值积分计算机) ENIAC 虽是第一台正式投入运行的电子计算机,但它却并不具备现代计算机“存储程序” ?2 ?大学计算机基础 的思想。由于其结构设计不够弹性化,导致对它的每一次再编程都意味着电气物理线路的再连接。ENIAC 的开发小组针对其缺陷又进一步完善了设计。1946 年6 月,冯·诺依曼博 士 发表了“电子计算机装置逻辑结构初探”论文,并设计出第一台“存储程序”的离散变量自动电子计算机(The Electronic Discrete Variable Automatic Computer,简称EDVAC),于1952

iSCSI技术基础知识汇总

iSCSI基础技术知识

目录 前言 1 第一章iSCSI技术背景介绍 2 第二章iSCSI技术的应用 3 第三章iSCSI产品的组成8第四章iSCSI技术及其安全性9 第五章iSCSI与各类型存储方案的综合评比14第六章iSCSI与IP存储技术16 第七章问与答22

前言 iSCSI技术发展及未来展望 企业存储技术发展日新月异,早期大型服务器的DAS技术(Direct Attached Storage,直接附加存储,又称直连存储),后来为了提高存储空间的利用及管理安装上的效率,因而有了SAN(Storage Area Network,存储局域网络)技术的诞生,SAN可说是DAS网络化发展趋势下的产物。早先的SAN采用的是光纤通道(FC,Fiber Channel)技术,所以在iSCSI 出现以前,SAN多半单指FC而言。一直到iSCSI问世,为了方便区别,业界才分别以FC-SAN 及iSCSI-SAN的称呼加以分辨。 紧接着,为了能在多用户网络环境中,做好档案集中化分享管理的工作,采用全然不同于以往的文件协议(File Protocol)数据存取方式的NAS(Network Attached Storage;网络附加存储)方案也应运而生。它的出现,为以太网络的成熟及重要,做了最佳脚注。 日益发展及成熟的因特网,更进一步成为了IP存储方案成长壮大的最佳腹地及平台,现成的架构、协议、标准、基础设施及管理工具,莫不吸引着寻求最佳存储方案者的目光。此背景,加上FC-SAN高不可攀的成本及管理门坎的障碍,另一存储成员iSCSI(Internet SCSI)也来报到了。iSCSI的出现,标志着低价化SAN方案的问世。 从IP SAN到iSCSI SAN 所谓iSCSI亦即通过IP网络,将SCSI区块数据转换成网络封包的一种传输标准,它和NAS一样通过IP网络来传输数据,但在数据存取方式上,则采用与NAS不同的,而与FC-SAN相同的Block Protocol协议。iSCSI最早是由IBM和Cisco于2001年制定的。 事实上,为了解决FC-SAN在价格及管理上的诸多门坎,各家早有不同协议的IP SAN 的研究开发。这些IP SAN的架构,其实与iSCSI大同小异,只不过并非走标准化的协议(事实上,在iSCSI标准化之前,也没有什么标准不标准的问题),而是各家自行研发的协议,所以基本上各家IP SAN是不兼容的。 两大推波助澜的关键促因 在iSCSI尚未标准化之前,只有少数厂商投入IP SAN的开发,因为每一家厂商皆开发专属封闭协议的解决方案,所以这些方案之间无法完全兼容。在当时的市场上,由于发展iSCSI的厂商很少,所以支持的平台及软硬件等基础设施相当贫乏,这可说是iSCSI发展之初的最大阻碍及瓶颈。 但接下来的两大事件,却被视为促进iSCSI发展与成熟的关键因素,那就是iSCSI标准的正式通过,以及微软的正式支持。 SNIA(存储网络产业协会;The Storage Networking Industry Associate)于2003年2月正式制定通过了iSCSI标准。业界莫将此标准化视为iSCSI发展历程中的最关键因素,自此开始,有愈来愈多的厂商开始进一步开发合乎业界标准的相关产品。 在iSCSI的发展过程中,除了正式标准化具有重大意义外,微软紧接着在2003年5月宣布在WinServer 2003 中,正式支持iSCSI技术,并提供iSCSI Initiator驱动程序的下载。微软这项作法,带动了整个iSCSI业界的发展。 iSCSI之所以被看好,首先它根植于IP网络上,所以可以采用现有已经非常成熟的管理工具及基础建设,可为企业节省大笔建设、管理的成本。更重要的是,IP的人才资源非常充沛。此外,iSCSI在数据传输距离上,几乎没有限制的优点,更吸引无数企业的目光。 10G以太网会是iSCSI技术成长的基石 对于iSCSI的未来发展,诸多厂商都认为SAN与NAS的整合会是一大趋势。此外随着10G Ethernet的到来,iSCSI的理论带宽将会攀升到10Gb的极速,那么即使未来FC提升到4Gb,速度上也仍然不是iSCSI的对手。

存储基础知识

本文简要介绍了存储领域的若干重要术语,旨在帮助大家能更好地了解、学习存储这一领域。限于作者个人水平、精力有限,如有不当之处敬请多多包涵。 1. DAS (Direct-attached Storage) 直连式存储,顾名思义这是一种通过总线适配器直接将硬盘等存储介质连接到主机上的存储方式,在存储设备和主机之间没有任何网络设备的参与,此概念主要用于区别NAS和SAN等网络存储。可以说DAS 是最原始最基本的存储方式,在个人电脑、服务器上随处可见。常见的用于连接DAS和主机系统的协议/标准主要有ATA、SATA、eSATA、SCSI、SAS和FibreChannel等。DAS的优势在于简单易用、读写效率高等;缺点在于容量有限、难于共享,从而造成―信息孤岛‖(Islandsof Information)。 2. RAID (Redundant Array of Independent/InexpensiveDisks) 独立磁盘冗余阵列,是一种将多块独立的硬盘(物理硬盘)按不同的组合方式形成一个硬盘组(逻辑硬盘),从而提供比单块硬盘更大的存储容量、更高的可靠性和更快的读写性能等。该概念最早由加州大学伯克利分校的几名教授于1987年提出。早期主要通过RAID控制器等硬件来实现RAID磁盘阵列,后来出现了基于软件实现的RAID,比如mdadm等。按照磁盘阵列的不同组合方式,可以将RAID分为不同级别,包括RAID0到RAID6等7个基本级别,以及RAID0+1和RAID10等扩展级别。不同RAID级别代表着不同的存储性能、数据安全性和存储成本等。下面我们将分别介绍这几种RAID级别。 RAID 0:简单地说,RAID0主要通过将多块硬盘―串联‖起来,从而形成一个更大容量的逻辑硬盘。R AID0通过―条带化(striping)‖将数据分成不同的数据块,并依次将这些数据块写到不同的硬盘上。因为数据分布在不同的硬盘上,所以数据吞吐量得到大大提升。但是,很容易看出RAID0没有任何数据冗余,因此其可靠性不高。

linux 与存储相关基本知识要点

如果想要进行多次移动的话,例如向下移动30行,可以使用“30j”或“30↓”的组合键,即加上想要进 行的次数(数字)后,操作即可

u与[Ctrl]+r是很常用的命令。一个是复原,另一个则是重做一次。利用这两个功能按键,编辑起 来就得心应手。

使用上面这些按键时,在vi画面的左下角处会出现“--INSERT--”或“--REPLACE--”的字样。通过名称就知道是什么操作。特别注意,上面也提过了,想在文件中输入字符时,一定要在左下角处看到 INSERT/REPLACE才能输入。 注意一下,那个感叹号(!)在vi当中,常常具有“强制”的意思。

JBOD:简单磁盘捆绑 , 通常又称Span 。 HBA:主机总线适配器, HBA的常规定义:就是连接主机I/O总线和计算机内存系统的I/O适配器.按照这个定义,像显卡就是连接视频总线和内存,网卡就是连接网络总线和内存,SCSI-FC卡就是连接SCSI或者FC总线和内存的,它们都应该算是HBA,大家常说的光纤网卡指的就是光纤通道网络里的HBA卡. 高性能的SAN系统是需要在服务器上安装一块专门负责解包工作以减轻处理器负担的网卡,这种网卡大家就叫它HBA 互联网小型计算机接口(iSCSI)、IP上的光纤通道 (FCIP)和互联网上的光线通道 (IFCP) 轻量级的路径访问协议Lightweight Directory Access Protocol (LDAP)、远程认证拨入用户服务(RADIUS), 增强的终端访问控制器访问控制系统(TACACS+)、Kerberos、 Triple DES、高级加密标准(AES)、安全套接层 (SSL)和安全Shell(SSH)。 Virtual Tape Library ,VTL: 虚拟磁带库 logical unit number,lun: 逻辑单元号 lun masking,lun mapping 我们有了独立的磁盘阵列用了之后,服务器只要看到存储的控制系统,就有可能使用磁盘阵列的磁盘资源,但是磁盘阵列不可能只为某一个服务器来使用,所以他必须管制主机使用某部分磁盘资源。这个管制分为两个部分:一部分就是lun mapping,类似于绿色通道,就是保证服务器能看到某部分存储资源,一部分就是lun masking,类似于警戒线,就是保证服务器只可访问给它分配的存储资源,而没分配给服务器的资源,就不要染指了。 实现lun masking和lun mapping有三种方法:一个是基于存储控制系统来设置,一个是基于存储交换系统来设置,一个是基于服务器os来设置。 基于存储控制系统得设置,是比较常见的设置,比如很多磁盘阵列的控制系统,本身就能设置lun被某服务器看到。比如FastT的partition功能。 基于存储交换系统的设置,也是一种常用的方法,比如常说的zoning。 基于服务器os的设置,比较少采用,一般采用安装某些操作系统上安装某些软件来实现,因为这个方法全靠服务器自觉,所以比较少用,呵呵。 挂载(mount)命令使用技巧 1.挂载光盘 挂载光盘的命令如下: # mount -t is09660 /dev/cdrom /mnt/cdrom 该命令将光盘挂载到/mnt/cdrom目录,使用“ls /mnt/cdrom”命令即可显示光盘中数据和

《存储技术基础》教学大纲(2008)

《存储技术基础》教学大纲 课程号: 04830550 新课号: 课程名称:存储技术基础(Storage Technology Foundation) 开课学期:秋季 开课教员:罗英伟、汪小林 周学时:2学时 学分:2学分 先修课程:操作系统、计算机网络 一、教学目的 ●了解现代信息管理的复杂度与需求 ●了解存储系统的基本结构 ●了解网络存储应用于不同环境的构架 ●了解应对业务连续性需求的存储技术解决方案 ●了解数据中心的监测、管理的原理、方法与实现 ●了解虚拟化技术在存储和计算系统方面的现状及发展 二、主要内容 现代信息管理面临信息量大、管理成本居高不下等诸多挑战。本课程从信息管理的复杂性与现实需求出发,介绍了满足现代信息管理需求的存储技术基础知识,从而使同学们对存储有一个全面的了解。课程介绍了存储系统的构成和基本原理,并在此基础上介绍了几种不同的网络存储构架以及不同的应用环境。从需求出发,本课程还介绍了业务连续性对企业的重要价值与实现形式。最后,本课程介绍了数据中心的监测、管理的原理、方法与实现。通过本课程的学习,同学们能够对存储技术有一个全面的了解,这不仅有利于同学们在存储技术领域的发展,同时,对于同学们将来在企业、政府机关中所进行信息管理的规划、决策等方面的工作也颇有助益。 另一方面,虚拟化技术正成为全球的热点话题,本课程也将介绍系统级虚拟化的原理、方法及应用,同时还将介绍虚拟化技术最新的进展,以及它如何改善现代计算系统的可靠性、可管理性、有效性以及安全性。 本课程是我们与EMC公司和VMWare公司共同建设的,两个在业界领先的公司也将为本课程提供先进的软硬件产品,为本课程构建一个良好的实践环境。同时,本课程还会邀请两个公司的高级技术人员为同学们举行实际应用案例讲座。

存储的基础知识

存储基础知识 一、存储相关基础知识 1、RAID与JBOD是什么? RAID(独立磁盘冗余阵列)是一种磁盘集群技术。用户可以自 定义数据的保存方式,可以采用数据镜像(在不同磁盘上保存数据 拷贝)、条带集(数据交叉保存在多个磁盘上)、还有奇偶校验保 护(记录额外的数据以识别错误),这些技术可以根据用户对性能 和可靠性的要求单独或联合使用。 JBOD(磁盘组)是与RAID相似的一种标准,也是一组磁盘通过 一个接口连接到服务器,但与RAID不同,JBOD不提供镜像、数据 条带集和奇偶验证等功能,这些功能通常由主机上的软件来实现。JBOD是一种最简单廉价的“裸存储”设备。独立的磁盘保存在一个 机箱之中,允许不同的服务器分组访问。一般也不提供缓存和控制器。JBOD的扩展空间有限。 2、了解逻辑驱动器与物理驱动器间的关系 3、RAID 0、1、3、5、10、30、50、NRAID、JBOD ①RAID 0:称为带区级。它将两个以上的磁盘并列起来成为一个大 容量的磁盘。在存放数据时,分段后分散存储在这些磁盘中,因为 读写时都可以并行处理,所以在所有的级别中,RAID 0的速度是最 快的。但是RAID 0既没有冗余功能(指重复配置系统的一些部分, 当系统发生故障时,冗余配置的部件介入并承担故障部件的工作, 由此减少系统的故障时间。即通过多重备份来增加系统的可靠性),

也不具备容错能力(容错就是当由于种种原因在系统中出现了数据、文件损坏或丢失时,系统能够自动将这些损坏或对事的文件和数据 恢复到发生事故以前的状态,使系统能够连续正常运行的一种技术),如果一个磁盘(物理)损坏,所有数据都会丢失,危险程度 与JBOD相当。 ②RAID 1:两组以上的N个磁盘相互作镜像,在一些多线程操作系 统中能有很好的读写速度,理论上读取速度等于硬盘数量的倍数, 另外写入速度有微小的降低。只要一个磁盘正常即可维持运作,可 靠性最高。RAID 1就是镜像,其原理为在主硬盘上存放数据的同时 也在镜像硬盘上写一样的数据。当主硬盘(物理)损坏时镜像硬盘 则代替主硬盘的工作。因为有镜像硬盘做数据备份,所以RAID 1的 数据安全性在所有的RAID级别上来说是最好的。但无论用多少磁盘 做RAID 1,仅算一个磁盘的容量,是所有RAID中磁盘利用率最低 的一个级别。

存储器知识点小结

CPU工作的实质即为不断从内存中取指令并执行指令的过程。 一、8086CPU构成 CPU的工作:取指令和执行指令 1.CPU内部两大功能部件:总线接口部件BIU和执行部件EU(2部件并行工作提高了CPU的工作效率) 重点:理解2个独立功能部件的分工和协同配合关系。 理解BIU内地址加法器的作用,理解指令队列的作用。 2.掌握CPU内部寄存器的作用 包括:通用寄存器AX,BX,CX,DX,BP,SP,SI,DI 段寄存器CS,DS,SS,ES 指令指针寄存器IP 标志寄存器FLAG 二、存储器的基础知识 1.物理地址 8086的存储器是以字节(即每个单元存放8位二进制数)为单位组织的。8086CPU具有20条地址总线,所以可访问的存储器地址空间容量为220即1M字节(表示为1MB)。每个单元对应一个唯一的20位地址,对于1MB存储器,其地址范围用16进制表示为00000H~0FFFFFH,如图1所示。

地址低端 地址高端 图1 1MB存储器地址表示 物理地址:存储器的每个单元都有一个唯一的20位地址,将其称为物理地址。 2.字节地址与字地址 存储器内两个连续的字节,定义为一个字,一个字中的每个字节,都有一个字节地址,每个字的低字节(低8位)存放在低地址中,高字节(高8位)存放在高地址中。字的地址指低字节的地址。各位的编号方法是最低位为位0,一个字节中,最高位编号为位7;一个字中最高位的编号为位15。 字数据在存储器中存放的格式如图2所示。 地址低端 地址高端

图2 字数据在存储器中的存放 3.单元地址与内容 内容 单元地址 图3 如图3,地址是00100H 的字节单元的内容为27H,表示为(00100H)= 27H。 图3中字数据3427H存放在地址是00100H和00101H的两个字节单元中,其中低字节27H在低地址的字节单元00100H中,高字节34H在高地址的字节单元00101H中,字数据3427H的地址是低地址00100H。地址是00100H的字单元的内容为3427H,表示为(00100H)= 3427H 可见一个地址既可作字节单元的地址,又可作字单元的地址,视使用情况而定。 总结: 字节单元:(00100H)=27H 字单元:(00100H)=3427H 设寄存器DS=0000H, 用MOV指令访问字节单元:MOV AL,[0100H] 用MOV指令访问字单元: MOV AX,[0100H] 三、存储器的分段 1.为什么要分段

存储基础知识SATA、SCSI、SAS硬盘接口区分

存储基础知识SATA、SCSI、SAS硬盘接口区分(图) 现在服务器上采用的硬盘接口技术主要有两种,SATA和SCSI,使用SAS 硬盘的产品目前也已经上市,当然还有高端的光纤硬盘,其中前两种是最常见的。下面我们就SATA、SCSI、SAS等接口技术作简单介绍。 SATA SATA(Serial Advanced Technology Attachment)是串行ATA的缩写,目前能够见到的有SATA-1和SATA-2两种标准,对应的传输速度分别是150MB/s和300MB /s。SATA主要用于已经取代遇到瓶颈的PATA接口技术。从速度这一点上,SATA在传输方式上SATA也比PATA先进,已经远远把PATA硬盘甩到了后面。其次,从数据传输角度来看,SATA比PATA抗干扰能力更强。 SATA-1目前已经得到广泛应用,其最大数据传输率为150MBps,信号线最长1米。SATA一般采用点对点的连接方式,即一头连接主板上的SATA接口,另一头直接连硬盘,没有其他设备可以共享这条数据线,而并行ATA允许这种情况(每条数据线可以连接1-2个设备),因此也就无需像并行ATA硬盘那样设置主盘和从盘。 另外,SATA所具备的热插拨功能是PATA所不能比的,利用这一功能可以更加方便的组建磁盘阵列。串口的数据线由于只采用了四针结构,因此相比较起并口安装起来更加便捷,更有利于缩减机箱内的线缆,有利散热。

SCSI SCSI(Small Computer System Interface)是一种专门为小型计算机系统设计的存储单元接口模式,可以对计算机中的多个设备进行动态分工操作,对于系统同时要求的多个任务可以灵活机动的适当分配,动态完成。 SCSI规范发展到今天,已经是第六代技术了,从刚创建时候的SCSI(8bit)、Wide SCSI(8bit)、Ultra Wide SCSI(8bit/16bit)、Ultra Wide SCSI 2(16bit)、Ultra 160 SCSI(16bit)到今天的Ultra 320 SCSI,速度从1.2MB/s到现在的320MB/s 有了质的飞跃。目前的主流SCSI硬盘都采用了Ultra 320 SCSI接口,能提供320MB/s的接口传输速度。

存储知识简介

存储技术简介

目录 一、存储简介及存储方式 (3) 1、简介 (3) 2、三种常见存储方式 DAS、NAS和SAN (3) 2.1DAS (3) 2.2NAS (4) 2.3SAN (6) 3、DAS、NAS和SAN三种存储方式比较 (7) 3.1连接方式对比 (7) 3.2应用场景对比 (8) 4、存储常见品牌 (8) 5、常用介质 (8) 二、磁盘阵列及RAID技术详解 (9) 1、磁盘阵列 (9) 1.1 定义 (9) 1.2 分类 (9) 1.3 原理 (9) 2、RAID技术详解 (10) 2.1 简介 (10) 2.2 RIAD等级分类 (11) 2.2.1 RIAD 0 (11) 2.2.2 RIAD 1 (13) 2.2.3 RIAD 10 (15) 2.2.4 RIAD 2 (17) 2.2.5 RIAD 3 (17) 2.2.6 RIAD 4 (18) 2.2.7 RIAD 5 (19) 2.3 RIAD各级别优缺点 (20) 2.4硬RAID与软RAID (20)

一、存储简介及存储方式 1、简介 存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问,总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。 2、三种常见存储方式 DAS、NAS和SAN 2.1DAS DAS(Direct Access Storage—直接连接存储)是指将存储设备通过SCSI 接口或光纤通道直接连接到一台计算机上。DAS这种存储方式与我们普通的PC 存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分。 DAS存储方式主要适用以下环境 (1)小型网络 因为网络规模较小,数据存储量小,而且也不是很复杂,采用这种存储方式对服务器的影响不会很大。并且这种存储方式也十分经济,适合拥有小型网络的企业用户。 (2)地理位置分散的网络

相关主题
文本预览
相关文档 最新文档