SAN、NAS、SCSI、iSCSI等存储基础知识
- 格式:docx
- 大小:1.08 MB
- 文档页数:8
存储系列之DAS、SAN、NAS三种常见架构概述随着主机、磁盘、⽹络等技术的发展,对于承载⼤量数据存储的服务器来说,服务器内置存储空间,或者说内置磁盘往往不⾜以满⾜存储需要。
因此,在内置存储之外,服务器需要采⽤外置存储的⽅式扩展存储空间,今天在这⾥我们分析⼀下当前主流的存储架构。
⼀、DASDirect Attached Storage,直接连接存储(直连式存储),最常见的⼀种存储⽅式。
意思是存储设备只与⼀台主机服务器连接,如PC中的磁盘或只有⼀个外部SCSI接⼝的JBOD(Just a Band of Disks可以简单理解成磁盘箱)都属于DAS架构。
存储设备与服务器主机之间的通常采⽤SCSI总线连接。
特点:简单、集中、易⽤,主要在中⼩企业应⽤中。
⼆、SAN1、SANStorage Area Network,存储区域⽹络。
SAN的兴起源于上个世纪80年代FC协议的出现,FC是Fibre Channel的缩写,⽹状通道的意思。
前⾯我们已经得知DAS是通过SCSI接⼝总线,⽽SCSI接⼝有16个节点的限制,不可能接⼊很多的磁盘。
SCSI并⾏总线结构,传输距离短,是⼀种宽⽽短的电缆结构。
⽽细长的串⾏的FC是⼀种可寻址容量⼤、稳定性强、速度快(1Gbps~8Gbps,现在成熟的技术已经达到上百G)、传输距离远的⽹络结构,所以最终替代了SCSI接⼝和总线,但是SCSI协议或者说SCSI语⾔仍然载于FC进⾏传输。
⽽且FC不仅替代了磁盘阵列前端接⼝,也替代了后端接⼝,从⽽使磁盘阵列真正处于⽹络之中。
到后来,2001年⼜提出了SAS传输⽹络,Serial Attached SCSI,串⾏SCSI,所以FC协议也属于串⾏SCSI。
所以SAS和FC协议⼀样跨越OSI七个层次。
紧接着出现了SAS盘,SAS盘接⼝和SATA盘接⼝是相同的,SAS协议通过STP(SATA Tuneling Protocol)来兼容SATA协议。
一、直接附加存储(DAS)DAS(Direct Attached Storage—直接附加存储)是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。
一个SCSI环路或称为SCSI通道可以挂载最多16台设备,FC可以在仲裁环的方式下支持126个设备。
DAS方式实现了机内存储到存储子系统的跨越,但是缺点依然有很多:1、扩展性差,服务器与存储设备直接连接的方式导致出现新的应用需求时,只能为新增的服务器单独配置存储设备,造成重复投资。
2、资源利用率低,DAS方式的存储长期来看存储空间无法充分利用,存在浪费。
不同的应用服务器面对的存储数据量是不一致的,同时业务发展的状况也决定这存储数据量的变化。
因此,出现了部分应用对应的存储空间不够用,另一些却有大量的存储空间闲置。
3、可管理性差,DAS方式数据依然是分散的,不同的应用各有一套存储设备。
管理分散,无法集中。
4、异构化严重,DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备,设备之间异构化现象严重,导致维护成本据高不下。
博客温国:DAS,直接连接服务器,每台服务器连接一个存储设备,浪费资源,管理分散,异构化严重。
二、存储区域网络(SAN)SAN(Storage Aera Network )存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储构架,这个网络专用于主机和存储设备之间的访问。
当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。
SAN 的发展历程较短,从90年代后期兴起,由于当时以太网的带宽有限,而FC协议在当时就可以支持1Gb的带宽,因此早期的SAN存储系统多数由FC存储设备构成,导致很多用户误以为SAN就是光纤通道设备,其实SAN代表的是一种专用于存储的网络架构,与协议和设备类型无关,随着千兆以太网的普及和万兆以太网的实现,人们对于SAN的理解将更为全面。
SAN的组成:SAN由服务器、后端存储系统、SAN连接设备。
DAS、SAN和NAS三种存储方式存储的分类,根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,开放系统指基于Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储;外挂存储根据连接的方式分为:直连式存储(Direct-Attached Storage,简称DAS)和网络化存储(Fabric-Attached Storage,简称FAS);网络化存储根据传输协议又分为:网络接入存储(Network-Attached Storage,简称NAS)和存储区域网络(Storage Area Network,简称SAN)。
大致如图所示:DAS(直连式存储)存储DAS存储在我们生活中是非常常见的,尤其是在中小企业应用中,DAS是最主要的应用模式,存储系统被直连到应用的服务器中,在中小企业中,许多的数据应用是必须安装在直连的DAS存储器上。
DAS存储更多的依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。
直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
直连式存储与服务器主机之间的连接通道通常采用SCSI连接,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO 瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。
无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。
存储基础知识DAS、SAN、NAS详解说明目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400等服务器,开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储;开放系统的外挂存储根据连接的方式分为:直连式存储(Direct-Attached Storage,简称DAS)和网络化存储(F abric-Attached Storage,简称FAS);开放系统的网络化存储根据传输协议又分为:网络接入存储(Network-Attached Storage,简称NAS)和存储区域网络(Storage Area Netw ork,简称SAN)。
由于目前绝大部分用户采用的是开放系统,其外挂存储占有目前磁盘存储市场的70%以上,因此本文主要针对开放系统的外挂存储进行论述说明。
表一:存储入门:图文阐释DAS、NAS、SAN(图一)今天的存储解决方案主要为:直连式存储(DAS)、存储区域网络(SAN)、网络接入存储(NAS)。
如下表二:存储入门:图文阐释DAS、NAS、SAN(图二)开放系统的直连式存储(Direct-Attached Storage,简称DAS)已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
主要问题和不足为:直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。
直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
iSCSI存储系统知识⼀、概述 SCSI 即⼩型计算机系统接⼝(Small Computer System Interface;简写:SCSI),⼀种⽤于计算机和外部设备之间(硬盘、光驱、软驱、打印机等)系统级接⼝的独⽴处理器标准。
SCSI是⼀种智能的通⽤接⼝标准,它是各种计算机和外部设备之间的接⼝标准。
iSCSI是由Cisco和IBM发起的,它将SCSI命令封装在TCP/IP包⾥,并使⽤⼀个iSCSI帧头。
它基于IP协议栈,假设以不可靠的⽹络为基础,依靠TCP恢复丢失的数据包。
背景: 相⽐直连存储,⽹络存储解决⽅案能够更加有效地共享,整合和管理资源。
从服务器为中⼼的存储转向⽹络存储,⼀直依赖于数据传输技术的发展,速度要求与直连存储相当,甚⾄更⾼,同事需要克服并⾏SCSI固有的局限性。
所有数据在没有⽂件系统格式化的情况下,都以块的形式存储于磁盘上。
并⾏SCSI将数据以块的形式传送⾄存储,但是,对于⽹络它的⽤处相当有限,因为线缆不能超过25m,⽽且最多连接16个设备; 光纤通道(FC,Fiber Channel,跑FC协议)是⽬前SAN的主导,它在专门的⾼速⽹络上分离存储资源。
光纤通道协议与互联技术起源于满⾜⾼性能传送块数据的需求,同时克服直连存储的连接和距离限制。
通常光纤通道设备连接距离可达到10000⽶,甚⾄数⼗万⽶,并且对于连接在SAN之上的设备没有数量要求。
与SAN不同,NAS将数据以⽂件的形式传输并且可以直接连接⾄IP⽹络。
部署NAS设备传送块数据,使⽤基于SCSI的光纤通道协议,⽐Server Message Block(SMB)协议更加⾼效。
⼆、什么是iSCSI: iSCSI是⼀种使⽤TCP/IP协议,在现有IP⽹络上传输SCSI块命令的⼯业标准,它是⼀种在现有的IP⽹络上⽆需安装单独的光纤⽹络即可同时传输消息和块数据的突破性技术。
iSCSI基于应⽤⾮常⼴泛的TCP/IP协议,将SCSI命令/数据块封装为iSCSI包,再封装⾄TCP 报⽂,然后封装到IP 报⽂中。
hcie存储知识汇总笔记
HCIE(Huawei Certified ICT Expert)是华为认证体系中的最高级别,涵
盖了多个技术领域,其中存储技术是其中的重要组成部分。
以下是一些关于HCIE存储知识的重要笔记:
1. 存储基础知识:了解存储技术的分类、特点和应用场景,如直接附加存储(DAS)、网络附加存储(NAS)、存储区域网络(SAN)等。
2. 存储协议和技术:熟悉常用的存储协议和技术,如SCSI、iSCSI、NFS、CIFS等,以及它们在存储系统中的作用和实现方式。
3. 存储设备:掌握不同类型的存储设备及其特点,如硬盘、固态硬盘(SSD)、磁带库等,以及它们在存储系统中的应用和选型原则。
4. 存储架构和设计:了解常见的存储架构和设计方式,如RAID、LUN、Tiering等,以及它们在提高存储系统性能、可靠性和扩展性方面的作用。
5. 存储管理:熟悉存储系统的管理和维护,包括存储设备的初始化、配置和管理,以及数据的备份、恢复和迁移等操作。
6. 分布式存储系统:了解分布式存储系统的基本原理和实现方式,如Ceph、HDFS等,以及它们在大数据、云计算等领域的应用和优势。
7. 存储安全:熟悉存储系统的安全技术和措施,如加密、认证、访问控制等,以及它们在保护数据安全方面的作用。
8. 存储发展趋势:了解存储技术的发展趋势和未来发展方向,如全闪存存储、软件定义存储、云存储等,以及它们在数字化时代的重要性和应用前景。
以上是HCIE存储知识的重要内容,需要深入学习和理解。
同时,还需要结合实际项目和实践经验,不断提高自己的技能和能力。
SNA,NAS, DAS基础知识与区别联系存储的分类根据服务器类型分为:封闭系统的存储和开放系统的存储SAN:存储区域网络(Storage Area Network)SAN连接又分ISCSI(网口)SAS(SAS口)以及FC(光纤口)连接注:这种连接需要单独的存储产品。
可以通过交换机连接NAS:网络附属存储(Network Attached Storage)存储设备通过标准的网络拓扑结构(例如以太网)连接NAS是在网络中放置一个单独的存储服务器,此存储服务器开启网络享。
DAS:直连式存储(Direct-AttachedStorage)存储设备是通过电缆(通常是SCSI接口电缆)直接挂到服务器总线上。
DAS方案中外接式存储设备目前主要是指RAID、JBOD等。
一、S AN:其中SA N又分I P-S A N和F C-S ANS A N是一个存储的区域网络。
是由光纤以及SA N交换机SA N卡存储组成。
作用于服务器集的作用。
他有自己的传输协议。
无法工作在以外网中。
成本很高。
S A N存储技术的支撑技术就是光纤通道――F C技术,与前面介绍的NA S存储技术完全不同,它不是把所有的存储设备集中安装在一个服务器中,而是通过光纤通道交换机连接存储阵列和服务器主机,形成一个光纤通道存储在网络中,然后在于企业的局域网进行连接,这种技术的最大特性就是将网络和设备的通讯协议与传输介质隔离开,可以在同一个物理连接上传输,高性能的存储系统合宽带网络使用。
S A N提供了一种与现有LA N连接的简易方法,并且通过同一物理通道支持广泛使用的SC S I和I P协议。
SA N不受现今主流的、基于S CS I存储结构的布局限制。
特别重要的是,随着存储容量的爆炸性增长,S AN允许企业独立地增加它们的存储容量。
SAN的结构允许任何服务器连接到任何存储阵列,这样不管数据置放在哪里,服务器都可直接存取所需的数据。
因为采用了光纤接口,S A N还具有更高的带宽。
目前服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种。
存储根据服务器类型可以分为:封闭系统的存储和开放系统的存储:(1)封闭系统主要指大型机.(2)开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储;(3)开放系统的外挂存储根据连接的方式分为:直连式存储(DAS:Direct-Attached Storage)和网络化存储(Fabric-Attached Storage:FAS)(4)开放系统的网络化存储根据传输协议又分NAS:Network-Attached Storage和SAN:Storage Area Network。
由于目前绝大部分用户采用的是开放系统,其外挂存储占有目前磁盘存储市场的70%以上.一、直接附加存储(DAS:Direct-Attached Storage)DAS网络存储知识:直接附加存储是指将存储设备通过SCSI接口直接连接到一台服务器上使用。
DAS购置成本低,配置简单,使用过程和使用本机硬盘并无太大差别,对于服务器的要求仅仅是一个外接的SCSI口,因此对于小型企业很有吸引力。
DAS的不足之处:(1)服务器本身容易成为系统瓶颈;直连式存储与服务器主机之间的连接通道通常采用SCSI连接,带宽为10MB/s、20MB/s、40MB/s、80MB/s等,随着服务器CPU 的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI 通道将会成为IO瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。
(2)服务器发生故障,数据不可访问;(3)对于存在多个服务器的系统来说,设备分散,不便管理。
同时多台服务器使用DAS时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;(4)数据备份操作复杂。
二、网络附加存储(NAS:Network Attached Storage)NAS网络存储知识:NAS实际是一种带有瘦服务器的存储设备。
1SAN 与NAS
1.1什么是SAN,什么是NAS
1.1.1SAN
SAN (Storage Area Network and SAN Protocols)是一种高速网络或子网络,提供在计算机与存储系统之间的数据传输。
存储设备是指一张或多张用以存储计算机数据的磁盘设备。
一个SAN 网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成,从而保证数据传输的安全性和力度。
典型的SAN 是一个企业整个计算机网络资源的一部分。
通常SAN 与其它计算资源紧密集群来实现远程备份和档案存储过程。
SAN 支持磁盘镜像技术(disk mirroring)、备份与恢复(backup and restore)、档案数据的存档和检索、存储设备间的数据迁移以及网络中不同服务器间的数据共享等功能。
此外SAN 还可以用于合并子网和网络附接存储(NAS:network-attached storage)系统。
当前常见的可使用SAN 技术,诸如IBM 的光纤SCON,它是FICON 的增强结构,或者说是一种更新的光纤信道技术。
另外存储区域网络中也运用到高速以太网协议。
SCSI 和iSCSI是目前使用较为广泛的两种存储区域网络协议。
SAN 的典型结构
1.1.2NAS
NAS(Network Attached Storage:网络附属存储)是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。
按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。
它是一种专
用数据存储服务器。
它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。
其成本远远低于使用服务器存储,而效率却远远高于后者。
目前国际著名的NAS企业有Netapp、EMC、OUO等。
国内尚无有竞争力的NAS企业。
NAS被定义为一种特殊的专用数据存储服务器,包括存储器件(例如磁盘阵列、CD/DVD 驱动器、磁带驱动器或可移动的存储介质)和内嵌系统软件,可提供跨平台文件共享功能。
NAS通常在一个LAN上占有自己的节点,无需应用服务器的干预,允许用户在网络上存取数据,在这种配置中,NAS集中管理和处理网络上的所有数据,将负载从应用或企业服务器上卸载下来,有效降低总拥有成本,保护用户投资。
NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等),而且能够支持各种操作系统。
通过任何一台工作站,采用IE或Netscape浏览器就可以对NAS设备进行直观方便的管理。
NAS的外观
1.2NAS文件共享的灵魂——NFS and CIFS
1.2.1NFS
NFS (Network File System, 网络文件系统)是Unix系统间实现磁盘文件共享的一种方法,支持应用程序在客户端通过网络存取位于服务器磁盘中数据的一种文件系统协议。
其实它包括许多种协议,最简单的网络文件系统是网络逻辑磁盘,即客户端的文件系统通过网络操作位于远端的逻辑磁盘,如IBM SVD(共享虚拟盘)。
现一般在Unix主机之间采用Sun开发的NFS(Sun),它能够在所有Unix系统之间实现文件数据的互访,逐渐成为主机间共享资源的一个标准。
相比之下,SAN采用的网络文件系统,作为高层协议,需要特别的文件服务器来管理磁盘数据,客户端以逻辑文件块的方式存取数据,文件服务器使用块映射存取真正的磁盘块,并完成磁盘格式和元数据管理。
1.2.2CIFS
CIFS (Common Internet File System, 通用互联网文件系统)是由微软开发的,用于连接Windows客户机和服务器。
经过Unix服务器厂商的重新开发后,它可以用于连接Windows 客户机和Unix服务器,执行文件共享和打印等任务。
它最早的由来是NetBIOS,这是微软开发的在局域网内实现基于Windows名称资源共享的API。
之后,产生了基于NetBIOS的NetBEUI协议和NBT(NetBIOS OVER TCP/IP)协议。
NBT协议进一步发展为SMB(Server Message Block Potocol)和CIFS协议。
其中,CIFS用于Windows系统,而SMB广泛用于Unix和Linux,两者可以互通。
SMB协议还被称作LanManager协议。
CIFS可籍由与支持SMB的服务器通信而实现共享。
微软操作系统家族和几乎所有Unix服务器都支持SMB协议/SMBBA软件包。
1.3SAN 与NAS的区别
SAN是一种网络,NAS产品是一个专有文件服务器或一个只读文件访问设备。
SAN是在服务器和存储器之间用作I/O路径的专用网络。
SAN包括面向块(SCSI)和面向文件(NAS)的存储产品。
NAS产品能通过SAN连接到存储设备。
2SCSI、IDE、SATA
2.1SCSI
SCSI (Small Computer System Interface, 小型计算机系统接口) 是一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)系统级接口的独立处理器标准。
SCSI 是一种智能的通用接口标准。
它是各种计算机与外部设备之间的接口标准。
2.2IDE
2.3SATA
SATA (Serial Advanced Technology Attachment, 串行高级技术附件) 是一种基于行业标准的串行硬件驱动器接口。
SATA是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。
2001年,由Intel、APT、Dell、IBM、希捷、迈拓这几大厂商组成的Serial ATA委员会正式确立了Serial ATA 1.0规范,在当年的IDF Fall 大会上,Seagate宣布了Serial ATA 1.0标准,正式宣告了SATA规范的确立。
发展到现在SATA 2.0扩展规范中,3Gb/s被提到的频率最高。
由于SATA使用8bit/10bit 编码,所以3Gb/s等同于375MB/s的接口速率。
不过,从性能角度看,3Gb/s并不能带来多大的提升,即便是RAID应用的场合,性能提升也没有想象的那么大。
因为硬盘内部传输速率还达不到与接口速率等同的程度,而且接口速率的影响也不是很大,在大多数应用中硬盘是将更多的时间花在寻道上,而不是传输上。
接口速率的提高直接影响到的是从缓存进行读写的操作,所以理论上大缓存的产品会从3Gb/s上得到更大的好处。
从现有情况来看,相信3Gb/s的普及速度会加快,不过市场仍会存在一个1.5Gb/s和3Gb/s的共存期。
NCQ的说明
3iSCSI、FC
3.1iSCSI
iSCSI:Internet 小型计算机系统接口(iSCSI:Internet Small Computer System Interface)。
iSCSI技术是一种由IBM公司研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。
iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料。
iSCSI与网络化存储
3.2FC
FC (Fibre Channel, 光纤信道)是一种跟SCSI 或IDE有很大不同的接口,它很像以太网的转换开头。
以前它是专为网络设计的,后来随着存储器对高带宽的需求,慢慢移植到现在的存储系统上来了。
网状通道通常用于连接一个SCSI RAID(或其它一些比较常用的RAID类型),以满足高端工作或服务器对高数据传输率的要求。
光纤信道在硬件上依赖价格昂贵的FC交换器,一台只有最基本功能的8端口FC交换器起价就要30万元,1个FC端口的平均成本高达数万甚至十多万元,且每部要连接FC SAN 的服务器都必须安装1片价格1千美元上下的FC HBA,部署一套FC SAN的费用非常高昂。
使用者也必须具备FC协议相关知识才能有效管理,以致限制了FC SAN的普及。
因此无论储存厂商如何宣扬SAN (FC SAN)的好处,现实上能享用这些好处的企业相当有限。
4附一:关键字
NAS (设备)
SAN网络(和协议)
NFS文件服务协议
CIFS文件服务协议
SCSI协议
Fiber Channel协议
NFS (SUN)
IBM SVD
NetBIOS
NetBEUI (NetBios Enhanced User Interface)广播型协议NBT
SMB
LanManager
SMBBA (软件包)
Internet网络
Intranet网络
Ethernet网络
TCP:Transmission Control Protocol
TCP/IP协议
iSCSI协议
Netapp (Network Appliance)(NAS厂商)EMC(NAS厂商)
OUO(NAS厂商)
OPS存储设备性能参数
ORT存储设备性能参数。