存储双活架构对比分析
世界上没有完美的东西，所有东西都有利弊两个方面。双活项目的建设也是同样。双活是要提升系统的健壮性，进而保证业务的连续性，而双活的弊端是少有人提及的就是要牺牲一部分性能和容量，同时如果较远，还涉及到链路成本。
目前主流的存储双活解决方案，主要有存储网关双活解决方案和存储阵列双活解决方案两类，其中，存储阵列双活解决方案又可以分为双读双写的真正双活解决方案和读写一台仅能够做故障切换的伪双活解决方案。如下图所示：
存储虚拟化网关的双活存储阵列伪双活解决方案存储阵列双读双写解决方案
代表厂家：代表厂家：代表厂家：
EMC VPLEX IBM DS8000 HyperSwap HDS VSP GAD
IBM SVC HP Peer Persistence EMC VMAX SRDF/Metro
HW Hyper Metro HP XP7 GAD
Netapp Metro Cluster
我们可以从如下几个方面来看：
1、发展趋势
EMC和IBM均有采用网关方式实现双活的解决方案，但是，通常是与中低端存储相结合
的廉价解决方案。
对于较大负载的企业级应用，通常采用存储阵列双活解决方案。伪双活解决方案代表产品
是已经基本停止存储研发的IBM的DS8000的HyperSwap、HP中端存储的Peer Persistence、Netapp的Metrocluster和华为的Hyper Metro都是可以实现单台阵列故障另外一台自动接管，但是日常应用读写只能够使用一台，另外一台仅作为备用，这样在做真正的较远距离双活集群时
会遇到很尴尬的问题，如果是Oracle RAC分布在两个机房，总有一端的oracle数据库无法读写本地磁盘，而要经过漫长的中间链路去读写远端磁盘，性能会成为极大的瓶颈。相比较而言，高
端存储的双活技术包括HDS的VSP GAD、EMC VMAX的SRDF/Metro和HP的XP7 GAD，
都是不仅能够实现故障自动切换，而且可以同一业务的双读双写，可以与各类集群软件相互配合
实现负载均衡。
当然，目前的产品形态，还有如下原因。
2、系统可靠性
任何复杂系统都是由多个部件组成的，在常见系统中，系统控制理论将系统分为串行系统和并行系统，结构如下图所示：
左图为串行系统，右图为并行系统，串行系统中只有当A、B均为正常工作状态时，整个系统才能够正常工作，并行系统中，只要A、B有一个正常工作整个系统就是正常工作的。网关类的是串行系统，网关的最大可靠性仅有99.999%，中端存储的可靠性也是99.999%，两者串联后单边的可靠性肯定低于99.999%，这意味着一年的意外停机时间高于5分钟。基于存储阵列的双活，不会因为串入网关导致系统可靠性降低，同时因为高端存储的可靠性通常高于99.9999%，因此，在高端存储存储领域是不能够容忍加入网关降低系统可靠性的。
同时，因IT技术的复杂性，每多一层中间环节，就会增加故障点，降低系统可靠性。两者的对比如下图所示，网关类的故障点是存储阵列双活的2倍多。
3、性能损失
双活的基础是必须写两份数据，写两份数据，因为中间链路无法保证完全对称，难以避免的要出现快和慢的区别，实际上读写流程也会发生变化。
网关双活实现的IO流程变化如下图所示：
正常写入数据会直接写入存储阵列的写缓存，双活网关是没有写缓存的，这样就会导致写数据必须落入下边的磁盘阵列才能够写完成，写流程增加了一倍，这也是很多客户采用网关后写性能下降尤其是写延迟增加的重要原因。
同时，因为网关通常仅为x86服务器，性能有限，在业务量较大时，瓶颈效应会非常明显。
为了减少写数据对性能的影响，HDS对读写进行了优化，如下图所示：
存储阵列的双活功能，读数据与未做双活时无区别，而写数据步骤比网关类少两个环节，同时两台阵列的同步是存储缓存之间的同步，速度更快。
同时，对于两台设备距离较远，链路开销较大的情况，主机端的多路径软件可以自动识别最优链路，选取延迟最小的路径作为优选路径，进行数据的读。从而将性能做到最优化。
4、是否是一个平台化的功能
存储双活是个数据中心数据平台的重要功能，如果这个功能仅仅与单个设备相互绑定，显然不是一个平台化功能。所以，在高端存储实现的双活平台中，都是同时具备了双活和存
储虚拟化功能的存储阵列来实现的。
需要说明的是，Netapp虽然也可以实现异构存储虚拟化，但是其虚拟化过程必须对接入存储格式化，实用性较差。
华为作为国内厂家，参数高，功能全，但是，产品的稳定性、可靠性距离国际一线品牌还是有较大差距的，特别是在双活和容灾领域还存在较大差距。
综上所述，HDS的高端存储双活解决方案是目前最先进、最可靠、最高效的存储双活
解决方案，已经在金融、电信、医疗、交通、大型制造业等领域有了广泛应用，是存储双活
的最佳方案。
1.1 云存储系统 1.1.1 系统概述 随着视频监控系统规模越来越大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。 面对几百TB，乃至PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。 云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 依据云存储的功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储监控系统。 海康威视视频云存储系统可以同时应用于视频、图片混合存储，承担整个系统内的视频/图片的数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。
目录 第1章. 概述 (2) 第2章. 存储网络方案 (3) 2.1. 存储系统目标 (3) 2.2. 需求分析 (3) 2.3. 方案设计 (5) 2.3.1. SAN拓朴结构 (5) 2.3.2. 核心存储产品 (6) 2.4. 方案分析 (6) 2.4.1. 基于SAN的存储解决架构 (7) 2.4.2. ADIC StorNext软件解决了SAN中异构平台间的数据共享 (7) 2.4.3. 采用以数据和存储为中心的SAN存储解决架构的优势 (8) 2.4.4. 基于SAN的备份 (9) 2.4.5. 存储阵列的选型 (10) 2.4.6. 光纤通道交换机的选型 (12) 2.4.7. HBA光纤卡的选型 (13) 2.4.8. SAN的管理软件的选型： (13) 第3章. HDS9500V产品综述 (14) 3.1. HDS 9500V产品硬件介绍 (15) 3.2. HDS 9500V产品软件介绍 (17) 3.2.1. 存储资源管理解决方案—Resource Manager (17) 3.2.2. 通道负载平衡解决方案—Dynamic Link Manager (18) 3.2.3. 业务连续性解决方案--ShadowImage (19) 3.2.4. 数据远程备份管理系统件 -- TrueCopy (19) 3.2.5. HDS安全管理软件 SANtinel Software (19) 3.2.6. HDS FlashAccess软件对系统性能的贡献 (20) 第4章. HDS TrueCopy容灾系统详细介绍 (22) 4.1. HDS TrueCopy 系统部件 (22) 4.2. 磁盘卷组的状态 (23) 4.3. HDS Truecopy同步方式 (26) 4.3.1. 高可靠性方案： (27) 4.3.2. 高可用性方案 (27) 第5章. HDS 数据迁移方法 (28) 5.1. 数据迁移 (28) 5.2. 数据迁移的难题 (29) 5.3. 数据迁移相关因素 (29) 5.3.1. 数据的保护 (29) 5.3.2. 在线或离线迁移 (29) 5.3.3. 维护时间窗口 (29) 5.3.4. 迁移技术 (29) 5.3.5. 计划和应用停顿的容忍程度 (30) 5.3.6. 测试需求 (30)
系统架构典型案例 共享平台逻辑架构 如上图所示为本次共享资源平台逻辑架构图，上图整体展现说明包括以下几个方面： 1 应用系统建设 本次项目的一项重点就是实现原有应用系统的全面升级以及新的应用系统的开发，从而建立行业的全面的应用系统架构群。整体应用系统通过SOA面向服务管理架构模式实现应用组件的有效整合，完成应用系统的统一化管理与维护。 2 应用资源采集 整体应用系统资源统一分为两类，具体包括结构化资源和非机构化资源。本次项目就要实现对这两类资源的有效采集和管理。对于非结构化资源，我们将通过相应的资源采集工具完成数据的统一管理与维护。对于结构化资源，我们将通过全面的接口管理体系进行相应资源采集模板的搭建，采集后的数据经过有效的资源审核和分析处理后进入到数据交换平台进行有效管理。 3 数据分析与展现 采集完成的数据将通过有效的资源分析管理机制实现资源的有效管理与展现，具体包括了对资源的查询、分析、统计、汇总、报表、预测、决策等功能模块的搭建。 4 数据的应用 最终数据将通过内外网门户对外进行发布，相关人员包括局内各个部门人员、区各委办局、用人单位以及广大公众将可以通过不同的权限登录不同门户进行相关资源的查询，从而有效提升了我局整体应用服务质量。 综上，我们对本次项目整体逻辑架构进行了有效的构建，下面我们将从技术角度对相关架构进行描述。 一般性技术架构设计案例 如上图对本次项目整体技术架构进行了设计，从上图我们可以看出，本次项目整体建设内容应当包含了相关体系架构的搭建、应用功能完善可开发、应用资源全面共享与管理。下面我们将分别进行说明。整体架构设计案例 上述两节，我们对共享平台整体逻辑架构以及项目搭建整体技术架构进行了分别的设计说明，通过上述设计，我们对整体项目的架构图进行了归纳如下： 综上，我们对整体应用系统架构图进行了设计，下面我们将分别进行说明。 应用层级说明
? 3.1 云存储的概念 ? 3.2 云存储技术简介 ? 3.3 云存储技术的应用及其面临的问题
网盘是提供文件寄存和文件上下载服务的网站，它们大部分是类似FTP的网络服务，加入简易的上下载功能。。用户可以把网盘看成一个放在网络上的硬盘或U盘，所以任何人都可以在任何时间、任何地点通过互联网来访问文件，只要你连接到因特网，你就可以管理、编辑网盘里的文件。 云存储是一种网络在线存储的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，托管公司营运大型的数据中心，需要数据存储托管的人，则通过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池的方式提供，客户便可自行使用此存储资源池来存放文件或对象。 网盘云存储
网盘只是一个应用 云存储
云存储的结构模型 云存储简易结构 存储节点（Storage Node）负责存放文件，控制节点（Control Node）则作为文件索引，并负责监控存储节点间容量及负载的均衡，这两个部分合起来便组成一个云存储。 NFS、 HTTP、 FTP、 WebDav 等是应用端，左上角的 Mgmt Console 负责管理云存储中的存储节点，一般为一台个人计算机。
云存储的结构模型 云存储结构模型
云存储的结构模型 存储层 存储层是云存储最基础的部分。存储设备可以是光纤通道存储设备、 NAS 和 iSCSI 等 IP 存储设备， 也可以是 SCSI 或 SAS 等 DAS 存储设备。 基础管理层 基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大、更强、更好的数据访问性能。 应用接口层 应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务，如视频监控应用平台、 IPTV 和视频点播应用平台、网络硬盘引用平台、远程数据备份应用平台等。 访问层 任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。 云存储运营单位不同，云存储提供的访问类型和访问手段也不同。主要有服务模式、HW模式和SW模式。
详解NAS存储系统那个架构与存储的实现 对于一个成功的、具有极高可扩展性的NAS存储系统来说，要想架构云存储系统解决方案需要什么? 云存储的概念始于Amazon提供的一项服务(S3)，同时还伴随着其云计算产品(EC2)。在Amazon的S3的服务背后，它还管理着多个商品硬件设备，并捆绑着相应的软件，用于创建一个存储池。新兴的网络公司已经接受了这种产品，并提出了云存储这个术语及其相应的概念。 云存储是一种架构，而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看，通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问，云存储很容易扩展云容量和性能。事实证明，管理数百台服务器，使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon)承担了这一重任，并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理，并且定制存储节点以在其上运行应用程序。由于摩尔定律(Moore’s Law)压低了磁盘和CPU的商品价格，云存储渐渐成为了数据中心中一项具有高度突破性的技术。
这十年来，集群NAS存储系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS存储系统的各种不同架构方法，对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说，这些方法与他们息息相关。架构方法分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。 传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下： 紧耦合对称(TCS)架构： 构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS存储系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多
云存储基础架构剖析 模型，功能和内部机制 M. Tim Jones, 资深软件工程师 简介：云存储（或数据存储即服务）是对接口后的存储的抽象，可在该接口内按需管理存储。此外，接口抽象化存储的位置，这样一来，不管存储是在本地还是远程（或混合）都无关紧要。云存储基础架构引入新的架构，能够支持为大量潜在用户提供不同水平的服务，以及地理上分散的存储容量。了解云存储架构的关键架构属性—从数据保护和完整性到存储优化。 本文的标签:cloud, cloud-storage, computing, 云存储基础架构, 云计算, 存储, 应用开发, 硬件平台, 管理, 资产管理 常用缩略词 ?API：应用程序编程接口 ?FTP：文件传输协议 ?HTTP：超文本传输协议 ?HTTPS: 通过安全套接字层的 HTTP ?JFS: 日志文件系统 ?NFS：网络文件系统 ?NIC：网络接口卡 ?RAID：独立磁盘冗余阵列 ?REST：具象状态传输 ?SAN：存储区域网络 ?SCSI：小型计算机系统接口 ?SLA：服务级别协议 ?TCP：传输控制协议 ?UDP：用户数据报协议 ?WAN：广域网 以目前数据增长的速度来看，云存储越来越流行不足为奇。增长速度最快的数据是归档数据，鉴于很多因素它是云存储的理想之选，这些因素包括成本、访问频率、保护和可用性。但是并非所有云存储都是相同的。一家提供商可能主要关注于成本，而另一家提供商关注于可用性或性能。没有一个架构具有单一侧重点，但是一个架构实现给定特征的程度定义了其市场和适当的使用模型。
不从效用角度谈论架构是很难的。我的意思是，通过各种特征度量一个架构，包括成本、性能、远程访问，等等。因此，我首先定义一组可度量云存储模型的标准，然后探究云存储架构内的一些有趣的实现。 首先，我们讨论一个通用的云存储架构，设置上下文以供后面探究独特的架构特性。 通用架构 云存储架构主要关乎以一个高度可扩展和多租户的方式按需交付存储。通用（参见图 1）的云存储架构包含一个导出 API 以访问存储的前端。在传统的存储系统中，这个 API 是 SCSI 协议；但是在云环境中，这些协议在演化。在那里您可以找到 Web 服务前端、基于文件的前端，甚至更多传统前端（比如 Internet SCSI 或 iSCSI）。在前端后面是一个中间件层，我将它称作存储逻辑。该层通过传统的数据放置算法（考虑地理布局）实现各种功能，比如复制和数据简缩。最后，后端实现对数据的物理存储。这可能是一个实现特定功能的内部协议或物理磁盘的一个传统后端。 图 1. 通用的云存储架构 从图 1 中，您可以看到当前云存储架构的一些特征。注意，没有特征在特定层中是独有的，而是充当本文探讨的特定主题的指导。这些特征的定义见表 1。 表 1. 云存储特征 特征说明 可管理性以最少的资源管理系统的能力
视频云存储系统设计 1.1.1.1系统概述 结合目前视频存储系统技术发展的主要方向，本次视频存储系统的建设需要达成以下目标： ?采用目前技术领先的视频云存储方式，新建视频云存储系统，有效解决海量高清视频图像数据的存储和管理需求，实现分布式存储，虚拟化集中管理。 ?为充分利旧，将原有的视频存储系统改造融入视频云存储系统，实现全县范围内可利用视频资源的统一存储、统一管理、统一调阅，避免重复投资。 ?视频云存储系统提供高速数据接口，为应用平台提供视频数据高效检索、快速调取等服务功能，为公安业务应用提供有力支撑。 ?视频云存储系统提供标准的运维接口，维护便捷，实现高效实用的管理及使用机制。 1.1.1.2存储技术选择 视频监控数据的存储系统历经了多个阶段的发展，传统的视频存储技术主要有DVR存储、IPSAN存储等存储模式。而新兴的视频云存储模式基于云架构开发，采用面向用户业务应用的设计思路，融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备，通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的视频、图片数据存储和业务访问服务。 总的来说，相比于传统的存储模式，云存储模式具有以下优势： 视频监控云存储与传统存储对比表
因此，根据项目实际情况，基于视频监控应用对存储系统的要求，着眼于技术的先进性和用户使用的便捷性，视频存储系统的建设推荐采用新型监控云存储技术来实现。 1.1.1.3存储系统架构 1.1.1.3.1视频云存储技术架构 视频云存储系统采用分层结构，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。 系统技术架构如下：
xx存储原理及系统构架 摘要： 云存储作为一个新兴的研究和应用领域，由于其快速部署、低成本、灵活调整规模等优势被越来越多的企业应用。基于以上研究云存储，本文基于《云存储解析》内容，具体分析了云存储系统构架模式、技术优势及特点，并与传统的存储架构模式进行了对比。 前言 作为近几年兴起的“云计算(CloudComputing)”的一大重要组成部分，“云存储(CloudStorage)”承担着最底层以服务形式收集、存储和处理数据的任务，并在此基础上展开上层的云平台、云服务等业务。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。 云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。 1xx存储技术 云存储系统与传统存储系统相比，具有如下不同： 第一，从功能需求来看，云存储系统面向多种类型的网络在线存储服务，而传统存储系统则面向如高性能计算、事务处理等应用；第二，从性能需求来看，云存储服务首先需要考虑的是数据的安全、可靠、效率等指标，而且由于用户规模大、服务范围广、网络环境复杂多变等特点，实现高质量的云存储服务必将面临更大的技术挑战；第三，从数据管理来看，云存储系统不仅要提供类似于POSIX的传统文件访问，还要能够支持海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。 基于上述特点，云存储平台整体架构可划分为4个层次，自底向上依次是：
第1章前言. 3 第2章存储基本概念. 5 第1节存储设备分类. 6 1.1 SCSI存储设备. 7 1.2 SAS存储设备. 13 1.3 FC光纤通道存储设备. 15 1.4 ISCSI存储设备. 15 1.5 存储设备的融合和演变. 20 1.6 磁带存储. 20 1.7 应用存储. 20 第2节存储网络结构. 20 2.1 DAS存储系统网络结构. 20 2.2 SAN存储系统网络结构. 22 2.3 NAS存储系统网络结构. 22 2.4 网络结构的融合和演变. 22
第3节FC网络和FC交换机. 22 3.1 FC网络. 22 3.2 FC交换机设计. 22 第4节接口速率和存储带宽. 22 第5节存储共享. 22 5.1 设备共享. 22 5.2 文件系统共享. 22 5.3 存储共享管理软件. 22 第6节业务系统分类. 22 第3章数据库系统存储设计. 23 第1节存储应用特点. 23 第2节设计准备. 23 第3节主备数据库系统设计. 23 第4节双机数据库系统设计. 23 第5节数据库备份系统设计. 23
第1节非性线编辑制作系统存储应用特点. 24 第2节带宽分析. 26 第3节容量分析. 26 第4节小型制作网存储设计. 26 第5节中型制作网存储设计. 26 第6节大型制作网存储设计. 26 第7节高清制作网存储设计. 26 第8节媒资系统存储设计. 26 第5章视频监控系统存储设计. 27 第1节视频监控系统存储应用特点. 27 第2节带宽分析. 27 第3节容量分析. 27 第4节小型视频监控系统存储设计. 27 第5节中型视频监控系统存储设计. 27
华为OceanStor存储系统体系架构介绍
目录 第1章OceanStor系列存储简介 (1) 1.1产品定位 (1) 1.2 产品特点 (1) 第2章OceanStor存储硬件架构 (2) 2.1引擎 (2) 2.1.1控制器 (2) 2.1.2风扇模块 (2) 2.1.3 BBU模块 (3) 2.1.4电源模块 (3) 2.1.5管理模块 (3) 2.1.6接口模块 (3) 2.2硬盘框 (4) 2.2.1风扇模块 (4) 2.2.2电源模块 (4) 2.2.3级联模块 (4) 2.2.4硬盘模块 (4) 2.3数据交换机 (5) 2.4 SVP (5) 2.5设备线缆 (5) 2.5.1电源线 (5) 2.5.2接电线 (5) 2.5.3网线 (5) 2.5.4串口线 (6) 2.5.5 mini SAS线缆 (6) 2.5.6光纤 (6) 2.5.7 AOC线缆 (6)
第1章OceanStor系列存储简介 1.1产品定位 OceanStor OCEANSTOR85T/OCEANSTOR 18800企业级存储系统（以下简称OCEANSTOR系列存储系统）是华为技术有限公司（以下简称华为）根据存储产品应用现状和存储技术未来发展趋势，针对企业大中型数据中心，推出的新一代（虚拟化、混合云、精简IT和低碳等）存储系统，聚焦于大中型企业核心业务（企业级数据中心、虚拟数据中心以及云数据中心等），能够满足大中型数据中心对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于使用等需求。 OCEANSTOR系列存储系统秉承灵活、可扩展的设计理念，采用创新的Smart Matrix Architecture，该架构采用多引擎（每个引擎包括两个控制器）的横向扩展体系，可为企业数据中心提供一至八个系统机柜和最多两个硬盘柜，无缝配合企业数据中心高度整合、高效率和可扩展的特点，能够满足数据中心大型数据库OLTP/OLAP（OnlineTransaction Processing/Online Analytical Processing）、高性能计算、数字媒体、因特网运营、集中存储、备份、容灾和数据迁移等不同业务应用的需求。 1.2 产品特点 OCEANSTOR系列存储系统具有高规格的硬件结构，结合多种高级数据应用和数据保护技术，使存储系统具有高性能、高可扩展性、高可靠性和高可用性等特点，满足大中型数据中心对存储系统的各种需求。
云存储系统与传统存储系统优势分析 云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软 硬件基础设施投资。云计算将扩张并走向成熟，会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联系起来的服务。 云存储系统与传统存储系统相比，具有如下不同：第一，从功能需求来看，云存储系统面向多种类型的网络在线存储服务，而传统存储系统则面向如高性能计算、事务处理等应用;第二，从性能需求来看，云存储服务首先需要考虑的是数据的 安全、可靠、效率等指标，而且由于用户规模大、服务范围广、网络环境复杂多变等特点，实现高质量的云存储服务必将面临更大的技术挑战;第三，从数据管 理来看，云存储系统不仅要提供类似于POSIX的传统文件访问，还要能够支持 海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。 数据存储层：云存储系统对外提供多种不同的存储服务，各种服务的数据统一存放在云存储系统中，形成一个海量数据池。从大多数网络服务后台数据组织方式来看，传统基于单服务器的数据组织难以满足广域网多用户条件下的吞吐性能和存储容量需求;基于P2P架构的数据组织需要庞大的节点数量和复杂编码算法保
证数据可靠性。相比而言，基于多存储服务器的数据组织方法能够更好满足在线存储服务的应用需求[，在用户规模较大时，构建分布式数据中心能够为不同地 理区域的用户提供更好的服务质量。 云存储的数据存储层将不同类型的存储设备互连起来，实现海量数据的统一管理，同时实现对存储设备的集中管理、状态监控以及容量的动态扩展，实质是一种面向服务的分布式存储系统。 数据管理层：云存储系统架构中的数据管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能，将底层存储及上层应用无缝衔接起来，实现多存储设备之间的协同工作，以更好的性能对外提供多种服务。 数据服务层：数据服务层是云存储平台中可以灵活扩展的、直接面向用户的部分。根据用户需求，可以开发出不同的应用接口，提供相应的服务。比如数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务、数据备份服务等。
第十二章海量存储系统设计 以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。 12.1 海量数据存储系统架构方案 考虑到海量存储系统是IT 构架的核心模块，这里存储网络架构采用双Fabric 网络结构，这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。下面是海量存储系统的双Fabric 网络结构图： 图12-1 双光纤通道结构 其中网络核心采用director 级别的核心光纤通道交换机1 台（端口数>=128），通过在其内部划分虚拟SAN 分别构成两个独立的fabric；为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个HBA 连接到不同的Fabric 网络中，而
且存储设备（磁盘阵列和磁带库）也是同时接入两个fabric，这样构成了一个无单点故障的网络系统。 双Fabric 存储网络设计要点和优势： ?主机和存储设备的冗余连接，整体提高系统的可靠性 ?主机和存储设备的双路连接，工作在Active-Active 模式，整体提高系统的性能?双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断 ?双网络结构设计，核心-边缘体系架构，方便未来网络的扩充 ?交换机具有很强的向下兼容性，即可兼容1G 的交换机，又可兼容1G 的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率 ?可做LAN-Free 备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度 ?有利于系统的在线维护和扩展，而不影响系统的正常运行 ?采用硬件实现的网络安全性管理，保证数据的安全性 与外部存储网络的互联方案 外部存储网络的接入是为了更好的提供基于数据复制（异步或同步）的容灾服务。本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即： FCIP 接入方案 DWDM 接入方案 SDH 接入方案 在100Km 以内的连接上这三种接入方案的特点如下： 表12-1 外部网络存储通道比较
云计算不仅是技术，更是服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性，是基于对整个IT领域的变革，其技术和应用涉及硬件系统、软件系统、应用系统、运维管理、服务模式等各个方面。 IaaS(基础架构即服务)作为云计算的三大部分之一，将基础架构进行云化，从而更好的为应用系统的上线、部署和运维提供支撑，提升效率，降低TCO。同时，由于IaaS包含各种类型的硬件和软件系统，因此在向云迁移过程中也面临前所未有的复杂性和挑战。那么，云基础架构包含哪些组件?主要面临哪些问题?有哪些主要的解决方法呢? 一、云基础架构 如图1所示，传统的IT部署架构是“烟囱式”的，或者叫做“专机专用”系统。 图1传统IT“烟囱”模式部署架构 在这种架构中，新的应用系统上线的时候需要分析该应用系统的资源需求，确定基础架构所需的计算、存储、网络等设备规格和数量，这种部署模式主要存在的问题有以下两点： l硬件高配低用。考虑到应用系统未来3～5年的业务发展，以及业务突发的需求，为满足应用系统的性能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后，应用系统在一定时间内的负载并不会太高，使得较高配置的硬件设备利用率不高。 l整合困难。用户在实际使用中也注意到了资源利用率不高的情形，当需要上线新的应用系统时，会优先考虑部署在既有的基础架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异，更重要的是考虑到可靠性、
稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大，更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。 这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱式”部署架构，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT资源的效率、扩展性、可管理性都面临很大的挑战。 云基础架构的引入有效解决了传统基础架构的问题(如图2所示)。 图2云计算融合模式部署架构 云基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层： 虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池; 云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。 相对于传统基础架构，云基础架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、高可用性、低成本、低能耗，并且通过云平台层的自动化管理，实现快速部署、易于扩展、智能管理，帮助用户构建IaaS(基础架构即服务)云业务模式。
关于云存储系统的六大技术分析 随着监控领域的飞速发展，新技术的诞生也是接踵而至，云存储是人们最为乐道的高新技术产品。它具有如下几大主要的技术。 云存储系统具有如下特点：数据安全，超强的可扩展性，按照使用收费，可跨不同应用，自动切换故障，易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。云存储是在云计算概念上延伸和发展出来的一个新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。 与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。云存储系统具有如下特点：数据安全，超强的可扩展性，按照使用收费，可跨不同应用，自动切换故障，易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。 云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。根据云存储的特点及其应用领域，主要的云存储技术涉及到存储虚拟化，分布式文件系统，集群存储，存储集中管理，异质平台协同，自动分级存储等方面，当然还有重复数据删除、数据压缩等技术。 存储虚拟化存储虚拟化（StorageVirtualizaTIon）最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或服务的。 存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供
系统架构典型案例 一、共享平台逻辑架构 如上图所示为本次共享资源平台逻辑架构图，上图整体展现说明包括以下几个方面： 1 应用系统建设 本次项目的一项重点就是实现原有应用系统的全面升级以及新的应用系统的开发，从而建立行业的全面的应用系统架构群。整体应用系统通过SOA面向服务管理架构模式实现应用组件的有效整合，完成应用系统的统一化管理与维护。 2 应用资源采集 整体应用系统资源统一分为两类，具体包括结构化资源和非机构化资源。本次项目就要实现对这两类资源的有效采集和管理。对于非结构化资源，我们将通过相应的资源采集工具完成数据的统一管理与维护。对于结构化资源，我们将通过全面的接口管理体系进行相应资源采集模板的搭建，采集后的数据经过有效的资源审核和分析处理后进入到数据交换平台进行有效管理。 3 数据分析与展现 采集完成的数据将通过有效的资源分析管理机制实现资源的有效管理与展现，具体包括了对资源的查询、分析、统计、汇总、报表、预测、决策等功能模块的搭建。 4 数据的应用 最终数据将通过内外网门户对外进行发布，相关人员包括局内各个部门人员、区各委办局、用人单位以及广大公众将可以通过不同的权限登录不同门户进行相关资源的查询，从而有效提升了我局整体应用服务质量。 综上，我们对本次项目整体逻辑架构进行了有效的构建，下面我们将从技术角度对相关架构进行描述。 二、一般性技术架构设计案例 如上图对本次项目整体技术架构进行了设计，从上图我们可以看出，本次项目整体建设内容应当包含了相关体系架构的搭建、应用功能完善可开发、应用资源全面共享与管理。下面我们将分别进行说明。
三、整体架构设计案例 上述两节，我们对共享平台整体逻辑架构以及项目搭建整体技术架构进行了分别的设计说明，通过上述设计，我们对整体项目的架构图进行了归纳如下： 综上，我们对整体应用系统架构图进行了设计，下面我们将分别进行说明。 1.应用层级说明 整体应用系统架构设计分为五个基础层级，通过有效的层级结构的划分可以全面展现整体应用系统的设计思路。 基础层 基础层建设是项目搭建的基础保障，具体内容包含了网络系统的建设、机房建设、多媒体设备建设、存储设备建设以及安全设备建设等，通过全面的基础设置的搭建，为整体应用系统的全面建设良好的基础。 应用数据层 应用数据层是整体项目的数据资源的保障，本次项目建设要求实现全面的资源共享平台的搭建，所以对于应用数据层的有效设计规划对于本次项目的建设有着非常重要的作用。 从整体结构上划分，我们将本次项目建设数据资源分为基础的结构型资源和非结构型资源，对于非结构型资源我们将通过基础内容管理平台进行有效的管理维护，从而供用户有效的查询浏览；对于结构型数据，我们进行了有效的分类，具体包括政务公开资源库、办公资源库、业务经办资源库、分析决策资源库、内部管理资源库以及公共服务资源库。通过对资源库的有效分类，建立完善的元数据管理规范，从而更加合理有效的实现资源的共享机制。 应用支撑层 应用支撑层是整体应用系统建设的基础保障，根据本次招标文件相关需求，我们进行了相关面向服务体系架构的设计，通过统一的企业级总线服务实现相关引用组件包括工作流、表单、统一管理、资源共享等应用组件进行有效的整合和管理，各个应用系统的建设可以右下基于基础支撑组件的应用，快速搭建相关功能模块。 由此可见，应用支撑层的建设是整体架构设计的核心部分，其关系到本次项目的顺利搭建以及今后区劳动局信息化的发展。 应用管理层
云存储架构祥解 云存储(cloud storage)这个概念一经提出，就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute Cloud(EC2：弹性计算云)云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商Nirvanix 发布了一项新的合作，并宣布结成战略伙伴关系，以提供业界目前唯一的云存储和内容传送服务集成平台。 半年以前，微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDr ive Beta测试版。近期，EMC宣布加入道里可信基础架构项目，致力于云计算环境下关于信任和可靠度保证的全球研究协作，IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。 云存储变得越来越热，大家众说纷”云”，而且各有各的说法，各有各的观点，那么到底什么是云存储? 云状的网格结构 云存储在云计算(cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Comp uting)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。 云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。如果这样解释还是难以理解，那我们可以借用广域网和互联网的结构来解释云存储。 相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中，我们为了能更好地使用局域网，一般来讲，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的。系统中有多少个服务器，分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆，分配了什么xml:la ng=IP地址和子网掩码。 但当我们使用广域网和互联网时，我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网，并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器，不需要知道数据是通过什么样的路由到达我们的电脑，也不需要知道网络中的服务器分别安装了什么软件，更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。
第二章《计算机网络基础知识》 计算机系统由硬件和软件组成，软件通常分为系统软件和应用软件。 系统软件支持应用软件的运行，为用户开发应用软件提供平台，用户可以使用它，但不能随意修改它。 常用的系统软件有操作系统、语言处理程序、连接程序、诊断程序、数据库等。 应用软件指计算机用户利用软硬件资源为某一专门的应用目的而开发的软件。 2.1 操作系统基础知识 操作系统Operating System，是计算机系统的核心系统软件。 2.1.1 操作系统的原理、类型、结构 1、操作系统定义 硬件资源包括中央处理器、存储器、输入输出设备。 软件资源是以文件形式保存在存储器上的程序和数据。 操作系统既有效组织和管理系统中各种软硬件资源，合理地组织计算机系统的工作流程，又控制程序的执行，为用户使用计算机提供了一个良好的环境和友好的接口。 2、操作系统分类 按功能不同分：单用户操作系统、批处理操作系统;分时操作系统、实时操作系统;网络操作系统、分布式操作系统;嵌入式操作系统。
3、操作系统的特征 并发性、共享性、虚拟性、不确定性。 4、操作系统的功能 进程管理、文件管理、存储管理、设备管理、作业管理。 2.1.2 处理机与进程管理 1、进程的定义及其分类 进程通常由程序、数据、进程控制块PCB组成。 2、进程的状态转换与控制 就绪、运行、阻塞。 进程控制是通过进程控制原语实现的，进程控制原语主要有：创建原语、撤销原语、挂起原语、激活原语、阻塞原语、唤醒原语。 注：原语不可分割，不允许中断。 3、进程互斥与同步以及P/V 操作 同步是使在异步环境下的各进程按一定的顺序和速度执行。 互斥要保证临界资源一次只能提供一个进程使用，称为临界资源CR。 PV操作是低级通信原语，在执行期间不可分割，P表示申请一个资源，V表示释放一 个资源。
通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。 2 云存储技术需求 本项目针对海量的高分遥感卫星数据资源，需开发云存储服务系统，实现以分布式存储技术为基础，利用高吞吐率网络技术为依托，一方面高效地整合管理网络存储资源，提供数据安全、可靠的存储环境；另一方面对外提供可视化的操作界面及友好的接口，发布便捷的网络数据存储服务。云存储服务系统具有易扩展性、高访问性能、高可靠性等方面的需求。 3 云存储技术设计 ■3.1 技术选型 HDFS（Hadoop分布式文件系统）是适合运行在通用硬件（commodity hardware）上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS 的优点包括：处理超大文件、流式的访问数据、完善的冗余备份和故障恢复机制、良好的可扩展性、运行于廉价的商用机器集群。 通过以上技术分析，基于Hadoop分布式文件系统搭所示。 图1 云存储系统架构图 由计算资源、存储资源和网络资源等构成基础设施层，负责为整个系统提供基础运行环境。 采用基于openstack搭建的私有云环境管理基础设施层中的各类计算资源、存储资源和网络资源，并为上层应用提供虚拟云环境。 基于Hadoop分布式文件系统、关系型数据库和非关系型数据库搭建遥感数据管理层，通过Hadoop分布式文件系统管理遥感影像文件，通过关系型和非关系型数据库管理各类矢量数据、元数据等。 存储服务子系统和云盘构建数据存储服务层，通过服务接口的在线网盘的方式为系统应用和外部用户提供数据存储服务。 上层的综合应用集成平台和共享服务分系统利用数据存储服务层的服务接口获取或存储数据。 ■3.3 应用模式 梳理多源的数据类型，包括结构化的属性数据、地理要素数据、位置数据等，半结构化的元数据、三维模型数据、数据地形数据、遥感影像数据等和非结构化文档数据、多媒体数据等。在传统关系数据库、共享文件系统基础上，采用 50 | 电子制作 2018年1月
大数据时代下的 三种存储架构 数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。 大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据中心提出革命性的需求，存储基础架构已经成为IT核心之一。政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等各个领域新兴应用层出不穷。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。 传统的数据中心无论是在性能、效率，还是在投资收益、安全，已经远远不能满足新兴应用的需求，数据中心业务急需新型大数据处理中心来支撑。除了传统的高可靠、高冗余、绿色节能之外，新型的大数据中心还需具备虚拟化、模块化、弹性扩展、自动化等一系列特征，才能满足具备大数据特征的应用需求。这些史无前例的需求，让存储系统的架构和功能都发生了前所未有的变化。 基于大数据应用需求，“应用定义存储”概念被提出。存储系统作为数据中心最核心的数据基础，不再仅是传统分散的、单一的底层设备。除了要具备高性能、高安全、高可靠等特征之外，还要有虚拟化、并行分布、自动分层、弹性扩展、异构资源整合、全局缓存加速等多方面的特点，才能满足具备大数据特征的业务应用需求。 尤其在云安防概念被热炒的时代，随着高清技术的普及，720P、1080P随处可见，智能和高清的双向需求、动辄500W、800W甚至上千万更高分辨率的摄像机面市，大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。 目前市场上的存储架构如下：