PPT课件：最新存储技术

第1章 存储基础知识
ISSUE 1.0
引入
数据信息是不断日益增长的 如何保护数据信息的安全、可用性成为非常重要的问
题 信息技术和存储技术的广泛、快速应用推动存储行业
的快速发展
课程目标
学习完本课程，您应该能够：
了解存储行业的基础知识 了解与存储技术相关的主机系统相关知识 了解与存储技术相关的常用数据库知识 了解存储行业的常见数据备份知识 了解存储行业中的数据容灾知识
备份设备
备份设备
26
Server-Less
应用服务器
应用服务器
指令流
LAN
备份服务器
生产卷
快照卷 Storage network
备份设备
备份设备
27
目录
存储概述 主机基础知识 数据库基本知识 备份常用知识 远程容灾
容灾
提供一个能防止用户业务环境系统遭受各 种灾难破坏的信息系统
具备在灾后快速恢复的能力 能够满足信息系统业务连续性需求的系统
另外位置
逻辑备份
导出（Export）：使用指令将数据从数据库中
提取出来
19
目录
存储概述 主机基础知识 数据库基本知识 备份常用知识 远程容灾
数据备份
将正常时刻的数据以某种格式和方式加 以保存
在数据遭受破坏或其他特定情况下可以 将数据恢复到以前某个时间点的状态
21
备份技术
备份窗口
于网络的容灾
36
写在最后
Switch
主数据
存储设备
副本数据
存储设备
34
基于网络的容灾
主用服务器 虚拟化设备
网络
数据复制
备用服务器
Switch 虚拟化设备

（4）数据 大量读取的 应用
（5）多个使 用端都希望读 取同一个文件 的应用
part3. 云存储的应用领域
备份应用
逐渐向消费者模式以及Mozy或者 Carbonite等企业的产销模式以外的领域扩展 ，进入中小型企业市场。最为普遍的应用方案 是使用混合存储，将最常用的数据保存在本地 磁盘，然后将它们复制到云之中。
文件存储
文件存储是基于文件级别的存储，它是 把一个文件放在一个硬盘上，即使文件太大而 拆分时，也是放在同一个硬盘上。它的缺点是 对单一文件的读写回受到单一硬盘效能的限制， 优点是对一个多文件、多人使用的系统，总带 宽可以随着存储节点的增加而扩展，它的架构 可以无限制地扩容，并且成本低廉。
文件系统合适应用的场合如下：
part2. •云存储的种类
块存储
块存储会把单笔的数据写到不 同的硬盘，借以得到较大的单 笔读写带宽，适合用在数据库 或是需要单笔数据快速读写的 应用。它的优点是对单笔数据 读写很快，缺点是成本较高， 并且无法解决真正海量文件的 储存。
块存储
（1）快速更改的单一文件系统 （2）针对单一文件大量写的高 性能计算（HPC）
（1）文件较大，总读取 带宽要求较高，如网站、 IPTV。
（2）多个文件同时写入， 如监控。
文件系统合适应用的场合如下： （3）长时间存放的文件，如文 件备份、存放或搜寻 这些应用有以下共通的特性： ①文件的并发读取 ②文件及文件系统本身较大 ③文件使用期较长 ④对成本控制要求较高
文件系统合适应用的场合如下：
紧耦合对称架构
TCS架构设计简单，开发周 期短暂，并且能快速投入 部署和应用。但随着数据 计算量，计算时间的增长 ，紧耦合架构渐渐不堪重 负，缺点显现

绪论 网络存储技术基础
0.1 存储技术概述
存储是一种为数据提供稳定、非易失、可靠的保存 数据的基础设施总称。常见的存储介质类型是磁介 质和光介质。
存储是一种服务更能体现蕴涵的信息和知识的价值。 原因：
第一 信息存储是企业的关键 第二 计算技术对存储的强烈需求 第三 网络技术和存储的不断融合 第四 存储技术的发展
磁带
服务器
磁盘阵列
DAS由主机系统、连接和存储介质三（a）部内部连分接式 组成。其中连（接b）外部使连接式用 ATA、SCSI、USB、FireWire等接口和光纤通道（FC，Fiber Channel）等块级别（Block-level）访问协议。存储介质包括硬 盘、光盘、磁带（库）、RAID、可移动介质等
理成分 3.文件组织:文件组织是组织存储数据的智能过程，使用
一种描述数据的元数据（Metadata）确定数据如何被存 储和还原，并通过何种方式提交给用户。
0.3网络存储体系结构
0. 3.3 典型的网络存储体系结构 1. DAS DAS即“直接连接存储”，是指将外置存储设备通过连接电缆，
直接连接到一台计算机上
0.3网络存储体系结构
SNIA共享存储模型定义的4个层次，即存储设备、块聚合 层、文件/记录层和应用。其中，文件/记录层又包括数据 库和文件系统。块聚合功能可以实现在共享存储环境的 不同的点上，可以在主机上、存储网络上或存储设备中。 存储设备和块聚合层加在一起又被称作块层。
卷本身由被称作块向量的多个块构成。数据库系统通过 表和表空间把一个或多个记录映射到卷，即：记录组－> 表－>表空间－>卷。
0.3网络存储体系结构
4. CAS CAS即“内容寻址存储”，用于存储和检索以固定内

16
01 数据存储的前世今生
2） 关系数据库
行式存储→ACID→关系数据库的问题
Impedance Mismatch
– ORM (Hibernate存在的价值) – 这个问题影响的是开发效率
Not designed to be run on clusters
– Scaling up
– Scaling out
− A 原子性 在事务中执行多个操作是原子性的，要么操作全部
执行,要么一个都不执行
− C 一致性 进行事务的过程中整个数据加的状态是一致的，不
会出现数据花掉的情况
− I 隔离性 两个事务不会相互影响，覆盖彼此数据等
− D 持久化 事务一旦完成,那么数据应该是被写到安全的，持久
化存储的设备上
可编辑课件
03 大数据时代的NOSQL
可编辑课件
4
01 数据存储的前世今生
事件三：出租车
事件 交通拥堵热点提取 对手 武汉1.5万出租车GPS数据 武器 分析车辆速度 结果 每5分钟处理1次
− 1.5万辆车 − 每15秒上传1次 − 匹配、聚类、拟合 − 5分钟
可编辑课件
低密度
高密度
5
有哪些理论可以帮我们做判断?
可编辑课件
6
01 数据存储的前世今生
A: Availability 可用性 26
02 数据库设计的CAP
2） CAP原理
C
一致性
是说数据的原子性，这种原子性在经典 ACID的数据库中是通过事务来保证的；
当事务完成时，无论其是成功还是回滚, 数据都会处于一致的状态；
在分布式环境中，一致性是说多点的数
据是否一致。
可编辑课件

iSCSI协议层次模型
ISCSI 技术的优缺点
• 优势
– 硬件成本低 – 操作简单、维护方便 – 带宽和性能 – 突破距离限制
• 不足
– 增加了系统性能开销 – 如果采用专用的iSCSI网卡，则会增加成本 – 存取速度冗余受网络运行状况的影响
SAN网络架构
SAN存储系统五大组成
• Server （服务器） • Storage（存储设备） • SAN fabric（连接设备） • Software（管理软件） • Service（服务）
SAN的特性
• SAN更适合网络关键任务的数据存储，与其他存储技术相比，SAN具有 以下特性：
– 高性能、高速存储 – 集中存储和管理 – 可扩展性 – 高可用的数据 – 采用专用光纤网络
• NAS——网络附加存储，即将存储设备连接到现有的网络上，提供数 据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文 件系统等几个部分组成。它基于TCP/IP协议实现文件级数据的存取服 务。
NAS网络架构
NAS的优点
（1）易于安装。
•NAS产品是真正即插即用 的产品•①，内采置用专磁门盘用阵于列数技据术，
（2）易于部署。 （3）方便使用和管理。 （4）整体性能高。 （5）跨平台使用。 （6）提高数据可用性。
存储•用的N户简A可S化可根操保据作证需系硬要统件来和设确网备定络和数据 协上议。N其地的吐•件升浏务或断客，A放方访量•台UN，级览器移网•干用据C著的•使作•具••硬存N户无S②③④可NNeP的置，问。，及器与去络N预户；改A安相了有t件、AU不需Iw以通采网ASX物在以时可管远网的N，在这善S的全应，很a架硬独需应S、是直r过用络A理访进间以服理程络运N网样网开e与的仍强构盘立安用SM等精接网嵌管A位问一并支务设均实直行络既络销完应然的上、于装服aS不简挂络入理c置频步提持器备设可 现 连。上可的，整 用可稳只网操任务、同型接共 式 员，率缩高W的时备通。，存减性也。服以定需卡作何器L操服到享操可i一最短网设不允过当N取小能i能务读性nC和系n额的作务网数作方Adu般高用络U置会许增W数。显器取和主统o外xS系器络P据系便w和将e的户吞、中服加不数可机平、软bs，，统地、再据靠板内在即，设工。性。

DVD-Dual
DVD-Dual规范是索尼公司设计并率先推行。 包括SONY、NEC等在内的厂商针对DVD-R/RW 与DVD+R/RW不兼容的问题，提出了DVD Dual 这项新规格，也就是DVD±R/RW的设计。DVD Dual并没有DVD Multi那样统一的规范，可 以让厂商们自由发挥。DVD±R/RW刻录机可 以同时兼容DVD-R/RW和DVD+RW这两种规格， 使用者就不用担心DVD刻录盘搭配的问题。
DVD各种格式对比
DVD-Multi
由于DVD-RAM、DVD-R和DVD-RW三种DVD刻录规格互不 兼容，用户使用时常受到DVD相关软、硬件的设计和 兼容性问题的困扰。为解决DVD规格混乱的状况，松 下公司提出了DVD-Multi规格，并得到了Intel、三 星等公司的支持。DVD-Multi技术以DVD-RAM为主要 架构，兼容DVD-RAM、DVD-R、DVD-RW，CD-R/CD-RW 等。严格的说DVD-Multi并不是一项技术，而是前两 种DVD刻录规格组合而衍生出来的产物。
(1)DVD-5规格：单面单层，标准的资料记录量为4.7GB (2)DVD-9规格：单面双层，即将资料层增加到两层，理
论上资料记录量可以提升到9.4GB ，但是由于双层的 构造会干扰信号的稳定度，所以实际上的最高资料记 录量只能够达到8.5GB。 (3)DVD-l0规格：双面单层，也就是DVD片的正反面都可 以储存资料，资料记录量为9.4GB，为DVD-5的两倍。 (4)DVD-l8规格：双面双层，也就是DVD-9的双面，容量 可以高达l7GB。
DVD-R/RW
DVD-R/RW格式由Pioneer先锋公司开发，初期格式为 3.9GB，刻录速度为一倍速，相当于9倍CD读写速度。 第一代的规格中只有DVD-R格式，而且刻录容量、结 构与DVDROM完全不同，面临与DVDRAM相同的不兼容命 运，但是先锋公司迅速推出了替代的2.0版技术，将 容量改为单面4.7GB，双面9.4GB，并且同时推出了包 括多次复写的DVD-RW规格，大大改善了兼容性问题。

服务器 B
• 优势 • 存储是一种共享资源 • 提高了利用率 • 提高了可扩展性 • 提高了可靠性 • 提高了可用性
EMC 机密资料 — 仅限内部使用
23
调配：LUN 掩蔽
• 只允许对特定主机和/或主机 群集进行卷访问
• 服务器只能访问分配给它们 的卷
• 在存储中而非连接结构中控 制访问
– 实现安全的分布式管理
EMC 机密资料 — 仅限内部使用
3
存储介质 - 磁带
顺序存取 – 在写入数据之 前，必须快进到磁带中第 一个可用位置，在读取数 据之前，必须快进到数据 所在位置。这会明显降低 性能。
磁带是一种辅助存储介质
便于携带 – 磁带轻便，易于 拿放。可以取出并移至其他
地方进行存储。
容量 – 磁带可以存储大量 数据；有时可超过 1 TB， 具体取决于磁带类型和备
– 存取时间以纳秒（即 1/1,000,000,000 秒） 计
– 闪存 • 速度快于磁盘 • 无移动部件 • 微秒，即 1/1,000,000 秒
– 磁盘 • 容量大，因此每字节的成本更低 • 读/写随机存取 • 用于永久存储数据 • 毫秒，即 1/1,000 秒
– 磁带 • 顺序存取 • 性能低 • 便于携带 •秒
• 扩展的 UltraFlex I/O：以太网光纤通 道 (FCoE)、光纤通道 (FC)、iSCSI、 CIFS、NFS、pNFS
EMC 机密资料 — 仅限内部使用
4
存储介质 - 磁盘
大容量 – 磁盘驱动器可存储大 量数据，范围从几百 GB 到数 TB，可降低存储的每字节数据 的成本。
磁盘是一种主要的存储介质
性能 – 与磁带不同，通过将读 磁头直接移至数据所在位置或 要写入的位置，即可访问磁盘 驱动器中的数据或在其中存储 数据。磁盘驱动器还可以同时

要点二
缓存管理策略
在移动设备中，为了合理利用有限的 系统资源，需要制定有效的缓存管理 策略。这些策略包括根据应用程序的 需求和设备的可用资源动态分配缓存 空间，以及在必要时清理不常用的应 用程序数据等。
要点三
缓存对移动设备性能 的影响
在移动设备中，高速缓存的大小和速 度对设备的性能影响很大。通过优化 缓存算法和提高数据访问速度，可以 提高移动设备的响应速度和运行效率 ，提升用户体验。
新材料与新技术的应用
新材料
随着科技的不断发展，新型材料如碳纳米管、二维材料等在高速缓冲存储器中的应用逐渐 受到关注。这些新材料具有更高的导电性能和更小的体积，有助于提高高速缓冲存储器的 性能和集成度。
新技术
新型存储技术如相变存储器、阻变存储器等也逐渐应用于高速缓冲存储器中。这些新技术 具有更高的写入速度和更长的寿命，有助于提高高速缓冲存储器的性能和可靠性。
能耗与可靠性的挑战
能耗问题
随着高速缓冲存储器容量的增加，能耗问题也日益突出。如何在 保证性能的同时降低能耗，是高速缓冲存储器发展的重要方向。
可靠性问题
高速缓冲存储器在高速运行过程中，容易出现数据丢失或损坏的 问题。提高高速缓冲存储器的可靠性，是保障数据中心和云计算
安全的重要任务。
技术挑战
如何在保证性能和可靠性的同时降低能耗，是高速缓冲存 储器面临的重要技术挑战。
PART 05
高速缓冲存储器的挑战与 未来发展
REPORTING
容量与速度的平衡
容量增加
随着数据中心的不断扩大和云计算的普及， 高速缓冲存储器的容量需求不断增加。
速度提升
随着处理器性能的不断提升，高速缓冲存储器的速 度也需要相应提升，以满足处理器对数据访问速度 的需求。

软件定义的存储 – Server SAN 计算与存储的融合
当今
未来
Hot Edge
Flash
• 一切以计算为核心 • 与CPU/Memory 捆绑 • 低延时 • 通过虚拟化层访问虚拟化
存储
• 闪存主宰性能
SSD FC SATA
SSD FC SATA
SSD FC SATA
Cold Core
Cloud Object Storage
• 以提供容量为核心 • 白牌设备 • 弹性，跨地域 • 同时提供文件/对象访问 • 扩展到云
5
什么是软件定义存储？
•软件定义的存储：是将工业标准服务器的存储提供出来并
通过软件控制层面实现存储的自动化和池化。它将存储的置 备和管理的方法简化到了极致，并利用工业标准服务器的存 储大大降低了成本。
•软件定义的存储产品：是一个将硬件抽象化的解决方案，
它使你可以轻松地将所有资源池化并通过一个友好的用户界 面（UI）或API来提供给消费者。一个软件定义的存储的解 决方案使得你可以在不增加任何工作量的情况下进行纵向扩 展（Scale-Up）或横向扩展（Scale-Out）
软件定义存储是云数据中心的重要组成部分
软件定义的存储 – 特点
目前的方式
• 软件定义 的存储
1）基于商用的硬件
• 包括了IDC分类中VirtualStorage Appliance（简称VSA）和 PhysicalStorage Appliance （简称PSA）两类。
• Server SAN/HCI里有： VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL Fluid Cache、HPStorVirtual、 RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta 、SimpliVity、ScaleComputing、Pivot3等；

5000%
4000% 3000% 2000% 1000% 0% CY 00 CY 01 CY 02 CY 03 CY 04 CY 05 CY06 CY07…… •3 数据量 存储管理员 存储预算
来源：Strategic Research, Gartner, CV estimates
企业业务信息系统部署
•21
高端存储-企业级存储产品

高端存储有时也成企业存储、集中存储、 存储平台等 系统有专门的前端控制器负责响应主机 I/O请求； 系统有专门的后端控制器负责磁盘的管 理——RAID技术就在后端控制器上实现； 前端控制器/后端控制器/高速缓存构建一 个系统架构，以协调工作，实现更高的可 靠性和性能 主要代表有 HDS USP-V EMC DMX IBM DS8000



存储系统内部结构名称
典型存储系统内部部件包括: 接主机通道卡（CHA） 高速缓存（Cache ） 接磁盘阵列控制卡（ACP） 磁盘（HDD）＋RAID排列
•20
磁盘阵列数据保护机制
• 针对磁盘等部件的损坏，采用RAID技术
• 针对存储设备的损坏，采用镜像技术
• 通过离线备份静态保存数据，一旦损坏即能快速恢复 • 远程数据复制技术实现数据容灾（基于硬件和软件） • HA高可用系统，使数据在任何时候都能被存取

•24
最广泛的连接性（FC/NAS/ISCSI）
FC/SAN
4Gbps解决方案 数据块级访问 文件级访问 通过IP网，实现 数据块级访问
NAS
iSCSI
HDS WMS/AMS
•25
内部分级存储管理（FC&SATA混合）
AMS
SATA扩展模块