第10讲 分布式云存储PPT课件
- 格式：ppt
- 大小：1.59 MB
- 文档页数：59
下载文档原格式
合集下载
云计算——分布式存储 ppt课件
21
5.1.3 分布式存储的发展历史
4．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB （3） MongoDB：文档型数据库同键值（Key-Value）型的数据 库类似，是键值型数据库的升级版，允许嵌套键值，Value值是 结构化数据，数据库可以理解Value的内容，提供复杂的查询， 类似于RDBMS的查询条件。 （4） DynamoDB：Amazon公司的一个分布式存储引擎，是一 个经典的分布式Key-Value存储系统，具备去中心化、高可用性、 高扩展性的特点。
• 大型数据中心在数据存储和数据访问方面有着与先前的应用非常不同 的需求特征，主要包括：数据量庞大、访问的并发度高、文件数量巨 大、数据访问语义和访问接口不同于传统的文件系统、数据共享与数 据安全的保障越来越重要等。
28
云计算——分布 式存储
阶段
产生的技术 背景
负载特征
单机文件系统
分时操作系统 多用户共享 磁盘
• 为解决UNIX文件系统I/O性能低的问题，先后出现了1984年的快速文 件系统（Fast ，FFS）和1992年的日志结构文件系统（Log-Structured File，LFS）。
• 20世纪90年代至今，出现了很多单机文件系统。包括SGI公司于1994 年发布的XFS，以及Sun公司于2004年发布的ZFS。
24
云计算——分布式存储
• NFS（Network ，网络文件系统）由Sun公司在1984年开发，被认为是 第一个广泛应用的现代网络文件系统。NFS的设计目标是提供跨平台 的文件共享系统。由于NFS的实现和设计思想都相对简单，该协议很 快被纳入到RFC标准，并开始大量应用。然而，NFS单一服务器的结 构也决定了它的扩展性有限。
5.1.3 分布式存储的发展历史
4．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB （3） MongoDB：文档型数据库同键值（Key-Value）型的数据 库类似，是键值型数据库的升级版，允许嵌套键值，Value值是 结构化数据，数据库可以理解Value的内容，提供复杂的查询， 类似于RDBMS的查询条件。 （4） DynamoDB：Amazon公司的一个分布式存储引擎，是一 个经典的分布式Key-Value存储系统，具备去中心化、高可用性、 高扩展性的特点。
• 大型数据中心在数据存储和数据访问方面有着与先前的应用非常不同 的需求特征，主要包括：数据量庞大、访问的并发度高、文件数量巨 大、数据访问语义和访问接口不同于传统的文件系统、数据共享与数 据安全的保障越来越重要等。
28
云计算——分布 式存储
阶段
产生的技术 背景
负载特征
单机文件系统
分时操作系统 多用户共享 磁盘
• 为解决UNIX文件系统I/O性能低的问题，先后出现了1984年的快速文 件系统（Fast ，FFS）和1992年的日志结构文件系统（Log-Structured File，LFS）。
• 20世纪90年代至今，出现了很多单机文件系统。包括SGI公司于1994 年发布的XFS，以及Sun公司于2004年发布的ZFS。
24
云计算——分布式存储
• NFS（Network ，网络文件系统）由Sun公司在1984年开发，被认为是 第一个广泛应用的现代网络文件系统。NFS的设计目标是提供跨平台 的文件共享系统。由于NFS的实现和设计思想都相对简单，该协议很 快被纳入到RFC标准，并开始大量应用。然而，NFS单一服务器的结 构也决定了它的扩展性有限。
云计算之分布式存储
云计算之分布式存储
本文档旨在介绍云计算领域中的分布式存储技术。
下面将从以下几个方面展开介绍：
1.引言
1.1 云计算概述
1.2 分布式存储概述
1.3 本文目的和范围
2.分布式存储体系架构
2.1 分布式存储的概念和特点
2.2 分布式存储体系结构
2.3 分布式存储的优势和挑战
3.分布式存储技术
3.1 数据分布策略
3.2 数据冗余与容错
3.3 数据一致性和可用性
3.4 数据访问与传输
4.分布式存储系统实践案例
4.1 分布式文件系统
4.2 分布式块存储
4.3 分布式对象存储
5.分布式存储与云计算的关系
5.1 云计算中的分布式存储需求
5.2 分布式存储对云计算的支持
5.3 分布式存储在云环境中的应用
6.总结与展望
6.1 本文回顾和总结
6.2 未来分布式存储的发展方向
附录：
本文档涉及附件：
附件1：分布式存储技术比较表格
附件2：分布式存储系统架构图
本文所涉及的法律名词及注释：
1.云计算：指通过网络提供IT资源和服务的一种模式。
2.分布式存储：指将数据分布在多个物理节点上进行存储和管理的技术。
3.数据冗余：指在分布式存储系统中对数据进行多次备份以提高系统的容错性。
4.数据一致性：指在分布式存储系统中保证不同节点上的数据副本之间保持一致性。
5.数据访问与传输：指分布式存储系统中数据的读写和传输过程。
云存储-课件(PPT演示)
Block Storage 会把单笔的数据写到不同 的硬盘，借以得到较大的单笔读写带宽，适合 用在数据库或是需要单笔数据快速读写的应用 。它的优点是对单笔数据读写很快，缺点是成 本较高，并且无法解决真正海量文件的储存， 像 EqualLogic 3PAR 的产品属于这一类。
18
2、云存储的分类
• File Storage 是基于文件级别的存储，它是把 一个文件放在一个硬盘上，即使文件太大拆分 时，也放在同一个硬盘上。它的缺点是对单一 文件的读写会受到单一硬盘效能的限制 ，优点 是对一个多文件、多人使用的系统，总带宽可 以随着存储节点的增加而扩展，它的架构可以 无限制的扩容，并且成本低廉，代表的厂商如 Parascale 。
22
个人级云存储
无论我们走到哪儿，都可以再次登录Google Docs，打开保存在云存储系统中的文档。通过云存储 系统的权限管理功能，还有能轻松实现文档的共享、 传送、以及版权管理。 3、 在线的网络游戏。
近年来，网络游戏越来越收到年轻人的喜爱，魔兽 、武林三国等各种不同主题和风格的游戏层出不穷， 网络游戏公司也使出浑身解数来吸引玩家。但很多玩 家都会发现一个很重要的问题：
5
什么是云存储
• 但当我们使用广域网和互联网时，我们只需要知道是什么 样的接入网和用户名、密码就可以连接到广域网和互联网 ，并不需要知道广域网和互联网中到底有多少台交换机、 路由器、防火墙和服务器，不需要知道数据是通过什么样 的路由到达我们的电脑，也不需要知道网络中的服务器分 别安装了什么软件，更不需要知道网络中各设备之间采用 了什么样的连接线缆和端口。
9
云存储不是存储，而是服务
• 就如同云状的广域网和互联网一样，云存储对使用者来 讲，不是指某一个具体的设备，而是指一个由许许多多 个存储设备和服务器所构成的集合体。使用者使用云存 储，并不是使用某一个存储设备，而是使用整个云存储 系统带来的一种数据访问服务。所以严格来讲，云存储 不是存储，而是一种服务。云存储的核心是应用软件与 存储设备相结合，通过应用软件来实现存储设备向存储 服务的转变。
18
2、云存储的分类
• File Storage 是基于文件级别的存储，它是把 一个文件放在一个硬盘上，即使文件太大拆分 时，也放在同一个硬盘上。它的缺点是对单一 文件的读写会受到单一硬盘效能的限制 ，优点 是对一个多文件、多人使用的系统，总带宽可 以随着存储节点的增加而扩展，它的架构可以 无限制的扩容，并且成本低廉，代表的厂商如 Parascale 。
22
个人级云存储
无论我们走到哪儿，都可以再次登录Google Docs，打开保存在云存储系统中的文档。通过云存储 系统的权限管理功能，还有能轻松实现文档的共享、 传送、以及版权管理。 3、 在线的网络游戏。
近年来，网络游戏越来越收到年轻人的喜爱，魔兽 、武林三国等各种不同主题和风格的游戏层出不穷， 网络游戏公司也使出浑身解数来吸引玩家。但很多玩 家都会发现一个很重要的问题：
5
什么是云存储
• 但当我们使用广域网和互联网时，我们只需要知道是什么 样的接入网和用户名、密码就可以连接到广域网和互联网 ，并不需要知道广域网和互联网中到底有多少台交换机、 路由器、防火墙和服务器，不需要知道数据是通过什么样 的路由到达我们的电脑，也不需要知道网络中的服务器分 别安装了什么软件，更不需要知道网络中各设备之间采用 了什么样的连接线缆和端口。
9
云存储不是存储，而是服务
• 就如同云状的广域网和互联网一样，云存储对使用者来 讲，不是指某一个具体的设备，而是指一个由许许多多 个存储设备和服务器所构成的集合体。使用者使用云存 储，并不是使用某一个存储设备，而是使用整个云存储 系统带来的一种数据访问服务。所以严格来讲，云存储 不是存储，而是一种服务。云存储的核心是应用软件与 存储设备相结合，通过应用软件来实现存储设备向存储 服务的转变。
云计算——分布式存储
云计算——分布式存储在当今数字化的时代，数据的重要性不言而喻。
随着数据量的爆炸式增长，传统的存储方式已经难以满足需求，云计算中的分布式存储应运而生。
它就像是一个超级大仓库，能够高效、可靠地存储和管理海量的数据，为我们的生活和工作带来了巨大的变革。
那么，什么是分布式存储呢？简单来说，分布式存储是将数据分散存储在多个独立的设备上，而不是集中存储在一个单一的存储设备中。
这些设备可以是服务器、硬盘、甚至是云端的虚拟机。
通过网络将它们连接在一起，形成一个统一的存储系统。
想象一下，你有一个非常大的图书馆，里面有成千上万本书。
如果所有的书都堆放在一个房间里，那么要找到你想要的那本书将会非常困难。
但是，如果把这些书按照一定的规则分类，分别放在不同的书架上，每个书架都有明确的标识和索引，那么你就能更快地找到你需要的书。
分布式存储就类似于这样的图书馆管理方式，只不过它管理的是数据，而不是书籍。
分布式存储的优势是显而易见的。
首先，它具有极高的扩展性。
当你的数据量不断增加时，你只需要添加更多的存储设备就可以轻松应对，而不需要对整个系统进行大规模的改造。
这就好比你可以随时给图书馆增加新的书架，而不会影响到读者查找书籍的流程。
其次，分布式存储提高了数据的可靠性和可用性。
由于数据被分散存储在多个设备上，如果其中一个设备出现故障，其他设备上仍然有完整的数据副本，不会导致数据丢失。
这就像是在图书馆里，即使某个书架损坏了，其他书架上还有同样的书籍，读者依然可以借阅。
再者，分布式存储能够提高数据的访问性能。
通过将数据分布在多个设备上，并采用智能的算法进行数据分配和访问调度，可以实现并行的数据访问，大大提高了数据读取和写入的速度。
这就好像在图书馆里设置了多个借阅窗口，读者可以同时办理借阅手续，减少了等待的时间。
然而，分布式存储也并非完美无缺。
它的实现和管理相对复杂，需要处理数据的分布、副本管理、一致性维护等一系列问题。
而且，由于数据分布在多个设备上，数据的安全性和隐私保护也面临着更大的挑战。
云计算——分布式存储
云计算原理与实践
Principles and Practice of Cloud Computing
Outline
• 5.1 分布式存储的基础
• 5.2 文件存储
• 5.3 从单机存储系统到分布式存储系统
Domain expertise
• 5.4 实践：分布式存储系统Ceph
Machine Learning
（4） GFS （Google File System）
图5.5 GFS架构图
（5） HDFS （Hadoop Distributed File System）
图5.6 HDFS总体结构示意图
5.1.3 分布式存储的发展历史
4．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB （1） Cassandra：是一套开源分布式NoSQL数据库系统，最 初由Facebook开发，用于储存收件箱等简单格式数据，集 GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的 架构于一身。 （2） HBase：列存储数据库，擅长以列为单位读取数据，面 向列存储的数据库具有高扩展性，即使数据大量增加也不会 降低相应的处理速度，特别是写入速度。
阶段
表5.1 文件系统 的发展脉络
单机文件系统
产生的技术 背景
负载特征
典型代表ห้องสมุดไป่ตู้
主要的创新技术
性能评价 标准
树型目录结构 Unix FS 分时操作系统 多用户共享 磁盘 FFS 多用户并发访问 多进程并发访问 LFS JFS WAFL XFS ZFS 索引节点（i-node） 流式访问接口 柱面组 元数据修改日志 B+树组织 写时复制 存储池 局域网 网络文件系统 TCPP/IP 协议 RAID FC 网络 多客户端共享访问 多用户共享访问 NFS AFS NAS SAN 文件系统 XDR RPC VFS 无状态服务器 多服务器结构 文件的条带化存储 并行 I/O 接口 元数据管理与数据存储 分离 并行 I/O 带宽 聚合 I/O 带宽 I/O 请求响应时间 聚合 I/O 带宽
Principles and Practice of Cloud Computing
Outline
• 5.1 分布式存储的基础
• 5.2 文件存储
• 5.3 从单机存储系统到分布式存储系统
Domain expertise
• 5.4 实践：分布式存储系统Ceph
Machine Learning
（4） GFS （Google File System）
图5.5 GFS架构图
（5） HDFS （Hadoop Distributed File System）
图5.6 HDFS总体结构示意图
5.1.3 分布式存储的发展历史
4．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB （1） Cassandra：是一套开源分布式NoSQL数据库系统，最 初由Facebook开发，用于储存收件箱等简单格式数据，集 GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的 架构于一身。 （2） HBase：列存储数据库，擅长以列为单位读取数据，面 向列存储的数据库具有高扩展性，即使数据大量增加也不会 降低相应的处理速度，特别是写入速度。
阶段
表5.1 文件系统 的发展脉络
单机文件系统
产生的技术 背景
负载特征
典型代表ห้องสมุดไป่ตู้
主要的创新技术
性能评价 标准
树型目录结构 Unix FS 分时操作系统 多用户共享 磁盘 FFS 多用户并发访问 多进程并发访问 LFS JFS WAFL XFS ZFS 索引节点（i-node） 流式访问接口 柱面组 元数据修改日志 B+树组织 写时复制 存储池 局域网 网络文件系统 TCPP/IP 协议 RAID FC 网络 多客户端共享访问 多用户共享访问 NFS AFS NAS SAN 文件系统 XDR RPC VFS 无状态服务器 多服务器结构 文件的条带化存储 并行 I/O 接口 元数据管理与数据存储 分离 并行 I/O 带宽 聚合 I/O 带宽 I/O 请求响应时间 聚合 I/O 带宽
云计算技术——分布式计算 ppt课件
ppt课件
15
一致性
一致性指“All nodes see the same data at the same time”，即更新操作成功并返 回客户端完成后，所有节点在同一时间的数据完全一致。对于一致性，可以分 为从客户端和服务端两个不同的视角来看。
从客户端来看，一致性主要指多并发访问时更新过的数据如何获取的问题。 从服务端来看，则是如何将更新复制分布到整个系统，以保证数据的最终一 致性问题。
ppt课件
16
可用性
可用性是指“Reads and writes always succeed”，即服务一直可用，而且是 在正常的响应时间内。对于一个可用性的分布式系统，每一个非故障的节点 必须对每一个请求作出响应。也就是该系统使用的任何算法必须最终终止。
当同时要求分区容错性时，这是一个很强的定义：即使是严重的网络错误， 每个请求也必须终止。好的可用性主要是指系统能够很好地为用户服务，不 出现用户操作失败或者访问超时等用户体验不好的情况。通常情况下可用性 和分布式数据冗余、负载均衡等有着很大的关联。
ppt课件
26
2.2.4 最终一致性
下面以上面的场景来描述下不同程度的一致性。 强一致性（即时一致性）：假如A先写入了一个值到存储系统，存储系统保证后续A、 B、C的读取操作都将返回最新值。 弱一致性：假如A先写入了一个值到存储系统，存储系统不能保证后续A、B、C的读 取操作能读取到最新值。此种情况下有一个“时间窗口”的概念，它特指从A写入值， 到后续操作A、B、C读取到最新值这一段时间。“时间窗口”类似时空穿梭门，不过 穿梭门是可以穿越到过去的，而一致性窗口只能穿越到未来，方法很简单，就是“等 会儿”。 最终一致性：是弱一致性的一种特例。假如A首先“写”了一个值到存储系统，存储 系统保证如果在A、B、C后续读取之前没有其他写操作更新同样的值的话，最终所有 的读取操作都会读取到A写入的最新值。此种情况下，如果没有失败发生的话，“不 一致性窗口”的大小依赖于以下的几个因素：交互延迟，系统的负载，以及复制技术 中复本的个数。最终一致性方面最出名的系统可以说是DNS系统，当更新一个域名的 IP以后，根据配置策略以及缓存控制策略的不同，最终所有的客户都会看到最新的值。
云计算——分布式存储(2023最新版)
云计算——分布式存储云计算——分布式存储⒈引言⑴背景⑵目的⑶范围⒉概述⑴什么是云计算⑵什么是分布式存储⑶分布式存储在云计算中的作用⑷分布式存储的优势⒊分布式存储架构⑴存储节点⑵存储层次⑶数据分布策略⑷数据冗余与备份机制⑸一致性与并发控制⒋分布式存储技术⑴ RD技术⑵分布式文件系统⑶分布式键值存储⑷对象存储⑸元数据管理⑹缓存策略⒌分布式存储的应用场景⑴云存储服务提供商⑵大规模数据分析⑶云计算虚拟化环境⑷边缘计算⒍分布式存储的挑战与未来发展⑴数据安全与隐私保护⑵大规模数据处理性能⑶可扩展性和可靠性⑷分布式存储与边缘计算的结合⑸未来发展趋势⒎结论附件：⒈实验数据分析报告⒉相关资料和文献引用法律名词及注释：⒈云计算：指通过网络提供计算资源和服务的一种方式，用户可以按需使用，无需了解底层实施细节。
⒉分布式存储：将数据分散存储在多个设备上，在网络中提供高可用性和高容错性的存储服务。
⒊RD技术：磁盘冗余阵列技术，通过将多个磁盘组合起来，提供数据冗余和性能加速的技术。
⒋分布式文件系统：将存储系统抽象为一个逻辑的文件系统，使用户可以方便地访问和管理分布在多个节点上的数据。
⒌分布式键值存储：以键值对的形式存储数据的分布式存储系统，将存储节点按照键值进行分布，实现数据的高效访问。
⒍对象存储：将数据以对象的形式进行存储，每个对象都有唯一的标识符，可以通过标识符来进行访问和管理。
⒎元数据管理：管理存储系统中的元数据信息，包括文件大小、创建时间、访问权限等。
分布式块存储介绍46页PPT
分布式块存储介绍
36、“不可能”这个字(法语是一个字 )，只 在愚人 的字典 中找得 到。--拿 破仑。 37、不要生气要争气，不要看破要突 破，不 要嫉妒 要欣赏 ，不要 托延要 积极， 不要心 动要行 动。 38、勤奋，机会，乐观是成功的三要 素。(注 意：传 统观念 认为勤 奋和机 会是成 功的要 素，但 是经过 统计学 和成功 人士的 分析得 出，乐 观是成 功的第 三要素 。
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
39、没有不老的誓言，没有不变的承 诺，踏 上旅途 ，义无 反顾。 40、对时间的价值没有没有深切认识 的人， 决不会 坚吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
36、“不可能”这个字(法语是一个字 )，只 在愚人 的字典 中找得 到。--拿 破仑。 37、不要生气要争气，不要看破要突 破，不 要嫉妒 要欣赏 ，不要 托延要 积极， 不要心 动要行 动。 38、勤奋，机会，乐观是成功的三要 素。(注 意：传 统观念 认为勤 奋和机 会是成 功的要 素，但 是经过 统计学 和成功 人士的 分析得 出，乐 观是成 功的第 三要素 。
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
39、没有不老的誓言，没有不变的承 诺，踏 上旅途 ，义无 反顾。 40、对时间的价值没有没有深切认识 的人， 决不会 坚吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
分布式存储对象存储概述--ppt课件
优点
S如:AN , 提供高性 能的随机I/O和数据 吞吐率
缺点
可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU 规模的 系统
文
块存储设备 如:NAS, 扩展性好、 开销高、带宽低、延迟
件
文件
＋文件系统 易于管理、价格便宜 大,不利于高性能集群中
储
应用
存
对
块存储设备 支持高并行性、可伸 处于发展阶段,相应的硬
ppt课件
11
2.2 对象存储解释优势
对象存储就是分布式系统，也可理解为依托于分布式存储架 构的一个特性，高级功能
1）传统的块存储读写快而不利于共享， 2 ）文件存储读写慢但利于共享 对象存储则集成二者优点，是一个利于共享、读写快的“云 存储”技术。作为一种分布式存储，最重要的一点是能解决 对非结构化数据快速增长带来的问题。
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
8 16 247 231 115.464 108 0.357958 0.53742
9 16 274 258 114.633 108 0.449163 0.539057
括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件 • MDS 元数据服务器(Metadata Server)
系统提供元数据、Cache一致性等服务
ppt课件
15
2.5：传统存储数据存储过程
传统文件储存过程。
ppt课件
16
2.6：对象存储数据储存过程
对象文件储存过程。
ppt课件
Stddev Bandwidth: 41.2795
分布式存储技术PPT课件
Virtual SAN 数据 存储集群
Virtual SAN-利用缓存提升性能
1
写入(30%)
VSAN vSphere
1
2 读取(70%)
VSAN vSphere
SSD
2
硬盘
VSAN 数据存储
SSD
硬盘
VSAN 数据存储
所有虚拟机 I/O 均指向 SSD。写入内容稍后会转储到 HDD。 如果请求的读取数据块不在缓存中，会将该请求定向到 HDD
虚拟机存储配置方式比较
需要操作
Raid组创建
传统 存储
VSAN
LUN划分
更快速
• 通过SSD缓存加速技术，IO性能大幅提升 • 分布式弹性扩展，节点内垂直扩展，容量和性能线性
扩展
更可靠
分布式存储架构，节点冗余技术，消除存储单点故障风险
更高效
• 融合部署，提升资源利用率 • 最短存储路径，虚拟机感知的虚拟化存储池
• 将 HDD/SSD 池化为共享数据存储
• 提供企业级的可扩展性和性能
• 基于策略的自动化，满足SLA，可 按虚机甚至vmdk级别的颗粒度设 置存储策略
• 与VMware产品体系深度集成
用来取代vSphere后端的传统外置磁盘阵列
存储策略决定服务级别（包括确定数据如何布局）
从上至下，围绕着业务/虚机为中心
Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等； • 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大 道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有 OpenvStorage（类似Nutanix架构）； • 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是 分布式文件系统，如GPFS、Lustre、Panasas等； • 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还 有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等
Virtual SAN-利用缓存提升性能
1
写入(30%)
VSAN vSphere
1
2 读取(70%)
VSAN vSphere
SSD
2
硬盘
VSAN 数据存储
SSD
硬盘
VSAN 数据存储
所有虚拟机 I/O 均指向 SSD。写入内容稍后会转储到 HDD。 如果请求的读取数据块不在缓存中，会将该请求定向到 HDD
虚拟机存储配置方式比较
需要操作
Raid组创建
传统 存储
VSAN
LUN划分
更快速
• 通过SSD缓存加速技术，IO性能大幅提升 • 分布式弹性扩展，节点内垂直扩展，容量和性能线性
扩展
更可靠
分布式存储架构，节点冗余技术，消除存储单点故障风险
更高效
• 融合部署，提升资源利用率 • 最短存储路径，虚拟机感知的虚拟化存储池
• 将 HDD/SSD 池化为共享数据存储
• 提供企业级的可扩展性和性能
• 基于策略的自动化，满足SLA，可 按虚机甚至vmdk级别的颗粒度设 置存储策略
• 与VMware产品体系深度集成
用来取代vSphere后端的传统外置磁盘阵列
存储策略决定服务级别（包括确定数据如何布局）
从上至下，围绕着业务/虚机为中心
Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等； • 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大 道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有 OpenvStorage（类似Nutanix架构）； • 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是 分布式文件系统，如GPFS、Lustre、Panasas等； • 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还 有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Windows DFS示例
解决思路
这是一个典型的Windows DFS的应用， 33台服务器足以实现一个颇具规模 的分布式文件管理系统，在部署DFS平台之后，这33台文件服务器逻辑上组 成一个大的文件服务器，并且通过服务器之间文件自动复制策略，保证每 一个文件至少有一个以上的副本，对于不同分支机构员工经常需要访问的 文件可以进行就近缓存，以节省流量，提升整体访问性能。
服务器端与客户端依据约定的存取协议(协议可能是标准协议)，根据权限分配 ，允许客户端访问经过授权的目录与文件
对于客户端来讲，一旦获得访问授权，其使用这些目录与文件就像使用本地磁 盘一样方便
分布式文件系统的用途
“云盘”：后台存储通常应用的是分布式文件系统 客户端：可以是个人电脑、平板、手机 未来个人存储不需要放在本地，直接通过各种客户
Windows DFS示例
DFS测试与验证
以上建立了一个以RootRes为根目录，BServer为分支节点 的小型分布式文件系统
Windows DFS示例
用户需求 A公司由总部与十家分支机构组成，总部与分支机构各有三台 Windows文件服务器，共33服务器。A公司员工根据权限设定，需要 经常使用这些服务器，但面临如下问题 服务器数量多，名称不容易记 文件均是在服务器单点存储，没有副本冗余设计 文件存放于不同的服务器，员工不容易进行查找 而A公司运维人员面临的问题也很严峻，需要维护的服务器数量众 多，无法细粒度保证用户是否是合法访问
Windows DFS示例
环境准备
机器代号 IP地址 主机名称 共享目录 所处城市 URL 操作系统
AServer 172.16.10.50 XSHSI-1 C:\RootRes 北京 \\172.16.10.50\RootRes Windows 2003 Server
BServer 172.16.3.51 tsclient C:\ 济南 \\172.16.10.50\RootRes\BServer Windows 2008 R2
Windows DFS示例
DFS根目录部署
操作对象是BServer主机 在“开始”菜单中选择“运行”命令，输入“DFSGUI.MSC”，会出现的“分
布式文件系统”界面，然后顺次配置即可
Windows DFS示例
DFS链接制作
操作对象是AServer主机 选择上面新建的RootRes并右击，选择“新建链接”命令
为简化说明，从中抽出2台服务器进行讲解，一台来自于总部，命名为 AServer，用于当成根目录节点；另一台来自于一家分支机构，命名为 Bserver。
通过下面的操作将AServer搭建成一个管理节点，作为统一访问入口；
BServer中一个共享目录挂接至AServer根目录下面，并命名为Btest，用户 能够通过访问AServer中的BTest就可以访问到BServer上的资源。的标准协议方便客Fra bibliotek机进行高效存取。
主命名服务器
备用命名服务器
分布式文件系统的设计基于客户机/服务器模式
服务器端通常由主命名服务器、备用命名服务器以及多个节点数据服务器组成 数据服务器节点集群 主命名服务器提供元数据存取：元数据是关于数据的数据或者叫做用来描述数据的数据 备用命名服务器为主命名服务器提供冗余保护 数据服务器存储数据块，用于具体文件块的存取
端访问远端个人存储区域
4
分布式文件系统特点
分布式文件系统通过协同多个节点消除单点故障和性能瓶颈，并在 设计上要满足以下特点：（1）高可用；（2）高负载；（3）高性能。
较于传统文件系统的特点
统一命名空间：客户端看到的是统一的全局命名空间，用户操作起来就像
是管理本地文件系统，但用户文件实际上分布于集群的多个节点上。
Windows DFS Windows上提供了一种文件分布式存放、统一访问的机制 DFS平台能够将存储在不同地域服务器(前提是网络可达)上的共享文件夹 ，以链接的形式加入到一个逻辑共享文件夹，也称为根目录，通过访问 根目录中的资源别名，可以实现对资源的实际访问
Hadoop HDFS Hadoop分布式文件系统
常见的分布式文件系统
Lustre Lustre主要面向超级计算机，拥有超强可扩展性与可靠性，能够支持上 万个节点，PB级存储、100GB/S的高速访问能力
Google FS Google FS(Google )是谷歌公司开发的一个分布式可扩展的文件系统， 它主要用于大型、分布式、大数据量的互联网应用平台 Hadoop平台，是在受到Google FS启发后，采用其理念重新用Java语言实 现的一个开源平台
第10讲 分布式云存储
1
主要内容
1 分布式文件系统的特点 2 常见分布式文件系统 3 Windows平台DFS搭建 4 Hadoop与HDFS介绍 5 单节点HDFS部署 6 HDFS编程与控制
2
分布式文件系统
分布式文件系统(Distributed ，客D户端FS)
指通过一套管理系统，能够将文件分散至不同的计算机进行存储，并通过规范
扩展性强：可灵活增减数据服务器节点，或通过替换的方式增强节点的 存储能力 高性能：数据服务器节点在功能上完全对等，单个节点故障不会影响集 群整体运转 高度负载均衡：后端通过负载均衡算法将文件切成块并分布式存放；前 端用户读写请求采用数据块的方式并行操作，并通过负载均衡策略，将 前端的访问操作分散到多个数据服务器节点上。
Mogile FS Mogile FS是运行于Linux平台上的开源分布式文件系统，由Danga Interactive 公司开发 基于应用层的分布式文件系统，支持NFS、HTTP访问
常见的分布式文件系统
Fast DFS Fast DFS是一个类Google FS的开源分布式文件系统，它由C/C++语言开 发，可运行于Linux、UNIX、AIX平台 Fast DFS支持文件的高效存储、同步、上传、下载等，比较适合于互联 网视频网站、文档分享网站、图片分享网站等应用