下载文档原格式
云计算中的分布式存储技术研究与应用一、引言随着互联网技术的迅猛发展，大数据时代已然来临，大量数据的存储和处理已经成为了企业发展的重要战略之一。
而云计算技术作为当下互联网技术的代表，为企业提供了高效、可靠、安全的数据存储和处理方案。
分布式存储技术是云计算技术的核心之一，本文将从理论与实践两个角度，探讨云计算中的分布式存储技术研究与应用。
二、分布式存储技术的基本架构分布式存储技术是一种通过将数据分散存储在多个物理设备上，实现数据冗余备份、提升数据处理性能、保证存储可靠性的存储技术。
分布式存储技术的核心思想是将数据分散存储在多个节点上，从而实现数据的可靠性和高性能处理。
分布式存储技术的基本架构可以分为以下几个部分。
1、分布式文件系统分布式文件系统是分布式存储技术的核心组成部分，它负责管理分布在不同节点上的文件和文件系统元数据。
分布式文件系统有许多成熟的开源实现，如Hadoop Distributed File System、Google File System等。
2、分布式存储服务分布式存储服务是构建分布式存储系统的关键，它通过提供数据访问接口、数据备份和复制、数据恢复等功能，为上层应用程序提供数据存储服务。
常用的分布式存储服务包括Amazon S3、Azure Blob Storage等。
3、分布式存储节点分布式存储节点是存储分散在多个设备上的数据的物理节点，每个节点都可以是一个计算机、一个存储设备或者一个存储设备和计算机的组合体。
分布式存储节点的数量可以根据系统需求进行增减。
4、数据管理与负载均衡数据管理与负载均衡是分布式存储系统的重要组成部分，它们负责将数据均衡分布在不同的存储节点上，降低节点的负载，提升系统稳定性和处理性能。
三、分布式存储技术的研究和发展分布式存储技术的诞生可以追溯到上个世纪90年代初期，当时研究人员开始尝试将文件分布在多台计算机上，以提高数据访问速度和可靠性。
到了21世纪，随着云计算技术的兴起和应用需求的增加，分布式存储技术得到了迅猛发展。
云计算中的分布式存储技术研究随着大数据和云计算技术的快速发展，存储技术的重要性越来越突出。
在云计算环境下，分布式存储技术成为了重要的研究方向之一。
本文就云计算中的分布式存储技术进行一些探讨和研究。
一、分布式存储技术概述传统的存储技术以磁盘、磁带为主，数据存储在单机或者局域网内的存储设备上。
单机存储的优点是存储容量大、读写速度快，但是当数据量很大时，存储设备需要更换，维护成本也会增高。
分布式存储技术的出现就是为了解决这些问题。
分布式存储指的是将数据存储于多个节点上，每个节点都有一部分数据的副本，从而达到提升数据读写速度、保证数据的安全和可靠性等目的。
分布式存储可以更好地满足云计算环境下的大规模数据存储需求，同时也是实现云计算的必要技术之一。
二、分布式存储架构分布式存储系统主要由三个部分组成：存储节点、元数据节点和数据访问层。
存储节点是存储数据的实体，它们之间通过网络连接进行数据交换。
元数据节点则负责存储和管理数据的位置、副本数量以及一些元数据信息。
数据访问层则提供访问接口，让用户可以方便地获取到数据。
分布式存储系统的架构有多种形式，其中最常见的是分布式文件系统和对象存储系统。
分布式文件系统（如HDFS）主要用于存储大文件，它将文件分成若干块，分别存储在不同的存储节点上。
对象存储系统则将数据以对象的形式存储在不同的节点上，每个对象有其自身的唯一标识符和元数据信息，例如S3和OpenStack Swift。
三、分布式存储的优势相比传统的存储技术，分布式存储技术具有以下几个优势：1.高可靠性：分布式存储系统将数据分布在多个节点上，即使某个节点发生故障或数据损坏，其他节点上的数据仍旧可以访问，从而保证数据的可靠性。
2.高性能：分布式存储系统可以同时访问多个节点，从而大大提高数据的读写性能和吞吐量，适合大规模数据存储和处理的需求。
3.高扩展性：由于分布式存储系统的存储节点可以动态地增加或减少，可以根据需求来扩展存储容量，从而满足不断扩大的存储需求。
云计算环境下的分布式存储技术随着云计算技术的不断发展，大量数据的存储和处理成为了云计算环境下的一项重要任务。
而分布式存储技术则成为了解决这一难题的有力武器。
本文将从什么是分布式存储、其技术原理、应用领域、面临的挑战以及未来展望等方面进行介绍。
一、什么是分布式存储技术传统的中央式存储结构，即将存储设备集中放置在中央服务器上，使其成为一个集中式存储系统，这种方式在数据处理方面面临许多问题，例如数据的安全性、容量、磁盘故障时数据丢失的问题等。
而分布式存储系统是将多台计算机的存储设备连接在一起，形成一个逻辑上的整体，从而实现数据的分布式存储和管理。
分布式存储技术通过将数据分成多份并存储在不同的服务器上，形成一个分布式的存储系统，从而达到了数据备份和冗余，提高了系统的可用性和可扩展性。
二、分布式存储技术原理在分布式存储系统中，数据通常通过称为数据分块的方式进行分割，每个数据块都会存放在不同的服务器上，存储时采用冗余的方式实现数据备份，从而实现了高可用性。
而数据的访问，需要进行数据块的组合，通过算法计算获取数据的位置，最后在每个服务器上进行数据块的读取和重组，从而达到快速访问数据的目的。
三、分布式存储技术应用领域分布式存储技术通常用于需要大量数据存储的领域，例如互联网、云存储、大数据等。
在这些场景下，分布式存储技术在以下方面具有优势：1.高可用性：分布式存储系统的每个节点都有备份机制，保证了系统在节点故障时不会有数据丢失。
2.扩展性：当需要扩大存储容量，只需增加服务器节点即可，与传统的中央式存储系统相比，成本更低。
3.性能优化：数据分块、多节点并行读取等技术，可以提高访问速度，优化系统性能。
四、分布式存储技术面临的挑战尽管分布式存储技术在应用领域具有广泛的适用性，但它也面临一些挑战，例如：1.数据访问控制不易实现，在保证数据安全性的情况下，需要考虑对数据的权限划分和访问控制。
2.存储设备的异构性会影响数据访问和管理的效率，需要考虑如何针对不同的设备进行数据访问和优化。
云计算背景下的云数据存储技术分析在当今信息时代，数据存储已经成为云计算技术的重要组成部分。
云数据存储技术作为云计算的重要支撑，得到了广泛的关注和应用。
本文将对云计算背景下的云数据存储技术进行详细的分析，并探讨其在当前和未来的发展趋势。
云计算是一种基于互联网的计算模式，通过这种模式，可以根据需要随时获取和发布数据和应用。
云计算技术的快速发展，使得云数据存储技术成为当今信息化建设中的热点和重点。
云数据存储技术是一种将数据存储在云端服务器上的技术，它不仅仅是一种存储手段，更是一种运营模式和管理理念的革新。
云数据存储技术的出现，使得用户可以在任何时间、任何地点、任何终端上访问和共享数据，极大地方便了用户的使用。
1. 高可靠性：云数据存储技术通过数据冗余和灾难恢复机制，确保了数据的高可靠性和持久性。
即使某些存储节点发生故障，也不会影响数据的访问和使用。
2. 高扩展性：云数据存储技术可以根据用户的需求进行动态扩展和收缩，保证了存储系统的灵活性和可伸缩性。
3. 高安全性：云数据存储技术通过多层次的安全机制和加密技术，保障了数据的安全性和隐私性，防止了数据的泄漏和损坏。
4. 高性能：云数据存储技术采用了先进的存储设备和技术，保证了数据的高速访问和传输性能，提高了用户的使用体验。
5. 低成本：云数据存储技术通过共享资源和自动化管理，有效降低了存储成本，降低了用户的使用成本。
1. 大数据存储技术的发展：随着大数据技术的逐渐成熟和应用，大数据存储技术在云计算背景下也得到了快速发展。
大数据存储技术通过分布式存储和处理，解决了传统存储技术无法满足大规模数据存储和处理需求的问题。
2. 分布式存储技术的发展：分布式存储技术在云计算背景下也得到了快速发展，包括分布式文件系统、分布式数据库系统等。
分布式存储技术通过多个节点存储数据，提高了存储系统的可靠性和性能。
3. 对象存储技术的发展：对象存储技术是一种新型的存储技术，它将数据以对象的形式进行存储和管理，适用于大规模数据存储和云存储场景。
云计算环境下的分布式存储和计算技术研究一、概述随着互联网的不断发展，数据量的爆炸式增长给传统的存储和计算架构带来了很大的挑战。
为了解决这些问题，云计算技术应运而生。
云计算是一种新的计算范式，它将计算资源和存储资源集中起来，通过互联网提供给用户使用，从而实现更高效、更灵活和更经济的计算和存储解决方案。
而在云计算环境下，分布式存储和计算技术成为了实现高可靠、高性能云计算的重要技术。
二、分布式存储技术1. 存储系统架构分布式存储是一种分散存放数据的方式，将数据分散存储在多个节点上，并且任何一个节点的故障不会导致数据的丢失。
分布式存储系统通常都由多个独立的节点组成，每个节点都具有存储容量和处理能力。
分布式存储系统一般采用分布式文件系统进行管理，如HDFS（Hadoop Distributed File System）和Ceph分布式文件系统等。
2. 存储技术特点分布式存储系统具有高可靠、高可扩展和高性能等特点。
其中，高可靠是指在多节点环境下，任一节点出现故障时，系统的数据仍能够被保留；高可扩展是指系统中可以动态添加或删除节点，以满足系统的存储容量和性能要求；高性能则是指系统能够提供高速的数据传输和处理能力。
分布式存储技术已经广泛应用于搜索引擎、云存储、大数据处理和分布式计算等领域。
三、分布式计算技术1. 计算模式分布式计算是指将一个大的计算任务划分成多个子任务，在多台计算机上并行处理，最终将结果合并得到最终的计算结果。
分布式计算的核心思想是任务并行和结果汇聚。
分布式计算可以实现计算资源的共享和利用，提高计算效率并缩短计算时间。
分布式计算有多种计算模式，如Batch Computing、Real-time Computing和Stream Computing等。
其中Batch Computing是指将任务分割成多个Batch并进行计算，如MapReduce计算模型；实时计算是指任务需要在实时计算，如Storm计算模型；而Streaming Computing则是指数据的实时处理，如Spark Streaming 计算模型。
云计算中的分布式存储技术研究与优化随着互联网的飞速发展，人们对于大数据的需求越来越高。
为了解决大数据存储问题，出现了云计算中的分布式存储技术。
分布式存储技术是一种将数据分散在多个节点上的技术，可以进行数据备份、容错和快速访问，在云计算中也是非常重要的一项技术。
本文将讨论分布式存储技术在云计算中的应用，以及如何进行优化。
一、分布式存储技术在云计算中的应用1. 历史和发展分布式存储技术的原理最早可以追溯到20世纪60年代的ARPANET项目，当时大规模计算机网络的建立激发了人们的关注。
20世纪90年代后，因特网的普及促进了分布式存储技术的发展。
如今，分布式存储技术已经被广泛应用于云计算系统中，是保障云计算系统高可用性和数据安全的重要手段。
2. 分布式存储技术的优点分布式存储技术的优点主要有以下三点：(1)高可用性。
分布式存储技术将数据分散到多个节点上，即使一个节点出现故障，也不会影响其他节点的正常工作。
这可以保证数据的高可用性。
(2)可扩展性。
随着数据量的不断增长，单一存储服务器无法满足需求，而分布式存储技术可以方便地进行水平扩展，保证系统的可扩展性。
(3)高性能。
分布式存储可以充分利用多个节点的计算资源，从而提高系统的性能。
3. 分布式存储技术的实现方式分布式存储技术的实现方式主要有以下几种：(1)HDFS。
Hadoop分布式文件系统（HDFS）是Apache Hadoop的核心组件之一，是一个高度可靠的、高性能的分布式文件系统。
(2)Swift。
Swift是OpenStack提供的分布式对象存储系统，适合于处理大量非结构化数据。
(3)Ceph。
Ceph是一个多功能的分布式存储系统，可以支持对象、块和文件级别的存储。
二、分布式存储技术的优化策略尽管分布式存储技术具有很多优点，但是在实际应用中也面临着很多问题。
为了解决这些问题，需要针对当前的瓶颈进行优化。
以下是分布式存储技术的优化策略：1. 数据分布策略的优化对于大数据的存储和访问，数据分布策略的优化是非常重要的。
云计算环境中的分布式大数据处理与存储技术研究一、引言云计算在当今信息技术领域已经引起了广泛的关注和应用，它能够提供便捷、高效和可扩展的计算和存储服务。
而云计算环境中的大数据处理和存储技术则成为了当前研究的热点，因为大数据的快速产生和不断累积对传统的数据处理和存储带来了巨大的挑战。
本文将重点探讨云计算环境中的分布式大数据处理与存储技术的研究。
二、分布式大数据处理技术在云计算环境中，大数据的处理需要采用分布式的技术来提高数据处理的速度和效率。
分布式大数据处理技术主要包括数据划分与分配、并行计算和任务调度三个方面。
1. 数据划分与分配数据划分与分配是分布式大数据处理的第一步。
大数据被划分为多个块，然后这些块被分配到不同的节点上进行处理。
常用的划分策略有哈希划分和范围划分两种。
哈希划分根据数据的哈希值将数据分配到不同的节点，范围划分则根据数据的键值范围进行划分。
数据划分与分配的目的是将大数据均匀地分配到多个节点上，以实现并行处理。
2. 并行计算并行计算是分布式大数据处理的核心环节。
在云计算环境中，可以利用多个节点同时进行计算，从而提高计算的效率。
并行计算主要有两种方式：共享内存和消息传递。
共享内存是指多个计算节点共享同一个内存空间，通过读写共享内存来实现协调和通信。
消息传递则是通过消息的发送和接收来实现节点间的通信。
3. 任务调度任务调度是分布式大数据处理的关键，它决定了各个计算节点的任务执行顺序和调度策略。
任务调度的目标是实现负载均衡和任务并行。
常见的任务调度算法有随机调度、轮询调度和最小负载优先调度等。
随机调度将任务随机地分配到各个节点上，轮询调度按照顺序将任务平均分配到各个节点上，最小负载优先调度则根据节点的负载情况将任务分配到负载最小的节点上。
三、分布式大数据存储技术大数据的存储是云计算环境中另一个重要的问题。
大数据存储技术需要具备高性能、高可靠性和高可扩展性等特点。
1. 数据分布和复制在分布式大数据存储中，数据被分布到多个节点上进行存储。
云计算环境下的分布式加密存储技术研究随着云计算技术的发展，越来越多的数据被存储到了云端。
然而，这也带来了安全性和隐私保护的挑战。
在这种情况下，采用分布式加密存储技术已成为一种解决方案。
本文将介绍云计算环境下的分布式加密存储技术的研究现状和应用。
一、分布式存储技术的原理在传统的集中式存储系统中，所有的数据都被存储在一个中心节点上，这样容易导致单点故障，而且存储容量有限。
因此，分布式存储技术应运而生。
分布式存储系统将数据分散存储在多个节点上，这些节点之间可以相互通信和协作，实现数据的可靠性、扩展性和容错性。
而加密存储技术则是在存储数据的同时对其进行加密，从而保护数据隐私和安全性。
在分布式存储系统中采用加密存储技术，则是将数据分散加密，不同节点上的加密数据由不同密钥加密，从而增强数据隐私和安全性。
二、云计算环境下的分布式存储技术随着云计算技术的发展，云存储能够提供高效便捷的存储服务。
但是在云存储中，用户的数据不再被保存在本地，而是被存储在云服务提供商的数据中心中，这使得数据访问的效率得到提升的同时，也增加了数据隐私和安全性的风险。
因此，采用分布式加密存储技术已成为一种解决方案。
在云计算环境下，分布式加密存储技术主要有两种形式：一种是采用对称加密算法，另一种是采用非对称加密算法。
在对称加密算法中，同一个密钥用于数据的加密和解密。
在非对称加密算法中，加密和解密使用不同的密钥。
这些密钥可以是公开的或私有的，取决于所采用的加密算法。
三、分布式加密存储技术在实际应用中的挑战虽然分布式加密存储技术可以有效地保护数据的隐私和安全性，但是在实际应用中仍然存在一些挑战。
首先，分布式加密存储技术需要在不同节点之间进行数据交换和协作，而这些节点之间可能存在通信不稳定、节点宕机等情况。
这就要求对数据的重复备份和冗余存储，以避免数据丢失。
其次，分布式加密存储技术需要满足不同用户的需求。
不同用户之间可能需要访问相同的数据，但是由于数据受到加密保护，因此需要确保数据的访问授权和管理。
云计算中的分布式存储技术分析在当今科技氛围中，云计算已成为一种焦点，公司和机构已在大规模部署它，不论是责任人还是从业者，都在尽力利用最新技术提高效率。
分布式存储技术便是其中的一个突出例子。
本篇文章将探讨云计算中的分布式存储技术。
1. 什么是分布式存储技术？分布式存储技术指的是在多台计算机节点中存储信息以保障可靠性的一种技术。
在分布式存储体系中，每个节点都持有一部分数据，并且这些数据可以随时被读取。
模块化设计使得分布式存储具有很强的扩展性和重组能力，这真正地实现了“数据永远不死”的理念。
2. 分布式存储技术解决了云计算存储的难点在云计算中，数据存储总是面临各种挑战，包括数据安全、数据备份和数据可靠性等等。
分布式存储技术可以解决这些问题。
它具有可靠性、可扩展性和高性能特点，能够提供对所有数据的全面保障。
3. 分布式存储技术的体系结构分布式存储技术的体系结构包括两个层次，一个是逻辑层次，另一个是物理层次。
在逻辑层次中，分布式文件系统（Distributed File System）能够提供对远程文件的透明访问，其中包括读取和写入操作。
在物理层次中，使用分布式存储节点存储数据，每个节点都是一个独立的存储单元。
4. 分布式存储技术的核心特点：可靠性：在节点失效时，系统仍然能够保证数据的完整性和可靠性。
可扩展性：系统可以被水平地扩展以支持更多的存储节点。
高性能：读写操作可以更加高效和快捷地完成。
安全性：所有数据都是加密存储的，并且只有授权用户才能够访问。
5. 分布式存储技术的应用：大规模的数据中心均采用分布式存储技术，例如亚马逊的S3、谷歌的GFS、华为的OceanStor等等。
此外，分布式存储技术还广泛应用于各个领域中，例如视频检索、高性能计算、金融交易等等。
6. 分布式存储技术的发展趋势：分布式存储技术发展迅猛，不断探索新的方法来提高各个方面的表现。
未来趋势则是云存储和边缘计算的结合，以更好地满足用户需求。
云计算中的分布式存储技术研究与实现云计算是近年来最热门的新兴技术之一。
在云计算的理念下，用户可以通过网络接入并使用多种计算资源，不必承担资源的维护和管理成本，大大降低了IT基础设施的投资。
而云计算的实现则依赖于分布式存储技术，因为只有通过分布式存储技术，才能实现数据的高效共享和管理。
本文将就云计算中的分布式存储技术展开讨论。
一、分布式存储的基本原理传统的中央存储方案存在诸多问题，如网络延迟大、负载均衡不平衡等，导致了系统的性能瓶颈和可靠性问题。
而分布式存储则是解决这些问题的核心技术。
从基本原理上来说，分布式存储采取了将数据分散存储在多个节点的方式，每个节点存储一部分数据。
这样可以使得数据分散存储，提高数据的可靠性，并且受限于网络带宽，可扩展性良好。
同时，分布式存储还采用了数据冗余技术，即将数据备份多次存储，提高数据的安全性。
二、分布式存储的常见实现方法目前，分布式存储的实现方法有多种，包括HDFS、GlusterFS、Ceph等。
以下将分别介绍这些实现方式的特点和适用场景。
1. HDFSHDFS是Apache Hadoop项目中的一个子项目，用于存储大型数据集，并且能够提供文件系统的功能。
HDFS实现了一种分布式方式的文件系统，并且充分利用了大量的廉价硬件来构建一个高度可靠的文件系统。
HDFS支持大数据的存储和处理，目标是在廉价硬件上存储大量的数据，并且能够支持大规模复制、容错等功能。
HDFS的主要应用场景为数据存储、数据管理、数据处理和数据分析等领域。
2. GlusterFSGlusterFS是一种开源的分布式文件系统，参考了很多类似NFS和GFS的文件系统。
GlusterFS将若干个基于x86架构的计算机节点组成一个存储群，通过RDMA、TCP/IP以及Infiniband等协议进行通讯。
这些计算节点可以通过互联网或者局域网互相交换数据，构成一个分布式存储系统。
应用场景主要是在大数据存储、科学计算、云存储、视频流媒体等领域。
2014/10/17云计算环境下的分布式存储技术的研究与分析李世敏（四川大学计算机学院，四川成都610225）Cloud Computing Environment of Distributed Storage Technology Research and AnalysisLI Shi-Min(Department of SiChuan, University, City ChengDu, China)Correspondingauthor:E-mail:*****************Abstract: cloud computing describes a new IT service value based on the Internet, use and delivery mode, is a combination of data sharing and Shared services computing mode.As the cloud of promotion and popular, how high rate, low cost of storage and management of large amounts of data generated in the clouds, has become a focus in the study of major enterprises and organizations, which requires good cloud structure design, data storage and processing pattern and cloud storage platform.From the combination of cloud computing and cloud storage technology, aiming at how to improve the scalability of the storage, fault tolerance and lower the energy consumption of the storage, such as target, from the design of the data center network, data storage, etc were summarized, the key technology in the current distribution of storage, and on this basis, to the cloud environment of distributed storage system under the challenges faced by summarized and expounded.Key words: cloud computing;The data center;Data storage way;Storage challenges摘要: 云计算描述了一种新的基于互联网的IT服务增值、使用和交付模式，是数据共享与服务共享计算模式的结合体。
随着云计的推广和流行，如何高速率、低成本储存和管理生成于云端的大量数据，也成为各大企业和组织研究的重点，这就需要有良好的云结构设计、数据存储及处理模式和云存储平台。
从云计算与云存储技术的结合入手，针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标，从数据中心网络的设计、数据的存储方式等方面对当前分布存储的关键技术进行了综述，并在此基础上，对云环境下的分布式存储系统所面临的挑战进行总结和阐述。
关键词: 云计算；数据中心；数据存储方式；存储挑战1 引言云计算是随着计算、存储以及通信技术的快速发展而出现的一种崭新的共享基础资源的商业计算模型，被誉为“革命性的计算模型”。
云计算不同于传统的以个人计算机为中心的本地计算，它以互联网为中心，通过构建一个或多个由大量（百万级以上）普通机器和网络设备连接构成的数据中心，把海量的数据存储到数1网络新技术专题2004,17(10)据中心上，向上层的服务和应用提供安全、可靠、快速、便捷、透明的数据存储和计算服务。
云环境下，为了应对海量数据与用户请求带来的挑战，为解决传统数据库面临的大规模数据访问瓶颈问题，分布式存储技术得以引入。
分布式存储技术是云计算的基础，主要研究如何存储、组织和管理数据中心上的大规模海量数据。
由于面临的数据规模和用户规模更加庞大，在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战。
2 分布式存储概述2.1 分布式存储的发展过程分布式存储经历了多个发展阶段，目标是朝着构建更好的分布式系统方向发展。
1）本地缓存：数据存储再应用代码所在的内存空间；2）分布式缓存系统：数据在固定数目的集群节点间分布存储；3）弹性缓存平台：数据在集群节点间分布存储，基于冗余机制实现高可用性；4）弹性应用平台：弹性应用平台代表了云环境下分布式缓存系统未来的发展方向。
2.2 云平台下分布式存储技术的需求分布式存储技术是云计算的基础，主要研究如何存储、组织和管理数据中心上的大规模海量数据。
由于面临的数据规模和用户规模更加庞大，在可扩展性、容错性以及成本控制方面就面临严峻的技术需求。
1）可扩展性云计算环境下的数据中心的节点规模都是几万上十万级别的，而且数据中心的规模和存储的数据规模也会随着应用的拓展快速增长。
因此，对于云环境下数据的存储技术的可扩展性就是极其必要的。
比如，Google目前部署在全球的数据中心有36个，单个数据中心的计算机节点将达到数百万个；微软的服务器数量每14个月就会增长一倍，并于2009年9月在芝加哥建成世界最大的模块化数据中心，包括220个集装箱，每个集装箱有1800~2500机器。
云环境下数据庞大的规模以及快速的增长，使得云计算对于数据分布存储技术的可扩展性提出了更高的需求。
此外，不但要求数据中心网络具有良好的可扩展性，而且数据的组织结构也必须具有良好的可扩展性，以适应不断扩展的应用需求。
2）成本可控传统的分布存数由于其数据规模较小，对于数据存储能耗的考虑也较少，而在云计算环境下，由于其数据规模很大，导致其能耗开销也很大。
能耗作为构成数据中心存储开销的一个重要组成部分，为降低数据中心的成本，我们必须要考虑其成本的可控性，降低能耗成为云存储必须追求的关键目标。
3）容错性在云计算环境下，失效成为一种常态行为，并且失效往往会给云服务提供商以及用户带来巨大的损失。
例如，2008年2月15日，亚马逊的服务器宕机事件使得几千个依赖亚马逊EC2（弹性云计算）和S3（云存储）的网站受到影响；又如，2009年3月，Google Docs出现故障，随后，美国电子隐私信息中心请求联邦商务委员会介入调查，以确定Google的云计算服务队隐私和安全的保障。
频繁的失效行为以及其带来的巨大的损失，使得高容错性的分布式存储技术成为极其必要。
为了提高分布式存储的容错性，不但要研究节点之间的互联关系，还要研究存储在节点上的数据的组织和管理。
2.3 几项关键的分布式存储技术2.3.1 数据容错技术良好的容错技术不但能够提高系统的可用性和可靠性，而且能够提高数据的访问效率。
在保证系统的容2网络新技术专题 李世敏云计算环境下的分布式存储技术的研究与分析3 错性的同时，要尽可能地提高存储资源的利用率，以降低成本。
目前主要有两种容错技术，即基于复制的容错技术和基于纠删码的容错技术。
1）基于复制的容错技术基于复制的容错技术对一个数据对象创建多个相同的数据副本，并把得到的多个副本散步到不同的存储节点上。
基于复制的容错技术主要关注两方面的研究：数据组织结构和数据复制策略，数据组织结构主要研究大量数据对象及其副本的管理方式；数据复制策略主要研究副本的创建时机、副本的数量、副本的放置等问题。
数据复制方法与多个因素相关，比如应用需求、网络状况、存储空间和数据访问模式等。
对于复制方法的研究主要包括复制策略和副本的放置策略两个方面。
复制策略主要关注创建副本的时机以及创建副本的数目，而放置策略最基本的目的在于提高数据的容错性，使得用户在部分副本失效以后仍然能够通过其他的副本获得数据。
2）基于纠删的容错技术基于编码的容错技术通过对多个数据对象进行编码产生编码对象，进而降低完全复制带来的巨大的存储开销。
RAID 技术中使用最广泛的RAID5通过把数据条带化，分布到不同的存储设备上以提高效率，并采用一个校验数据块使之能够容忍一个数据块的失效。
纠删码技术是一类源于信道传输的编码技术，因为能够容忍多个数据帧的丢失，被引入到存储领域，使得基于纠删码的容错技术成为能够容忍多个数据块同时失效的、最常用的基于编码的容错技术。
2.3.2 节能技术数据存储是云计算的重要组成部分，是各种云计算服务的基础，在云计算的整个能耗组成中占有很大比例，一些大规模数据中心上的存储系统的能耗占到整个数据中心能耗的27%~40%，因此，在云计算环境下，研究分布存储中的节能技术具有很大的现实意义和应用前景。
从软、硬件的角度来分，可将现有技术分为硬件节能技术和软件节能技术。
1）硬件节能技术硬件节能可以分为两种：一种是从构成分布存储的各个计算机部件的角度出发，通过采用新的体系结构或者硬件技术，以降低单个计算机节点以及整个分布存储的能耗，如基于ARM 体系结构的低能耗CPU 、支持随机访问的大容量闪存硬盘等；另一种是数据中心的角度出发，用低能耗、低性能的硬件设备替换高性能耗、高性能的硬件设备来构建数据中心，以达到降低分布存储能耗的目的。
• 降低硬件设备能耗硬件技术的改进主要通过新的体系结构,比如CPU 和磁盘的体系结构,以降低组件的能耗.硬件体系结构的研究一直是硬件研究和设计人员关注的重点,这里简单介绍若干与能耗相关的主要研究.Gurumurthi 等人认为,磁盘消耗的能耗遵守比例模型,其消耗的电能随着转速的加快而增加.基于此想法提出了一种具有多级转速的磁盘结构,使得磁盘在低负载状态以较低的转速运行,高负载时以较高的转速运行.Hamilton 提出了一种基于Athlon 处理器的低能耗服务器机架结构。
• 降低数据中心能耗近年来,低能耗芯片的发展异常迅猛,但是这些芯片和市场上的主流芯片相比性能较低.一个自然的想法是 研究如何把这些性能较低、能耗也较低的芯片应用到数据中心上,以在单位能耗上产生更高的性能。
CMU 的一个小组采用500MHZ 的处理器和快速闪存盘构建集群,并在其上测试单位焦耳内执行的查询数。
结果发现,采用低能耗节点的集群的能耗有效性要比普通机器构建的集群能耗有效性高 6 倍.韩国的一个研究小组采用低功耗的组件搭建了一个Hadoop 平台,虽然性能略有降低,但其结果表明,这种模式使得能耗节省了113 倍.为了防止性能的大幅下降,他们在构建时加入了部分通用节点,以便能够在必要时把数据转移到这些通用节点上以满足任务的性能需求.2）软件节能技术网络新技术专题2004,17(10)软件节能技术通过一定的软件策略，在很少的性能损失，甚至不影响性能的前提下，使数据中心内的部分节点进入低能耗或者被挂起状态，达到降低整个存储数据中心能耗的目的。
