分布式块存储介绍

根据did you know(/)的数据，目前互联网上可访问的信息数量接近1秭= 1百万亿亿 (1024)。

毫无疑问，各个大型网站也都存储着海量的数据，这些海量的数据如何有效存储，是每个大型网站的架构师必须要解决的问题。

分布式存储技术就是为了解决这个问题而发展起来的技术，下面让将会详细介绍这个技术及应用。

分布式存储概念与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

具体技术及应用：海量的数据按照结构化程度来分，可以大致分为结构化数据，非结构化数据，半结构化数据。

本文接下来将会分别介绍这三种数据如何分布式存储。

结构化数据的存储及应用所谓结构化数据是一种用户定义的数据类型，它包含了一系列的属性，每一个属性都有一个数据类型，存储在关系数据库里,可以用二维表结构来表达实现的数据。

大多数系统都有大量的结构化数据，一般存储在Oracle或MySQL的等的关系型数据库中，当系统规模大到单一节点的数据库无法支撑时，一般有两种方法：垂直扩展与水平扩展。

∙垂直扩展：垂直扩展比较好理解，简单来说就是按照功能切分数据库，将不同功能的数据，存储在不同的数据库中，这样一个大数据库就被切分成多个小数据库，从而达到了数据库的扩展。

一个架构设计良好的应用系统，其总体功能一般肯定是由很多个松耦合的功能模块所组成的，而每一个功能模块所需要的数据对应到数据库中就是一张或多张表。

各个功能模块之间交互越少，越统一，系统的耦合度越低，这样的系统就越容易实现垂直切分。

∙水平扩展：简单来说，可以将数据的水平切分理解为按照数据行来切分，就是将表中的某些行切分到一个数据库中，而另外的某些行又切分到其他的数据库中。

为了能够比较容易地判断各行数据切分到了哪个数据库中，切分总是需要按照某种特定的规则来进行的，如按照某个数字字段的范围，某个时间类型字段的范围，或者某个字段的hash值。

统一存储和分布式存储-回复统一存储和分布式存储：解决数据存储难题的两个方法随着云计算和大数据的迅猛发展，数据存储成为了一个非常重要的问题。

为了解决大规模数据存储的需求，统一存储和分布式存储成为了两种备受关注的方法。

本文将从介绍统一存储和分布式存储的概念开始，并逐步深入探讨这两者的原理、优势以及应用场景。

一、统一存储的概念及原理统一存储（Unified Storage），顾名思义，是指将不同类型的存储设备或技术整合到一个统一的存储系统中进行管理和使用。

传统的数据存储往往需要使用不同的设备或技术来处理不同类型的存储需求，例如，文件存储、块级存储和对象存储等。

而统一存储的出现使得企业可以使用一个系统来管理和操作不同类型的存储需求，极大地简化了存储管理的复杂性。

统一存储的原理主要包括三个方面：存储虚拟化、存储管理和存储协议。

首先，通过存储虚拟化技术，统一存储将不同类型的存储设备虚拟化为一个逻辑存储池，隐藏了设备的具体细节，统一了不同设备的管理接口。

其次，统一存储通过存储管理技术实现了数据的统一管理，包括数据的分配、备份、快照以及容灾等功能。

最后，通过支持各种存储协议，如NFS、CIFS、iSCSI、FC等，统一存储可以满足不同应用的存储需求。

二、统一存储的优势统一存储相较于传统的存储方式具有以下几个明显的优势：1. 简化管理：统一存储通过将各种存储设备整合到一个系统中，简化了存储管理的复杂性。

管理员可以通过一个界面进行一体化管理，提高了工作效率。

2. 降低成本：传统的存储方式需要使用不同的设备和技术，而统一存储可以将不同类型的存储需求整合到一个系统中，避免了重复投资，并提高了设备的利用率，从而降低了存储成本。

3. 提高可靠性：统一存储支持多种数据保护功能，包括备份、快照和容灾等，可以有效地保护数据的安全性和可靠性。

4. 提升性能：统一存储通过对存储资源进行统一管理和调度，可以提高存储的性能和响应速度，满足高速读写的需求。

深信服分布式存储参数1. 介绍深信服分布式存储是一种高可靠、高性能和可扩展的存储解决方案。

它采用分布式架构，将数据分散存储在多个节点上，通过数据冗余和负载均衡来提高系统的可靠性和性能。

在这篇文章中，我们将详细介绍深信服分布式存储的参数及其相关概念。

2. 参数说明2.1 存储容量存储容量是指深信服分布式存储系统能够存储的数据量大小。

它通常以字节（B）、千字节（KB）、兆字节（MB）、吉字节（GB）或太字节（TB）为单位进行表示。

在设计和规划深信服分布式存储系统时，需要根据实际需求来确定所需的存储容量。

2.2 可扩展性可扩展性是指深信服分布式存储系统能够根据需要进行水平或垂直扩展的能力。

水平扩展是指通过增加更多的节点来增加系统的容量和性能，而不影响现有节点的工作负载。

垂直扩展是指通过增加单个节点的处理能力来提高系统的性能。

2.3 数据冗余数据冗余是指在深信服分布式存储系统中将数据复制到多个节点上的过程。

通过数据冗余，即使某个节点发生故障，系统仍然可以继续提供服务，而不会丢失任何数据。

常见的数据冗余策略包括副本复制和纠删码。

•副本复制是指将数据复制到多个节点上，并保持多个副本之间的一致性。

当一个节点发生故障时，系统可以从其他副本中恢复数据。

•纠删码是一种更高效的数据冗余策略，它通过对数据进行编码和解码来实现容错能力。

与副本复制相比，纠删码可以节省存储空间，并提供更好的容错性能。

2.4 数据一致性数据一致性是指在深信服分布式存储系统中，多个节点之间保持数据的一致性。

当一个节点更新了某个数据项时，其他节点也应该能够看到该更新。

为了实现数据一致性，通常采用强一致性或最终一致性模型。

•强一致性要求在任何时间点上都有且只有一个正确的副本。

当一个节点更新了数据后，其他节点必须立即看到该更新。

然而，强一致性模型可能会影响系统的性能和可用性。

•最终一致性要求在一段时间后，所有的节点最终达到一致的状态。

最终一致性模型可以提高系统的性能和可用性，但在某些情况下可能会导致数据不一致。

分布式存储⽬录分布式系统理论基础什么是分布式系统,这个概念我们很难⽤⼀个精准的描述⽅式来概括出,所有的意义来。

但⼤体上来讲，我们可以从两个层⾯来描述⼀个分布式系统的特性。

第⼀，分布式系统⼀定是,他有很多种组1、系统的各组件分布于⽹络上多个计算机2、各组件彼此之间仅仅通过消息传递来通信并协调⾏动分布式系统存在的意义：那⼀般⽽⾔，我们要使⽤分布式系统的主要原因在于，第⼀，我们系统扩展可以有两种模型。

所谓向上和向外对不对，⽽经验表明，向上扩展的这种模型，他的性价⽐越来越低。

第⼆，单机1、向上扩展的性价⽐越来越低；2、单机扩展存在性能上升临界点：3、出于稳定性及可⽤性考虑，单机会存在多⽅⾯的问题CPU，内存，IO要想理解分布式系统所能够带给我们的意义，分布式系统的⽬的，主要是扩展了单机处理能⼒的弱势，或者说瓶颈。

我们计算机主要包含五⼤部件，根据所谓的冯诺依曼架构所构成的系统，多CPU,多线程编程假设刚开始使⽤的是LAMP或者LNMP。

最简单的时候就是这么⼀种架构。

⽽且还有可能是构建在单机上。

所以我们的⽹站刚开始的时候有可能只有⼀台主机。

⼀个主机内部有⼀个所谓的ap LAMP,LNMP应⽤从资源占⽤的⾓度分两类：CPU Bound（CPU密集型应⽤）IO Bound（IO密集型应⽤）session sticky（会话粘滞，基于IP地址的session粘滞）ip basedcookie based（基于cookie的session分发）session replication（会话复制，不是⽤⼤规模集群中，所以使⽤第3种。

）session server（session集中存储）引出缓存：1、页⾯缓存varnish, squid2、数据緩存key-value（memcached）主库写操作压⼒：数据库拆分垂直拆分：把数据库中不同的业务的数据拆分到不同的数据库服务器中⽔平拆分，把⼀个单独的表中的数据拆分到多个不同的数据库服务器上NoSQL：⾮关系数据⽂档数据库列式数据库... ...SFS：⾮结构化数据TFS，MogileFS：适⽤于存储海量⼩⽂件。

分布式存储解决方案下面将系统地介绍几种常见的分布式存储解决方案。

1. 分布式文件系统（Distributed File System, DFS）：分布式文件系统将文件分割为多个块，并将这些块存储在不同的节点上，实现文件的高可靠性、高可扩展性和高性能。

其中比较著名的有Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）和谷歌分布式文件系统（Google File System, GFS）。

HDFS将文件分割为固定大小的数据块，并将这些数据块复制到多个节点上。

通过对数据块的复制，实现了数据的冗余和高可靠性。

同时，HDFS还采用了主从架构和数据局部性原理，使得数据的读写操作能够高效地在节点之间实现负载均衡和数据局部性。

GFS采用了类似的设计思想，将文件分割为大量的数据块，并将这些数据块按照一定的规则分布到多个节点上。

通过为每个文件存储多个副本和采用主从架构，实现了数据的冗余和高可靠性。

同时，GFS还使用了日志结构文件系统和数据局部性原理，使得数据的读写操作能够高效地在节点之间实现负载均衡和数据局部性。

2. 分布式对象存储（Distributed Object Storage, DOS）：分布式对象存储将数据存储为对象，并将这些对象通过哈希算法分布到多个节点上，实现对象的高可靠性、高可扩展性和高性能。

其中比较著名的有亚马逊云存储服务（Amazon S3）和谷歌云存储服务（Google Cloud Storage）。

这些分布式对象存储系统采用了分布式哈希表的设计思想，将对象根据其哈希值分布到多个节点上。

通过为每个对象存储多个副本和采用主从架构，实现了对象的冗余和高可靠性。

同时，这些系统还使用了一致性哈希算法和数据局部性原理，使得对象的读写操作能够高效地在节点之间实现负载均衡和数据局部性。

3. 分布式块存储（Distributed Block Storage, DBS）：分布式块存储将数据划分为固定大小的块，并将这些块存储在多个节点的硬件设备上，实现块的高可靠性、高可扩展性和高性能。

块存储与分布式存储块存储，简单来说就是提供了块设备存储的接口。

通过向内核注册块设备信息,在Linux 中通过lsblk可以得到当前主机上块设备信息列表。

本文包括了单机块存储介绍、分布式存储技术Ceph介绍，云中的块存储Cinder，以及华为软件定义的存储解决方案。

单机块存储一个硬盘是一个块设备，内核检测到硬盘然后在/dev/下会看到/dev/sda/。

因为需要利用一个硬盘来得到不同的分区来做不同的事，通过fdisk工具得到/dev/sda1, /dev/sda2等，这种方式通过直接写入分区表来规定和切分硬盘,是最死板的分区方式。

分布式块存储在面对极具弹性的存储需求和性能要求下，单机或者独立的SAN越来越不能满足企业的需要。

如同数据库系统一样，块存储在scale up的瓶颈下也面临着scale out的需要。

分布式块存储系统具有以下特性：分布式块存储可以为任何物理机或者虚拟机提供持久化的块存储设备;分布式块存储系统管理块设备的创建、删除和attach/detach;分布式块存储支持强大的快照功能，快照可以用来恢复或者创建新的块设备;分布式存储系统能够提供不同IO性能要求的块设备。

现下主流的分布式块存储有Ceph、AMS ESB、阿里云磁盘与sheepdog等。

1Ceph1.1Ceph概述Ceph目前是OpenStack支持的开源块存储实现系统(即Cinder项目backend driver之一) 。

Ceph是一种统一的、分布式的存储系统。

“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。

“分布式”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。

Ceph具有很好的性能、可靠性和可扩展性。

其核心设计思想，概括为八个字—“无需查表，算算就好”。

1.2Ceph系统的层次结构自下向上，可以将Ceph系统分为四个层次：基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储）；基础库LIBRADOS；高层应用接口：包括了三个部分：RADOS GW（RADOS Gateway）、RBD（Reliable Block Device）和Ceph FS（Ceph File System）。

问：xilinx 器件的块RAM和分布式RAM有什么区别？答：分布式RAM用LUT实现用于实现少量数据的存储和缓存存取速度高于块状RAM 。

块状RAM是内嵌于FPGA的容量较大Spartan 3E中以18k为一块有若干块，真正实现双口RAM，最快存取速度是3.7ns 记得不太准确常用于大量数据存取也用于不同数据宽度的转换也可以配置成fifo使用块RAM 和分布式RAM①Xilinx 的FPGA结构主要由CLB、IOB、IR、Block RAM组成，其中CLB是最最重要的资源。

②以V5为例，1个CLB包括的2个Slice，每个Slice包括4个6输入查找表，4个FlipFlop 和相关逻辑。

在这里需要注意的是Slice分两种，SliceM和SliceL，它们都包括前面的东西，但是很特别的是SliceM还增加了基于查找表的分布式RAM和移位寄存器。

③每个CLB中都包含SliceL，但并不是每个CLB中都包含SliceM，整个一块V5芯片中SliceM和SliceL的比例为1：3。

SliceM的放置有一定的规则，这里不做阐述。

④Xilinx的FPGA中有分布式RAM 和Block RAM 两种存储器。

用分布式RAM 时其实要用到其所在的SliceM，所以要占用其中的逻辑资源；而Block RAM 是单纯的存储资源，但是要一块一块的用，不像分布式RAM 想要多少bit都可以。

⑤用户申请存储资源，FPGA先提供Block RAM ，当Block RAM 数量不够时再用分布式RAM补充。

FPGA中块RAM（Block RAM，B-RAM）与分布式RAM（Distributed RAM，D-RAM）的区别B-RAM是使用FPGA中的整块双口RAM资源，D-RAM者则是拼凑起FPGA中的查找表形成。

在Xilinx中，有两种LUT，一种是可以作为分布式RAM的，另一种只能作为LUT的。

B-RAM 是比较大块的RAM，即使用了它的一小部分，那么整个B-RAM就不能再用了。

分布式存储系统简介从以下三个⽅⾯对分布式存储系统进⾏简单介绍：1.⾸先，什么是分布式存储系统呢？简单的说，就是将⽂件存储到多个服务器中。

2.其次，为什么需要分布式存储系统？因为单机存储资源和计算资源已经不能满⾜⽤户的需求。

3.最后，如何实现⼀个分布式存储系统或者说实现⼀个分布式存储系统需要做哪些⼯作？（1）既然是将⽂件存储到多个服务器中那就需要确定将⽂件具体存储到哪些服务器⾥，两种⽅式，⼀种是通过控制服务器，由这个控制服务器负责统⼀调度，客户端请求存储⼀个⽂件时，⾸先与控制服务器交互，控制服务器返回需要保存到服务器的地址，读取⽂件时也需要与控制服务器交互，获取存储位置信息，其中HDFS、GFS等分布式存储使⽤此种技术，namenode就类似于控制服务器⾓⾊。

另外⼀个⽅式是，不需要控制服务器，客户端⾃⼰计算需要存储到哪⾥，最简单的⽅式是直接取hash，⽐如有8台存储服务器，只需要把⽂件内容或者⽂件名取hash模8即可计算出应该存储到哪台存储服务器。

但有个问题是，当服务器数量增减时，hash就失效了，⼏乎需要重排迁移所有数据，根本没有办法实现⽔平扩展，这在分布式系统中是⽆法忍受的。

为了避免出现这种情况，引⼊了⼀致性hash算法，⼜称为环哈希，其中OpenStack Swift、华为FusionStorage就是使⽤的该⽅法。

除了环hash，当然还有其他的类hash算法，⽐如CRUSH算法，其中开源分布式存储系统Ceph就是使⽤的该⽅法。

需要注意的是虽然基于hash的⽂件分布映射⽅法不需要控制节点计算需要存储的位置，但仍然需要控制服务器保存⼀些集群元数据，⽐如集群的成员信息、映射规则、监控等等，如Ceph的mon服务。

（2）但是，如果只有⼀个控制服务，则存在单点故障，挂掉了就会导致服务不可⽤。

为了避免单点故障，具备⾼可⽤特点，必然需要同时启动多个控制服务，有多个控制服务就必须区分谁是leader，谁是slave，因此需要分布式⼀致性来协调选主，可以基于现有的分布式协调系统实现，如Zookeeper、Etcd服务等，也可以直接基于Paxos、Raft算法实现。