大数据的存储技术

大数据存储方式概述

随着信息社会的发展，越来越多的信息被数据化，尤其是伴随着Internet的发展，数据呈爆炸式增长。从存储服务的发展趋势来看，一方面，是对数据的存储量的需求越来越大，另一方面，是对数据的有效管理提出了更高的要求。首先是存储容量的急剧膨胀，从而对于存储服务器提出了更大的需求；其次是数据持续时间的增加。最后，对数据存储的管理提出了更高的要求。数据的多样化、地理上的分散性、对重要数据的保护等等都对数据管理提出了更高的要求。随着数字图书馆、电子商务、多媒体传输等用的不断发展，数据从GB、TB到PB量级海量急速增长。存储产品已不再是附属于服务器的辅助设备，而成为互联网中最主要的花费所在。海量存储技术已成为继计算机浪潮和互联网浪潮之后的第三次浪潮,磁盘阵列与网络存储成为先锋。

一、海量数据存储简介

海量存储的含义在于，其在数据存储中的容量增长是没有止境的。因此，用户需要不断地扩张存储空间。但是，存储容量的增长往往同存储性能并不成正比。这也就造成了数据存储上的误区和障碍。 海量存储技术的概念已经不仅仅是单台的存储设备。而多个存储设备的连接使得数据管理成为一大难题。因此，统一平台的数据管理产品近年来受到了 广大用户的欢迎。这一类型产品能够整合不同平台的存储设备在一个单一的控制界面上，结合虚拟化软件对存储资源进行管理。这样的产品无疑简化了用户的管理。

数据容量的增长是无限的，如果只是一味的添加存储设备，那么无疑会大幅增加存储成本。因此，海量存储对于数据的精简也提出了要求。同时，不同应用对于存储容量的需求也有所不同，而应用所要求的存储空间往往并不能得到充分利用，这也造成了浪费。

针对以上的问题，重复数据删除和自动精简配置两项技术在近年来受到了广泛的关注和追捧。重复数据删除通过文件块级的比对，将重复的数据块删除而只留下单一实例。这一做法使得冗余的存储空间得到释放，从客观上增加了存储容量。

二、企业在处理海量数据存储中存在的问题

大数据存储技术标准化论文

摘要：大数据作为信息化时代的战略新兴产业，发展速度势不可挡，虽然目前国内还没有大数据存储的统一标准，但国内很多公司关注并投入到这一领域。制定符合中国国情的大数据存储接口标准，对促进整个产业的稳定发展具有重要的现实意义。

1 引言

随着互联网Web2.0的兴起和云计算的发展，大数据的价值越来越受到人们的重视，人们对数据的处理实时性和有效性要求也越来越高。大数据的应用已经进入了各行各业了，如商业智能、公共服务、科学研究等领域。目前大数据的分析技术发展十分迅速，尤其是大数据分析平台Hadoop得到了各大厂商的极大关注，基于Hadoop平台进行的大数据分析、数据存储研究正在进行[3]。目前国际、国内尚未出现大数据分析的全流程标准服务和接口定义，本文研究的重点是根据国内大数据的实际现状，采用hadoop平台进行大数据存储处理的全流程分析以及各个功能模块进行对比研究，提出建立大数据存储的标准化体系的建议，有利于促进形成大数据存储的基础性标准，从而为产业发展提供了有力的保障。

2 大数据存储技术的种类

大数据可能由TB级（或者甚至PB级）信息组成，既包括结构化数据（数据库、日志、SQL等）以及非结构化数据（社交媒体帖子、传感器、多媒体数据）[2]。大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。针对不同类型的海量数据，业界提出了不同的存储技术。

2.1 分布式文件系统

分布式文件系统主要代表有Google的GFS和Hadoop中的HDFS。GFS是一个可扩展的分布式文件系统，是针对与大规模数据处理和Google应用特性而设计的，他运行在廉价的普通硬件上，可以提供高容错、高性能的服务。

HDFS是开源的分布式文件系统（Hadoop Distributed File

System），运行在跨机架的集群机器之上，具有高吞吐量来访问大数据集应用程序。它采用了主/从结构，由一个NameNode节点和多个DataNode节点来组成，NameNode主节点是主服务器，管理文件系统的命名空间和客户端对文件的访问操作；DataNode是集群中一般节点，它负责节点的数据的存储。客户端通过NameNode向DataNode节点交互访问文件系统，联系NameNode获得文件的元数，而文件I/O操作则是直接和DataNode进行交互的。HDFS允许用户以文件的形式存储数据，HDFS将大规模数据分割成多个64M为单位的数据块，采用数据块序列的形式存储在多个数据节点组成的分布式集群中。它具有很强的可扩展性，通过在集群中增加数据节点来满足不断增长的数据规模，同时它也具有高可靠性和高容错性，每个数据块在不同的节点中有三个副本，在海量大数据处理方面有很强的性能优势。

龙源期刊网

面向大数据的分布式存储技术的发展与应用

作者：杨震乾 杨泳丹

来源：《电子技术与软件工程》2016年第02期

摘 要

随着计算机信息技术与互联网信息技术的快速发展，计算机网络技术已经渗透进入各行各业，网络上的信息资源呈现爆发式增长，互联网信息技术的使用给我们的生活带来了极大的便利，但互联网上的信息十分庞杂，给使用者带来了巨大的困扰。大数据时代下的数据存储需求更加多样，传统的数据存储系统已经难以满足大数据存储的需求。本文将深入地研究基于大数据的分布式存储技术，并结合实际案例分析分布式存储技术的应用。

【关键词】分布式存储 大数据 发展 应用

根据数据信息学的理论研究，可以将大数据理解为一个数据集合，这个数据集合的规模远远超出了传统数据库软件可以处理的范畴，大数据具有3V特征：规模性（Volume）、多样性（Variety）、高速性（Velocity），近年来，学术界又在3V特征的基础上扩展出了4V特征：价值性、准确性、可变性、真实性。大数据的最核心的特征就是海量数据，数据容量超出了现有硬件的存储空间，IT行业的工作者必须保证数据存储的速度与增长的速度一致，否则可能出现数据管理失控现象。基于大数据的分布式存储系统具有较好的扩展性，可以最大限度地调用现有的存储空间，实现资源的最优化配置，同时有效降低数据存储的成本。

1 极限数据分布式存储技术

极限数据分布式存储技术以数据存储的性能为核心，具有极强的数据处理能力，可以保证数据的一致性，主要针对数据总量大、数据操作频繁的数据模式，比较常见的是飞机车票网站的存储系统、电子商务的存储系统等。极限数据分布式存储技术需要同时具备较强的数据处理能力与较高的处理效率，其核心设计理论是集散与扩展。

1.1 技术原理

现有的分布式存储系统主要包括了Hadoop与NoSQL，这两类数据存储系统已经广泛应用于各个领域，除了上述两种存储体系外，目前比较前沿的还有NewSQL技术，NewSQL技术的数据对象是结构化的数据，其核心理论与前两种一样，是对分散的存储空间进行优化，实现资源的最高配置。其主要区别在于NewSQL技术是关系型数据库技术，将大数据处理技术应用于分布式存储技术中，具有更好的扩展性与兼容性。NewSQL技术的最大特点是其主服务器模块常驻内存，属于典型的基于内存的分布式存储技术，其数据处理速度是传统数据技术的10倍以上。

163ACADEMIC RESEARCH 学术研究

大数据时代的到来迫使传统信息存储技术进行改革。传统信息存储技术所能容纳的信息量较少，无法适应新时代下信息的转变，长久以往会造成大量数据的流失，整个存储系统就失去控制[1]。存储技术依赖于硬件与软件两个方面，两者相互支撑，保障存储安全与效率。本文就几种常见的分布式存储技术进行了一定的分析。一、面向大数据分布式存储技术发展面临的障碍面向大数据存储的信息数据主要包括数据库、文件系统，分布式存储技术恰好能够满足该需要，但由于数据库信息存储强调性能强大的系统，而文件系统则需要效果更好的存储空间，所以在真正设计分布式存储技术时这两者之间差异较为明显。信息存储时可能会遇到数据数量过于庞大或用户高频率进行同一操作等问题，抢票网站就是这一问题的代表。另一种问题在于近乎没有参与访问的数据会占据存储空间，造成了存储成本的浪费。新型存储技术需要克服传统存储技术上系统复杂、扩展性低等特点[2]。二、面向大数据分布式存储技术研究中几种方案（一）面向大数据的极限式面向大数据的极限分布式存储主要负责数量庞大、操作起来较为繁琐的数据形式，极限分布式存储保证负责对象操作起来的一致程度，提高信息访问的速度。面向大数据的极限分布式存储技术往往应用在购票网站以及电子商务网站等。为了更好的达成面向大数据极限分布式存储要求，就需要及时调整原有数据存储结构。传统的分布式存储系统主要由Hadoop和NoSQL组成，除此之外，NewSQL技术应用也很广泛。NewSQL技术的中心理论与前两种并无显著差别，具体差异表现在NewSQL技术提倡大数据处理技术，扩展能力与兼容程度更大。MPP数据库支撑了应用技术分析。这两种构架都是极限分布式存储技术的代表，但极限性能并不完善，所以数据库技术更新应该从外存到内存进行全方位式转变，内在数据库可以增加水平方向上的节点，重新设计，使得改进后数据处理速度能够达到传统方式的10倍之多。（二）面向大数据的低成本式面向大数据的低成本式存储主要负责那些访问频率很低甚至访问量为零的数据。信息数据的大量增长为数据存储的成本控制增加了难度，相较于面向大数据的极限分布式存储技术，面向大数据的低成本式存储在实时处理和分析数据方面要求并不高，它的着重点在于控制存储使用程度特别低的数据与信息的成本。为了更好的满足低成本需求，实施对象存储是一种非常可行的方法。所谓对象存储，就是利用WEB服务协议，将对象作为访问单元。对象存储设备上建立的存储系统是对象存储的基础，它可以自发管理数据。之所以提倡对象存储进行成本控制原因在于，对象存储不用依赖另外的存储交换机等设备，它仅仅依靠标准硬件存储就可实现信息存储要求。Swift是对象存储中的代表，它依赖于系统中数据访问与管理，通过对应的数据接口便可以实现数据搜索要求。并且Swift中Ring模块的存在保障了数据查询的完善程度。（三）面向大数据的软件自定义式面向大数据的软件自定义分布式存储技术旨在个性化数据存储服务，能够顺应软件需求对系统进行调整，这种方式在最大程度上保障了数据多样。Ceph是自定义分布式存储系统的代表，这种系统对外接口多，软件访问路径多样，它提供了多重存储系统，但是目前这种系统无法承担跨度过大规模布置要求。面向大数据的软件自定义分布式存储系统可以根据用户需求进行改变，服务更加人性化。三、结语计算机技术与互联网的巨大改革促进了新型数据模式的诞生，大量的信息数据迫使存储技术不断进步，高性能的分布式存储技术可以更好满足当下极限数据处理要求。基于大数据的分布式存储系统旨在提供成本低、效率高的存储服务，分布式存储系统的工作重点在于对数据库与文件系统进行整合，保证在进行复杂数据处理时能够更加方便快捷。在时代变化与用户要求逐渐扩大的阶段，这种新型的存储模式优点与效果十分突出，应该得到更为广泛的应用。H参考文献[1]周西柳.面向大数据的分布式存储技术研究[J].电脑迷,2016(03):136.[2]许金乐.面向大数据的分布式存储关键技术的研究[D].东南大学,2016.（作者单位：江苏苏宁银行股份有限公司）面向大数据的分布式存储技术研究许伟涛◆　摘要：经济的发展促进了计算机技术的进步，大数据时代正悄然来临。传统的信息存储技术没有办法适应当代信息传播的需要，当代信息传播的发展要求质量更高的技术。论文就大数据下的分布式存储技术研究进行了详细研究，力求寻找促进信息存储能力的方案。关键词：大数据；分布式；存储技术