纠删码存储集群的数据安全性研究

云存储中的数据安全性与可靠性研究

随着科技的快速发展和互联网的广泛应用，云计算、大数据时代已经到来。云计算作为一种新兴的计算模式，可以为用户提供弹性计算和存储资源，并具有高度的灵活性和可靠性。云计算在很大程度上推动了云存储技术的发展，各种云存储服务也应运而生，如Dropbox、Box、OneDrive、Google Drive等知名云存储服务提供商。这些云存储服务为用户提供了便捷的数据管理方案，然而，随之而来的数据安全性和可靠性问题也越来越受到关注。

一、数据安全性的研究

1.1 数据加密技术

数据加密是一种重要的数据安全措施，是指将明文转换为密文，以保护数据不被未经授权的人员访问。目前，常用的数据加密技术包括对称加密和非对称加密。对称加密算法是指加密和解密使用相同的密钥，适用于密钥交换困难的场景，但由于密钥传输的不安全性，仍存在一定的安全隐患。非对称加密算法则使用一对公私钥，公钥可随便传播，但私钥必须保密，可用于数字签名、密钥交换等场景。

1.2 访问控制机制

访问控制机制是指对系统中对象的访问进行控制，以保证只有经过授权的用户可以对资源进行访问和操作。常见的访问控制机制包括基于角色的访问控制和基于属性的访问控制。基于角色的访问控制以用户的角色来规定其对资源的访问权限，简单易用，但不适用于需要对用户进行精细授权的场景。基于属性的访问控制则是以用户的属性完成对用户的精细授权，但需要更多的管理和维护。

1.3 安全敏感数据漏洞扫描

安全敏感数据漏洞扫描是指对云存储中存储的敏感数据进行漏洞扫描，以及时发现并修复安全漏洞。常见的安全敏感数据漏洞包括系统漏洞、密码破解、SQL注入、XSS攻击、CSRF攻击等。对于这些安全问题的扫描和修复需要通过深度学习、自然语言处理、机器学习等技术完成。

二、可靠性的研究

2.1 数据备份

数据备份是一种常用的数据可靠性解决方案，是指将系统中的数据进行复制，以便在主数据无法访问时，能够快速恢复数据。数据备份常见的策略包括完全备份、增量备份和差异备份。完全备份是指将整个系统备份的一种策略，备份时间长、备份数据量大；增量备份则是只备份与上一次备份增量的数据，备份时间短、数据量小；差异备份则是只备份与上一次完全备份差异的部分，备份时间适中、数据量较小。

云存储系统中的数据安全性与恢复策略研究

云存储系统的兴起使得用户能够方便地将数据存储在云端，并随时随地地进行访问和分享。然而，云存储中的数据安全性一直是备受关注的问题，因为用户的数据需要在云平台中进行存储和传输。此外，云存储系统中的数据还面临意外删除、自然灾害或硬件故障等多种风险。因此，在云存储系统中确保数据的安全性和实施恢复策略显得尤为重要。

首先，数据在云存储系统中的安全性是用户最为关注的问题之一。数据在云存储中的传输和存储都需要进行加密操作。一般而言，云存储系统会使用一些加密算法来确保数据的机密性，例如对称加密算法和非对称加密算法。对称加密算法使用相同的密钥对数据进行加密和解密，而非对称加密算法则使用公钥和私钥进行加密和解密。这些加密算法能够有效地抵御黑客和未经授权的访问。

其次，云存储系统需要采取措施来保护数据的完整性。为了确保数据在传输和存储过程中不被篡改，云存储系统通常会使用数字签名等方法进行验证。数字签名使用公钥和私钥的组合来验证数据的完整性，一旦数据被篡改，数字签名将无法通过验证，从而提醒用户数据可能已经受到损害。 此外，云存储系统还需要提供访问控制机制，以确保数据只能被授权的用户访问。传统的访问控制方法如用户名和密码已经无法满足当前云存储系统安全性的要求。因此，一些新的访问控制技术如基于角色的访问控制（RBAC）和多因素认证（MFA）等被引入到云存储系统中。RBAC将用户分为不同的角色，并为每个角色分配特定的权限，这样可以更好地控制用户对数据的访问。而MFA要求用户使用多种身份验证方式才能成功登录，大大增加了系统的安全性。

在云存储系统中，数据的恢复策略也是不可忽视的因素。当用户误删除数据或者数据丢失时，云存储系统需要提供可靠的数据恢复策略。一个常见的数据恢复策略是备份和冗余存储。备份是将数据复制到另一个位置，以防止数据丢失。冗余存储则是将数据存储到多个物理硬盘或服务器中，以确保在故障发生时仍然能够访问数据。

摘 要

I 摘 要 云计算基于多种传统互联网服务技术演变而来。传统的虚拟化技术和分布式技术作为云架构的两大核心技术，为云计算提供了优秀的计算性能、存储性能以及良好的可扩展性。自云计算的概念提出后，其很快便以强大的性能和随时随地只要有网络就能享受服务的便利性占领市场。 云存储从云计算中存储即服务演变而来，而随着云计算的重心由以计算为中心逐渐转为以存储为中心，存储服务在云计算中愈发重要。但是，云存储服务的开放性也威胁到其中用户数据和隐私的安全，如今云存储服务中数据的安全性、完整性已经成为阻碍云存储技术发展的首要原因之一。本文主要研究云存储的环境下，用户数据及其隐私的安全性、数据的完整性和可用性以及存储效率的问题。 为了提升云存储系统中数据的安全性和完整性，本文在传统密码学技术基础上，设计了一套冗余去重加密备份系统。实现了云存储环境下多用户数据的去重、用户数据及隐私的加密、以及冗余备份恢复等功能，简称去重加密备份系统。首先使用消息锁定加密的方式，在加密数据的同时删除系统中额外的重复数据；然后利用非对称密钥加密算法RSA构建盲签名，弥补消息锁定加密方式在系统规模不大时可以被暴力破解的缺陷，进一步加强系统的安全性；最后使用纠删码RS码编码冗余备份文件，并分别存储于多个存储节点上，保证数据的完整性和提高系统容灾性。而针对系统中相关数据库中的数据，在使用传统代理层加密方式的基础上，添加表义混淆策略，混淆系统数据库中的加密数据。 最后，本文使用Java Web技术中常用的SSH框架，模拟了云存储环境下多用户的数据存储平台，并实现了上面所提出去重加密备份存储系统的各个功能。利用数据库MySQL实现混淆数据库，配合以服务端文件系统模拟了分布式文件系统的数据加密存储。模拟用户的操作，注册登录系统和上传下载文件，依次验证了系统的重复数据删除功能、数据隐私加密功能以及冗余备份功能。 关键词：云存储，去重，加密系统，冗余备份，安全存储 ABSTRACT

ErasureCoding（纠删码）深入分析

1.前言

Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推广的最大障碍之一，成本的增加吓退了不少潜在客户。这次的改进有望消除客户顾虑，拓展更多用户

而回到存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规模较大的应用场景下，纠删码越来越多的出现在选择的视野范围，成为RAID，副本之外的第三种选择，因此也获得了越来越多的关注。

纠删码（Erasure Code)本身是一种编码容错技术，最早是在通信行业解决部分数据在传输中损耗的问题，它的基本原理是把传输的信号分段，加入一定的校验再让各段间发生一定的联系，即使在传输过程中丢失掉部分信号，接收端仍然能通过算法把完整的信息计算出来。

如果严格的区分，实际上按照误码控制的不同功能，可分为检错、纠错和纠删三种类型。检错码仅具备识别错码功能 而无纠正错码功能；纠错码不仅具备识别错码功能，同时具备纠正错码功能；纠删码则不仅具备识别错码和纠正错码的功能，而且当错码超过纠正范围时，还可把无法纠错的信息删除。

前面曾提到过适用场景通常是大规模部署，这是有其缘由的。从传统情况来看，RAID通常用在企业级环境里较多，在几台和十几台存储设备规模的IT系统中，一向是使用稳定可靠历经数十年磨砺的RAID技术。而在数据中心级的大规模部署中，RAID不再受欢迎，大部分的分布式系统都偏好副本模式，看重的是其高可靠性和读性能优化的特点（关于副本的讨论我之前写过一篇：为啥大家都喜欢3副本，是拍脑袋的吗？/s/blog_57f61b490101a8ca.html）。然而副本带来的成本压力实在是有些吃不消，这时候Erasure Code适时出现，以更低成本和更高技术含量提供近似可靠性这几点，就吸引到了众多分布式存储／云存储的厂商和用户。