基于P2P网络的云存储技术研究

云存储

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

一、简介

云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。[2]如果这样解释还是难以理解，那我们可以借用广域网和互联网的结构来解释云存储。

云状的网络结构

相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中，我们为了能更好地使用局域网，一般来讲，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的。系统中有多少个服务器，分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆，分配了什么IP地址和子网掩码。

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－８９７２．２０１３．１２．０６６　

谈Ｐ２Ｐ与云计算　

吴振拮　天津智赢时代科技有限公司　

摘要　本文概述了云计算和Ｐ２Ｐ网络的现今概况，　

对近期的云计算遭遇的麻烦，提出Ｐ２Ｐ技术　应用到云计算领域的构想。　

关键词　

云计算；Ｐ２Ｐ；ｌａａＳ；ＰａａＳ；ＳａａＳ　

中图分类号：ＴＰ５９３．４　文献标识码：Ｅ　

１走进云世界　

云计算（ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ）是分布　

式处理（Ｄｉｓｔｒｉｂｕｔｅｄ　Ｃｏｍｐｕｔｉｎｇ）、并行　

处理（Ｐａｒａｌｌｅｌ　Ｃｏｍｐｕｔｉｎｇ）和网格计算　

（Ｇｒｉｄ　Ｃｏｍｐｕｔｉｎｇ）的发展，或者说是这　

些计算机科学概念的商业实现。许多跨国信　

息技术行业的公司￣ＩＩＢＭ、Ｙａｈｏｏ和ＧＯＯｇｌｅ　

等正在使用云计算的概念兜售自己的产品和　

服务。　云计算，是一种基于互联网的计算新　方式，个人和企业用户根据互联网上异构、　

自治的服务按需即取的计算。在计算机流程　

图中，互联网常以一个云状图案来表示，同　

时资源也在互联网上，因此可以形象地类比　

为云，　“云”同时也是对底层基础设施的一　

种抽象概念。　云计算是个热度很高的新名词。由于　

它是多种技术混合演进的结果，其成熟度　

较高，又有大公司推动，发展极为迅速。　

Ａｍａｚｏｎ、Ｇｏｏｇｌｅ、ＩＢＭ、微软￣ＩＹａｈｏｏ等　

大公司是云计算的先行者。云计算领域的众　

多成功公司还包括Ｓａｌｅｓｆｏｒｃｅ、Ｆａｃｅｂｏｏｋ、　

Ｙｏｕｔｕｂｅ、Ｍｙｓｐａｃｅ等。　

为了便于理解云计算，先按照下面的　

划分方式介绍一下云计算：　

ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ　ａｓ　ａ　Ｓｅｒｖｉｃｅ，　

基础架构即服务）通过互联网提供了软件　

资源、数据中心和基础架构硬件。ＩａａＳ可以　

提供计算机（物理机和虚拟机）、操作系　统、存储空间、数据库和信息资源。最高端　

ＩａａＳ的代表产品是亚马逊的ＡＷＳ（Ｅｌａｓｔｉｃ　

Ｃｏｍｐｕｔｅ　Ｃｌｏｕｄ）。ＩａａＳ是在任何一个特定　

P2P中DHT网络介绍

作者 Shawn.Gu

撰写时间 2010年5月5日

文档类型 研究小结

文档状态 草稿

一、P2P及DHT网络简单介绍：

P2P在思想上可以说是internet思想/精神/哲学非常集中的体现，共同的参与，透明的开放，平等的分享（让我想起之前学习过的，现在正在疯狂热炒的云计算的“中央集权”制度）。基于P2P技术的应用有很多，包括文件分享，即时通信，协同处理，流媒体通信等等。通过这些应用的接触，分析和理解，P2P其本质是一种新的网络传播技术，这种新的传播技术打破了传统的C/S架构，逐步地去中心化，扁平化，这或许在一定程度上应证了”世界是平的”趋势，呵呵。P2P文件分享的应用(BTs/eMules等)是P2P技术最集中的体现，我们这里的研究也是以P2P文件分享网络作为入口，P2P文件分享网络的发展大致有以下几个阶段，包含tracker服务器的网络，无任何服务器的纯DHT网络， 混合型P2P网络。DHT网络发展即有“思想/文化”上的“发展”，也有一定的商业上的需求（版权管理）。

DHT全称叫分布式哈希表(Distributed Hash Table)，是一种分布式存储方法，一类可由键值来唯一标示的信息按照某种约定/协议被分散地存储在多个节点上，这样也可以有效地避免“中央集权式”的服务器（比如：tracker）的单一故障而带来的整个网络瘫痪。实现DHT的技术/算法有很多种，常用的有：Chord, Pastry, Kademlia等。我们这里要研究的是Kademlia算法，因为BT及BT的衍生派（Mainline,

Btspilits, Btcomet, uTorrent…），eMule及eMule各类Mods(verycd, easy emules, xtreme…)等P2P文件分享软件都是基于该算法来实现DHT网络的，BT采用Python的Kademlia实现叫作khashmir（科什米尔，印巴冲突地带？），有如下官网。eMule采用C++的Kademlia实现干脆就叫作Kad，当然它们之间有些差别，但基础都是Kademlia。我们这里以BT-DHT为例进行分析介绍，下面说到的DHT都可以默认是BT-Kademlia-DHT。

２０１１年第１８期　计算机光盘软件与应用　Ｃｏｍｐｕｔｅｒ　ＣＤ　Ｓｏｆｔｗａｒｅ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ　信息技术应用研究　超级节点是从大量普通节点中有条件地选择出来的客户端，　具有信息存储、搜索、网络关系维护、网络资源管理和分配的作　用’　。选择超级节点时，根据网络的物理拓扑结构，将相邻的节　点聚类为一类，即为用户建立一个云，在云中选取某性能、带宽　等综合条件最好的节点作为超级节点。为提高搜索效率，在超级　节点之间构建一个ＤＨＴ网络，节点通过ＤＨＴ来进行定向信息查找。　在数据分发时，考虑好友关系，并利用好友的区域特点，一方面　得到了更好的下载性能，另一方面数据保存在好友之间，简化了　数据做安全和隐私保护的措施　。　（二）普通节点　普通节点构成了整个底层的Ｐ２Ｐ数据共享系统，相连接的客　户端之间可以相互交换资源，减少数据文件的下载时间，降低服　务器的负载压力。普通节点把自己的文件信息、用户信息等上载　到超级节点上，进行分布存储，也可通过发送搜索命令到超级节　点查找资源　。　当客户端Ａ发出服务请求时，超级节点在云内部进行资源查　找，若在客户端Ｂ找到资源，则发送服务消息给该客户端Ｂ，客　户端Ｂ直接与客户端Ａ建立连接，提供服务。若在云内部没有节　点拥有该资源，则超级节点与邻近的超级节点通信，在其他云中　进行资源搜索，找到资源后与客户端Ａ建立连接，提供服务。若　在所有客户端中都没有找到资源，则中心服务器直接与客户端Ａ　建立连接，提供服务。　系统主要包括以下功能模块：　（三）节点管理　节点管理模块主要负责超级节点的选取，当超级节点负载过　重时，超级节点相互交换节点信息，动态调整网络，以达到负载　平衡。为解决系统中有些自私节点只使用网络资源，而自身并不　提供资源的问题，系统设计如下规则：下载ＩＯＧＢ以下数据，共享　量没有限制；若累计下载数据量超过ＩＯＧＢ，共享量至少是下载量　的１／２，否则系统将拒绝下载。　（四）数据下载　Ｐ２Ｐ网络中的资源具有共享性，资源拥有者首先将自己的文　件信息、用户信息等上传至超级节点，当系统中的某个节点需要　相关资源时，首先在Ｐ２Ｐ网络中搜索，搜索到后建立连接，当找　不到可用资源节点时，便从服务器下载资源。这种资源下载策略，　使网络具有很好的扩展性，减少了服务器负载，使服务器瓶颈问　题最小化。　（五）用户交互　系统提供公共聊天室和用户私聊的功能，采用Ｐ２Ｐ方式信息不　经过服务器中转，而是直接发送给用户，传输速度快，实时性更　强，大大减轻了服务器的负担。　三、总结　本文将Ｐ２Ｐ技术和云计算结合起来，设计了数据共享服务系统。　该系统继承了Ｐ２Ｐ技术的优点，具有非中心化、易扩展、兼容性强等　优点，同时具有云计算更少的安全漏洞和更高的安全环节，很好的　解决了资源共享和用户交互的问题。随着对Ｐ２Ｐ技术和云计算研究的　深入，二者的结合将会在资源共享方面得到越来越广泛的应用。　参考文献：　…金波．Ｐ２Ｐ技术在校园网络环境中的研究与应用【Ｄ】．北京：北　京Ｘ－，ｌｋ￣学，２００７，１２—２１　［２］李烨．基于移动Ａｇｅｎｔ的Ｐ２Ｐ文件共享系统的研究［Ｄ】．辽宁：　大连海事大学，２００８，４—７　［３】唐箭．云存储系统的分析与应用研究Ｕ】．电脑知识与技　术，２００９，５（２０）：５３３７—５３３８　［４】谷科．基于Ｐ２Ｐ技术的网络共享平台模型研究［Ｄ】．湖南：中南　大学，２００６，９—１（】　【５】李庆超．基＇Ｉ－Ｐ２Ｐ＇ｆ－＇－ｇ息共享模式的研究与实现［Ｄ】．辽宁：大连　海事大学，２００７，４—５　［６】蔡炳育，陈慧贤．云计算与数字资源存储问题分析【『】．巢湖学　院学报，２００９，１１（６）：２７—２９　［７】张龙立．云存储技术探讨Ｕ１－电信科学，２０１０，８Ａ：７１—７４　［８】高建秀，吴振新，孙硕．云存储在数字资源长期保存中的应用　探讨［Ｉ１．数字图书馆，２０１０，６：２—３　『９１谭义红，罗立，林亚平，欧阳竞成．超级节点网络的构建与搜　索机制研究Ⅱ１．小型微型计算机系统，２００８，１１：２０４６－２０４７　【１Ｏ】代亚非．Ｐ２Ｐ存储在云计算时代的新的机遇Ⅱ１．中国计算机　学会通讯，２００９，５（６）：５４－５６　【１１］￣ｋ雄．一种类ＦＴＰ的文件传输共享系统研究［Ｄ】．湖北：华中　科技大学，２００５，２４—２７　［作者简介］李雪（１９８５－），女，满族，北京市密云县人，助　理工程师，硕士，主要研究方向：领域为信息系统；成迪（１９８０一），　男，北京市海淀区人，　高级工程师，硕士，主要研究方向：数据　共享，数据检索。　（上接第２６页）　提示音管理　分类，替换　留言管理　．　查询，收听，删除　短信管理　统计短信发送数目，方便结算　（三）外部数据采集单元　对于学生考勤数据信息的采集，设计中采用Ｉｃ卡考勤机的形　式实现考勤采集功能。考勤机其实是由一个完整的单片机组成的，　简单的原理和工作过程就是：考勤机自带一个时钟电路，使用者　在某一个时间点刷卡，考勤机自动将这个时间点（年月日时分）　信息和卡号信息作为一条原始记录存储在考勤机自身的存储芯片　里。系统将这些原始数据通过数据线（ＴＣＰ／ＩＰ网络线）收集到学　校终端里，终端里安装的学校信息管理系统对这些原始数据进行　分析处理，而得出迟到早退出勤等我们需要的报表。并通过刷卡　器或在刷卡器上进行二次开发，完成学校信息与ＩＶＲ服务器的数　据同步，即学生信息的上传和更新。　采集单元还负责解析刷卡器客户端上报的学生相关信息。　解析接收到的内容并将内容写入到后台数据库。　学校刷卡器的运行状态监控，并通过短信报警通知管理员。　四、结束语　通过对家校通业务延伸的分析和预判，可以从需求角度得出　家校通必须随着科学技术的发展而改进和发展。这种发展趋势将　集中反映在如下四个方面：　第一方面：社会的发展、人类的发展都是以学校的发展、教　育事业的发展为前提、为基础的。人接受教育是为了社会的发展，　社会的发展目的是为了人的发展，人的发展有推动了社会的发展。　学校教育的发展促进学生的发展，学校以学生教育为本。　第二方面：教育的最关键是教师。育人不仅仅单方向灌输知　识，更需要沟通和交流。沟通和交流手段在发展在提高。　第三方面：教育的第一任教师就是孩子的父母一家长。育人　不仅仅是学校方面的责任，需要学校、家长乃至社会共同教育和　培养，需要不断沟通和交流。　第四方面：教育的对象是学生。培养、教育学生的方式、方　法随着社会发展而发展，沟通和交流方法和手段也在改进和发展　着。　由此可见，随着需求的发展，家校通必须改进和发展。作为　工具学科，计算机科学的发展往往取决于具体学科和业务需求的　发展。了解家校通的业务模式及业务延伸方向，对于未来新型家　校通系统的设计具有重要的指引意义。　参考文献：　【１】张智江，张云勇，刘韵洁．ＳＩＰ协议及其应用【Ｍ】．电子工业出　版社．２００５　［２Ｊ顾海峰．基于中文ＴＴＳ技术研究Ⅱ】．电脑知识与技术（学术交　流），２００７，９　［作者简介］刘冰（１９７９．１２－），男，研究生，２００８年１２月２６　日毕业于吉林大学，中国铁通通化分公司集客部，担任业务经理　一职。