JAVA云计算与云数据存储发展趋势技术

云计算与云数据存储发展趋势技术 目前，亚马逊、微软、谷歌、IBM、Intel等公司纷纷提出了“云计划”。例如亚马逊的AWS(Amazon Web services)、IBM和谷歌联合进行的“蓝云”计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作，启动云计算学术合作计划(Academic Cloud Computing Initiative)，推动云计算的普及，加紧对云计算的研究。美国卡内基梅隆大学等提出对数据密集型的超级计算(DISC：Data Intensive Super Computing)进行研究，本质上也是对云计算相关技术开展研究。由此可见，在各大公司以及学术界的共同推动下，云计算技术将会持续发展。 一、云计算(Cloud Computing) 1 、什么是云计算? 现有的研究成果对云、云计算的定义并没有达成共识，目前各大主流厂商的云计算理念也不一样，对云计算的理解不尽相同。IBM的技术白皮书“Cloud Computing”中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANS)，网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Internet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联网接入设备以及一个标准的浏览器就能够访问一个云计算应用程序。中国云计算网将云定义为：“云计算是分布式计算(Distributed Computing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些科学概念的商业实现。 2 、云计算的体系结构 云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。 云端用户：提供云用户请求服务的交互界面，用户通过Web浏览器可以注册、登陆及定制服务、配置和管理用户。 服务目录：用户在取得相应权限后可以选择或定制的服务列表。 管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的应用程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。 监控：监控和计量云系统资源的使用情况，以便作出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配合适的用户。 服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并发量的用户请求处理、大运算量的计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法，采用并行方式上传和下载大容量数据。 用户可通过云用户端从列表选择所需服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。 二、基于云计算的云存储技术 1、云计算和云存储的关系 云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器“云”中，由这个云系统来负责处理用户的请求，并输出结果，它是一个以数据运算和处理为核心的系统。云存储是在云计算(Cloud computing)概念上延伸和发展出来的一个新的概念。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。与云计算系统相比。云存储可以认为是配置了大容量存储空间的一个云计算系统。从架构模型来看，云存储系统比云计算系统多了一个存储层，同时，在基础管理也多了很多与数据管理和数据安全有关的功能，在两者在访问层和应用接口层则是完全相同的。 云存储在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。 云存储的概念与云计算类似。它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储不是存储。而是服务。就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储。并不是使用某一个存储设备。而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。云存储具有如下特点：超强地可扩展性、不受具体地理位置所限、基于商业组件、按照使用收费(如每G收15美分)、可跨不同应用等。 2、云存储系统分析 （一）云存储系统的结构模型 与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。 云存储系统的结构模型由4层组成： ①存储层 存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和SCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。 ②基础管理层 基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份、容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。 ③应用接口层 应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。 ④访问层 任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

（二）云数据存储技术 为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。 云计算的数据存储技术主要有谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed File System)。大部分IT厂商，包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面。 （1）宽带网络的发展 真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务。 （2） Web2．0技术 Web2.O技术的核心是分享。只有通过Web2.0技术，云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视、音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。 （3） 应用存储的发展 应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈．减少数据传输环节。提供系统性能和效率。保证整个系统的高效稳定运行。 （4）集群技术、网格技术和分布式文件系统云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，它需要通过集群技术、分布式文件系统和网格计算等技术。实现多个存储设备之间的协同工作。使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。 （5） CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。 （6） 存储虚拟化技术、存储网络化管理技术云存储中的存储设备数髦庞大且分布在多不同地域，如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。