云计算及其关键技术
- 格式:pdf
- 大小:538.36 KB
- 文档页数:6
云计算的五个关键要素在当今信息技术高速发展的时代,云计算已经成为了企业和个人处理数据和信息的重要工具。
它不仅改变了我们的工作方式,也对社会产生了深远的影响。
云计算的实现离不开五个关键要素,这些要素的结合为其提供了稳定性和可靠性。
本文将为您详细介绍这五个关键要素。
数据中心是云计算的核心基础设施,首先是规模。
庞大的数据中心才能确保存储大量的数据和应对不断增长的需求。
其次是可靠性。
云计算用户依赖数据中心的可用性和稳定性,任何故障都可能导致重大损失。
因此,数据中心应该具备冗余设计,以在硬件故障时保证系统的连续性。
此外,绿色能源是数据中心建设的重要考虑因素,以减少对环境的负面影响。
另一个关键要素是虚拟化技术。
云计算基于虚拟化技术,允许用户将物理资源虚拟化为多个虚拟机,从而提高资源利用率。
虚拟化技术使用户可以根据需求快速扩展或缩减资源,并实现资源的动态分配。
虚拟化技术还有助于实现对资源的精细管理,提高系统的性能和安全性。
与虚拟化技术相辅相成的是网络技术。
云计算需要强大的网络基础设施来支持大规模的数据传输和通信。
云计算网络应该具备高带宽、低延迟和高可用性的特点,以保证用户能够快速访问和传输数据。
此外,网络安全也是云计算不可忽视的重要方面。
由于云计算涉及大量的数据传输和存储,网络安全的隐患可能导致用户数据的泄露和损失。
因此,网络安全措施和加密技术在云计算中扮演着至关重要的角色。
云计算的第四个关键要素是自动化管理。
随着云计算规模的不断扩大,传统的手动管理已经无法满足快速响应和高效运作的需求。
自动化管理可以通过实现资源的自动分配、动态伸缩和故障恢复等功能,从而提高系统的灵活性和可靠性。
自动化管理还可以提供实时监控和报警机制,以帮助用户及时发现和解决问题,并提高系统的可管理性。
最后一个关键要素是服务级别协议(SLA)。
SLA是云计算服务商与用户之间的契约,规定了服务提供方应该提供的服务水平和用户应该享受的权益。
SLA包括性能指标、可用性、服务支持等方面的规定。
云计算及其关键技术浅谈作者:刘国来源:《信息安全与技术》2015年第09期【摘要】论文概要介绍了云计算的概念、现状、最新发展及应用情况,较为详细地讨论了云计算的体系结构及其部分关键技术在各大云计算技术公司的运用。
【关键词】云计算;体系结构;关键技术Concise Discussion of Cloud Computing and Its Key TechnologyLiu Guo(China Unicom ShaanXi Branch ShaanXiXi'an 710075)【 Abstract 】 The paper elaborated the concept , the present situation and the latest development application of cloud computing ;moreover expound the system architecture of cloud computing and its key technology,including all diverse of applications in larger enterprise.【 Keywords 】 cloud computing;system architecture;key technology1 引言随着数字技术和互联网的快速发展,运行在互联网络上的数据量呈几何级数增长,而互联网本身的数据处理能力则显得捉襟见肘,导致用户往往需要购买大量高性能的终端或者服务器来增加计算能力和存储资源,这种高运营成本从而阻碍了持续发展。
这正是云计算实现的重要目标之一,通过虚拟化技术将各种在线传统资源有效的整合成庞大的计算与存储网络,为用户提供方便、快捷、高效的服务,它可以实现计算与存储的分布式与并行处理,它秉承了按需服务的理念,可以根据用户的需求,任意的进行资源配置,假如互联网是一片“祥云”,那么运行在其上的各种计算机资源则是许许多多的数据中心及计算中心。
云计算及其关键技术问题作者:林晓鹏来源:《现代电子技术》2013年第12期摘要:随着技术的发展,云计算已成为在网格计算基础上发展而来的一种新兴计算模型,代表着一种全新的互联网应用模式。
简述了云计算的概念和定义、云服务部署方式,分析了云计算的层次体系和系统特征。
介绍了虚拟化技术、面向服务体系结构、数据存储与管理、编程模型等云计算的关键技术,并分析了其中主流技术的特点、研究现状及存在不足,为云计算的进一步技术研究提供参考。
提出当前云计算系统亟待解决的问题,以期为下一步的云计算研究提供信息。
关键词:云计算;结构;虚拟化; Web服务中图分类号: TN911⁃34 文献标识码: A 文章编号: 1004⁃373X(2013)12⁃0067⁃040 引言自计算机问世之日起,人们对计算机资源日益增长的需求促进了计算机技术的发展。
20世纪中叶起,对于在科学计算、系统仿真等领域需要处理大规模、海量数据的问题,往往通过增加投入来提升计算机系统性能的解决方案,相应出现了分布式系统、并行计算等。
在90年代互联网背景下,通过网络从外部获取计算能力、存储等资源已成为学术界和产业界所共识的解决途径,出现了网格计算技术。
近年来在全球化浪潮下,随着计算机系统在工业设计、生产制造、商业物流等领域更进一步的应用,云计算成为当前信息技术领域的热点话题之一[1],它体现了“网络即计算机”的思想,以便利、经济、高可扩展性等优势成为学术界、产业界和政府机构等各界关注的焦点,被认为是互联网经济后又一个重要的IT产业增长点,具有巨大的市场增长前景,IDC预测在2015年云计算产业规模将达到729亿美元[2]。
1 云计算简介1.1 云计算的定义从不同的应用角度出发,业界对云计算的定义有不同的认识,目前普遍接受的是美国国家标准与技术研究院(NIST)对云计算的定义[3]:云计算是一种模式,能以便利的、按需方式通过网络访问的可配置计算资源池(如网络、服务器、存储器、应用和服务),这些资源只需要极少的管理成本或干预,就可以快速部署与发布。
云计算的特点与关键技术及其在物联网中的应用随着信息技术的迅猛发展,云计算作为一种新兴的计算模式,正逐渐改变着传统的计算方式。
云计算不仅具有高度的灵活性和可扩展性,还能提供强大的计算和存储能力,因此被广泛应用于各个领域。
本文将深入探讨云计算的特点、关键技术,并阐述其在物联网中的应用。
一、云计算的特点1.1 弹性扩展云计算具有强大的弹性扩展能力,能够根据用户需求动态调整计算资源。
无论是增加还是减少计算能力,云计算都能够实现快速、有效的资源分配和管理,提供更高的灵活性和可用性。
1.2 高可靠性云计算采用分布式架构,将计算、存储和网络资源进行整合和优化。
通过使用冗余机制和备份策略,云计算能够提供高度可靠的计算环境,极大地减少了服务故障和数据丢失的风险。
1.3 可视化管理云计算提供了直观的管理界面,用户可以通过图形化界面进行资源管理、监控和配置。
这种可视化管理方式不仅能够降低用户的技术门槛,还能实现更加便捷和高效的操作和管理。
1.4 高性能计算云计算充分利用了分布式计算的优势,可以将多台计算机集群组合成一个强大的计算资源池。
通过任务切分和并行计算,云计算能够实现高性能的计算和处理,极大地提高了计算效率和吞吐量。
二、云计算的关键技术2.1 虚拟化技术虚拟化技术是云计算的核心,它可以将物理资源虚拟化成多个独立的虚拟机。
通过虚拟化技术,云计算可以在同一台物理服务器上同时运行多个虚拟机,实现资源的高效利用和隔离。
2.2 分布式存储技术分布式存储技术是云计算的重要组成部分,它能够将大量的数据进行分割,并存储在不同的存储节点上。
通过分布式存储技术,云计算可以实现数据的高可靠性和高可用性,同时提供快速的数据读写和访问能力。
2.3 虚拟网络技术虚拟网络技术可以将物理网络虚拟化成多个独立的逻辑网络,并提供灵活、可扩展的网络服务。
通过虚拟网络技术,云计算可以实现灵活的网络配置和管理,为物联网提供高效、安全的网络环境。
2.4 自动化管理技术自动化管理技术是云计算的重要支撑,它可以通过自动调度和管理工具来实现资源的自动分配和优化。
云计算的五大核心技术云计算是一种基于互联网的计算模式,通过网络将计算资源提供给用户,使其能够按需使用和配置这些资源。
云计算的出现极大地改变了传统计算模式,提升了计算能力的灵活性、可扩展性和可用性。
云计算的五大核心技术是虚拟化技术、分布式计算技术、网络技术、安全技术和统一管理技术。
首先,虚拟化技术是云计算的基础。
虚拟化技术可以将一台物理服务器划分为多个虚拟服务器,每个虚拟服务器具有独立的操作系统和应用程序。
虚拟化技术可以充分利用物理服务器的计算资源,提高资源的利用率和运行效率。
它还可以实现服务器的动态扩展和迁移,提供高可用性和容错能力。
其次,分布式计算技术是实现云计算的关键。
分布式计算技术可以将任务分解为多个子任务,在多个计算节点上并行执行这些子任务,最后将结果合并。
分布式计算技术可以充分利用多台计算机的计算资源,提高计算速度和处理能力。
它还可以实现负载均衡和容错能力,提高系统的可靠性和稳定性。
再次,网络技术是云计算的基础设施。
云计算通过网络将计算资源提供给用户,所以网络技术对于云计算的性能和可用性至关重要。
网络技术需要提供高带宽、低延迟、高可靠性和高安全性。
云计算还需要支持虚拟网络,实现对不同用户和应用程序的隔离和安全隔离。
另外,安全技术是云计算不可或缺的一部分。
云计算需要保护用户的数据和隐私,防止数据泄露和违法使用。
安全技术需要提供加密、身份认证、访问控制、数据备份和恢复等功能,确保用户数据的保密性、完整性和可用性。
安全技术还需要对云计算基础设施进行监控和审计,及时发现和解决安全问题。
最后,统一管理技术是云计算的核心。
云计算需要对计算资源、存储资源和网络资源进行统一管理和调度。
统一管理技术可以实现资源的动态分配和优化,提高资源利用率和计算效率。
它还可以实现资源的监控和自动化管理,减少人工干预和管理成本。
综上所述,虚拟化技术、分布式计算技术、网络技术、安全技术和统一管理技术是云计算的五大核心技术。
云计算的概念及关键技术1、云计算的概念1.1概念云计算是一种通过互联网访问、可定制的IT资源共享池,并按照使用量付费的模式,这些资源包括网络,服务器,存储、应用、服务等。
广泛意义上来说,云计算是指服务的交付和使用模式,即通过网络以按需,易扩展的方式获取所需的资源,这种服务可以是IT的基础设施(硬件、软件、平台),也可以是其他服务,云计算的核心理念就是按需服务,就像人使用水、电、天然气等资源一样。
1.2关键技术云计算的关键技术有:虚拟化、分布式文件系统、分布式数据库、资源管理技术、能耗管理技术。
虚拟化:虚拟化是实现云计算重要的技术设施,是在通过物理主机中同时运行多个虚拟机实现虚拟化,在这个虚拟化平台上,实现对多个虚拟机操作系统的监视和多个虚拟机对物理资源的共享;分布式文件系统:指在文件系统基础上发展而来的云存储分布式系统,可用于大规模的集群,主要特点:1、高可靠性:云存储系统支持多个节点间保存多个数据副本的功能,以提供数据的可靠性;‘’2、高访问性:根据数据的重要性和访问频率将数据分级多副本存储、热点数据并行读写,提高访问;3、在线迁移、复制:存储节点支持在线迁移,复制、扩容不影响上层应用;4、自动负载均衡:可以根据当前系统的负荷,将原有节点上的数据迁移到新增的节点上,特有的分片存储,以快为最小单位来存储,存储和查询时所有的存储节点并行计算;5、元数据和数据分离:采用元数据和数据分离的存储方式设计分布式文件系统。
分布式数据库:能实现动态负载均衡、故障节点自动接管、具有高可靠性,高可用性、高可扩展性;资源管理技术:云系统为开发商和用户提供了简单通用的接口,使得开发商将注意力更多低集中在软件本身,而无需考虑到底层架构,云系统一句用户的资源获取请求,动态分配计算资源;能耗管理技术:云计算基础设施中包括数以万计的计算机,如何有效低整合资源、降低运行成本,节省运行计算机所需的能源成为一个关注的问题二、hadoop生态在云计算这一块,hadoop算做的比较不错,hadoop平台的基本框图和生态系统如下所示:说明:1、MapReduce:是一个并行化计算框架,提供了map和reduce两阶段的并行处理模型和过程,mapreduce以键值对的数据输入方式来处理数据,并能自动完成数据的划分和调度管理;2、分布式文件系统(HDFS):基于物理上分布在各个数据存储节点的本地Linux系统的文件系统,为上次提供一个逻辑上成为整体的大规模数据存储系统;3、分布式数据库管理系统(HBASE):克服了难以管理结构化/半结构化海量数据的缺点,提供了一个大规模分布式的,建立在HDFS之上的分布式数据库管理系统,Hbase提供了基于行,列和时间戳的三维数据管理模型;4、公共服务模块(Common):为hadoop提供支撑服务和常用的工具类库以及api编程接口,服务包括:抽象文件系统fileSystem、远程过程调用(RPC),系统配置工具以及序列化机制;5、数据序列化(Avro):用于将数据结构和数据对象转变成数据存储和网络传输的格式;6、分布式协调服务(Zookeeper):主要用户提供分布式应用经常需要的系统可靠性维护,数据状态同步、统一命名服务,分布式应用配置等管理功能;7、分布式数据仓库处理工具(Hive):用于管理存在HDFS和hbase中的结构化/半结构化的数据。
云计算的关键技术云计算(cloudcomputing,分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。
稍早之前的大规模分布式计算技术即为“云计算”的概念起源。
云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。
云计算的核心技术(1)编程模型MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。
严格的编程模型使云计算环境下的编程十分简单。
MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。
(2)海量数据分布存储技术云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。
云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
GFS即Google文件系统(GoogleFileSystem),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。
GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。
它运行于廉价的普通硬件上,但可以提供容错功能。
它可以给大量的用户提供总体性能较高的服务。
一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。
主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。
云计算体系架构与关键技术解析云计算是一种新型的信息技术,具有灵活的服务,资源池,计费服务,按需服务和无泛在接入等特点。
云计算架构主要分为三层,包括服务管理,核心服务和用户访问接口,它们对应不同的服务功能。
同时,为了进一步满足不同用户的实际使用需求,云计算广泛应用了虚拟化技术,数据中心节能技术等关键技术。
标签:云计算;基本概念;体系架构;关键技术;发展前景1 引言云计算具有广阔的发展前景,系统体系结构等相关的关键技术不断完善和进步,现代业务处理和软件应用的信息化、全球化和自动化,将为云计算的发展和应用前景提供广阔的市場。
云计算具有超大规模、高可用性、高可靠性、虚拟化、按需服务和低成本等特点。
近年来,随着许多关键技术的成熟和成功应用,正在迅速普及。
2 云计算的基本概念和特点2.1 云计算的定义云计算主旨是对大的程序进行分解,写结成每个小部分然后再加以处理,最终传回给用户。
而如今,业界对云计算的定义各有不同,当前云计算的定义美国则是根据标准局对云计算的定义是云计算是一种根据用户使用量来进行收费的模式,这种模式可以进入可配置的计算资源共享池,这些资源能够呗快速的提供给用户,只需投入很少的工作。
2.2 云计算的特点从商业角度看,云计算是一种全新的用户体验和商业模式,它提供标准化、自助服务,支持快速的服务交付和基于使用的交付;从专业技术角度看,云计算是一种新的IT基础设施管理模式,它是物理资本源合成资源池,应用虚拟化资源,进行弹性扩展,动态部署。
3 云计算体系架构3.1 核心服务层云计算系统的核心服务层可分为基础设施服务层、软件服务层和平台服务层。
基础设施服务层为云计算系统提供硬件基础设施部署服务,可根据用户需求提供虚拟或实体计算、存储和网络信息资源。
在用户使用基础设施服务层之前,他们需要向服务提供者提供与基础设施相关的配置信息、运行基础设施的程序代码和相关的用户数据。
虚拟化技术的引入使基础设施服务层大大提高了服务的规模和可靠性。
收稿日期:2009-03-14;修回日期:2009-05-09。 作者简介:陈全(1986-),男,安徽滁州人,硕士研究生,主要研究方向:云计算、数据密集型可扩展计算; 邓倩妮(1973-),女,广西柳州人,副教授,博士,主要研究方向:对等计算、网格计算、复杂网络拓扑。
文章编号:1001-9081(2009)09-2562-06云计算及其关键技术
陈 全,邓倩妮(上海交通大学计算机科学与工程系,上海200240)(squirr3@gmai.lcom)
摘 要:云计算是一种新兴的计算模型,它是在网格计算的基础上发展而来的。介绍了云计算的发展历史和应用场景,比较了现有的云计算的定义并给出了新的定义,以谷歌的云计算技术为例,总结了云计算的关键技术:数据存储技术(GoogleFileSystem)、数据管理技术(BigTable)、编程模型和任务调度模型(Map-Reduce)等,分析了云计算和网格计算以及传统超级计算的区别,并指出了云计算的广阔发展前景。关键词:云计算;数据存储;数据管理;编程模型中图分类号:TP338.8 文献标志码:A
Cloudcomputinganditskeytechniques
CHENQuan,DENGQian-ni(DepartmentofComputerScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)
Abstract:Cloudcomputingisanewcomputingmode;litisdevelopedbasedongridcomputing.Theauthorsintroducedthedevelopmenthistoryofcloudcomputinganditsapplicationsituation;comparedexistingdefinitionsofcloudcomputingandgaveanewdefinition;tookgooglepscloudcomputingtechniquesasanexample,summedupkeytechniques,suchasdatastoragetechnology(GoogleFileSystem),datamanagementtechnology(BigTable),aswellasprogrammingmodelandtaskschedulingmodel(Map-Reduce),usedincloudcomputing;andanalyzedthedifferencesamongcloudcomputing,gridcomputingandtraditionalsuper-computing,andfingeredoutthebroaddevelopmentprospectsofcloudcomputing.Keywords:cloudcomputing;datastorage;datamanagement;programmingmodel
0 引言云计算(CloudComputing)是一种新近提出的计算模式。是分布式计算(DistributedComputing)、并行计算(ParallelComputing)和网格计算(GridComputing)的发展。目前,亚马逊、微软、谷歌、IBM、英特尔等公司纷纷提出了/云计划0。例如亚马逊的AWS(AmazonWebServices)[1]、IBM和谷歌联合进行的/蓝云0计划等。这对云计算的商业价值给予了巨大的肯定。同时学术界也纷纷对云计算进行深层次的研究。例如谷歌同华盛顿大学以及清华大学合作,启动云计算学术合作计划(AcademicCloudComputingInitiative),推动云计算的普及,加紧对云计算的研究。卡内基梅隆大学等对数据密集型的超级计算(DataIntensiveSuperComputing,DISC)[2]进行研究,本质上也是对云计算相关技术开展研究。IDC的调查显示,未来五年云计算服务将急速增长,预期2012年市场规模可达420亿美元。目前企业导入云计算已逐渐普及,并且有逐年成长趋势。估计在2012年,企业投入在云计算服务的支出将占整体IT成本的25%,甚至在2013年提高至IT总支出的三分之一。由此可见,在各大公司以及学术界的共同推动下,云计算技术将会持续发展。云计算有着广泛的应用前景。如表1所示。云计算在天文学[3]、医学等各个领域有着广泛的应用前景。趋势科技和瑞星等安全厂商纷纷提出了/安全云0计划。如今,每天有2万多种新的病毒和木马产生,传统的通过更新用户病毒库的防毒模式,受到了严峻的挑战,该模式使用户端的病毒库过于庞大。趋势科技和瑞星的/安全云0将病毒资料库放在/云0端,与客户端通过网络相连,当/云0在网络上发现不安全链接时,可以直接形成判断,阻止其进入用户机器,从根本上保护机器的安全。表1 云计算的应用领域
领域应用场景
科研地震监测海洋信息监控天文信息计算处理
医学DNA信息分析海量病例存储分析医疗影像处理
网络安全病毒库存储垃圾邮件屏蔽
图形和图像处理动画素材存储分析高仿真动画制作海量图片检索
互联网E-mail服务在线实时翻译网络检索服务
据趋势科技大中华区执行总裁张伟钦介绍,趋势科技已投入了大量资金,在全球数个地方建设了新型数据中心。同时,趋势科技还花费了1000多万美元,租借了34000多台服务器,构建了一个服务遍及全球的/安全云0。目前趋势科技
第29卷第9期2009年9月 计算机应用JournalofComputerApplications Vo.l29No.9Sep.2009已将公司中低端的部分产品线放到/云安全0计划中,而高端的大部分产品线,仍在准备过程中。谷歌提供的Gmail、GoogleEarth、GoogleAnalytics等服务都基于其云计算服务器运行[4]。谷歌基于云计算提供的翻译服务具有现今最好的性能[5]。对互联网和美国人生活的一项研究显示,大约70%的在线用户使用以上/云计算0服务。1 云计算的定义目前,云计算没有统一的定义,当前云计算的定义主要包括如下几种。1)维基百科给云计算下的定义。云计算将IT相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet获取需要的服务[6]。2)中国云计算网将云计算定义为:云计算是分布式计算(DistributedComputing)、并行计算(ParallelComputing)和网格计算(GridComputing)的发展,或者说是这些科学概念的商业实现[7]。3)文献[8]在综合多个云计算的定义之后,给/云0下了如下定义。云是一个包含大量可用虚拟资源(例如硬件、开发平台以及I/O服务)的资源池。这些虚拟资源可以根据不同的负载动态地重新配置,以达到更优化的资源利用率。这种资源池通常由基础设施提供商按照服务等级协议(ServiceLevelAgreement,SLA)采用用时付费(Pay-Per-Use,PPU)的模式开发管理。对比上述定义,可以发现,文献[6]和文献[8]中给出的定义的相似之处在于它们都提到了云计算提供服务。文献[6]中的定义主要从云计算用户的角度给出定义,即用户在不了解具体实现的情况下通过Internet获取服务。文献[7]从云计算的发展脉络的角度给出定义,主要说明了云计算的历史。文献[8]给出的定义则是从云计算提供者的角度来给出定义,定义了云计算的后台实现方式,以及管理模式。但是,这些定义都仅从一个方面定义云,并不完善。结合上述定义,可以总结出云计算的一些本质特征,即分布式的计算和存储特性,高扩展性,用户友好性,良好的管理性,用时付费等。云计算技术具有以下特点。1)云计算系统提供的是服务。服务的实现机制对用户透明,用户无需了解云计算的具体机制,就可以获得需要的服务。2)用冗余方式提供可靠性。云计算系统由大量商用计算机组成集群向用户提供数据处理服务。随着计算机数量的增加,系统出现错误的概率大大增加。在没有专用的硬件可靠性部件的支持下,采用软件的方式,即数据冗余和分布式存储来保证数据的可靠性。3)高可用性。通过集成海量存储和高性能的计算能力,云能提供较高的服务质量。云计算系统可以自动检测失效节点,并将失效节点排除,不影响系统的正常运行。4)高层次的编程模型。云计算系统提供高层次的编程模型。用户通过简单学习,就可以编写自己的云计算程序,在/云0系统上执行,满足自己的需求。现在云计算系统主要采用Map-Reduce模型。5)经济性。组建一个采用大量的商业机组成的集群相对于同样性能的超级计算机花费的资金要少很多。6)服务多样性。用户可以支付不同的费用,以获得不同级别的服务等。为了更好地定义云计算,必须从云计算的服务使用者,服务提供者,组织方式,内部实现机制等方面同时定义。根据现有定义的不足,本文定义云计算为:/云计算是由网格计算发展而来的,前台采用用时付费的方式通过Internet向用户提供服务。云系统后台由大量的集群使用虚拟机的方式,通过高速互联网络互连,组成大型的虚拟资源池。这些虚拟资源可自主管理和配置。用数据冗余的方式保证虚拟资源的高可用性。并具有分布式存储和计算、高扩展性、高可用性、用户友好性等特征。0
2 云计算的关键技术云计算是一种新型的超级计算方式,以数据为中心,是一种数据密集型的超级计算。在数据存储、数据管理、编程模式等多方面具有自身独特的技术。同时涉及了众多其他技术,如表2所示。本章主要介绍云计算特有的技术,包括数据存储技术,数据管理技术,编程模式等。其他相关技术请阅读给出的参考文献。表2 云计算涉及的关键技术技术类型具体技术参考文献设备架设数据中心节能文献[4,9]节点互联技术文献[10]
改善服务技术可用性技术文献[11-12]容错性技术文献[12-13]
资源管理技术数据存储技术文献[14-16]数据管理技术文献[11]
任务管理技术数据切分技术文献[17]任务调度技术文献[12,17]编程模型文献[12,15-17]
其他相关技术负载均衡技术文献[18]并行计算技术文献[19-20]虚拟机技术文献[13,21-22]系统监控技术文献[23]
2.1 数据存储技术为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,即为同一份数据存储多个副本。另外,云计算系统需要同时满足大量用户的需求,并行地为大量用户提供服务。因此,云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFS(GoogleFileSystem)[14]和Hadoop开发团队开发的GFS的开源实现HDFS(HadoopDistributedFileSystem)[15-16]。大部分IT厂商,包括雅虎、英特尔的/云0计划采用的都是HDFS的数据存储技术。云计算的数据存储技术未来的发展将集中在超大规模的数据存储、数据加密和安全性保证以及继续提高I/O速率等方面。以GFS为例。GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS和普通的分布式文件系统有以下区别,如表3所示。