精品文档Google 云计算技术架构:
Google 云计算技术架构应用均依赖于四个基本组件1.分布式文件存储(GFS),2,并行数据处理模型(MapReduce).3分布式锁(Chubby).4,结构化数据表(BigTable).
Chubby的作用:1.为GFS提供锁服务,选择Master节点:记录Master的相关描述信息;2:通过独占锁记录Chunk Server 的活跃情况;3:为BigTable提供锁服务,记录子表信息(如子表文件信息,子表分类信息,子表服务信息);4:记录MapReduce的任务信息;5:为第三方提供锁服务与文件存储.
GFS的作用:1.存储Bigtable的子表文件,2:为第三方应用提供大尺寸文件存储功能;3:文件读操作流程(API与Mater 通信,获取文件元信息,根据指定的读取位置与读取长度,API发动兵发起操作,分别从若干ChunkServer上读取数据,API组装所得数据,返回结果.
BigTable的作用:1.为Google云计算应用(或第三方应用)提供数据结构化存储功能;2:类似于数据库;3:为应用提供简单数据查询功能(不支持联合查询);4:为MapReduce提供数据源或者数据结果存储.
BigTable的存储于服务请求的响应:1.换分为子表存储,每一个子表对应一个子表文件,子表文件存储于GFS 上;2:bigTable通过元数据组织子集;3:每个子集都被分配给一个子表服务器;4:一个子表服务器可同时分配多个子表;4:子表服务器负责对外提供服务,响应查询请求.
MapReduce的作用:对BigTable中的数据进行并行计算处理;2使用BigTable或者GFS存储计算结果
Google Analytics:免费的企业级网络分析解决方案;2:帮助企业了解网站流量和营销效果;3:能以灵活的反噬(各类报表)查看并分析流量数据
Google网站流量分析的基本功能:统计网站的基本数据,包括会话,综合浏览量,点击量和字节流量;2:分析网站页面关注度,帮助企业调整或者增删页面;3:分析用户浏览路径,优化页面布局;4:分析用户访问来源连接,提供广告投资回报;5:分析用户访问环境,帮助美化页面
EC2:Eastic Compute Cloud)简言之,EC2就是一部具有无限采集能力的虚拟计算机,用户能够用来执行一些处理任务EC2的主要特征:1:灵活性,可以自行配置的实例类型,数量,还可以选择实例运行的地理位置,可以根据影虎的需求随时改变实例的使用数量;2:低成本:SSH,可配置的防火墙机制,监控等;3:易用性:用户可以根据亚马逊提供的模块自由构建自己的应用程序,同时EC2还会对用户的服务请求自动进行负载均衡;3:容错性,弹性IP
简单队列服务SQS:目标:解决低耦合系统间的通信问题,支持分布式计算机系统之间的工作流,
简单队列服务SQS:特点:简单,无处不在
简单队列服务SQS:的机制:冗余存储,给予加权随机分布的消息取样,并发管理和故障排除,消息的可见性超时值与生命周期
SDB与S3的区别:S3是专为大型,费结构化的数据块设计的;SimpleDB是为复杂的,结构化数据建立的,支持数据的查找,删除,插入等操作
.
云计算的关键技术及发展现状 周小华 摘要：本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析，最后是关于云计算的挑战及其展望。 关键词：云计算；数据存储；编程模型 1.云计算定义 云计算是由分布式计算、并行处理、网格计算发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构（soa）以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。“云计算”概念由google提出，一如其名，这是一个美妙的网络应用模式。在云计算时代，人们可以抛弃u盘等移动设备，只要进入google docs页面，新建一个文档，编辑其内容，然后直接把文档的url分享给朋友或上司，他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置
(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问一个云计 算应用程序。” 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet 获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征： （1）硬件基础设施架构在大规模的廉价服务器集群之上．与传统的性能强劲但价格昂贵的大型机不同，云计算的基础架构大量使用了廉价的服务器集群，特别是x86架构的服务器．节点之间的巨联网络一般也使用普遍的千兆以太网． （2）应用程序与底层服务协作开发，最大限度地利用资源．传
云计算平台设计参考架构 在私有云当中，主要包含以下几个组件：物理基础架构、虚拟化层、服务自动化层、服务门户、安全体系、云API和可集成的其它功能。（如图私有云参考架构） 图3.4 私有云参考架构 a) 物理基础架构 物理架构的定义是组成私有云的各种计算资源，包括存储、计算服务器、网络，无论是云还是传统的数据中心，都必须基于一定的物理架构才能运行。
在私有云参考架构中的物理基础架构其表现形式应当是以资源池模式出现，也就是说，所有的物理基础架构应当是统一被管，且任一设备可以看成是无状态，或者说并不与其它的资源，或者是上层应用存在紧耦合关系，可以被私有云根据最终用户的需求，和预先定制好的策略，对其进行改变。 b) 虚拟化层 虚拟化是实现私有云的前提条件，通过虚拟化的方式，可以让计算资源运行超过以前更多的负载，提升资源利用率。虚拟化让应用和物理设备之间采用松耦合部署，物理资源状态的变更不影响到虚拟化的逻辑计算资源。且可以根据物力基础资源变化而动态调整，提升整体的灵活性。 c) 服务自动化层 服务自动化层实现了对计算资源操作的自动化处理。它可以集中的监控目前整体计算资源的状态，比如性能、可用性、故障、事件汇总等等，并通过预先定义的自动化工作流进行
相关的处理。 服务自动化层是计算资源与云计算服务门户相关联的重要部件，服务自动化层拥有自动化配置和部署功能，可以进行服务模板的制定，并将服务内容和选择方式在云计算服务门户上注册，用户可以通过服务门户上的服务目录来选择相应的计算资源请求，由服务自动化层实现服务交付。 d) 云API 云应用开发接口提供了一组方法，让云服务门户和不同的服务自动化层进行联系，通过云API，可以在一个私有云当中接入多个不同地方的计算资源池，包括不同架构的计算资源，并通过各自的服务自动化体系去进行服务交互。 e) 云服务门户 云服务门户是用户使用私有云计算资源的接口，云服务门户上提供了所有可用服务的目录，并提供了完善的服务申请流程，用户可以执行申请、变更、退回等计算资源使用服务。
1简介 1.1什么是google云计算？ Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点，Google提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。 1.2Google云计算平台 Google 提供了一个名为App Engine 的云计算平台，它基于的是Google 早就建立起来的底层平台。这个平台包括GFS（Google File System）和Bigtable（构建于GFS 之上的数据库系统）。Google App Engine 内的编程采用的是Python。程序员用Python 编写应用程序，然后再在App Engine 框架上运行。除Python 外的其他语言在将来也会得到支持。出于开发的需要，可以下载App Engine 环境的一个本地仿真程序。App Engine 可免费使用并且包括多达500 MB 的存储及足够的CPU 带宽来满足每天5 百万次页面浏览。 Google App Engine 提供了一些有用的基础设施，比如源自GFS 的数据存储和一个memcache实现。然而，它并不提供开箱即用的排队机制。不过，有了这样一个纯Python 的编程环境，就可以在App Engine 之上很容易地创建您自已的JMS 替代。这个数据存储很适合于混合应用程序，并且只需很少的Python 编程就可以打造出一个面向您的队列的RESTful式接口。 2原理 2.1 GFS（Google文件系统） 2.1.1特点 采用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，从而使存储的成本下降；保证在频繁的故障中确保数据存储的安全，保证提供不间断的数据存储服务。
Google 云计算技术架构: Google 云计算技术架构应用均依赖于四个基本组件1.分布式文件存储(GFS),2,并行数据处理模型(MapReduce).3分布式锁(Chubby).4,结构化数据表(BigTable). Chubby的作用:1.为GFS提供锁服务,选择Master节点:记录Master的相关描述信息;2:通过独占锁记录Chunk Server 的活跃情况;3:为BigTable提供锁服务,记录子表信息(如子表文件信息,子表分类信息,子表服务信息);4:记录MapReduce的任务信息;5:为第三方提供锁服务与文件存储. GFS的作用:1.存储Bigtable的子表文件,2:为第三方应用提供大尺寸文件存储功能;3:文件读操作流程(API与Mater 通信,获取文件元信息,根据指定的读取位置与读取长度,API发动兵发起操作,分别从若干ChunkServer上读取数据,API组装所得数据,返回结果. BigT able的作用:1.为Google云计算应用(或第三方应用)提供数据结构化存储功能;2:类似于数据库;3:为应用提供简单数据查询功能(不支持联合查询);4:为MapReduce提供数据源或者数据结果存储. BigT able的存储于服务请求的响应:1.换分为子表存储,每一个子表对应一个子表文件,子表文件存储于GFS 上;2:bigTable通过元数据组织子集;3:每个子集都被分配给一个子表服务器;4:一个子表服务器可同时分配多个子表;4:子表服务器负责对外提供服务,响应查询请求. MapReduce的作用:对BigTable中的数据进行并行计算处理;2使用BigTable或者GFS存储计算结果 Google Analytics:免费的企业级网络分析解决方案;2:帮助企业了解网站流量和营销效果;3:能以灵活的反噬(各类报表)查看并分析流量数据 Google网站流量分析的基本功能:统计网站的基本数据,包括会话,综合浏览量,点击量和字节流量;2:分析网站页面关注度,帮助企业调整或者增删页面;3:分析用户浏览路径,优化页面布局;4:分析用户访问来源连接,提供广告投资回报;5:分析用户访问环境,帮助美化页面 EC2:Eastic Compute Cloud)简言之,EC2就是一部具有无限采集能力的虚拟计算机,用户能够用来执行一些处理任务EC2的主要特征:1:灵活性,可以自行配置的实例类型,数量,还可以选择实例运行的地理位置,可以根据影虎的需求随时改变实例的使用数量;2:低成本:SSH,可配置的防火墙机制,监控等;3:易用性:用户可以根据亚马逊提供的模块自由构建自己的应用程序,同时EC2还会对用户的服务请求自动进行负载均衡;3:容错性,弹性IP 简单队列服务SQS:目标:解决低耦合系统间的通信问题,支持分布式计算机系统之间的工作流, 简单队列服务SQS:特点:简单,无处不在 简单队列服务SQS:的机制:冗余存储,给予加权随机分布的消息取样,并发管理和故障排除,消息的可见性超时值与生命周期 SDB与S3的区别:S3是专为大型,费结构化的数据块设计的;SimpleDB是为复杂的,结构化数据建立的,支持数据的查找,删除,插入等操作
从整体来看，Google的云计算平台包括了如下的技术层次。 ●网络系统：包括外部网络(Exterior Network) ，这个外部网络并不是指运营商自己的骨干网，也是指在Google 云计算服务器中心以外，由Google 自己搭建的由于不同地区/国家，不同应用之间的负载平衡的数据交换网络。内部网络（Interior Network），连接各个Google自建的数据中心之间的网络系统。 ●硬件系统：从层次上来看，包括单个服务器、整合了多服务器机架和存放、连接各个服务器机架的数据中心（IDC）。 ●软件系统：包括每个服务器上面的安装的单机的操作系统经过修改过的Redhat Linux。Google 云计算底层软件系统（文件系统GFS、并行计算处理算法Mapreduce、并行数据库Bigtable，并行锁服务Chubby Lock，云计算消息队列GWQ） ●Google 内部使用的软件开发工具Python、Java、C++ 等 ●Google 自己开发的应用软件Google Search 、Google Email 、Google Earth 外部网络系统介绍 当一个互联网用户输入的时候，这个URL请求就会发到Google DNS 解析服务器当中去，Google 的DNS 服务器会根据用户自身的IP 地址来判断，这个用户请求是来自哪个国家、哪个地区。根据不同用户的IP地址信息，解析到不同的Google的数据中心。 进入第一道防火墙，这次防火墙主要是根据不同端口来判断应用，过滤相应的流量。如果仅仅接受浏览器应用的访问，一般只会开放80 端口http，和443 端口https （通过SSL加密）。将其他的来自互联网上的非Ipv4 /V6 非80/443 端口的请求都放弃，避免遭受互联网上大量的DOS 攻击。 在大量的web 应用服务器群（Web Server Farm）前，Google使用反向代理（Reverse Proxy）的技术。反向代理（Reverse Proxy）方式是指以代理服务器来接受internet 上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet 上请求连接的客户端，此时代理服务器对外就表现为一个服务器。
由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。为此，本文综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系结构如图3所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。 图3 云计算技术体系结构 云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层，如图3所示。物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗；管理中间件负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的Web Services服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。 云计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。 基于上述体系结构，本文以IaaS云计算为例，简述云计算的实现机制，如图4所示。 用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配
云计算的总体架构、应用及模式探讨 1.引言： 云计算，是一种可用于商业化运作的技术架构。云计算是新一代的IT （计算机技术）模式，是IT发展历程的回归，自乔布斯创新PC（个人电脑）分散应用以来的IT领域第一次大集中应用。云计算的诞生，仍然得遵循经济规律，利用技术上的创新实现需求的增长和运营成本的降低。面对大量资源利用率不足的计算机，通过云的形式，利用富裕的已存在性能资源，使其虚拟成池以提供服务满足社会各方面的信息软件化需求，这是目前IT业大举进攻的目标市场。云计算是技术，有自身的技术架构，通过对云计算架构中功能模块的解析和架构应用实例的列举，阐述了云计算实现的基本模型，并对云计算的商业模式进行了分类展望。 2.云架构： 云计算经过初期的摸索，架构渐渐清晰，主流是分为两部分：服务和管理。 云架构的总体结构框如图1： 图1 云架构系统框图 服务分三层：SaaS（软件即服务）、PaaS（平台即服务）和IaaS（基础设施即服务）。 SaaS是出现最早，最普遍的云计算服务。随着互联网的高速发展，基础网络条件的日益成熟，用户通过浏览器联网即能用云上的软件服务。SaaS最靠近用户，只需按需付费就能享受云计算服务商提供的软件服务，用户因此省去了前期软硬件和后期维护的资金投入，这种高体验性服务，促成了SaaS产品在云计算产品中的高市场份额。SaaS包含以下常见技术： （1）、HTML（超文本标记语言）。Web（网站）页面标准技术，现主流是HTML4，逐步会过渡至HTML5，视频的高品质需求体验是其推动力。 （2）、JavaScript（物件导向语言）。用于丰富Web页面功能的动态描述语言，提高人机交互时的动画体验。 （3）、CSS(级联样式表)。控制Web页面的外观，例如链接文字的变化，
第1章绪论 很少有一种技术能够像“云计算”这样，在短短的两年间就产生巨大的影响力。Google、亚马逊、IBM和微软等IT巨头们以前所未有的速度和规模推动云计算技术和产品的普及，一些学术活动迅速将云计算提上议事日程，支持和反对的声音不绝于耳。那么，云计算到底是什么？发展现状如何？它的实现机制是什么？它与网格计算是什么关系？。本章将分析这些问题，目的是帮助读者对云计算形成一个初步认识。 1.1 云计算的概念 云计算（Cloud Computing）是在2007年第3季度才诞生的新名词，但仅仅过了半年多，其受到关注的程度就超过了网格计算（Grid Computing），如图1-1所示。 搜索量指数Google Tronds 云计算 网格计算 图1-1 云计算和网格计算在Google中的搜索趋势 然而，对于到底什么是云计算，至少可以找到100种解释，目前还没有公认的定义。本书给出一种定义，供读者参考。 云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。 这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无需人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无需为烦琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池，这与早在2002年就提出的网格计算池（Computing Pool）的概念非常相似[3][4]。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合，池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，提升平台的服务质量。 之所以称为“云”，是因为它在某些方面具有现实中云的特征：云一般都较大；云的
谷歌云计算的现状与发展
摘要：Google作为世界云计算的“领头人”，它在云计算的研究与开发方面做得非常出色，从Google 的整体的技术构架来看，Google计算系统依然是边做科学研究，边进行商业部署，依靠系统冗余和良好的软件构架来低成本的支撑庞大的系统运作的，大型的并行计算，超大规模的IDC 快速部署，通过系统构架来使廉价PC 服务器具有超过大型机的稳定性都已经不在是科学实验室的故事，已经成为了互联网时代，IT 企业获得核心竞争力发展的基石。尽管云计算是个刚刚出现没多久的新词汇，尽管我们还处在在云计算的起跑阶段，但是，我们从Google的与计算技术构架里，就可以获得很多信息，那些信息可能就是我们通向未来互联网全新格局的钥匙。 关键词：云计算 Google 技术构架 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 我们可以认为：云计算是通过网络按需提供可动态伸缩的廉价计算服务。 提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。
有人打了个比方：这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。 云计算是并行计算、分布式计算和网格计算的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化、公用计算、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。 总的来说，云计算可以算作是网格计算的一个商业演化版。 “Google”是美国一家上市公司，于1998年9月7日以私有股份公司的形式创立，以设计并管理一个互联网搜索引擎。Google公司的总部称作“Googleplex”，它位于加利福尼亚山景城。Google公司致力于互联网的应用与高新产业的开发。它在云计算的研发与发展方面，同样走在世界的前列。2006年8月9日，Google首席执行官埃里克·施密特在搜索引擎大会首次提出“云计算”的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做“Google 101”项目。 2007年10月，Google与IBM开始在美国大学校园，包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划
云计算不仅是技术，更是服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性，是基于对整个IT领域的变革，其技术和应用涉及硬件系统、软件系统、应用系统、运维管理、服务模式等各个方面。 IaaS(基础架构即服务)作为云计算的三大部分之一，将基础架构进行云化，从而更好的为应用系统的上线、部署和运维提供支撑，提升效率，降低TCO。同时，由于IaaS包含各种类型的硬件和软件系统，因此在向云迁移过程中也面临前所未有的复杂性和挑战。那么，云基础架构包含哪些组件?主要面临哪些问题?有哪些主要的解决方法呢? 一、云基础架构 如图1所示，传统的IT部署架构是“烟囱式”的，或者叫做“专机专用”系统。 图1传统IT“烟囱”模式部署架构 在这种架构中，新的应用系统上线的时候需要分析该应用系统的资源需求，确定基础架构所需的计算、存储、网络等设备规格和数量，这种部署模式主要存在的问题有以下两点： l硬件高配低用。考虑到应用系统未来3～5年的业务发展，以及业务突发的需求，为满足应用系统的性能、容量承载需求，往往在选择计算、存储和网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后，应用系统在一定时间内的负载并不会太高，使得较高配置的硬件设备利用率不高。 l整合困难。用户在实际使用中也注意到了资源利用率不高的情形，当需要上线新的应用系统时，会优先考虑部署在既有的基础架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异，更重要的是考虑到可靠性、
稳定性、运维管理问题，将新、旧应用系统整合在一套基础架构上的难度非常大，更多的用户往往选择新增与应用系统配套的计算、存储和网络等硬件设备。 这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“烟囱式”部署架构，使得整体资源利用率不高，占用过多的机房空间和能源，随着应用系统的增多，IT资源的效率、扩展性、可管理性都面临很大的挑战。 云基础架构的引入有效解决了传统基础架构的问题(如图2所示)。 图2云计算融合模式部署架构 云基础架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层： 虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池; 云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。 相对于传统基础架构，云基础架构通过虚拟化整合与自动化，应用系统共享基础架构资源池，实现高利用率、高可用性、低成本、低能耗，并且通过云平台层的自动化管理，实现快速部署、易于扩展、智能管理，帮助用户构建IaaS(基础架构即服务)云业务模式。
1.云计算参考架构 在私有云当中，主要包含以下几个组件：物理基础架构、虚拟化层、服务自动化层、服务门户、安全体系、云API和可集成的其它功能。（如图私有云参考架构） 图3.4 私有云参考架构 a) 物理基础架构 物理架构的定义是组成私有云的各种计算资源，包括存储、计算服务器、网络，无论是云还是传统的数据中心，都必须基于一定的物理架构才能运行。 在私有云参考架构中的物理基础架构其表现形式应当是以资源池模式出现，也就是说，所有的物理基础架构应当是统一被管，且任一设备可以看成是无状态，或者说并不与其它的资源，或者是上层应用存在紧耦合关系，可以被私有云根据最终用户的需求，和预先定制好的策略，对其进行改变。 b) 虚拟化层 虚拟化是实现私有云的前提条件，通过虚拟化的方式，可以让计算资源运行超过以前更
多的负载，提升资源利用率。虚拟化让应用和物理设备之间采用松耦合部署，物理资源状态的变更不影响到虚拟化的逻辑计算资源。且可以根据物力基础资源变化而动态调整，提升整体的灵活性。 c) 服务自动化层 服务自动化层实现了对计算资源操作的自动化处理。它可以集中的监控目前整体计算资源的状态，比如性能、可用性、故障、事件汇总等等，并通过预先定义的自动化工作流进行相关的处理。 服务自动化层是计算资源与云计算服务门户相关联的重要部件，服务自动化层拥有自动化配置和部署功能，可以进行服务模板的制定，并将服务内容和选择方式在云计算服务门户上注册，用户可以通过服务门户上的服务目录来选择相应的计算资源请求，由服务自动化层实现服务交付。 d) 云API 云应用开发接口提供了一组方法，让云服务门户和不同的服务自动化层进行联系，通过云API，可以在一个私有云当中接入多个不同地方的计算资源池，包括不同架构的计算资源，并通过各自的服务自动化体系去进行服务交互。 e) 云服务门户 云服务门户是用户使用私有云计算资源的接口，云服务门户上提供了所有可用服务的目录，并提供了完善的服务申请流程，用户可以执行申请、变更、退回等计算资源使用服务。 云服务门户收到最终用户的请求时，将根据预先定义好的策略对该请求进行立刻供应、预留或者排队。 不同的用户通过同一个云服务门户当中，将会看到只属于自己的应用、计算资源和服务目录，这是云计算当中的多租户技术，用户使用的资源在后台集中，但是在前端是完全的逻
Computer Knowledge and Technology电脑知识与技术第5卷第25期(2009年9月) 基于Google的云计算实例分析 蔡键1，王树梅2 （1.徐州师范大学现代教育技术中心，江苏徐州221116；2.徐州师范大学计算机科学与技术学院，江苏徐州221116） 摘要：首先介绍了云计算产生的背景、概念、基本原理和体系结构，然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台，提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台：GFS分布式文件、分布式数据库BigTable及Map/Reduce编程模式。最后分析了云计算发展所面临的挑战。 关键词：云计算；集群；谷歌文件系统；大表；映射/化简 中图分类号：TP311文献标识码：A文章编号：1009-3044(2009)25-7093-03 Cloud Computing System Instances Based on Google CAI Jian1,WANG Shu-mei2 (1.Xuzhou Normal University Modern Educational Technology Center,Xuzhou221116,China;2.Xuzhou Normal University,School of Computer Science&Technology,Xuzhou221116,China) Abstract:This paper introduces the backgrounds,concept,basic principle and infrastructure of cloud computing firstly.Then it surveys im-plementation mechanism of clouding computing based on the instances of Google.Cloud computing is the system in enterprises based on the concepts of computer science.These concepts include parallel computing,distributed computing and grid computing.Google has his own platform of cloud computing.It provides implementation mechanism and infrastructure of cloud computing.This paper surveys the platform of cloud computing:Google File System,Distributed database-BigTable and Map/Reduce.Finally the paper analyse the challenge of cloud computing. Key words:cloud computing;cluster;GFS;bigtable;map/reduce 自2007年第4季度开始，“云计算”变成了IT领域新的热点。而2008年被称为云计算的元年，Google、Amazon、IBM、微软等IT 巨头们以前所未有的速度和规模推动云计算技术和产品的普及。本文介绍一些关于云计算的一些基本概念及Google提出的云计算模型及实现机制。 1云计算综述 云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。 云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。 1.1云计算的概念 云计算现在还没有统一标准的定义，一些大公司在自己的技术文档里给出了自己的定义。例如云计算在IBM的文档中对云计算的定义是：云计算一词用来描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态的部署、配置、重新配置以及撤销服务等。 而对云计算更加通用的的定义是：云计算是一种商业计算模型。它 将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根 据需要获取计算力、存储空间和各种软件服务。从这个定义上讲可把云 计算看成是“存储云”与“计算云”的有机结合。存储云对第三方用户公 开存储接口，用户通过这个接口可以把数据存储到“云”。计算云通过并 行计算和虚拟化技术给用户提供计算力，它的商业模式是给用户提供计 算力。 1.2云计算实现机制 图1简单的描述了云计算的实现机制。用户通过用户交互接口 (User interaction interface)来请求服务云。一个用户能够请求的所有服务 目录存放在服务目录（Services catalog）里。系统管理（System manage- ment）是用户管理计算机资源是否可用。服务提供工具（Provisioning tool）用来处理请求的服务，需要部署服务配置。监控统计（Monitoring 收稿日期：2009-05-07 作者简介：蔡键，硕士，讲师，主研领域为图形图像处理，网格技术。图1云计算实现机制 ISSN1009-3044 Computer Knowledge and Technology电脑知识与技术Vol.5,No.25,September2009,pp.7093-7095，7107 E-mail:info@https://www.doczj.com/doc/fa9050651.html, https://www.doczj.com/doc/fa9050651.html, Tel:+86-551-56909635690964
【摘 要】文章首先探讨了云计算的定义，接着对其体系结构进行梳理，将IT业内的相关业务和技术分别归纳到该体系结构的五个层面中，最后阐述了云计算在国内的应用。【关键词】云计算 体系结构 业务实例 IDC 收稿日期：2010-07-27 彭国庆 周冠宇 广州杰赛通信规划设计院 云计算分层体系结构研究 1 云计算定义 从严格意义上来说，云计算不是一个具体的技术概念，并没有明确的定义，也因其所指的“什么都能做”而受到业界的广泛批评。尽管如此，我们却可以对云的特性进行分析，从而明确云计算的涵义。可以通过以下几条语句来描述它： （1）云计算是通过互联网广泛共享计算资源的一种计算方式，而不是使用本地PC的软件或存储； （2）云计算是快捷接入互联网所提供的远端站点的一种延伸。理论上，这是一种范式转移，对用户来说，云将实现的技术细节抽象了，用户不需要也不用了解和控制组成云的技术架构； （3）云计算描述了一种新的基于互联网IT服务的补充、消费和交付模式，它提供典型的基于互联网的业务——以动态可扩展的和虚拟的资源作为服务； （4）典型的云计算提供商交付公共在线商业应用，这些商业应用在客户端通过网页浏览器访问，而软件和数据则被存储在服务器端。 由此，我们可以尝试着给云计算下一个定义：提供计算能力，将底层技术架构（如：服务器、存储和网络）抽象为计算资源，方便地、按需地通过网络访问可配置计算 资源的共享池，计算资源能以少量的管理代价或由服务提供商交互而被快速提供和释放。这个定义描述了云计算的五个必要特性： （1）按需自助服务：申请、调整和释放资源均由用户在管理界面上自行操作； （2）广泛网络访问：任何时间、任何地点和任何接入方式均可以访问到云计算所提供的服务； （3）资源的池化：计算机的物理资源不再专人专用，而是有需求才占用，不需要就释放； （4）良好的弹性：资源的调度能够及时响应用户需求的扩张和收缩； （5）计费服务：可满足公用服务的运营需求，资源的使用以计时和计量来收取费用。 其实云计算所涵盖的技术并不具有创新性，它是很多已有技术的抽象、进化和综合： （1）网格计算（Grid Computing）：分布式计算和并行计算的一种形式，一群联网的松耦合计算机可协同处理非常巨大的任务，如同一台超级的虚拟计算机。通常用于科学计算； （2）公用计算/效用计算（Utility Computing）：将计算资源打包，如计算能力和存储，作为一项可计量的服务，类似于传统的公用设施（例如：水、电、气）。由亚 马逊首先进行商用；
云计算体系结构 云计算基本原理 云计算是对分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）及分布式数据库的改进处理，其前身是利用并行计算解决大型问题的网格计算和将计算资源作为可计量的服务提供的公用计算，在互联网宽带技术和虚拟化技术高速发展后萌生出云计算。 许多云计算公司和研究人员对云计算采用各种方式进行描述和定义，基于云计算的发展和我们对云计算的理解，概括性给出云计算的基本原理为：利用非本地或远程服务器（集群）的分布式计算机为互联网用户提供服务（计算、存储、软硬件等服务）。这使得用户可以将资源切换到需要的应用 上，根据需求访问计算机和存储系统。云计算可以把普通的服务器或者PC 连接起来以获得超级计算机计算机的计算和存储等功能，但是成本更低。云计算真正实现了按需计算，从而有效地提高了对软硬件资源的利用效率。云计算的出现使高性并行计算不再是科学家和专业人士的专利，普通的用户也能通过云计算享受高性能并行计算所带来的便利，使人人都有机会使用并行机，从而大大提高了工作效率和计算资源的利用率。云计算模式中用户不需要了解服务器在哪里，不用关心内部如何运作，通过高速互联网就可以透明地使用各种资源。 云计算体系结构
云计算是全新的基于互联网的超级计算理念和模式，实现云计算需要多种技术结合，并且需要用软件实现将硬件资源进行虚拟化管理和调度，形成一个巨大的虚拟化资源池，把存储于个人电脑、移动设备和其他设备上的大量信息和处理器资源集中在一起，协同工作。 按照最大众化、最通俗理解云计算就是把计算资源都放到互联网上，互联网即是云计算时代的云。计算资源则包括了计算机硬件资源（如计算机设备、存储设备、服务器集群、硬件服务等）和软件资源（如应用软件、集成开发环境、软件服务）。 云计算体系结构 云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和 服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和存储能力。通用的云计算体系结构如下图所示： 云计算体系结构 云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用 实例与本地操作桌面系统一样。 服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务。 云计算体系结构 管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求并转发到相应的相应程序，调度资源智能地部署资源和应用，动态地部署、配置和回收资源。 监控：监控和计量云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。 服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用
Google云计算的关键技术（一） Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中： 1）GFS提供了海量数据存储和访问的能力； 2）MapReduce使得海量信息的并行处理变得简单易行； 3）Chubby保证了分布式环境下并发操作的同步问题； 4）BigTable使得海量数据的管理和组织十分方便。 ●GFS GFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统，它为Google云计算提供了海量存储的能力，处于整个Google云计算技术体系的最底层。 GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性的问题，不但使得存储的成本成倍下降，更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性，从整体上确保了整个系统的可靠性，进而可以为大量客户机提供高性能的服务。 一、架构 一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器，并且同时被多个客户端访问，如下图所示。
GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候，Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上，并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑，每个块都会复制到多个块服务器上。缺省情况下，我们使用3个存储复制节点，不过用户可以为不同的文件命名空间设定不同的复制级别。 Master节点管理所有的文件系统元数据，在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息；Master节点还管理着系统范围内的活动，比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。 GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API 接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据，所有的数据操作都是由客户端直接和Chunk服务器进行交互的。 无论是客户端还是Chunk服务器都不需要缓存文件数据（客户端会缓存元数据）。客户端缓存数据几乎没有什么用处，因为大部分程序要么以流的方式读取一个巨大文件，要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是：Chunk以本地文件的方式保存，Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。 设计思路：集中+分布。单一的Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时，为了避免Master节点成为系统的瓶颈，必须减少对Master节点的读写：客户端并不通过Master节点读写文件数据，只是通过其询问应该联系的Chunk服务器，后续的操作将直接和Chunk服务器进行数据读写操作。 二、客户端访问GFS流程 首先，客户端把文件名和程序指定的字节偏移，根据固定的Chunk大小，转换成文件的Chunk 索引。然后，它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk 标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。 之后客户端发送请求到其中的一个副本处，一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中，客户端不必再和Master节点通讯了，除非缓存的元数据信息过期或者文件被重新打开。 三、Chunk尺寸的设定 Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先，它减少了客户端和Master节点通讯的需求，因为只需要一次和Mater节点的通信就可以获
云计算架构介绍
白皮书 第 1 版，2009 年 6 月
摘要
云计算可望提高应用程序部署速度、促进创新和降低成本，同时还增强经营敏捷 性。Sun 抱持一种全面的云计算观点，因而可以支持各个层面，其中包括服务器、 存储、网络和虚拟化技术，这些技术将云计算环境扩展到虚拟设备中运行的软件， 而这些虚拟设备可用来在极少时间内成功汇编应用程序。本白皮书探讨云计算如何 变革我们的设计、构建和提供应用程序的方式，以及企业在采纳并应用云计算技术 时必须考虑的架构问题。
本页故意留空。
Sun 公司
目录
引言............................................................... 1 Sun 公司观点. ....................................................... 1 云计算的性质....................................................... 2 扩大已形成的趋势................................................... 2 将虚拟机作为标准部署对象......................................... 2 按需、自助、以使用情况付费的模式................................. 2 通过网络提供服务................................................. 5 开放源软件的作用................................................. 5 云计算基础设施模式................................................. 6 公用云、专用云和混合云........................................... 6 云计算的架构层................................................... 9 云应用程序设计接口.............................................. 11 云计算效益........................................................ 11 缩短运行时间和响应时间.......................................... 11 最大限度地减轻基础设施风险...................................... 12 降低入市成本.................................................... 12 加快创新步伐.................................................... 12 实现 IaaS 必须考虑的架构问题. ....................................... 13 不断发展的应用程序架构............................................ 变革架构的途径.................................................. 变革应用程序设计................................................ 目标仍然相同...................................................... 一致而稳定的抽象层................................................ 标准有助于解决复杂问题.......................................... 松散耦合、无状态、原地失败 (Fail-in-Place) 计算. ........................ 水平扩展.......................................................... 并行化............................................................ 分割并征服...................................................... 数据物理.......................................................... 数据与处理之间的关系............................................ 编程策略........................................................ 合规与数据物理.................................................. 安全性与数据物理................................................ 网络安全做法...................................................... 13 13 13 14 16 16 18 18 19 20 21 21 21 22 22 23
Sun 公司与云计算. .................................................. 24 来自 Sun 社区的创新................................................ 社区与开放式标准.................................................. 选择的重要性...................................................... 选择云计算提供商.................................................. 感谢.............................................................. 24 25 25 25 26