基于云计算环境下数据存储安全的关键技术初探
云计算的出现，极大地提高了网络资源利用率，让用户之间的资源共享变得更为便利，但其数据存储安全，也受到了广大用户群体的重视。基于此，文章就云计算环境下数据存储安全的关键技术进行分析，在明确其云计算环境下数据存储安全内容的基础上，进一步介绍了数据加密技术、Hadoop安全机制、数据敏感度模型。
标签：云计算环境；数据存储；数据加密
Abstract：Cloud computing has greatly improved the utilization of network resources and made the sharing of resources between users more convenient. However，the security of data storage has also been attached importance to by the vast number of user groups. Based on this，this paper analyzes the key technologies of data storage security in cloud computing environment，and on the basis of clear data storage security content in cloud computing environment，data encryption technology，Hadoop security mechanism and data sensitivity model are further introduced.
Keywords：Cloud computing environment；data storage；data encryption 前言
随着现代信息技术整体的高速发展，云计算的发展前景与应用范围都得到了极大扩充。云计算作为一种新型的计算机技术，在数据存储安全方面，还需要得到进一步的完善，对一些普遍存在的安全问题，也必须进行妥善处理。因此，探究云计算环境下数据存储安全的关键技术，对于维护云服务水平、提升云用户的应用体验、促进云计算的未来发展，能够起到重要作用。
1 云计算环境下数据存储安全概述
云计算环境下的数据存储，包括数据存储与管理。在实际应用过程中，存储安全则包括认证服务、数据加密存储、安全管理以及安全日志和安全审计。
其中，认证服务的主要作用，就是通过单点登录、访问控制等技术，避免在云计算这种开放环境当中，发生服务劫持、服务滥用等情况，属于安全防御方式当中的一种。
数据加密存储，主要应用传输加密技术与存储加密技术，来保证用户的数据信息安全，使得用户数据在存储与传输过程中，得到全面保障，尤其是对敏感数据信息的保密性提升，具有重要意义。
安全管理，是云服务提供商所需要的技术模块，主要功能就是对用户信息与
云计算的关键技术及发展现状 周小华 摘要：本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析，最后是关于云计算的挑战及其展望。 关键词：云计算；数据存储；编程模型 1.云计算定义 云计算是由分布式计算、并行处理、网格计算发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构（soa）以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。“云计算”概念由google提出，一如其名，这是一个美妙的网络应用模式。在云计算时代，人们可以抛弃u盘等移动设备，只要进入google docs页面，新建一个文档，编辑其内容，然后直接把文档的url分享给朋友或上司，他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置
(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问一个云计 算应用程序。” 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet 获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征： （1）硬件基础设施架构在大规模的廉价服务器集群之上．与传统的性能强劲但价格昂贵的大型机不同，云计算的基础架构大量使用了廉价的服务器集群，特别是x86架构的服务器．节点之间的巨联网络一般也使用普遍的千兆以太网． （2）应用程序与底层服务协作开发，最大限度地利用资源．传
云计算的关键技术及发展现状 居巍杰 摘要：本文给出了云计算的定义，总结了云计算的关键技术，揭示了云计算是多种新技术的综合发展产物，并详细介绍了云计算的发展现状。 关键词：云计算；数据存储；编程模型；云安全 1.前言 云计算(Cloud Computing)是一种新近提出的计算模式。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后，立刻引起业内各方极大的关注，现在已成为信息领域的研究热点之一。云计算到底是什么？为什么需要云计算？云计算的关键技术有哪些？云计算的发展现状如何？本文将就上述问题展开叙述。 2.云计算定义 云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”[1]中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问
基于云计算的数据库关键技术研究
摘要 云计算作为近年来研究与应用领域的热点话题，被大多数IT企业和业内人士认为是下一代计算机网络应用技术的核心架构。云计算环境下，使用者可以不用再花费高昂的硬件和软件成本去拥有强大的计算资源和庞大的存储能力，所有这一切都可以交给云计算服务提供商来完成。目前，设备的信息化管理系统的研发得到了企业的高度重视。由于国内企业的设备现代化程度低、自动化水平落后、设备参差不齐，没有完善和明确的设备故障远程诊断和管理等问题，国内开发的设备管理软件的功能仍然停留在对设备的基本信息等静态数据的管理上，不能满足用户以及应用增长的需求。而云计算平台技术的应用，不仅消除了用户对特定设备的依赖，而且规模可以根据用户和应用增长的需求进行伸缩。凭借云，用户的应用和文档仍然跟随用户，用便携的设备，同样使用自己的应用和文档记性大量的计算和远程管理。 本文主要借鉴云计算体系结构，对NoSQL关键点进行研究。论文在对NoSQL 相关技术进行阐述的基础上，研发并实现了一个基于云计算平台的企业设备管理系统。该系统能够为企业建立完整的仪器设备电子档案，对仪器设备的信息进行数字化管理，提高企业设备管理水平。该系统主要包括设备管理模块、统计分析模块、系统管理模块等九大模块。该系统最大的特点是可以不受到某些外界条件的限制（如地域和时间），是未来设备管理系统的一个发展方向。 关键词：云计算；数据库；NoSQL技术；设备管理
Abstract Cloud computing as a field of research and application in recent years, a hot topic, by most IT companies and industry insiders believe is the core of the next generation of computer network architecture application technology. Under the cloud computing environment, users can no longer costly hardware and software costs to have a powerful computing resources and a huge storage capacity, all of which can be handed over to cloud computing service providers to complete. Not only cost savings, but also do not need to spend a lot of energy. Based on cloud technology for enterprise equipment management system memory design, with respect to the advantages of traditional relational database resides. With the information management business equipment subject to corporate concern and attention, so far, enterprises, universities, research institutions have begun research enterprise information management device. In China, the device management software vendor total around 20. Guangzhou Chint PMiss.o device which integrated management information system can achieve integrated management of the equipment, its function is: Device ledger management, change device files, equipment maintenance history, equipment procurement plan, equipment depreciation expenses. Remote device management software, Kunshan device management software are also device management practice and try to study, but overall the domestic development of device management software features still remain in the management of basic information about the device, such as static data, which is mainly related to the low level of domestic production of business equipment modernization, automation level backward, equipment varies, there is no perfect and clear remote diagnosis and management of equipment failure, whereas the size of the cloud can be scaled according to the actual situation, to meet the growing demand of users and applications. Also eliminates the user's dependence on a particular device, by virtue of the cloud, the user's application and documentation still follow the user, using portable equipment, the same applications and documents using their own memory a lot of computing and remote management.
次。联想公司计划推出基于云计算服务的PC及云终端，终端更像一台接收机，它本身没有存储设备，所有的数据都集中在后台。 云计算改变了单个计算机的功能，降低对网络的要求，由于终端不考虑应用的具体实现过程，扩展应用变得更加容易，高可扩展性是云计算的显著特征。应用在服务器端实现和部署，可以轻松实现不同设备间的数据与应用共享，并以统一的方式（例如通过浏览器）在终端实现与用户的交互。 三、国外云计算技术、产业现状及发展趋势 （一）国外云计算技术及产业现状 1、主要国家的最新进展 美国将云计算技术和产业定位为维持国家核心竞争力的重要手段之一，在制定的一系列云计算政策中，明确指出加大政府采购，积极培育市场。通过强制政府采购和指定技术架构来推进云计算技术进步和产业落地发展。例如，美国军队（空军、海军）、司法部、农业部、教育部等部门都已应用了云计算服务。美国历届联邦政府都将推动IT技术创新与产业发展作为国家的基本政策，在2011年出台的《联邦云计算战略》中明确提出鼓励创新，积极培育市场，构建云计算生态系统，推动产业链协调发展。 欧盟欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划，包括筛选和精简众多技术标准、为云计算服务制定安全和公平的标准规范等，同时明确市场政策，确立欧洲云计算市场，促使欧洲云服务提供商扩大业务范围并提供性价比高的在线管理服务。 英国政府在2013年为13个研发项目拨款500万英镑，以应对阻碍云计算应用的商业和技术挑战。这13个项目的研究重点在于开发相关的系统、服务和软件，帮助解决云服务缺乏互操作性、数据恢复能力和身份验证这三项挑战，提高云服务的安全性。 澳大利亚澳大利亚政府信息管理办公室(AGIMO) 在2011年发布《澳大利亚政府云计算政策：最大化云计算的价值》的文件，并在2013年5月更新和发布了该文件的2.0版，该文件对政府部门使用云计算服务提供了指导，包括云计算相关法律、财政支持、安全规范等。2013年，AGIMO发布《公共服务大数据战略》，该战略以六条“大数据原则”为支撑，旨在推动公共行业利用大数据分析进行服务改革，并制定更好的公共政策。澳大利亚新南威尔士州出台与云服务相关的政策，以利用更加灵活可靠的技术来改善政府的运作和服务，节约运营成本。 韩国在2011年制定了《云计算全面振兴计划》，其核心是政府率先引进并提供云计算服务，为云计算开发国内需求。韩国通信委员会的报告指出，2010年至2012年，韩国政府投入4158亿韩元预算来构建通用云计算基础设施，将利用率低下的电子政务服务器虚拟化，逐步置换成高性能服务器，并根据系统服务器资源使用量实现服务器资源的动态分配。 日本日本经济产业省2010年8月发布《云计算与日本竞争力研究》报告，鼓励和支持包括数据中心和IT厂商在内的云服务提供商利用日本的IT技术等优势，通过分析云计算的全球发展趋势，解决云计算发展过程中的挑战性和关键性问题。
班级：仪器11402 姓名：李学智学号：201406277 当前云计算的发展热点与未来趋势 目前，云计算被认为是未来的IT发展趋势。云计算的应用形式各种各样，但是，有关于云计算的应用却并不是很容易被用户接受的，虽然很多企业组织正在积极的探寻关于云计算的发展战略，可预测未来云计算的发展趋势，将其作为是未来云计算的突破口参考。 一、目前云计算的发展现状 云计算的发展趋势在行业中已经取得共识。它的影响已经逐渐渗透到整个产业以及用户的应用中。云计算将赋予互联网更大的内涵，在某种程度上，它改变互联网企业的运营模式，通过云计算，更多的应用能够以互联网服务的方式交付与运行。云计算将扩大IT软，硬件产品应用的外延，并且改变了软硬件产品的应用模式。IT产品的开发方向也会发生改变来适应上述云计算带来的变化。很多业界领先代表，微软，谷歌，亚马逊等等业界领先代表都推出了自己的云计算产品和方案。如：谷歌推出GDrive服务；AOL的Xdrive服务；亚马逊云计算；HDS，EMC，NetApp先后将云计算和云存储的落地作为今后整体渠道策略调整的关键点；EMC宣布发展目标直指虚拟化和私有云建设；NetApp致力于拓展系统集成商和云存储业务。除此之外，HDS、EMC、NetApp在云存储等方面也取得较好效果。 二、未来云计算的发展趋势 云计算作为一种应用模式，它的出现和应用范围的日益扩大，必将对产业链的上下游产生重要影响，它在不断的适应着企业的需求。未来根据需求进行着不断增多，云计算将要如何发展？经过调查分析有以下几个方向： （一）混合云的发展方向 虽然现在很多企业都已经采用了云服务，但是对于大部分的企业来说，基本上采用的都是多个云服务供应商，包括公共云与私有云，以满足不同的需求。公有云与私有云的组合被大家称之混合云，混合云的优势是能够适应不同的平台需求，它既能提供私有云的安全性，也可以提供公有云的开放性。所以在未来混合云的发展是云服务的主流模式。 （二）大数据分析 大数据如是高科技的热门话题，大数据分析使云计算和大数据能够很好结合。云计算是可以扩展，可以覆盖到大数据领域的，这些云服务能够为云计算提供平台，开源的云平台为大数据提供更好的开发与分析。 （三）SMB应用程序保护 现在，大多数的中小企业还是无法承受整个应用程序的测试层序与昂贵的工具进行内部检查安全和数据保护等应用的，期待新的云计算技能够帮助企业利用Web应用程序来进行源代码的扫描，协助企业及时发现潜在的一些网络攻击，从而来按需求提供帮助，降低企业的费用。 （四）强调性能
浅析云计算的五大关键技术 据中国报告大厅发布的《2014-2020年中国云计算行业深度调研及发展趋势分析报告》，国科数据中心做出如下解读： 1 虚拟化技术 虚拟化技术是指计算元件在虚拟的基础上而不是真实 的基础上运行，它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统方面。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根
据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中。计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。 2 分布式海量数据存储 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。冗余的方式通过任务分解和集群，用低配机器替代超级计算机的性能来保证低成本，这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS. 3 海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算
系统中的数据管理技术主要是Google的BT sT~lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase.由于云数据存储管理形式不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题［61.同时，由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来，目前一些研究在关注为云数据管理提供RDBMS和SQL 的接口，如基于Hadoap子项目HBase和Hive等。另外，在云数据管理方面，如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。 4 编程方式 云计算提供了分布式的计算模式，客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce.Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下，用户只需要自行编写Map函数和Reduce函数即可进行并行计算。其中，Map 函数中定义各节点上的分块数据的处理方法，而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。
云计算关键技术在统计中的应用研究 【摘要】在政府统计工作中，如何充分利用云计算的各种技术，以提高统计数据处理的效率，具有重要的实践指导意义。本文基于云计算的理论和技术以及政府统计数据的特点，分析云计算在政府统计工作中的研究现状以及具体应用，探索政府统计部门建设云计算中心的困难与问题，最后展望统计云的发展。 【关键词】虚拟化技术；云计算；统计云 1.前言 云计算技术是科技创新的前沿领域，深刻改变着人类的生活方式，对世界政治、经济、军事、科技、文化、社会等领域产生着重要影响。现代信息技术的迅猛发展为发展统计生产力、提升统计工作现代化提供了有力支撑。在科学技术日新月异的今天，如何充分应用云计算技术，实现统计工作电子化、网络化，以适应社会现代化发展的需要，这是统计工作规范化建设的需要，在未来的统计工作中，云计算技术的广阔发展前景，需要不断与实践结合，从而更好地为统计工作服务，这在当前统计工作中具有重大意义。 当前，网络信息技术领域中云计算的发展和应用给政府统计信息化工作带来了机遇和挑战。本文基于云计算的理
论和技术以及政府统计数据的特点，分析云计算在政府统计工作中的研究现状以及具体应用，探索政府统计部门建设云计算中心的困难与问题，最后展望统计云的发展。 2.云计算在政府统计中的研究现状 2.1 云计算定义 对于云计算，美国国家标准与技术研究院（MST）将其定义为一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进人可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源只需投人很少的管理工作或者只需与服务供应商进行很少的交互就能够被快速提供。根据该定义，云计算就是通过网络提供可伸缩的廉价的分布式计算能力：云端就代表了互联网，通过网络的计算能力，取代使用原本安装在自己电脑上的软件，取代原本资料存在自己硬盘的动作，通过网络庞大的虚拟空间来进行各种工作。 2.2 云计算特点 根据云计算的定义，其主要特点可归纳如下： 2.2.1计算资源的集成提高了设备计算能力。即使一般规模的“云”也至少拥有数百上千台服务器，这造就了用户能拥有前所未有的计算能力。云计算把大量计算资源集中在公共资源池中，通过多种租用方式让不同用户共享计算资源，为支持超大数据量计算提供有力保障。
云计算核心技术研究与分析 【摘要】现阶段科学技术的飞速发展，对人们的生产生活产生了巨大影响，计算机技术已经在各个领域得到了广泛应用，并成为人们生活中不可或缺的信息技术。云计算这一新型的技术在近些年得到了迅速发展，本文基于此，主要就云计算的核心技术进行分析研究。希望通过此次的理论研究对实际能起到一定指导作用。 【关键词】云计算核心技术研究 云计算是最近几年发展起来的热门词汇，这一含义已经跨越了科技界以及学术领域。云计算作为新型计算模式，对传统的计算软件有着强烈冲击，尤其云计算自身的优势，在不断的发展过程中也成为企业提高竞争力的重要技术工具。 一、云计算的主要特征及架构体系分析 1.1云计算的主要特征分析 云计算主要是基于互联网服务器等提供的动态扩展虚拟化的资源而形成的，其自身有着鲜明的特征。云计算主要是分布在大量分布式计算机基础上存在的，从其所具有的特征来看，其体现在规模的庞大，以及虚拟化，高可扩展性、通用性、廉价性等方面。以虚拟化特征为例，这一技术能够支持用户在任意位置，使用各种类型的终端来进行获取应用
服务，而这些服务请求是源于“云”，所以有着虚拟化的特征[1]。 1.2云计算的架构体系分析 云计算架构体系并不复杂，总体而言分为管理和服务这两个主要部分。管理架构主要分为用户层和机制层以及检测层，用户层主要用于客户支持及相关管理，同时具备了服务管理功能；机制层主要用于运行管理及维护管理，同时也涉及到了安全管理与资源管理；检测层主要对系统进行监控。服务层架构主要有软件服务层，主要面向于用户并为其提供浏览器服务，同时可将其与云层应用相关联。然后就是基础设备服务层以及平台服务层，基础设备服务层与平台服务层可从云计算供应商处得到相关应用并用于储存信息[2]。 二、云计算核心技术研究现状及主要技术分析 1、云计算核心技术研究现状分析。从云计算核心技术的研究现状分析来看，所涉及到的层面比较多样化，其中虚拟化与资源管理层面的研究比较早。虚拟化技术的研究在IBM VM/370就出现了，这一技术使得一台物理计算机能够进行多台虚拟机的运行，而在虚拟机上运行的操作系统也不同，这样就能够达到不同的虚拟机之间较强的独立性。同时在硬件之上的超级管理层，其在最高优先级上实行的运行，主要是对CPU以及网络和内存等虚拟化的完成进行负责，同时对上层的虚拟机提供资源访问接口，完成虚拟设备的管
云计算关键技术及其发展的分析 近几年，云计算以网格计算为基础，成为一种新兴的计算模型。本文将对云计算的基本概念及其关键技术进行介绍，并以此为根据对云计算的发展和应用领域加以阐述。 标签：云计算；关键技术；发展 1 云计算的概念 云计算就是把传统计算机技术和网络技术的分布式处理和并行处理，以及网格计算和效用计算，还有网络存储等等功能，进行充分的发展融合形成的产物。借助于网络这个先进的工具，联系和整个若干个具有较低陈本的计算实体，通过进一步的整合，形成具有强大功能的系统，具有超强的计算能力和完美的功能。为终端用户提供多种服务形式的超强大的计算能力。 通过把“云”的处理能力不断的提高，从而使用户终端的处理负担被减轻，最终实现用户终端被简化成一个单纯的输入输出设备，同时用户终端对“云”的强大计算处理能力能够根据自己的需求进行享受，这就是云计算的核心理念。 强大的计算能力和安全可靠，以及无限量的存储空间和使用方便便捷，还有数据共享是云计算的特点。这种模型的运用，无论是个人还是企业，都必须花费大量的投资，对昂贵的硬件进行购置，就可以通过互联网来实现租赁和计算能力。 2 云计算关键技术 2.1 虚拟化技术 云计算最核心的特征就是虚拟化，同时这一特征也是云计算得以实现的基础。虚拟化技术将物理资源的逻辑与统一表示出来。虚拟化指的是以虚拟软件为基础进行的计算，而不是在真实硬件上运行的。虚拟化技术的运用，实现了资源的高效利用，而且能够以用户的实际需要作为出发点，及时调节资源的分配，平衡了动态负载，另外与硬件无关的特性所提供的系统自愈功能，使得系统的可靠性得以显著提升。虚拟化技术涵盖了计算机技术的方方面面。 2.2 分布式技术分布 最早将分布式技术大规模应用于向全球用户提供搜索服务的是Google搜索引擎，其分布式的架构能够使得数百万台计算机协同作业。分布式文件系统的最主要特征就是能够将大量的数据以分布式进行储存，从而完成大型任务的分解，以及多台计算机的并行计算。作为分布式技术中最关键的组成部分，无论是Google的GFS，还是Hadoop中的HDFS，这些分布式文件系统的设计都是为了实现海量文件的存储，这种方式能提高数据存储访问的可靠性和高效性。
云计算的关键技术 云计算（cloudcomputing，分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。稍早之前的大规模分布式计算技术即为“云计 算”的概念起源。 云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化 技术、云计算平台管理技术最为关键。 云计算的核心技术 (1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成
Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 (2)海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。 GFS即Google文件系统（GoogleFileSystem），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被许多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。 客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。 (3)海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。 BT是建立在GFS,Scheduler,LockService和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。 Google的很多项目使用BT来存储数据，包括网页查询，Googleearth和Google金融。这些应用程序对BT的要求各不相同：数据大小（从URL到网页到卫星图象）不同，反应速度不同（从后端的大批处理到实时数据服务）。对于不同的要求，BT都成功的提供了灵活高效的服务。 （4）虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。 （5）云计算平台管理技术 云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。 云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。 在vForum2011大会的媒体见面会上，VMware公司亚太区兼日本区总经理AndrewDutton接受了记者采访，就Vmware在亚太区及中国的云计算战略发表了自己的看法。
Google云计算的关键技术（一） Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中： 1）GFS提供了海量数据存储和访问的能力； 2）MapReduce使得海量信息的并行处理变得简单易行； 3）Chubby保证了分布式环境下并发操作的同步问题； 4）BigTable使得海量数据的管理和组织十分方便。 ●GFS GFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统，它为Google云计算提供了海量存储的能力，处于整个Google云计算技术体系的最底层。 GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性的问题，不但使得存储的成本成倍下降，更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性，从整体上确保了整个系统的可靠性，进而可以为大量客户机提供高性能的服务。 一、架构 一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器，并且同时被多个客户端访问，如下图所示。
GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候，Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上，并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑，每个块都会复制到多个块服务器上。缺省情况下，我们使用3个存储复制节点，不过用户可以为不同的文件命名空间设定不同的复制级别。 Master节点管理所有的文件系统元数据，在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息；Master节点还管理着系统范围内的活动，比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。 GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API 接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据，所有的数据操作都是由客户端直接和Chunk服务器进行交互的。 无论是客户端还是Chunk服务器都不需要缓存文件数据（客户端会缓存元数据）。客户端缓存数据几乎没有什么用处，因为大部分程序要么以流的方式读取一个巨大文件，要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是：Chunk以本地文件的方式保存，Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。 设计思路：集中+分布。单一的Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时，为了避免Master节点成为系统的瓶颈，必须减少对Master节点的读写：客户端并不通过Master节点读写文件数据，只是通过其询问应该联系的Chunk服务器，后续的操作将直接和Chunk服务器进行数据读写操作。 二、客户端访问GFS流程 首先，客户端把文件名和程序指定的字节偏移，根据固定的Chunk大小，转换成文件的Chunk 索引。然后，它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk 标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。 之后客户端发送请求到其中的一个副本处，一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中，客户端不必再和Master节点通讯了，除非缓存的元数据信息过期或者文件被重新打开。 三、Chunk尺寸的设定 Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先，它减少了客户端和Master节点通讯的需求，因为只需要一次和Mater节点的通信就可以获
云计算关键技术及发展现状研究 摘要：云计算是在网格计算基础上新兴的计算模式，可以将共享的软硬件资源和信息按需提供给计算机和其他 设备。本文在解释云计算概念的基础上，通过探讨云计算的关键技术，揭示了云计算是多种新技术的综合发展产物，并详细介绍了云计算的发展现状。 关键词：云计算；关键技术；发展现状 1 前言 互联网技术的飞速发展，信息量与数据量快速增长，导致计算机的计算能力和数据的存储能力满足不了人们的需求，大大提高了成本费用。在这种情况下，云计算应运而生。云计算将待处理的数据送到互联网上的超级计算机集群中 进行计算和处理，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后，立刻引起业内各方极大的关注，现在已成为信息领域的研究热点之一。 2 云计算定义
云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。 3 云计算关键技术 云计算是一种新兴的计算模式，其发展离不开自身独特的技术和所涉及的一系列其他传统技术的支持，并借助SaaS/PaaS/IaaS等先进的商业模式把这强大的计算能力分布到终端用户手中。 (1) 虚拟化技术
1.云计算概述 云计算是2007年底正式提出的一个新的概念，至今为止，几乎所有的IT行业巨头都将云计算作为未来发展的主要战略之一，相关商业媒体也将云计算视为计算机未来发展的主要趋势，其商业前景和应用需求已勿庸置疑。 云计算是一种全新的商业模式，其核心部分依然是云后端的数据中心，它使用的硬件设备主要是成千上万的工业标准服务器，它们由英特尔或AMD生产的处理器以及其他硬件厂商的产品组成。企业和 个人用户通过高速互联网得到计算能力，从而避免了大量的硬件投资。 云计算的基本原理是，通过将计算分布在大量的分布式计算机上，使企业数据中心的运行更加类似于使用互联网。从而使企业能够将随时资源切换到需要的应用上，根据需求访问计算机和存储系统。 狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数 据中心或超级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意。广义的云计算指厂商通过建立网络服务器集群，向各种不同类型客户提供在线软件服务、硬件租借、数据存储、计算分析等不同类型的服务。广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线财务软件，谷歌发布的Google应用程序套装等。 2.云计算发展国内外现状 IBM于2007年8月高调推出“蓝云(Blue Cloud)一计划。IBM的Willy
Chiu透露，“云计算将是IBM接下来的一个重点业务。"这也是IBM扩张自身领地的绝佳机会，IBM具有发展云计算业务的一切有利因素：应用服务器、存储、管理软件、中间件等等，IBM抓住了这样一个良好的机会，提出了“蓝云”计划。2008年8月，IBM斥资3．6亿美元在美国北卡罗来纳州开始建立云计算数据中心，并将该数据中心称为史上最复杂的数据中心，投入了大量人力物力。IBM还在东京建立了一所新的研究机构，建立帮助用户使用云计算基础设施。该数据中心占地6万平方英尺，预计将于2009年下半年投入运营。IBM表示：“使用该数据中心的用户能够获得空前的互联网计算能力，并获得业内领先的环保优势和成本”。IBM在东京的专家将为大企业、大学和政府提供云计算咨询，帮助他们利用云计算设施，设计云计算应用，以及向他们的用户提供基于云计算的服务。在2009年的计划中，IBM计划于推出数种云计算服务产品。 Google于2007年10月在全球宣布了云计划，同时与IBM合作，把全球很多大学纳入搿云计算”计划当中。当月，Google与IBM开始在美国大学校园，包括卡耐基梅隆大学、麻省理工学院、斯坦福大学、加州大学伯克利分校及马里兰大学等，推广云计算的计划。希望从而降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支援(包括数百台个人计算机及Blade Center与System X服务器，以及Linux、Xen、Hadoop等开源平台)。而这些学校的学生则可以通过网络开发各项以大规模计算为基础的研究计划。2008年1月30日，Google宣布在台湾启动“云计算学术计划"．与台湾
云计算安全总体框架与关键技术研究 云计算已经成为当前IT 界关注的热点话题，但云计算的发展也面临许多关键性问题，而安全问题首当其冲，并且随着云计算的不断普及，其重要性呈现逐步上升趋势，已成为制约云计算发展的核心因素。因此，对云计算的安全进行系统研究显得迫切而重要。 1.云计算的概念与总体框架 1.1 云计算的概念 目前，业界对云计算的理解并不一致。简单地讲，可以从技术和运营服务两个层面来理解其含义： 1）从技术层面看 云计算并不是一项技术，而是代表一系列计算方式发展趋势的综合概念，是并行计算（parallel computing）、分布式计算（dist ributed computing）和网格计算（grid computing）的发展。事实上，云计算不是指一项独立的技术，而是在从C/S 结构、分布式计算到网格计算、效用计算、SaaS 的计算方式发展大趋势下，一系列包括虚拟化、按需服务在内的概念总和。 2）从运营层面看 云计算提供了按需租用计算能力的服务，对于外部使用者来说，这种服务就像天上的云一样透明，不需要考虑其背后的实现细节，从而可以专注于自身业务，有利于创新及节约成本。对整个行业来说，
这是一次革命性的创新。可以说，云计算不仅仅是技术的进一步发展，更是一种业务模式的创新。如果用一个简单的公式来表达云计算，就是： 云计算 =（基础设施+ 平台+ 软件+ 数据）* 服务（1）其中，基础设施、平台、软件、数据可以理解为云计算的技术层面。但仅有技术是不够的，还要具备良好的服务，两者是相乘的关系。即在同等技术条件下，服务越好，云计算的价值就越大。 1.2 云计算总体框架 云计算的总体框架如图1 所示。图1 云计算总体框架图 从图1 可看出，云计算是一个复杂的体系，可以从以下几个层面来论述。 1）从基础技术角度看，云计算是一系列技术的总和，这一点从公式（1）可看出。 2）从性能上看，云计算有以下5 大特点： （1）按需自助服务。消费者可按需方便地获得计算资源。 （2）泛在的网络访问。可通过各种网络渠道，以标准统一的机制获取服务。 （3）动态资源池。资源可以被整合为一个动态资源池，以多租户模式服务所有客户并动态分配。 （4）快速伸缩性。可以迅速、弹性地提高服务，既能快速扩展，也能快速释放资源。 （5）可计量的服务。服务收费可以是基于计量的一次一付，也
云计算的关键技术及云平台建设监理要点探讨 发表时间：2016-12-08T10:17:51.473Z 来源：《基层建设》2016年26期9月中作者：张炜坤 [导读] 摘要：本文分析了云计算的关键技术，并对云平台建设中的监理要点进行了探讨，以供同仁参考。 公诚管理咨询有限公司第七分公司广东珠海 519000 摘要：本文分析了云计算的关键技术，并对云平台建设中的监理要点进行了探讨，以供同仁参考。 关键词：云计算；关键技术；云平台建设监理 一、前言 近来年，随着科学技术的不断进步，各种新型的计算机和网络技术也在不断更新。当前的提高数据中心的利用率，增强服务质量的云计算开始成为了网络计算新模式。大多数云平台项目，其云计算中心都具有相当的规模，比如，Google 云计算中心已经拥有几百万台服务器，而Amazon、IBM、微软、Yahoo等企业所掌控的云计算规模也毫不逊色，并且云计算中心能通过整合和管理这些数目庞大的计算机集群来赋予用户前所未有的计算和存储能力。本文分析了云计算的关键技术，并对云平台建设中的监理要点进行了探讨，以供同仁参考。 二、云计算的关键技术 （1）虚拟化。在云计算模式中，用户并不知道私有数据的准确位置，用户和云计算服务提供商之间进行协商，由服务提供商来负责管理。各个用户的私有数据都存储在“云”中，共享底层的存储资源。通过增加一个虚拟化层，可以将物理站点用于多个独立的虚拟机，而这些虚拟机可能由不同的用户拥有和管理。也可以理解它为基础设施层的“多租户”，因为通过虚拟化技术，能够在一个物理服务器上生成多个虚拟机，并且能在这些虚拟机之间能实现全面的隔离，这样不仅能减低服务器的购置成本，而且还能同时降低服务器的运维成本，成熟的 X86虚拟化技术有 VMware的ESX和开源的Xen。 （2）数据中心节能技术。云计算中的资源数量庞大，消耗电能的数量据不完全统计50000个计算节点每年的耗电量大约在1亿千瓦时。为了响应绿色节能号召，解决能耗利用率问题，实施绿色环保节能技术。云计算数据中心的能耗主要在设备和冷却装置中，针对这一想象，计算机设备可以通过数据中心虚拟化的自适应能耗管理系统来解决能耗的管理能力，另外也可以提高和控制CPU的频率来达到；冷却装置则可以通过建立多层次的数据中心来实现冷却装置的设计，考虑到空气流、空间大小、热交换等因素，提高数据中心布局的合理性。（3）分布式的编程模式。当前IT厂商提出的“云”计划的编程工具，均基于Map-Reduce和Dryad的编程模型。MapReduce是谷歌提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及基本思想来自于函数式编程语言。MapReduce的主要思想，是将要执行的问题分解成Map和Reduce两个过程：先通过Map函数将问题分解，并将数据分割成不相关的区块，分配给服务器并行处理；再通过Reduce函数将结果归约汇总输出。 （4）云安全。安全性是用户选择云计算时的首要考虑的因素，也是云计算实现可持续发展的关键。云安全融合了网格计算、并行技术、未知病毒判别等最新的信息安全概念和技术，成为了信息安全的全新体现。云安全通过网状的客户端对网络中的异常行为进行实时监测，并把这些问题及时地输送到服务端进行处理，把处理结果发送到客户端，保证操作的安全性。 （5）云存储。云存储结构模型由存储层、基础管理层、应用接口层和访问层四层组成。存储层由存储设备和统一存储设备管理系统构成；基础管理层是云存储最核心的部分，实现云存储中多个存储设备之间的协同工作；应用接口层可由用户开发不同的应用服务接口，提供不同的应用服务；访问层提供用户授权认证服务。目前其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称（LCA）架构，集中元数据和控制操作。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。 三、云计算平台建设的监理要点探讨 大多数云平台项目，其云计算中心都具有相当的规模，比如，Google 云计算中心已经拥有几百万台服务器，而Amazon、IBM、微软、Yahoo等企业所掌控的云计算规模也毫不逊色，并且云计算中心能通过整合和管理这些数目庞大的计算机集群来赋予用户前所未有的计算和存储能力。因此，在我们对云平台建设中必须关注的问题：一是基础架构体系的转变。云计算平台与传统数据中心的基础架构体系有较大的不同，它可能是多个数据中心的整合，形成一个统一的云计算中心；同时数据中心内部也不仅仅是独立物理硬件和软件系统的简单集成，而是各组件整合形成统一的分层的虚拟化资源池，实现设备资源更高的利用率；二是关注产品的变化。云计算平台的建设涉及云网络、虚拟化、网格技术、并行计算、存储技术、资源监控/计量、自动化部署/迁移以及自服务门户等技术领域，按照传统的集成实施项目进行监理工作，难以把握项目的整体完成度和应用效果，必须对项目所采用的技术全面了解，才能达到实质性监理的目的。 结合对云计算平台用户需求的调研和国外的实施经验，目前云计算平台项目建设实施必须加强以下监理工作： 首先，我们要加强项目前期准备阶段的管理。在项目初期部门运用三级进度计划体系对每一个平台的方案编制、资源需求、设备到货、割接等关键环节进行梳理，分析项目依赖条件，通过关键节点倒推，制订精细到天的实施计划。特别是外部资源实点，如技术方案交接、主合同采购、设备到货等因素，提前与多个内部部门沟通，一步步细化时间点。经过多版本的编制、评审，确定了最终的详细进度计划。再运用每日对标、提前预警等手段一方面对各实点时间进行预警，极大提高外部资源实点就绪率；另一方面通过管控每天、每周工作，使项目整体实施有条不紊地推进。 第二，加强项目实施过程中的管理。在项目实施过程通过制订集成方案模板、实施方案模板等规模性文档模板，提高方案整体性、规范性，使实施过程操作统一。再通过试点验证，评估，进一步提高合理性、可操作性，有效降低实施过程风险。在割接过程中，通过梳理实施前准备工作，制订统一割接流程，划分指挥、操作两大体系，使得割接过程更加顺畅，大大降低割接实施风险，提高割接成功率。第三，加强项目一些关键工序管理。一是建立进度管理体系。通过总体-模块-关键环节三级梳理体系，制定详细计划。在实施过程与计划精确对标、有效预警。对于关键点进行计划倒推，精确安排，提高项目关键节点完工及时率；二是严格风险控制流程。通过LED分析法，识别、评估风险，划分风险优先级。通过我司风险应对数据库，确定风险应对措施并执行。通过既定的邮件、短信风险预警机制，对风险进行预警；三是搭建高效沟通平台。建立了多平面、星型沟通模式，通过例会制度，以周报及月报总结等形式向管理层、项目相关人员提供及时信息，确保指令下达、信息反馈畅通。 总之，要保障云计算平台项目建设实现快速上线和质量合格等基本要求，就必须关注云计算平台建设的细节，并在项目实施全过程的