第一篇从并行计算到云计算
第1章并行计算与云计算 (2)
1.1并行计算到云计算的演变 (2)
1.2云计算需要定义吗？ (4)
1.3云计算是否是新瓶装旧酒 (5)
1.4MPI与Hadoop，不同学科
学者的选择 (6)
1.5云计算与浏览器 (8)
第2章MPI并行计算环境的建立 (10)
2.1配置前的准备工作 (10)
2.2挂载NFS文件系统 (11)
2.3配置ssh实现MPI节点间
用户的无密码访问 (12)
2.4安装MPICH2 (12)
2.5建立并行计算环境时的
注意事项 (14)
第3章并行计算时代的程序设计方法 (15)
3.1最简单的并行程序 (15)
3.2获取进程标志和机器名 (18)
3.3有消息传递功能的并行程序 (20)
3.4Monte Carlo法在并行程序设计
中的应用 (23)
3.5并行计算中节点间的
Reduce操作.25
3.6用MPI的6个基本函数实现
Reduce函数功能 (28)
3.7计算与通信的并行 (30)
3.8节点间自定义复杂数据
结构的传输..34
3.9MPI与MySQL数据库的
结合应用 (37)
3.10设计MPI并行程序时的
注意事项 (41)
第4章从MPI走向云计算 (43)
4.1MPI没有分布式文件系统支持 (43)
4.2MPI无法应对节点的失效 (44)
4.3假如用MPI来构建云计算系统 (44)
第二篇云计算的关键技术
第5章Map/Reduce是云计算的选择吗 (48)
5.1Map/Reduce跨越50年的
历史 (48)
5.2实现Map/Reduce的C语言实例.49
5.3采用MPI实现并行化的
Map/Reduce功能 (51)
第6章Hadoop技术..58
6.1Hadoop与MPI在数据处理上的
对比 (58)
6.2Hadoop的主从式结构.59
6.2.1主从式文件系统HDFS (59)
6.2.2主从式计算系统
Map/Reduce (60)
6.2.3文件分块策略分析 (61)
6.3Hadoop文件系统HDFS的
前辈GFS (64)
6.4构建云文件系统需要解决的
关键问题 (66)
6.5云计算不相信节点服务器 (67)
6.6揭密云计算架构下的典型
服务器——Google服务器 (68)
6.6.1Google服务器概述 (68)
6.6.2揭开Google服务器的
神秘面纱 (69)
6.6.3Google服务器的配置
情况.69
6.6.4Google服务器的性能
评测.73
第7章Hadoop环境的建立 (75)
7.1Hadoop配置环境 (75)
7.2配置ssh实现Hadoop结点间
用户的无密码访问 (76)
7.3JDK的安装配置 (76)
7.4Hadoop的安装配置 (77)
7.5Hadoop中的Hello World (81)
7.6C语言程序在Hadoop
上运行 (82)
第8章动手做自己的云计算
V0.01系统 (86)
8.1系统总体分析 (86)
8.1.1系统架构 (86)
8.1.2文件分布式存储流程 (88)
8.1.3计算与存储的整合流程 (88)
8.2管理节点程序设计与分析 (89)
8.2.1管理节点服务器程序
主函数 (90)
8.2.2管理节点各线程函数的
设计..93
8.2.3主服务器中其他函数的
设计..95
8.3子节点程序分析 (98)
8.3.1子节点主函数 (99)
8.3.2子节点各线程函数设计..102
8.4客户端API设计 (107)
8.4.1客户端文件的存储 (108)
8.4.2客户端启动子节点计算 (113)
8.4.3客户端应用的简单实例 (114)
8.5客户端应用开发实例115
第三篇云计算应用实例
第9章基于不可信服务器节点的云计算基础架构 (118)
9.1云计算基础架构的应用场景 (118)
9.2云计算基础架构 (120)
9.3基于单向指针目录映射的分层
用户隔离 (121)
9.4云文件系统的物理存储管理 (123)
9.5云存储的安全级别划分 (124)
9.6计算和存储的整合 (125)
9.7计算和存储的迁移 (126)
9.8任务的可并行性和分类分析 (127)
9.9简化的服务器级粗粒度计算和
存储资源分配方案 (130)
9.10数据的云计算系统之旅 (133)
第10章云计算与智能 (135)
10.1云计算的智能与人类
智能的比较 (135)
10.2云计算提升终端智能 (136)
10.3云计算智能与Monte Carlo
方法 (138)
10.4云计算时代不确定性智能算法
示例——模拟谐振子算法 (138)
10.4.1简谐振动的描述 (139)
10.4.2模拟谐振子算法描述 (141)
10.4.3模拟谐振子算法流程 (144)
10.4.4模拟谐振子算法分析 (146)
10.4.5模拟谐振子算法应用于
旅行商问题 (149)
10.4.6模拟谐振子算法在连续
和非线性优化问题中的
应用 (161)
10.4.7模拟谐振子算法的隐含
并行性 (162)
10.5云计算中的人工智能 (162)
第11章云计算企业之间的竞争性
分析 (164)
11.1云计算技术流派分析 (164)
11.1.1存储型—数据密集云
计算平台 (164)
11.1.2计算型—计算密集云
计算平台 (165)
11.1.3综合云计算平台 (165)
11.2国际云计算公司分析 (165)
11.2.1云计算技术的提出者Google (166)
11.2.2“端”的霸主微软 (166)
11.2.3蓝色巨人IBM的蓝云 (167)
11.2.4云计算的市场先行者
Amazon公司.168
11.2.5Salesforce从SaaS走入
云中 (168)
11.2.6热爱白皮书的Sun (169)
11.2.7EMC云计算的核心是
虚拟化 (170)
11.2.8渔翁得利的思科 (170)
11.3国内云计算公司分析 (171)
11.3.1拥有基础设施的
世纪互联 (171)
11.3.2阿里巴巴下决心
入云 (172)
11.3.3中国移动的BigCloud (172)
11.3.4国产旗帜友友云计算
平台 (173)
11.3.5曙光高性能与云计算 (173)
11.3.6展览也要云 (173)
11.4开源云计算平台分析 (174)
11.5国际国内云计算平台提供商
对比研究..175
11.6产业综合分析 (179)
11.6.1云计算与网络设备商的
关系 (179)
11.6.2云计算与移动通讯运
营商的关系 (180)
11.6.3云计算与服务器提
供商的关系 (180)
11.6.4云计算与应用程序开
发商的关系 (181)
后记：未来的计算机—不确定性和
隐含并行计算 (182)
附录：计算力的标准Linpack测试详细
指南 (186)
参考文献196
面对云计算，有的人越来越糊涂，经常听到有人用云里雾里来形容现在的云计算。云计算系统确实是一个庞大和综合的系统，即使是国际大公司也不敢贸然进军云计算领域，大量的企业不是将自己的传统技术优势称为云计算，就是雷声大雨点小的观望。一般开发者更是不适应在机群的环境下工作，所以本章将用一个简单的例子来展现云计算的基本特点和技术开发方式，我们并不保证这个系统是一个完善的系统，但它具备了云计算的一些基本特点如计算和存储的整合、计算向存储的迁移、文件的分布式存储、计算的并行化等，我们对这些功能采用了最简单的实现方法以使大多数读者能从中体会到云计算技术的核心理念，所以我们命名这个系统为云
计算V0.01，运行环境为Windows。
8.1系统总体分析
我们进行系统总体结构设计时主要着眼于云计算基本特征的实现，不考虑系统中很多细节性的要求和高级要求，并采用中等水平的读者能完成的难度设计。
设计需要实现的基本功能如下。
（1）向开发云应用的客户提供可以调用的API函数，利用API函数实现对云计算系统的访问。
（2）实现分布式的文件存储。
（3）实现计算向存储的迁移，使计算和存储在同一个节点完成，避免数据在网络中的传送。
（4）向用户隔离计算的并行性和存储的分布性，用户无需关心系统具体的操作过程。
（5）初步实现对数据求和及求最大值的处理，演示云计算的基本特点。读者可以通过增加处理函数实现更多的计算功能。
8.1.1系统架构
云计算V0.01系统是一个完全模型化的实验用系统，开发和运行环境为Windows系统，通过对该系统的学习使读者对云计算技术的基本要点有一定的了解，云计算V0.01将云计算设备分为3个角色：管理节点、子节点和客户端。管理节点和子节点构成了云计算的服务器端，客户端通过对API的调用实现对云计算系统的访问，并通过API整合为不同的应用程序。为了简化系统的设计难度，我们在做云计算V0.01时限定所做的计算任务包括对大数据量数组求和、求最大值等操作，读者可通过实际的系统体会存储的分布化与计算的并行化的关系，并理解计算向存储迁移的作用。云计算V0.01没有实现存储的副本策略，因此暂时不能处理节点失效的问题，这也是为了降低系统难度的需要。以下的系统架构方法仅供参考和学习，并且不代表我们赞成这一架构，不同的读者可以设计不同的系统架构。
系统的整个架构如图8.1所示，这种架构方式是一个以客户端为核心的架构方法，系统中的所有操作指令均由客户端发出，管理节点不和任一子节点作数据和指令的通信，管理节点的作用主要是维护root.dat和node.dat两个系统文件。root.dat文件存储着现在系统中已注册的用户名及该用户所对应的文件分块描述文件所在节点的IP地址，系统利用这一文件可实现用户的注册、认证及用户登录后获得文件分块描述文件所在节点的IP地址。node.dat文件则维护着整个云计算系统所有子节点的IP地址、端口、最大空间、剩余空间等信息，客户端通过该文件能够获得整个机群的信息，从而实现向各子节点的直接连接。客户端从管理节点获得了相关的系统信息后将根据这一信息直接向各个子节点发起连接，完成文件存储及计算的功能，这大大提高了数据传输的速率，减轻了管理节点的负荷。各用户文件的具体分块和存储方式被系统用该用户的用户名（username）作为文件名的文件分块描述文件存储于其中的一个子节点，这一子节点的IP可在root.dat文件中找到。
图8.1云计算V0.01的系统结构
在云计算V0.01系统中不同角色间存在两类数据的传送：一类是命令数据CMD，管理节点和子节点通过命令数据判断自己下一步所要完成的任务；一类是信息数据，这类数据是系统要完成相关任务所需要数据，如系统描述信息、文件信息等，这类数据的数据量相对较大。由于采用了计算向存储的迁移策略，系统中出现用户文件数据传输的情况很少，这大大提高了系统的运行效率。
8.1.2文件分布式存储流程
系统在进行文件存储时先通过客户端连接管理节点，读取root.dat文件数据，检验是否有该用户存在，并获取用户数据块文件所在节点的IP地址。通过读取node.dat文件从管理节点读取子节点的IP地址的列表，根据以上信息完成对数据的分割，启动多线程函数同时连接各子节点将数据分别保存在各个节点上，最后更新username表以备访问时重新找到文件的分布情况。uesername 文件将被存储于某一节点上，管理节点会根据现有username文件的分布情况向用户分配一个节点的IP地址存放username文件，文件名就是该用户的用户名，由于用户名在系统中是惟一的，所以每个用户的username也是惟一的，不会造成混乱，如图8.2所示。
图8.2文件的分布式存储流程
8.1.3计算与存储的整合流程
如图8.3所示，在云计算V0.01系统中，我们利用获得的用户名、文件名、数据块号以及数据分块信息文件的IP地址信息，可以惟一地确定任一数据块的位置和文件名，客户端同时向各个子节点发送启动计算的命令，各节点就地读取数据块本地文件，并对其进行计算，计算完成后发送回客户端汇总得到最后的结果。
图8.3计算与存储的整合流程
这一计算过程不用移动任何数据，对于数据的处理就在存储数据块的节点完成，系统根据客户端的指令，将计算迁移到节点上分布式的完成，大大提高了计算效率，避免了数据在网络中的
大量流动所造成的效率下降，对于海量数据来说，这一做法的效果是相当明显的。对于不同的数据，我们可以定义不同的数据处理方法，从而扩展系统的应用领域。
8.2管理节点程序设计与分析
管理节点在云计算V0.01系统中只与客户端进行通信，存储系统中的节点信息和用户注册信息，并不负责任务的调度工作。
在管理节点我们将保存root.dat和node.dat两个系统信息文件。root.dat文件保存用户名及该用户文件系统所在的子节点的IP地址，采用userInfo数据结构来描述。客户端程序只有获得了子节点IP 地址才能和该子节点直接建立连接获取子节点上的用户存储情况文件，该文件的文件名就是用户的用户名，通过这一个文件可以知道数据的具体存储情况，从而由客户端直接与数据块存储节点建立连接。node.dat文件保存了云计算系统的所有子节点的IP地址、总空间和可用空间等信息，由nodeInfo数据结构来描述。
管理节点各函数调用关系如图8.4所示。
图8.4管理节点函数调用结构
8.2.1管理节点服务器程序主函数
管理节点主程序为整个管理程序的主入口，通过4个线程函数来监听并完成客户端所提交的任务。
程序8.1
/*文件名mainsever.cpp*/
//定义管理节点服务器程序的入口点
void test();
int_tmain(int argc,_TCHAR*argv[])
{
openfile();//获得root.dat、node.dat的文件指针
test();//该函数完成对主服务器的配置工作
WSADATA wsa;
int ret=0;
int PORT=5100;
SOCKET s_socket;
SOCKET c_socket;
struct sockaddr_in s_sockaddr;
struct sockaddr_in c_sockaddr;
int c_sockaddr_len=sizeof(c_sockaddr);
ret=WSAStartup(MAKEWORD(2,2),&wsa);
if(ret!=0)
{
cout<<"Init WinSock failed:"< return0; } if((s_socket=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP))==SOCKET_ERROR) { cout<<"Create Socket Failed:"< WSACleanup(); return0; } s_sockaddr.sin_family=AF_INET; s_sockaddr.sin_port=htons(PORT); s_sockaddr.sin_addr.s_addr=htonl(INADDR_ANY); if(bind(s_socket,(SOCKADDR*)&s_sockaddr,sizeof(s_sockaddr))==SOCKET_ERROR) { cout<<"bind failed:"< closesocket(s_socket); WSACleanup(); return0; } if(listen(s_socket,5)==SOCKET_ERROR) { cout<<"Listen Failed:"< closesocket(s_socket); WSACleanup(); return0; } CMD cmd; //进入循环接收来自客户端的操作命令cmd while(1) { c_socket=accept(s_socket,(SOCKADDR*)&c_sockaddr,&c_sockaddr_len); recv(c_socket,(char*)&cmd,sizeof(CMD),0);//从客户端获取操作命令 SOCKET*tsock=(SOCKET*)malloc(sizeof(SOCKET)); *tsock=c_socket; switch(cmd) { case USERADD: _beginthreadex(NULL,0,&useraddthread,tsock,0,NULL);//进入增加用户线程 break; case USERGET: _beginthreadex(NULL,0,&usergetthread,tsock,0,NULL);//进入获取用户信息线程 case USERDEL: _beginthreadex(NULL,0,&userdelthread,tsock,0,NULL);//删除用户，暂未定义 case GETNODE: _beginthreadex(NULL,0,&getnodeaddrthread,tsock,0,NULL);//进入获取节点信息线程 default: break; } } cin.get(); cin.get(); return0; } //test()函数用于配置各子节点的IP、端口等信息，并将信息存储到管理节点的node.dat文件 void test() { cout<<"输入地址信息"< char ip[16]; int port=5101; while(1) { cout<<"输入IP"< scanf("%s",ip); if(strcmp(ip,"0")==0) break; if(nodeadd(ip,port,1024*10)==0) cout<<"该记录已经存在"< } cout<<"主服务器配置完成"< } 上面的管理服务器主程序在5100端口监听来自客户端的连接及操作命令，其命令由cmd定义，根据从客户端接收到的命令进入不同的处理线程，在本系统已实现的功能有添加用户功能、获取用户信息功能和获取节点信息功能。管理节点服务器在启动时就调用test()函数完成对子节点信息的添加及配置。节点信息被存到node.dat文件，用户信息被存到root.dat。在用户需要进行数据访问时将读取这两个文件获得当前云计算系统所有已接入系统的子节点，并判断当前用户是否存在，如存在则返回其文件分配信信息存储位置。 我们要注意的是在现在这个系统中管理节点并不和任何的子节点进行通信，也不直接协调子节点的工作。用户在获取相关信息后将直接与子节点联系进行操作和数据访问，这样可以大大减轻主节点的负载。 在管理节点程序中我们定义了一些常用的数据结构主要有userInfo，该数据结构与root.dat文件有关，包括用户名、用户数据配置文件所在节点的IP地址等信息，因为用户数据文件的信息没有存放在管理节点而是放在某一个子节点上的，客户端要访问文件数据首先要从管理节点的root.dat文件中获取该用户数据配置文件所在节点的IP地址，再通过该IP地址获取数据的存储信息。另一个数据结构是nodeInfo，该数据结构与node.dat文件有关，包括节点IP、端口、节点总容量、可用空间等，系统中所有节点的相关内容都采用这一数据结构存入node.dat文件。 主节点服务器程序部分参数及数据结构的定义如程序8.2所示。 程序8.2 /*文件名melem.h*/ #define USERADD1//添加用户 #define USERGET2//获取用户信息 #define USERDEL3 #define GETNODE4//获取节点信息 #define BLOCKSIZE1024//定义文件块大小 typedef int CMD;//CMD为命令标识 /*此结构体写入root.dat文件*/ typedef struct { char user[20];//用户名 char ip[16];//用户数据配置文件所在节点的IP地址 int port; }userInfo; /*此结构体写入node.dat文件*/ typedef struct { char ip[16];//存储节点的IP地址 int port;//端口号 int userNum;//用户数目 _off_t totalsize;//节点的总容量 _off_t freesize;//节点的可用空间 }nodeInfo; typedef struct { char ip[16]; int port; }nodeaddr; 8.2.2管理节点各线程函数的设计 管理节点程序的功能基本是由其定义的4个线程函数（其中删除用户未定义）提供的，这些函数的功能主要是完成用户信息的注册、服务器节点信息的管理和用户数据配置信息的管理。管理节点可以看作是一个信息的中转站，其自身并不完成任何的数据操作和处理工作。 各线程的函数定义如下。 1．增加新用户线程函数 程序8.3 /*文件名mthread.cpp*/ /*增加新的用户，用于新用户注册功能*/ unsigned_stdcall useraddthread(LPVOID p) { SOCKET*tsock=(SOCKET*)p; struct sockaddr_in taddr; int len=20; char*username=(char*)malloc(len*sizeof(char)); recv(*tsock,username,len,0);//从客户端接收用户名 int result=useradd(username); send(*tsock,(char*)&result,sizeof(int),0); closesocket(*tsock); free(username); free(tsock); return1; } 函数useraddthread()接收来自于客户端的新注册用户名，调用useradd()函数将用户名及存储该用户文件信息的节点IP地址写入主节点的root.dat文件，客户端访问该文件可以获得某一用户的文件存储信息文件所在的子节点IP地址，该文件的文件名就是用户名。 2．获取用户信息线程函数 程序8.4 /*文件名mthread.cpp*/ /*客户端获取用户信息文件*/ unsigned_stdcall usergetthread(LPVOID p) { SOCKET*tsock=(SOCKET*)p; struct sockaddr_in taddr; int len=20; char*username=(char*)malloc(len); userInfo*user=(userInfo*)malloc(sizeof(userInfo)); recv(*tsock,username,len,0); cout<<"接收到的用户名:"< /*根据用户名读取root.dat中的用户及对应存储文件描述信息的子节点IP*/ if(userget(username,user)==0) { cout<<"get false"< strcpy(user->user,"0"); strcpy(user->ip,"0.0.0.0"); user->port=0; } cout<<"int_thread:"< send(*tsock,(char*)user,sizeof(userInfo),0); closesocket(*tsock); free(username); free(user); return1; } 函数usergetthread()接收来自客户端的用户名，并在root.dat文件中查找该用户名对应的userInfo 数据结构，并传回给客户端。其中调用userget()函数从root.dat读取与username对应的userInfo信息。通过调用这一函数客户端可以知道对应用户的文件描述文件存储在哪个子节点上，通过连 接该子节点获取文件的具体存储方式。客户端在调用一这函数后将通过返回的IP地址与存储了数据分块描述情况文件的子节点进行连接。 3．文件分块线程函数 程序8.5 /*文件名mthread.cpp*/ /*根据node.dat文件中的节点信息，将数据块分配到各节点*/ unsigned_stdcall getnodeaddrthread(LPVOID p) { SOCKET*tsock=(SOCKET*)p; int blocknum=0; nodeInfo*node=(nodeInfo*)malloc(sizeof(nodeInfo)); nodeaddr*naddr=(nodeaddr*)malloc(sizeof(nodeaddr)); recv(*tsock,(char*)&blocknum,sizeof(int),0);//获取数据块个数 for(int i=0;i { memset(node,0,sizeof(nodeInfo)); memset(naddr,0,sizeof(nodeaddr)); datagetnode(node);//获取该数据块的存储位置 naddr->port=node->port; strcpy(naddr->ip,node->ip); send(*tsock,(char*)naddr,sizeof(nodeaddr),0);//该数据块的存储位置发送回客户端} closesocket(*tsock); free(node); free(naddr); free(tsock); return1; } 函数getnodeaddrthread()接收来自客户端的数据块个数，并为每个数据块分配一个存储节点，数据块的分配通过调用datagetnode()函数来完成，该函数按剩余空间最大的策略向各数据块分配存储节点，并将分配结果发送回客户端，由客户端根据接收到的子节点IP直接连接子节点来完成 文件的存储工作，并将存储结果写入子节点中的数据分块描述文件中，以便系统在下次读取时获得数据的存储情况。 8.2.3主服务器中其他函数的设计 主服务器其他函数定义。 程序8.6 /*文件名mfile.cpp*/ /*向node.dat文件添加节点信息*/ int nodeadd(char*ip,int port,_off_t totalsize) { nodeInfo*temp=(nodeInfo*)malloc(sizeof(nodeInfo)); fseek(fp_node,0,0); /*判断该节点是否已存在*/ while(fread(temp,sizeof(nodeInfo),1,fp_node)==1) { if(strcmp(temp->ip,ip)==0&&temp->port==port) { free(temp); return0; } } strcpy(temp->ip,ip); temp->port=port; temp->userNum=0; temp->totalsize=totalsize; temp->freesize=totalsize; /*写入node.dat文件*/ fwrite(temp,sizeof(nodeInfo),1,fp_node); fseek(fp_node,0,0); fflush(fp_node); free(temp); return1; } /*分配用户数据描述文件存储节点的IP*/ int usergetnode(nodeInfo*node) { nodeInfo*temp=(nodeInfo*)malloc(sizeof(nodeInfo)); fseek(fp_node,0,0); int num=0; int no=0; /*寻找已分配uesername文件最少的节点IP*/ if(fread(node,sizeof(nodeInfo),1,fp_node)!=1) return0; while(fread(temp,sizeof(nodeInfo),1,fp_node)==1) { ++num; if(temp->userNum { *node=*temp; no=num; } } memset(temp,0,sizeof(nodeInfo)); *temp=*node; temp->userNum+=1; fseek(fp_node,no*sizeof(nodeInfo),0); fwrite(temp,sizeof(nodeInfo),1,fp_node); fseek(fp_node,0,0); fflush(fp_node); free(temp); return1; } /*将username及对应存储数据描述文件的节点IP写入root.dat文件*/ int useradd(char*username) { userInfo*temp=(userInfo*)malloc(sizeof(userInfo)); nodeInfo*node=(nodeInfo*)malloc(sizeof(nodeInfo)); fseek(fp_user,0,0); while(fread(temp,sizeof(userInfo),1,fp_user)==1) /*检测该用户名是否存在*/ if(strcmp(temp->user,username)==0) { free(temp); free(node); return0;//该用户名已经存在 } if(usergetnode(node)==0)//获取该用户数据描述文件存储节点的IP，通过node参数传出return-1;//获取节点失败 memset(temp,0,sizeof(userInfo)); strcpy(temp->user,username); strcpy(temp->ip,node->ip); temp->port=node->port; /*将userInfo信息写入root.dat文件，确认数据块描述文件的存储位置*/ fwrite(temp,sizeof(userInfo),1,fp_user); fseek(fp_user,0,0); fflush(fp_user); free(temp); free(node); return1; } /*根据用户名，读取root.dat文件中的userInfo数据*/ int userget(char*username,userInfo*user) { 云计算的关键技术及发展现状 周小华 摘要：本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析，最后是关于云计算的挑战及其展望。 关键词：云计算；数据存储；编程模型 1.云计算定义 云计算是由分布式计算、并行处理、网格计算发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构（soa）以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。“云计算”概念由google提出，一如其名，这是一个美妙的网络应用模式。在云计算时代，人们可以抛弃u盘等移动设备，只要进入google docs页面，新建一个文档，编辑其内容，然后直接把文档的url分享给朋友或上司，他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置 (configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问一个云计 算应用程序。” 云计算是基于互联网的超级计算模式，包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施，进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户，允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下，通过Internet 获取需要的服务。 通过对云计算的描述，可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征： （1）硬件基础设施架构在大规模的廉价服务器集群之上．与传统的性能强劲但价格昂贵的大型机不同，云计算的基础架构大量使用了廉价的服务器集群，特别是x86架构的服务器．节点之间的巨联网络一般也使用普遍的千兆以太网． （2）应用程序与底层服务协作开发，最大限度地利用资源．传 云计算的关键技术及发展现状 居巍杰 摘要：本文给出了云计算的定义，总结了云计算的关键技术，揭示了云计算是多种新技术的综合发展产物，并详细介绍了云计算的发展现状。 关键词：云计算；数据存储；编程模型；云安全 1.前言 云计算(Cloud Computing)是一种新近提出的计算模式。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理，把互联网变成一种全新的计算平台，能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后，立刻引起业内各方极大的关注，现在已成为信息领域的研究热点之一。云计算到底是什么？为什么需要云计算？云计算的关键技术有哪些？云计算的发展现状如何？本文将就上述问题展开叙述。 2.云计算定义 云计算（Cloud Computing）是由分布式计算（Distributed Computing）、并行处理（Parallel Computing）、网格计算（Grid Computing）发展而来的，是一种新兴的商业计算模型。目前，对于云计算的认识在不断地发展变化，云计算仍没有普遍一致的定义。 IBM公司于2007年底宣布了云计算计划，云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”[1]中的云计算定义：“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源，例如存储区域网络(SANs)。网络设备，防火墙以及其他安全设备等。云计算在描述应用方面，它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问 2016年全国职业院校技能大赛（高职组）“云计算技术与应用”赛项题库 第一部分：云平台架构 赛项系统架构如图1所示，IP地址规划如表1所示。 图1 系统架构图 表1 IP地址规划表 根据以上云平台信息，检查硬件连线及网络设备配置，确保网络连接正常。 第二部分：云平台搭建 场景说明 某企业计划搭建私有云平台，以实现计算资源的池化弹性管理，企业应用的集中管理，统一安全认证和授权管理。需完成云平台架构的设计、系统部署，云存储网盘web开发及客户端开发。试根据用户需求，完成以下任务。 任务一、IAAS平台系统准备（4分） 1.环境配置(1分) 手动配置云平台IaaS各节点的系统参数： (1)使用相关命令查询控制节点和计算节点主机名。以文本形式提交查询信息 到答题框。 (2)在控制节点和计算节点配置主机名映射，实现云平台管理网络地址与主机 名的映射，使用cat命令查询计算节点主机名映射配置文件的详细信息。将查询信息以文本形式提交到答题框。 (3)各个节点关闭防火墙，设置开机不启动，设置selinux为permissive，使 用getenforce命令进行查询。以文本形式提交查询信息到答题框。 配置(1分) 把软件包拷贝到控制节点/opt/路径下，清空控制节点yum源文件夹/etc/中的已有配置，配置控制节点使用本地yum源，配置文件为/etc/，安装并配置ftp服务，计算节点yum源文件/etc/配置使用控制节点的ftp服务；使用cat命令查看计算节点的/etc/文件。以文本形式提交查询信息到答题框。 配置(1分) 在各节点安装ntp服务，在控制节点上使用文件/etc/配置ntp服务，在计算节点时钟同步到控制节点。将计算节点同步控制节点的结果以文本形式提交到答题框。 4.QPID安装（1分） 在控制节点安装QPID服务，修改配置文件后启动服务，并设为开机自启。以文本形式提交QPID配置文件名称，修改内容、chkconfig的查询结果到答题框中。任务二、IAAS系统组建（16分） 1.环境变量配置（2分） 次。联想公司计划推出基于云计算服务的PC及云终端，终端更像一台接收机，它本身没有存储设备，所有的数据都集中在后台。 云计算改变了单个计算机的功能，降低对网络的要求，由于终端不考虑应用的具体实现过程，扩展应用变得更加容易，高可扩展性是云计算的显著特征。应用在服务器端实现和部署，可以轻松实现不同设备间的数据与应用共享，并以统一的方式（例如通过浏览器）在终端实现与用户的交互。 三、国外云计算技术、产业现状及发展趋势 （一）国外云计算技术及产业现状 1、主要国家的最新进展 美国将云计算技术和产业定位为维持国家核心竞争力的重要手段之一，在制定的一系列云计算政策中，明确指出加大政府采购，积极培育市场。通过强制政府采购和指定技术架构来推进云计算技术进步和产业落地发展。例如，美国军队（空军、海军）、司法部、农业部、教育部等部门都已应用了云计算服务。美国历届联邦政府都将推动IT技术创新与产业发展作为国家的基本政策，在2011年出台的《联邦云计算战略》中明确提出鼓励创新，积极培育市场，构建云计算生态系统，推动产业链协调发展。 欧盟欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划，包括筛选和精简众多技术标准、为云计算服务制定安全和公平的标准规范等，同时明确市场政策，确立欧洲云计算市场，促使欧洲云服务提供商扩大业务范围并提供性价比高的在线管理服务。 英国政府在2013年为13个研发项目拨款500万英镑，以应对阻碍云计算应用的商业和技术挑战。这13个项目的研究重点在于开发相关的系统、服务和软件，帮助解决云服务缺乏互操作性、数据恢复能力和身份验证这三项挑战，提高云服务的安全性。 澳大利亚澳大利亚政府信息管理办公室(AGIMO) 在2011年发布《澳大利亚政府云计算政策：最大化云计算的价值》的文件，并在2013年5月更新和发布了该文件的2.0版，该文件对政府部门使用云计算服务提供了指导，包括云计算相关法律、财政支持、安全规范等。2013年，AGIMO发布《公共服务大数据战略》，该战略以六条“大数据原则”为支撑，旨在推动公共行业利用大数据分析进行服务改革，并制定更好的公共政策。澳大利亚新南威尔士州出台与云服务相关的政策，以利用更加灵活可靠的技术来改善政府的运作和服务，节约运营成本。 韩国在2011年制定了《云计算全面振兴计划》，其核心是政府率先引进并提供云计算服务，为云计算开发国内需求。韩国通信委员会的报告指出，2010年至2012年，韩国政府投入4158亿韩元预算来构建通用云计算基础设施，将利用率低下的电子政务服务器虚拟化，逐步置换成高性能服务器，并根据系统服务器资源使用量实现服务器资源的动态分配。 日本日本经济产业省2010年8月发布《云计算与日本竞争力研究》报告，鼓励和支持包括数据中心和IT厂商在内的云服务提供商利用日本的IT技术等优势，通过分析云计算的全球发展趋势，解决云计算发展过程中的挑战性和关键性问题。 班级：仪器11402 姓名：李学智学号：201406277 当前云计算的发展热点与未来趋势 目前，云计算被认为是未来的IT发展趋势。云计算的应用形式各种各样，但是，有关于云计算的应用却并不是很容易被用户接受的，虽然很多企业组织正在积极的探寻关于云计算的发展战略，可预测未来云计算的发展趋势，将其作为是未来云计算的突破口参考。 一、目前云计算的发展现状 云计算的发展趋势在行业中已经取得共识。它的影响已经逐渐渗透到整个产业以及用户的应用中。云计算将赋予互联网更大的内涵，在某种程度上，它改变互联网企业的运营模式，通过云计算，更多的应用能够以互联网服务的方式交付与运行。云计算将扩大IT软，硬件产品应用的外延，并且改变了软硬件产品的应用模式。IT产品的开发方向也会发生改变来适应上述云计算带来的变化。很多业界领先代表，微软，谷歌，亚马逊等等业界领先代表都推出了自己的云计算产品和方案。如：谷歌推出GDrive服务；AOL的Xdrive服务；亚马逊云计算；HDS，EMC，NetApp先后将云计算和云存储的落地作为今后整体渠道策略调整的关键点；EMC宣布发展目标直指虚拟化和私有云建设；NetApp致力于拓展系统集成商和云存储业务。除此之外，HDS、EMC、NetApp在云存储等方面也取得较好效果。 二、未来云计算的发展趋势 云计算作为一种应用模式，它的出现和应用范围的日益扩大，必将对产业链的上下游产生重要影响，它在不断的适应着企业的需求。未来根据需求进行着不断增多，云计算将要如何发展？经过调查分析有以下几个方向： （一）混合云的发展方向 虽然现在很多企业都已经采用了云服务，但是对于大部分的企业来说，基本上采用的都是多个云服务供应商，包括公共云与私有云，以满足不同的需求。公有云与私有云的组合被大家称之混合云，混合云的优势是能够适应不同的平台需求，它既能提供私有云的安全性，也可以提供公有云的开放性。所以在未来混合云的发展是云服务的主流模式。 （二）大数据分析 大数据如是高科技的热门话题，大数据分析使云计算和大数据能够很好结合。云计算是可以扩展，可以覆盖到大数据领域的，这些云服务能够为云计算提供平台，开源的云平台为大数据提供更好的开发与分析。 （三）SMB应用程序保护 现在，大多数的中小企业还是无法承受整个应用程序的测试层序与昂贵的工具进行内部检查安全和数据保护等应用的，期待新的云计算技能够帮助企业利用Web应用程序来进行源代码的扫描，协助企业及时发现潜在的一些网络攻击，从而来按需求提供帮助，降低企业的费用。 （四）强调性能 浅析云计算的五大关键技术 据中国报告大厅发布的《2014-2020年中国云计算行业深度调研及发展趋势分析报告》，国科数据中心做出如下解读： 1 虚拟化技术 虚拟化技术是指计算元件在虚拟的基础上而不是真实 的基础上运行，它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统方面。通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根 据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中。计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。 2 分布式海量数据存储 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。冗余的方式通过任务分解和集群，用低配机器替代超级计算机的性能来保证低成本，这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS. 3 海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算 系统中的数据管理技术主要是Google的BT sT~lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase.由于云数据存储管理形式不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题［61.同时，由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来，目前一些研究在关注为云数据管理提供RDBMS和SQL 的接口，如基于Hadoap子项目HBase和Hive等。另外，在云数据管理方面，如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。 4 编程方式 云计算提供了分布式的计算模式，客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce.Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下，用户只需要自行编写Map函数和Reduce函数即可进行并行计算。其中，Map 函数中定义各节点上的分块数据的处理方法，而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。 2016年全国职业院校技能大赛（高职组） “云计算技术与应用” F卷 第一部分：云平台架构 赛项系统架构如图1所示，IP地址规划如表1所示。 根据架构图及IP地址规划表，检查硬件连线及网络设备配置，确保网络连接正常。 图1 系统架构图 表1 IP地址规划表 设备名称接口IP地址说明云服务器1 eth0 192.168.100.10/24 Vlan 100 eth1 192.168.200.10/24 Vlan 200 云服务器2 eth0 192.168.100.20/24 Vlan 100 eth1 192.168.200.20/24 Vlan 200 PC-1 本地连接172.16.x.2/16 Vlan 1 PC-2 本地连接172.16.x.3/16 Vlan 1 PC-3 本地连接172.16.x.4/16 Vlan 1 交换机Vlan 1 172.16.x.1/16 x为考位号Vlan 100 192.168.100.1/24 Vlan 200 192.168.200.1/24 第二部分：云平台搭建 场景说明 某企业计划搭建私有云平台，以实现计算资源的池化弹性管理；企业应用的集中管理；统一安全认证和授权管理。需完成云平台架构的设计、系统部署，云存储网盘web开发及客户端开发。试根据以上用户需求，完成以下任务。 任务一、IaaS平台系统准备（4分） 1.环境配置(1分) 手动配置云平台IaaS各节点的系统参数： 控制节点主机名：controller；计算节点主机名：compute；修改hosts文件，映射各节点管理ip与主机名，实现云平台管理网络地址（内部管理地址）与主机名的映射；各个节点关闭防火墙，设置开机不启动，设置selinux为permissive。 2015年高职技能大赛 “云计算技术与应用”练习卷第一部分：云平台架构准备（2分） 云平台信息 网络部署规划：部署图和IP表。 网络拓扑图 IP地址规划表 根据以上云平台信息，检查硬件连线情况及网络设备配置，确保符合要求。提交交换机配置信息、防火墙网络2个接口的网页截图和防火墙规则的网页截图到本题的答题框中。(本题2分) 第二部分：云平台搭建（43分） 场景说明 你们是某企业的IT部分，目前负责公司云平台的构建，你们需完成云平台设计、部署和运维，同时实现云存储企业网盘开发。试搭建满足以上云计算要求的平台。 任务一、IaaS平台系统准备（10分） 1.环境配置 手动配置云平台IaaS各节点系统参数： (1)控制节点主机名：controller；计算节点主机名：compute；使用hostname命令进 行查询。 (2)根据部署图配置ip，永久关闭服务NetworkManager；使用ifconfig命令、chkconfig 命令进行查询。 (3)修改hosts，映射各节点管理ip与主机名；2 使用cat命令进行查询。 (4)各个节点的selinux设为permissive，使用getenforce命令进行查询。 提交控制节点的各项配置查询信息和计算节点的各项配置查询信息到本题答题框中。(本题4分) 2.FTP配置 把软件包拷贝到控制节点/opt/路径下，安装并配置ftp服务，配置控制节点与计算节点使用yum源文件yum.repo，地址使用ftp形式。提交控制节点和计算节点yum.repo 配置文件内容的信息到本题答题框中。(本题2分) 3.NTP和QPID配置 在各节点安装ntp服务并在控制节点上启动服务，计算节点时钟同步到控制节点，并设置开机自启动；在控制节点安装qpid服务，修改配置文件后启动服务。提交以下信息到本题答题框中：ntp配置文件名、配置修改内容、chkconfig查询结果和在计算节点同步结果；qpid配置文件名，修改内容、chkconfig查询结果。(本题2分) 4.数据库安装 安装数据库mysql。提交查询数据库的databases列表信息的命令及结果到本题答题框中。(本题3分) 任务二、IaaS系统组建（18分） 1.keystone安装 安装keystone组件。提交Keystone tenant列表查询信息到答题框中，admin-openrc.sh 环境变量配置文件在/etc/keystone/目录。(本题2分) 2.keystone管理 创建keystone用户user，密码为passw0rd，创建tenant名为group，赋予user在group 中拥有_member_权限。提交user列表查询命令及信息、tenant列表查询命令及信息和user-role查询命令及信息到答题框中。(本题2分) 3.glance安装 安装glance组件。提交image列表查询信息到答题框中。(本题2分) 4.glance管理 使用镜像文件centos_65_x86_6420140327.qcow2创建glance镜像centos，格式为qcow2，提交查询该镜像的信息文本到答题框中。(本题2分) 5.nova安装 云计算关键技术及其发展的分析 近几年，云计算以网格计算为基础，成为一种新兴的计算模型。本文将对云计算的基本概念及其关键技术进行介绍，并以此为根据对云计算的发展和应用领域加以阐述。 标签：云计算；关键技术；发展 1 云计算的概念 云计算就是把传统计算机技术和网络技术的分布式处理和并行处理，以及网格计算和效用计算，还有网络存储等等功能，进行充分的发展融合形成的产物。借助于网络这个先进的工具，联系和整个若干个具有较低陈本的计算实体，通过进一步的整合，形成具有强大功能的系统，具有超强的计算能力和完美的功能。为终端用户提供多种服务形式的超强大的计算能力。 通过把“云”的处理能力不断的提高，从而使用户终端的处理负担被减轻，最终实现用户终端被简化成一个单纯的输入输出设备，同时用户终端对“云”的强大计算处理能力能够根据自己的需求进行享受，这就是云计算的核心理念。 强大的计算能力和安全可靠，以及无限量的存储空间和使用方便便捷，还有数据共享是云计算的特点。这种模型的运用，无论是个人还是企业，都必须花费大量的投资，对昂贵的硬件进行购置，就可以通过互联网来实现租赁和计算能力。 2 云计算关键技术 2.1 虚拟化技术 云计算最核心的特征就是虚拟化，同时这一特征也是云计算得以实现的基础。虚拟化技术将物理资源的逻辑与统一表示出来。虚拟化指的是以虚拟软件为基础进行的计算，而不是在真实硬件上运行的。虚拟化技术的运用，实现了资源的高效利用，而且能够以用户的实际需要作为出发点，及时调节资源的分配，平衡了动态负载，另外与硬件无关的特性所提供的系统自愈功能，使得系统的可靠性得以显著提升。虚拟化技术涵盖了计算机技术的方方面面。 2.2 分布式技术分布 最早将分布式技术大规模应用于向全球用户提供搜索服务的是Google搜索引擎，其分布式的架构能够使得数百万台计算机协同作业。分布式文件系统的最主要特征就是能够将大量的数据以分布式进行储存，从而完成大型任务的分解，以及多台计算机的并行计算。作为分布式技术中最关键的组成部分，无论是Google的GFS，还是Hadoop中的HDFS，这些分布式文件系统的设计都是为了实现海量文件的存储，这种方式能提高数据存储访问的可靠性和高效性。 2015年全国职业院校技能大赛（高职组）“云计算技术与应用”试卷G 第一部分：云平台架构 赛项系统架构如图1所示，IP地址规划如表1所示。 图1 系统架构图 表1 IP地址规划表 根据以上云平台信息，检查硬件连线及网络设备配置，确保网络连接正常。 第二部分：云平台搭建 场景说明 某院校计划搭建私有云平台，以实现计算资源的池化弹性管理，院校应用的集中管理，统一安全认证和授权管理。需完成云平台架构的设计、系统部署，云存储网盘web 开发及客户端开发。试根据用户需求，完成以下任务。 注：所需系统安装脚本在考试系统“下载试卷附件”处下载。 任务一、IaaS平台系统准备（7分） 1.环境配置(2分) 手动配置云平台IaaS各节点的系统参数： (1)控制节点主机名：controller；计算节点主机名：compute；使用hostname命令进 行查询。提交查询信息到答题框。 (2)根据部署图配置ip，若存在服务NetworkManager则永久关闭；使用ifconfig命 令查询控制节点所有网卡ip信息、使用chkconfig命令查询计算节点服务 NetworkManager的启动信息。提交查询信息到答题框。 (3)修改hosts文件，映射各节点管理ip与主机名；使用cat命令查询计算节点中的 对应关系。查询信息提交到答题框。 (4)各个节点的selinux设为permissive，使用getenforce命令进行查询。提交查询信 息到答题框。 2.FTP配置(1分) 把软件包拷贝到计算节点/opt/路径下，安装并配置ftp服务，配置控制节点yum源文件yum.repo地址使用ftp形式，计算节点yum源文件yum.repo地址使用本地形式，使用yum upgrade命令更新系统软件包。按顺序提交控制节点和计算节点yum.repo配置文件内容到答题框。 3.NTP配置(1分) 在各节点安装ntp服务并在控制节点上启动服务，计算节点时钟同步到控制节点，并设置开机自启动。按顺序提交以下信息到答题框：ntp配置文件名、配置修改内容、chkconfig查询结果及在计算节点同步结果。 4.数据库安装(1分) 使用提供的脚本iaas-install-mysql.sh安装数据库mysql。按顺序提交查询数据库databases列表信息的命令及结果到答题框。 5.数据库管理(2分) 配置数据库使用UTF8的编码方式，分别按顺序创建keystone、glance、nova、neutron 数据库，各数据库用户名为各自数据库名，密码全为888888。按顺序提交编码方式查询结果、数据库列表查询结果和数据库mysql中表user的所有记录信息到答题框。 任务二、IaaS系统组建（15分） 1.keystone安装(2分) 脚本iaas-install-keystone.sh中，关于keystone定义部分存在1处缺失，将缺失内容填入答题框。完善脚本后，在控制节点安装qpid消息服务和keystone组件，在答题框填入查询service列表的命令及其输出结果。 2.keystone管理(1分) 创建keystone用户testuser，初始密码为cloud2015，若要临时禁用该用户，在答题框填入禁用命令并执行，将查询到的用户详细信息提交到答题框。 3.glance安装(2分) 云计算的关键技术 云计算（cloudcomputing，分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。稍早之前的大规模分布式计算技术即为“云计 算”的概念起源。 云计算系统运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化 技术、云计算平台管理技术最为关键。 云计算的核心技术 (1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成 Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 (2)海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。 GFS即Google文件系统（GoogleFileSystem），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被许多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。 客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。 (3)海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。 BT是建立在GFS,Scheduler,LockService和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布存储大规模结构化数据。 Google的很多项目使用BT来存储数据，包括网页查询，Googleearth和Google金融。这些应用程序对BT的要求各不相同：数据大小（从URL到网页到卫星图象）不同，反应速度不同（从后端的大批处理到实时数据服务）。对于不同的要求，BT都成功的提供了灵活高效的服务。 （4）虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。 （5）云计算平台管理技术 云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系统提供不间断的服务是巨大的挑战。 云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。 在vForum2011大会的媒体见面会上，VMware公司亚太区兼日本区总经理AndrewDutton接受了记者采访，就Vmware在亚太区及中国的云计算战略发表了自己的看法。 Computer Knowledge and Technology电脑知识与技术第5卷第25期(2009年9月) 基于Google的云计算实例分析 蔡键1，王树梅2 （1.徐州师范大学现代教育技术中心，江苏徐州221116；2.徐州师范大学计算机科学与技术学院，江苏徐州221116） 摘要：首先介绍了云计算产生的背景、概念、基本原理和体系结构，然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台，提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台：GFS分布式文件、分布式数据库BigTable及Map/Reduce编程模式。最后分析了云计算发展所面临的挑战。 关键词：云计算；集群；谷歌文件系统；大表；映射/化简 中图分类号：TP311文献标识码：A文章编号：1009-3044(2009)25-7093-03 Cloud Computing System Instances Based on Google CAI Jian1,WANG Shu-mei2 (1.Xuzhou Normal University Modern Educational Technology Center,Xuzhou221116,China;2.Xuzhou Normal University,School of Computer Science&Technology,Xuzhou221116,China) Abstract:This paper introduces the backgrounds,concept,basic principle and infrastructure of cloud computing firstly.Then it surveys im-plementation mechanism of clouding computing based on the instances of Google.Cloud computing is the system in enterprises based on the concepts of computer science.These concepts include parallel computing,distributed computing and grid computing.Google has his own platform of cloud computing.It provides implementation mechanism and infrastructure of cloud computing.This paper surveys the platform of cloud computing:Google File System,Distributed database-BigTable and Map/Reduce.Finally the paper analyse the challenge of cloud computing. Key words:cloud computing;cluster;GFS;bigtable;map/reduce 自2007年第4季度开始，“云计算”变成了IT领域新的热点。而2008年被称为云计算的元年，Google、Amazon、IBM、微软等IT 巨头们以前所未有的速度和规模推动云计算技术和产品的普及。本文介绍一些关于云计算的一些基本概念及Google提出的云计算模型及实现机制。 1云计算综述 云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。 云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。 1.1云计算的概念 云计算现在还没有统一标准的定义，一些大公司在自己的技术文档里给出了自己的定义。例如云计算在IBM的文档中对云计算的定义是：云计算一词用来描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态的部署、配置、重新配置以及撤销服务等。 而对云计算更加通用的的定义是：云计算是一种商业计算模型。它 将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根 据需要获取计算力、存储空间和各种软件服务。从这个定义上讲可把云 计算看成是“存储云”与“计算云”的有机结合。存储云对第三方用户公 开存储接口，用户通过这个接口可以把数据存储到“云”。计算云通过并 行计算和虚拟化技术给用户提供计算力，它的商业模式是给用户提供计 算力。 1.2云计算实现机制 图1简单的描述了云计算的实现机制。用户通过用户交互接口 (User interaction interface)来请求服务云。一个用户能够请求的所有服务 目录存放在服务目录（Services catalog）里。系统管理（System manage- ment）是用户管理计算机资源是否可用。服务提供工具（Provisioning tool）用来处理请求的服务，需要部署服务配置。监控统计（Monitoring 收稿日期：2009-05-07 作者简介：蔡键，硕士，讲师，主研领域为图形图像处理，网格技术。图1云计算实现机制 ISSN1009-3044 Computer Knowledge and Technology电脑知识与技术Vol.5,No.25,September2009,pp.7093-7095，7107 E-mail:info@https://www.doczj.com/doc/3115482891.html, https://www.doczj.com/doc/3115482891.html, Tel:+86-551-56909635690964 Google云计算的关键技术（一） Google云计算的关键技术主要包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中： 1）GFS提供了海量数据存储和访问的能力； 2）MapReduce使得海量信息的并行处理变得简单易行； 3）Chubby保证了分布式环境下并发操作的同步问题； 4）BigTable使得海量数据的管理和组织十分方便。 ●GFS GFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统，它为Google云计算提供了海量存储的能力，处于整个Google云计算技术体系的最底层。 GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性的问题，不但使得存储的成本成倍下降，更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性，从整体上确保了整个系统的可靠性，进而可以为大量客户机提供高性能的服务。 一、架构 一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器，并且同时被多个客户端访问，如下图所示。 GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候，Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上，并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑，每个块都会复制到多个块服务器上。缺省情况下，我们使用3个存储复制节点，不过用户可以为不同的文件命名空间设定不同的复制级别。 Master节点管理所有的文件系统元数据，在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息；Master节点还管理着系统范围内的活动，比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯，发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。 GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API 接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据，所有的数据操作都是由客户端直接和Chunk服务器进行交互的。 无论是客户端还是Chunk服务器都不需要缓存文件数据（客户端会缓存元数据）。客户端缓存数据几乎没有什么用处，因为大部分程序要么以流的方式读取一个巨大文件，要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是：Chunk以本地文件的方式保存，Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。 设计思路：集中+分布。单一的Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时，为了避免Master节点成为系统的瓶颈，必须减少对Master节点的读写：客户端并不通过Master节点读写文件数据，只是通过其询问应该联系的Chunk服务器，后续的操作将直接和Chunk服务器进行数据读写操作。 二、客户端访问GFS流程 首先，客户端把文件名和程序指定的字节偏移，根据固定的Chunk大小，转换成文件的Chunk 索引。然后，它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk 标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。 之后客户端发送请求到其中的一个副本处，一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中，客户端不必再和Master节点通讯了，除非缓存的元数据信息过期或者文件被重新打开。 三、Chunk尺寸的设定 Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先，它减少了客户端和Master节点通讯的需求，因为只需要一次和Mater节点的通信就可以获 云计算技术的发展和应用 班级：2011级计科系计本班姓名：何玲芳 摘要：重点解读了云计算这种新的网络应用模式的概念，阐述了 其实现的方式，分析了其在现阶段的优势，并对现有的云计算服务进行了简略的介绍。最后以实例阐述了云计算技术的应用。 关键字：云计算网络发展应用 在计算机网络不断发展过程当中，总是能够提出一些新的概念让我们目不暇接。在“网络”概念提出10余年后，又一个类似其改进版的新概念“云计算”被重新提了出来。 云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源，它意味着计算能力也可作为一种商品通过互联网进行流通。 云计算是分布式处理，并行处理和网络计算的发展，或者说是这些计算机科学概念的商业实现。云计算的基本原理是：通过使计算机分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。这就好比是从古老的单台发电机模式转向了电厂集中供电的模式，它意味着计算机能力也可以作为一种商品进行流通，就像煤气，水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。因此，在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务，从这个角度而言，最终用户才是云计算的真正拥有者。云计算的应用包括这样的一种思想，把力量联合起来，给其中的每一个成员使用。对于云计算，李开复（原Google全球副总裁，中国区总裁）打了一个形象的比喻：钱庄。最早人们只是把钱放在枕头底下，后来有了钱庄，很安全，不过，兑现起来比较麻烦。现在发展到银行可以到任何一个网点取钱，甚至通过ATM，或者国外的渠道。“云计算”带来的这样一种变革——由谷歌，IBM这样的专业网络公司来搭建计算机存储，运算中心，用户通过一根网线借助浏览器就可以很方便的访问，把“云”作为资料存储以及应用服务的中心。 云计算的优势毫不保留的展现在世人面前，人们确实体会到了它的伟大与神奇。它的优势有：廉价，计算能力比以往的任何方式都强大，数据存储在云端，人们不用担心数据的丢失。IBM曾经表示，他们的管理使任何用户的数据都存储三份，当其中一份出现崩溃，丢失之类的问题后检测系统会自然的在另外一个地方再次复制一份。数据丢失对用户来说是个从来不用担心的问题。云计算的规模性可以使所有的资源充分共享，同步。在这方面苹果公司的同步功能无疑是令人印象深刻的。云计算对于数据的存储能力也是毋庸置疑的，仿佛人类世界的所有数据都不足以填满，事实也的确是这样，不然Google怎云计算的关键技术及发展现状(1)
云计算的关键技术及发展现状
全国高职云计算技术与应用赛项题库
云计算技术国内外发展现状
云计算的发展热点与未来趋势
浅析云计算的五大关键技术
2016年全国高职云计算技术与应用F卷
“云计算技术与应用”赛项练习卷
云计算关键技术及其发展的分析
YG-075 云计算技术与应用(高职组)赛项试题G卷
云计算的关键技术
基于Google的云计算实例分析
Google云计算的关键技术(一)
云计算技术的发展和应用
相关主题
文本预览