《云计算(第三版)》配套PPT之五：第2章 Google云计算原理与应用(四)

12.1 主流商业云计算解决方案比较
12.1.1 应用场景 12.1.2 使用流程 12.1.3 体系结构 12.1.4 实现技术 12.1.5 核心业务
of 44
12.1 主流商业云计算解决方案比较 体系结构
《云计算》第三版配套PPT课件
相同之处
整个云计算平台对外提供统一的Web接口。 后台实现的细节对用户透明。
能便捷地实现应用程序的 打包和迁移
ห้องสมุดไป่ตู้较少
较多
较多
较多
较强
较弱
可以实现自动扩充所需资 自动扩充所需资源并进行
源并进行负载均衡
负载均衡
可以灵活地构建公有云、 私有云以及混合云
解决了Hadoop存在的一些 问题，同时支持流处理、 图处理等多种类型任务
20 of 44
《云计算》第三版配套PPT课件
12.2 主流开源云计算系统比较
进行负载均衡
地增加所需的虚拟机数量 地增加所需的虚拟机数量 地增加所需的虚拟机数量
不同应用间的隔离
通过沙盒来实现
通过将不同的应用运行在 不同的虚拟机上来实现
通过将不同的应用运行在 不同的虚拟机上来实现
通过将不同的应用运行在 不同的虚拟机上来实现
of 44
《云计算》第三版配套PPT课件
12.1 主流商业云计算解决方案比较
在VMware认证服务提供商列表中选择合适的服务提供商，或选 择使用企业自身的支持vCloud的云计算环境。
在虚拟机、虚拟设备和vApp三种模式中选择一种，将应用程序 部署到云平台中运行。
停止使用，如果使用了服务提供商的服务，根据实际使用量支 付相关费用。
9 of 44
《云计算》第三版配套PPT课件

它将应用程序以及数据，在不同的层次以不同的面貌加 以展现，从而使得不同层次的使用者、开发及维持人员，能够 方便的使用开发及维护存储的数据、应用于计算和管理的程序 。
云计算的服务形式
SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根 据需求通过互联网向厂商订购应用软件服务，服务提供商根据客 户所定软件的数量、时间的长短等因素收费，并且通过浏览器向 客户提供软件的模式。
云计算的技术
云计算系统运用了许多技术，其中以编程模型、数据管理 技术、数据存储技术、虚拟化技术、云计算平台管理技术等， 其中虚拟化技术是核心。
虚拟化技术是将各种计算及存储资源充分整合和高效利用 的关键技术。虚拟化是为某些对象创造虚拟化（相对于真实） 版本，比如操作系统、计算机系统、存储设备和网络资源等。 它是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽 象前资源一致的方法访问抽象后的资源，从而隐藏属性和操作 之间的差异，并允许通过一种通用的方式来查看和维护资源。
云计算及其应用
LINFEN AIRPORTLOGISTICS PARK DEVELOPMENT CO., LTD
云计算的产生
算盘是人们最早的计算工具
后来，人们用电脑
再后来，人们有了网络
再后来，随着人口的不断增加，上网的人越来越多，服务 器就有点承受不了了。
再后来，人更多及应用
云计算领 跑者
企业和研究机构最终会把高级别的计算任务交给全球运行的服务器网络，
也就是云。以下领先者在这一领域占据着主导位置：
Google
Yahoo
IBM
Microsoft
唯一以硬件起家 规模和资金比 商业数据计算的 现在只能与自身
的搜索公司。每 年在数据中心的 投入超过20亿 美元。成为云计 算领域难以超越 的领跑者和极力 推动者。

消息1 消息2 消息3
……
既可以是消息的发送 者，也可以是消息的 接收者
消息n
13 of 44
3.6 简单队列服务SQS
《云计算》第三版配套PPT课件
SQS的基本模型
消息
Message
在SQS中，消息和队列是最重要的 两个概念。
消息是发送者创建的 具有一定格式的文本
队列
数据，接收对象可以
消息1
消息2
3.6 简单队列服务SQS SQS的消息 消息取样
Receipt Handle
当从队列中接收消息时就 会从消息那里得到一个接 收句柄，这个句柄可以用 来对消息进行删除等操作。
消息的正文部分，需要 注意的是消息存放的是 文本数据并且不能是 URL编码方式。
消息体
Body
消息体 消息体字符串的MD5 MD5摘要 校验和。
MD5 of Body
18 of 44
5 of 44
3.5 关系数据库服务RDS RDS的基本原理
客户端 …… 客户端 …… 客户端
写
Master A
主
写
从
备
份
Master B
Slave A
Slave B
读
Slave C
6 of 44
《云计算》第三版配套PPT课件
集群MySQL通过主从备份 和读副本技术提高可靠性 和数据处理能力。
瘫痪 升级 并发处理
8 of 44
《云计算》第三版配套PPT课件
目 录
3.1 基础存储架构Dynamo 3.2 弹性计算云EC2 3.3 简单存储服务S3 3 . 4 非关系型数据库服务SimpleDB和DynamoDB 3.5 关系数据库服务RDS 3.6 简单队列服务SQS 3.7 内容推送服务CloudFront 3.8 其他Amazon云计算服务 3.9 AWS应用实例 3.10 小结

Scott McNealy
Sun: Stanford University Network 理念：1982年， Andy Bechtolsheim等4人在 斯坦福大学创立了sun微系统公司。1984年 John Gage(第5位合伙人，首席科学家)提出 一个标志性的口号：网络就是计算机。
诞生于32年前的“网络就是计算机”这句铭 言，一直没有失去光彩，甚至可以说预言了 今天的云计算。
云计算
云计算
云计算的产生
云：起初，技术人员在画电话 网络示意图时，凡涉及不必交 代细节的部分，就会画一团云 来表示，计算机网络的技术人 员继承传统，只要是涉及 Internet这个关键词时，一定 用一朵云表示，云作为Logo表 示网络资源。
ቤተ መጻሕፍቲ ባይዱ
云计算
这朵云表现的不仅仅是互联网那一端有着强大的计算能力，而且这朵 云还隐藏了一层含义：互联网后面有复杂的计算结构和庞大的连接体 系。云，即是对那些分布式计算机的比喻，又指代数据的计算过程被 隐匿起来，由服务器按照你的需要，从整体中选出你需要的那部分。 所以云是一个很浪漫的比喻。
• 2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共 同宣布“OpenStack”开放源代码计划，微软在2010年10月表示支持OpenStack与 Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。
• 2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”（Cloud Computing）商标，此举旨在加强对这一未来可能重塑技术架构的术语的控制权。
• 2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立计划，名为 “可信任云计算计划（Trusted Cloud Initiative）”。

“大数据”(Big词从2012年才引起关注，之后搜索量便迅猛增长。
为什么大数据这么受关注？
4 of 39
1.1大数据时代
《云计算》第三版配套PPT课件
全球数据总量变化图
(EB)
40000
35000 30000
35000
25000
20000 15000
配置工具负责在分配的节点上准备任务 运行环境。
监视统计模块负责监视节点的运行状 态，并完成用户使用节点情况的统计。
26 of 39
目 录
大数据时代 云计算——大数据的计算 云计算发展现状
云计算实现机制
云计算压倒性的成本优势
1.5云计算压倒性的成本优势
《云计算》第三版配套PPT课件
全球企业IT开销发展趋势
任务管理 安全管理
命期管理等
用户管理
保障云计算设施的整体安全，包 括身份认证、访问授权、综合防 护和安全审计等
25 of 39
1.4云计算实现机制
《云计算》第三版配套PPT课件
简化的IaaS实现机制图
用户交互接口向应用以Web Services方 式提供访问接口，获取用户需求。 服务目录是用户可以访问的服务清单。 系统管理模块负责管理和分配所有可用 的资源，其核心是负载均衡。
电子工业出版社《云计算(第三版)》配套课件
云 计 算 （第三版）
CLOUD COMPUTING
Third Edition
第1章
大数据与云计算
主编：刘鹏 教授
of 39
电子工业出版社《云计算(第三版)》配套课件
本套PPT下载地址：/list.aspx?cid=20
电子工业出版社《云计算(第三版)》配套课件

3.1 基础存储架构Dynamo
《云计算》第三版配套PPT课件
成员资格及错误检测
为了避免新加入的节点之间不能及时发现其他节点的存在，Dynamo中设置了一些 种子节点（Seed Node）。种子节点和所有的节点都有联系。当新节点加入时， 它扮演一个中介的角色，使新加入节点之间互相感知。
新节点 1
新节点 2
直到N个节点全部传遍
结论：
Dynamo中的节点数不能太多 Amazon采用了分层Dynamo结构 来解决该问题
25 of 52
容错机制 《云计算》第三版配套PPT课件
由于成本方面的原因，Dynamo中很多服务器采用的是普通 PC主机； 其硬盘性能和专业服务器硬盘相差很远，出错很难避免； Dynamo中容错机制非常重要
11 of 52
《云计算》第三版配套PPT课件
数据均衡《云分计算布》第的三版问配套P题PT课件
➢一致性哈希算法
平衡性 单调性 分散性 负载
两步进行：
求出设备节点的哈希值，并
配置到环上的一个点；接着
计算数据的哈希值，按顺时
针方向将其存放到环上第一
个大于或等于数据哈希值的
节点上； 添加新节点时，按
照上述规则，调整相关数据
问题 数据均衡分布
数据备份 数据冲突处理 成员资格及错误检测 临时故障处理 永久故障处理
采取的相关技术 改进的一致性哈希算法 参数可调的弱quorum机制 向量时钟（Vector Clock） 基于Gossip协议的成员资格和错误检测 Hinted handoff（数据回传机制），
Merkle哈希树
种子节点
A B
C
24 of 52
3.1 基础存储架构Dynamo

存储资源调度算法
直连存储转换为共享存储，实现无 SAN化的计算机群的虚拟化整合 瘦分配 更大资源池，重复识别和删除、更多 共享
能耗管理最优化算法
数据持续动态采集 减少局部热点，提升空调平均工作温 度 轻载合并，空闲服务器下电或处于节 能运行章台
2021精选ppt
22
云计算架构关键技术—异构硬件集成管理能力
将存储服务抽象为同时适用于 虚拟机和物理机的统一EBS服 务
2021精选ppt
23
云计算架构关键技术—可靠性保障技术
应用无关的可靠性保障技术
• HA（High Availability）冷备份，FT（Fault Tolerance）热备份、损耗 40%性能，轻量级FT、性能损耗10%以内适合于I/O为主服务场景
2021精选ppt
3
传统IT架构面临的问题
平均资源利用率及 能耗效率低下
• 水平分层采购 • 独占资源 • 软硬件捆绑无法
调配 • 利用率低于20%
新业务上线测试周 期长，效率低下
• 任一新业务均需 要全套测试流程
• 资源储备及弹性 伸缩能力不足
信息共享和安全的 矛盾
• 信息在个人终端 容易泄露
• 过分严格的管控 则导致效率下降
Host Aggregate面向管理员，根据硬件资源的 某一属性来对硬件进行划分的功能
2021精选ppt
20
云计算架构关键技术
2021精选ppt
21
云计算架构关键技术—超大规模资源调度算法
计算资源调度算法
计算虚拟化以虚拟机为基本调度单元， 完成指定虚拟机实例或者虚拟机集群 到整个云数据中心计算资源池内最适 合的物理机或者物理机集群的映射。 运筹学求最优解的问题

云计算——云计算的定义和特征
云计算提供的是“服务”
公共云 （对外提供服务）
私有云 （内部系统使用）
混合云
( Software as a Service ) 软件即服务 SaaS侧重于服务，以软件程序提供服务，如CRM、ERP、OA等
SaaS
( Platform as a Service ) 平台即服务 PaaS侧重于服务，以应用服务器平台或开发环境提供服务
资源中心
宽带网络校校通
教育管理云
云图书馆
区域教育资源共享云
在线教育云
数字校园
教育云盘
网络学习空间人人通 优质教育资源班班通
教育行业：在线教育、公共云平台成为主导
国家财政性教育经费支出占到GDP的4%，教育公共资源信息平台整合、一课一师、平安校园、教育云平台等项目在各省市不断涌现
政府：电子政务云成为主导
国家财政性教育经费支出占到GDP的4%，教育公共资源信息平台整合、一课一师、平安校园、教育云平台等项目在各省市不断涌现
云计算——云计算行业市场机会
医疗行业：十三五规划启动医疗卫生云
规划中提出四级平台、六大重点信息化业务、三大基础信息库、配套网络设施等，电子病历普及率提高并且应用水平不断提升。
金融行业：互联网金融青睐云服务
预期效果
计算说明
服务器资源利用率
< 10%
>50%
提升8倍资源利用率
整合之后的利用率在65%左右
每年电费(万元)
36.8
12.3
每年节省66.57%的电费
电费=功耗W*24(h) /1000*365*电费 电费按照每度1元计算
空间节省(U)
280
92
节省67.14%的空间

集成能力
可与其他开源技术（如 Kubernetes）集成，提供 更丰富的功能。
选择合适平台进行大数据处理建议
评估业务需求
明确业务需求和数据规模，选 择能够满足性能和可扩展性要
求的云平台。
了解技术兼容性
确保所选平台支持现有的技术 栈和开发工具，减少迁移成本 和风险。
考虑成本效益
对比不同平台的定价模型和服 务等级协议（SLA），选择性价 比高的平台。
发展历程
云计算经历了从网格计算、效用 计算、自主计算到云计算的演变 过程，近年来得到了快速发展和 广泛应用。
云计算架构及核心技术
云计算架构
云计算架构包括基础设施层、平台层 和应用层三个层次，分别对应IaaS、 PaaS和SaaS三种服务模式。
核心技术
云计算核心技术包括虚拟化技术、分 布式计算技术、自动化管理技术等， 这些技术共同支撑了云计算的高效、 灵活和可扩展性。
大数据在零售行业的应用 包括市场趋势分析、消费 者行为分析、精准营销等 。例如，通过分析消费者 的购物历史、浏览行为等 数据，可以为消费者提供 更加个性化的商品推荐。
大数据在制造业的应用包 括生产流程优化、质量控 制、供应链管理等。例如 ，通过分析生产线上传感 器采集的数据，可以实时 监测生产过程中的异常情 况并及时处理。
人工智能与云计算和大数据的 结合将为企业提供更精准的市 场分析、用户画像和智能决策 支持。
企业级市场需求推动行业变革
随着企业数字化转型的加速，对云计算和大数据的需求将持续增长。
企业需要借助云计算和大数据技术来优化业务流程、提高运营效率、降 低运营成本等。
未来，云计算和大数据行业将不断推出更加符合企业级市场需求的产品 和服务，推动行业的变革和发展。

用户
软件/数据 库
操作系统
用户
软件/数据 库
操作系统
用户
软件/数据 库
操作系统
IT基础设施 IT基础设施 IT基础设施
操作系 操作系 操作
统
统
系统
VM
VM
VM
集群管理
虚拟化
虚拟化
操作系统
操作系统
IT基础设施 IT基础设施
云计算的总体架构—云计算架构的上下文
云租户、云服务 消费者
有云服务需求，也有 传统IT设施，需要进 行整合云应用开发者
云管理节点自身的可靠性保障机制
云计算数据中心整体网络的可靠性保 障机制
承载用户计算负载的计算节点的故障恢复机制： 计算节点本地重启故障， 以及不可本地重启 类的异地恢复类故障发生时， 如何在无须维 护干预以及应用层特殊处理的前提下， 保持 业务提供的连续性
云存储数据连续服务与数据防丢失保障机制， 如硬盘故障、 服务器故障、 机柜/机框， 乃 至整个数据中心意外电源及网络故障的容错与 恢复能力
云计算核心架构竞争力衡量维度
云计算核心架构竞争力衡量维度
节流方面
降低建设成本 减少运维成本
运营商：在IaaS，PaaS基础上吸引第三 方应用，分享SaaS应用 企业：硬件解耦，提高灵活性，优化运 作效率 大数据：依托海量存储分析，从数据中 萃取价值信息
开源方面
云计算核心架构竞争力衡量维度—低TCO
动智能终端及浸入式体验瘦终端接入的模式（不同场景不同需求，不同的处理级别） • 差别6：云资源服务从单一虚拟化，走向异构虚拟化、轻量级容器化及裸金属物理机服务器 • 差别7：云平台和云管理软件从闭源、封闭走向开源、开放
云计算的架构

阿里云
中国市场份额
阿里云在中国云基础设施服务市场中占据领先地位，市场份额持续增长。
产品与服务
提供包括计算、存储、数据库、安全等全面的云服务，满足企业各种需求。
技术创新
阿里云持续推出创新产品和技术，如飞天操作系统、MaxCompute等。
客户案例
众多中国知名企业选择阿里云作为其云计算服务提供商，如华为、滴滴出行等。
应用场景
智能家居、智能交通、物 联网等领域。
云计算与5G的融合
5G技术
第五代移动通信技术，具有高速数据传输、低延迟等特点。
融合优势
云计算与5G的融合可以提供更高效、更稳定的数据传输和处理 能力，支持更多样化的应用场景。
应用场景
远程医疗、智能制造、智慧城市等领域。
云计算与区块链的融合
1 2 3
区块链技术
隐私保护问题
敏感数据保护
在云计算环境中，用户的敏感数 据需要得到充分保护，以防止未 经授权的访问和使用。需要采取 加密和匿名化等措施来保护用户
的隐私。
数据残留
在云计算环境中，数据残留可能 会泄露用户的隐私信息。需要采 取有效的清理和销毁措施来确保
数据残留的安全性。
审计和监控
为了确保用户隐私的保护，需要 对云计算服务进行审计和监控， 以确保其符合相关法律法规和行
权限管理
为了防止权限提升和滥用，需要对用户的权限进行严格的管理和控制。 需要采用最小权限原则和权限审查等手段来确保用户权限的安全性。
05
云计算的发展趋势
云计算与边缘计算的融合
边缘计算
将数据处理和应用程序从 中心服务器迁移到网络的 边缘设备，如智能终端、 传感器等。
融合优势
云计算与边缘计算的融合 可以提供更快速的数据处 理和分析能力，减少网络 延迟，提高响应速度。

5.1 引例
分布式存储
对于第一类存储问题，若能将多台机器硬盘以某种方式连接到一起，则问题迎刃 而解。取机器cSlave0，cSlave1和cMaster0，采用客户-服务器模式构建分布式 存储集群，让cMaster0管理cSlave0，cSlave1。
cMaster0 统一管理cSlave0~N
存储空间
<cstor,1> <cstor,2>
计算后 得结果
结果存至DFS
<china,3>
计算后 得结果
<cstor,3>
结果存至DFS
分布式存储
本地计算shuffle 洗牌 shuffle
汇总计算Reduce
分布式计算
20
存结果
冗余存储与冗余计算
只要保证存于cSlave0上的数据，同 时还存在于别的机器上，即使 cSlave0宕机，数据依旧不会丢失。
第二类问题，计算。
问题③：在问题①下，统计file0和file1这两个文件里每个单词出现的次数。
第三类问题，可靠性。
问题④：假设用于解决上述问题的机器宕机了，问如何保证数据不丢失。
4
5.1 引例
5.1.1 问题概述 5.1.2 常规解决方案 5.1.3 分布式下的解决方案 5.1.4 小结
5.1 引例
5.1 引例 冗余存储与冗余计算
存储时 计算时
引入新机器cSlave2和cSlave3，将存于cSlave0的file0同 样存储于cSlave2，存于cSlave1的file1同样存一份于 cSlave3。
cSlave0~3的计算任务统一由cMaster1指派。 cMaster1选中先结束的那台机器的计算结果，并停止另一 台机器里还在计算的进程