当前位置：文档之家 › 3.《云计算(第三版)》配套PPT之三：第2章 Google云计算原理与应用(二)

3.《云计算(第三版)》配套PPT之三：第2章 Google云计算原理与应用(二)

  • 格式：pptx
  • 大小：7.26 MB
  • 文档页数：53

下载文档原格式

  / 53

合集下载

《云计算(第三版)》配套PPT之五：第2章 Google云计算原理与应用(四)

《云计算(第三版)》配套PPT之五：第2章 Google云计算原理与应用(四)

MapReduce
优点：便携 缺点：效率低
Google的团队结合其自身的实际需求，借鉴搜 索引擎和并行数据库的一些技术，开发出了实 时的交互式查询系统Dremel。
5 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件
Dremel支持的典型应用
《云计算》第三版配套PPT课件
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（四）
主编：刘鹏 教授
of 64
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
符合该模式的两条记录
11 of 64
《云计算》第三版配套PPT课件
2.7 海量数据的交互式分析工具Dremel
2.7.1 产生背景 2.7.2 数据模型 2.7.3 嵌套式的列存储 2.7.4 查询语言与执行 2.7.5 性能分析 2.7.6 小结
of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件 数据结构的无损表示
15 of 64
2 . 7 海 量 数 据 的 交 互 式 分 析 工 具 D r e m e l 《云计算》第三版配套PPT课件

《云计算(第三版)》配套PPT之31：第9章云计算数据中心(一)PPT资料33页

《云计算(第三版)》配套PPT之31：第9章云计算数据中心(一)PPT资料33页
of 38
9.2 云数据中心网络部署 无线数据中心网络
21 of 38
《云计算》第三版配套PPT课件
无线技术可以在不必 进行重新布线的情况 下灵活调整拓扑，省 去了复杂的布线工作， 但无线技术在提供足 够带宽的前提下，其 传输距离是有限的， 因而限制了其在大规 模数据中心的部署。
《云计算》第三版配套PPT课件
of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
核心
Pod0
Pod1
Pod2
图9-1 FatTree网络拓扑结构
8 of 38
汇聚 接入 Pod3
9.2 云数据中心网络部署
《云计算》第三版配套PPT课件
改进型树结构
与传统层次结构相比， FatTree结构有如下特点：
11 of 38
9.2 云数据中心网络部署 改进型树结构
《云计算》第三版配套PPT课件
在VL2中，IP地址仅仅作为名字使用，没有拓扑含义。 VL2的寻址机制将服务器的名字与其位置分开。 VL2使用可扩展、可靠的目录系统来维持名字和位置间的映射。 当服务器发送分组时，服务器上的VL2代理开启目录系统以得到实际的目的位置，
《云计算》第三版配套PPT课件
BCube使用交换机构建层次 化网络，网络中主要包括服 务器和交换机两种组件。
一个BCubek有N=nk+1个 服务器和k+1层交换机，每 一层有nk个n端口交换机。
16 of 38
《云计算》第三版配套PPT课件
9.2 云数据中心网络部署
9.2.1 改进型树结构 9.2.2 递归层次结构 9.2.3 光交换网络 9.2.4 无线数据中心网络 9.2.5 软件定义网络

最新2019-云计算第二章2-4教学ppt-PPT课件

最新2019-云计算第二章2-4教学ppt-PPT课件
数据库——分布式存储数据库 Data Store
Google账户 ——开发应用程序必须拥有一个Google账户
App Engine服务——Google App Engine提供了一些服务
开发流程 ——Google App Engine开发应用程序必须遵守一定的开发
流程
配额和限制 ——Google账户提供的免费空间和流量有一定的配额和
自01己的其接ta应他口S用计上to程r算通e数机过序据；HT只T库P能或来在H存0TT标储2P准S应
用程序运行期间持续存在
03
（几秒之内完成）
同时，请求处理的
来的进数行据
序不能在自己的响
发送后产生子进程
执行代码
Google App Engine SDK
➢使用SDK时，可以在本地计算机上模拟包括所有Google App Engine服务的网络服务器应用程序，该SDK包括Google App Engine中的所有API和库。该网络服务器还可以模拟沙盒环境
沙盒给用o网应p行用gp开户l址用写程eE发应抓程n入序Ag人pi代用取序操pn码程无作eA员的EP序法，n上I提文和g只对只i的供n件电能能eG文沙了提o系子通读o件一供g统邮盒l，过取e进件的个对并应GAo虚用拟户的进环行境如，下这限个制环境使应用 应网程用络序程请与序求其只时他有才在运响行
开发者服且开务该发A应P使I用来程用访序的问必程互须序联使相网用中隔Da离，从而保证每个使用者可以且安响全应地时开间发必须极
➢使用Python实现，这个开发套件可以在装有Python 2.5的任 何平台上面运行，包括Windows、Mac OS X和Linux等，开发人 员可以在Python网站上获得适合自己系统的Python

云计算第2章Google云计算原理与应用(2)PPT课件

云计算第2章Google云计算原理与应用(2)PPT课件

《云计算》第三版配套PPT课件
1
Hale Waihona Puke 高可用性和高可靠性2 高扩展性
3
支持粗粒度的建
议性锁服务
4
服务信息的直接存储
5
支持缓存机制
6 支持通报机制
12 of 55
2.3 分布式锁服务Chubby
《云计算》第三版配套PPT课件
Chubby的基本架构
Chubby单元的 五个服务器
客户端 应用程序
…
Chubby 程序率
电子工业出版社《(第三版)》配套课件
（第三版）
CLOUD COMPUTING Third Edition
第2章
Google云计算原理与应用（二）
主编：刘鹏 教授
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
9 of 55
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端 应用程序
Chubby 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。

《云计算(第三版)》第2章_Google云计算原理与应用(三)解析

《云计算(第三版)》第2章_Google云计算原理与应用(三)解析

5 of 57
《云计算》第三版配套PPT课件
数据分区和复制
➢Megastore中，这些小的数据
分区被称为实体组集（Entit
y Groups）。
➢每实个体实组体集组之集间包只含具若有干比实较体松散的一致性。每个实体组都通过复制技术在数 组据（中E心nt中it保y 存Gr若ou干p，数相据当副于本，这些实体组及其副本都存储在NoSQL数据库 分（区Bi中gt表ab的le概）念中），而一个101Fra bibliotekJohn
101,500
12:30:01
Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
13 of 57
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
协调者是一个服务，该服务分布在每个副本的数据中 心里面。它的主要作用就是跟踪一个实体组集合
协调者的状态是由写算法来保证
of 57
《云计算》第三版配套PPT课件
快速写 Megastore采用了一种在主/从式系统中常用的优化方法。 如果一次写成功，那么下一次写的时候就跳过准备过程，直 接进入接受阶段 Megastore没有使用专门的主服务器，而是使用leaders
of 57
2.5 分布式存储系统Megastore 完整的事务周期
《云计算》第三版配套PPT课件
获取最后一次提交的事 务的时间戳和日志位置
使用Paxos达到一致， 将入口追加到日志
清理不再需要的数据

4. 云计算 之四：第2章 Google云计算原理与应用(三)

4. 云计算 之四：第2章 Google云计算原理与应用(三)

Dinner, Paris …
101,502
12:15:22
Betty, Paris
…
102
Mary
Bigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可 存储在同一个Bigtable行中
11 of 58
《云计算》第三版配套PPT课件
2.5 分布式存储系统Megastore
2.5.1 设计目标及方案选择 2.5.2 Megastore数据模型 2.5.3 Megastore中的事务及并发控制 2.5.4 Megastore基本架构 2.5.5 核心技术——复制 2.5.6 产品性能及控制措施
属性是命名的且具有类型，这些类型包括字符 型（strings）、数字类型（numbers）或者 Google的Protocol Buffers。
8 of 58
Hale Waihona Puke 2.5 分布式存储系统Megastore 照片共享服务数据模型实例
《云计算》第三版配套PPT课件
表Photo就是一个子表，因为它声明了 一个外键
《云计算》第三版配套PPT课件
主要 两类
局部 索引
定义在单个实体组中，作用域仅限于单个实 体组（ 如PhotosByTime ）
全局 索引
可以横跨多个实体组集进行数据读取操作 （ 如PhotosByTag ）
额外 索引
STORING子句
（STORING Clause）
可重复的索引
（Repeated Indexes）
User则是一个根表
一个Megastore实例中可以有若干个不 同的根表，表示不同类型的实体组集
三种不同属性设置，既有必须的（如 user_id），也有可选的（如 thumbnail_url）

《云计算》教材配套课件5-Goo gle云计算应用场景分析



BigTable的存储与服务请求的响应
◦ 划分为子表存储，每个子表对应一个子表文件，子表文件存储 于GFS之上 ◦ BigTable通过元数据组织子表
Tablet 1: <startRowKey1, Tablet 2: <startRowKey2, Tablet 3: <startRowKey3, Tablet 4: <startRowKey4, endRowKey1>, endRowKey2>, endRowKey3>, endRowKey4>, root\bigtable\tablet1,…… root\bigtable\tablet2,…… root\bigtable\tablet3,…… root\bigtable\中查询行 ◦ 获取对应列的数据，解析，得到并展示最终结果
<aaa.asp,0.9027><bbb.asp,0.0088><ccc.asp,0.0885>

数据处理是定期的，非实时响应查询

Google搜索的总体业务流程
◦ 数据采集: Spider ◦ 数据整理
<com.xxx, <aaa.asp,0.9027> <bbb.asp,0.0088><ccc.asp,0.0885>>
<com.yyy, <bbb.asp,0.0435> <ccc.asp,0.4348><ddd.asp,0.5217>> <com.zzz, <aaa.asp,0.0769> <bbb.asp,0.0769><ddd.asp,0.0769> <ccc.asp,0.7692>>

Google与云计算精品PPT课件

• Shareability
– Make sharing as easy as creating and saving
• Freedom
– Users don’t want their data held hostage
• Simplicity
– Easy-to-learn, easy-to-use
• Essentially infinite amount of disk • Essentially infinite amount of computation • (Assuming they can be parallelized)
Google and Cloud Computing
Google与云e Internet: From Hardware to Community • The Innovation: A Computing Cloud • Breakthroughs for Cloud Computing • Google Apps for Cloud Computing • Google Infrastructure for Cloud Computing
• Data stored on the cloud • Software & services on the cloud - Access via web browser • Based on standards and protocols - Linux, AJAX, LAMP, etc. • Accessible from any device
1 User-Centric 2 Task-Centric 3 Powerful 4 Intelligent
5 Affordable 6 Programmable

云计算课件 第3章_1

电子工业出版社《云计算(第三版)》配套课件
云 计 算 （第三版）
CLOUD COMPUTING Third Edition
第3章
Amazon 云计算 AWS (一)
of 52
《云计算》第三版配套PPT课件
目 录
3.1 基础存储架构Dynamo 3.2 弹性计算云EC2 3.3 简单存储服务S3 3 . 4 非关系型数据库服务SimpleDB和DynamoDB 3.5 关系数据库服务RDS 3 . 6 简单队列服务SQS 3.7 内容推送服务CloudFront 3.8 其他Amazon云计算服务 3.9 AWS应用实例 3.10 小结
of 52
亚马逊 Amazon
在电子商务中积累的大量基础性设施和各类先进技术，很早地进入了 云计算领域，并在提供计算、存储等服务方面处于领先地位。
Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了
提供的服务主要包括
弹性计算云EC2 简单存储服务S3 简单数据库服务Simple DB 简单队列服务SQS 弹性MapReduce服务 内容推送服务CloudFront 电子商务服务DevPay FPS
3.1.1 Dynamo概况 3.1.2 Dynamo架构的主要技术
of 52
3.1 基础存储架构Dynamo
《云计算》第三版配套PPT课件
Dynamo需要解决的主要问题及解决方案
Dynamo在设计时被定位为一个基于分布式存储架构的，高可靠、高可用且具有良 好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。
12 of 52
3.1 基础存储架构Dynamo 数据均衡分布的问题
改进的一致性哈希算法

云计算(第三版)


2.3.5 通信协 议
2 Google云计算原理与应用
2.3 分布式锁服务Chubby
2.3.3 Chubby中 的Paxos
2.3.6 正确性 与性能
2 Google云计算原理与应用
06
2.4.6 性能 优化
05
2.4.5 子表
服务器
04
2.4.4 主服
务器
03
2.4.3 系统
架构
02
2.4.2 数据
2 Google 云计算原 理与应用
2.2 分布式数据处理 MapReduce
https:///
2.2.2 编程模 型
2.2.4 案例分 析
1
2
3
4
2.2.1 产生背 景
2.2.3 实现机 制
2.3.1 Paxos 算法
2.3.2 Chubby 系统设计
2.3.4 Chubby 文件系统
0 3 . 41. 1 非 关 系 型 数据库
与传统关系数据库的比 较
0 3
3.4.3 DynamoDB
0 2
3.4.2 SimpleDB
0 4
3.4.4 SimpleDB和 DynamoDB的比较
3.4 非关系型数据库服务 SimpleDB和DynamoDB
3 Amazon 云计算 AWS
3.5 关系数据库服务RDS
2.9 Google应用程序引擎
06
3 Amazon云计算AWS
3 Amazon云计算AWS
A
C
3.2 弹性计算云 EC2
3.4 非关系型数据 库服务SimpleDB
和DynamoDB
E
3.6 简单队列服 务SQS
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

4 of 56
2.3 分布式锁服务Chubby 系统的约束条件
《云计算》第三版配套PPT课件
p1：每个acceptor只接受它得到的第一个决议。
p2：一旦某个决议得到通过，之后通过的决议必须和该决议保持一致。
p2a：一旦某个决议v得到通过，之后任何acceptor再批准的决议必须是v。 p2b：一旦某个决议v得到通过，之后任何proposer再提出的决议必须是v。 p2c：如果一个编号为n的提案具有值v，那么存在一个“多数派”，要么它们中没有谁批 准过编号小于n的任何提案，要么它们进行的最近一次批准具有值v。
《云计算》第三版配套PPT课件
目 录
2.1 Google文件系统GFS 2.2 分布式数据处理MapReduce 2.3 分布式锁服务Chubby 2.4 分布式结构化数据表Bigtable 2.5 分布式存储系统Megastore 2 . 6 大规模分布式系统的监控基础架构Dapper 2.7 海量数据的交互式分析工具Dremel 2.8 内存大数据分析系统PowerDrill 2.9 Google应用程序引擎
为了保证决议的唯一性，acceptors也要满足一个约束条件：当且仅当 acceptors 没有收到编号大于n的请求时，acceptors 才批准编号为n的提案。
5 of 56
2.3 分布式锁服务Chubby 一个决议分为两个阶段
《云计算》第三版配套PPT课件
1
准备阶段
proposers选择一个提案并将它的编号设为n 将它发送给acceptors中的一个“多数派”
远程过程调用
客户端
Chubby
应用程序 程序率
客户端进程
主服务器
客户端
在客户这一端每个客户应用程序都有 一个Chubby程序库（Chubby Library），客户端的所有应用都是通 过调用这个库中的相关函数来完成的。
服务器端
服务器一端称为Chubby单元，一般 是由五个称为副本（Replica）的服务 器组成的，这五个副本在配置上完全 一致，并且在系统刚开始时处于对等 地位。
of 56
2.3 分布式锁服务Chubby 单调递增的64位编号
《云计算》第三版配套PPT课件
1 实例号
Instance Number
新节点实例号必定大于旧节点的实例号。
2 内容生成号
文件内容修改时该号增加。
of 56
2.3 分布式锁服务Chubby 初步了解Chubby
《云计算》第三版配套PPT课件
Chubby是Google设计的提供粗粒度锁服务的一个文件系统，它基于松耦合 分布式系统，解决了分布的一致性问题。
通过使用Chubby的锁 服务，用户可以确保数 据操作过程中的一致性
Chubby作为一个稳定 的存储系统存储包括元 数据在内的小数据
of 56
2.3 分布式锁服务Chubby Paxos算法
《云计算》第三版配套PPT课件
三个 节点
三个 条件
proposers acceptors learners
提出决议 批准决议 获取并使用已经通过的决议
决议只有在被proposers提出后才能批准 每次只批准一个决议
只有决议确定被批准后learners才能获取这个决议
6 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
of 56
2.3 分布式锁服务Chubby Chubby的设计目标主要有以下几点
9 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
of 56
2.3 分布式锁服务Chubby 单个Chubby副本结构
Google内部还使用 Chubby进行名字服务 （Name Server）
2 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
2.3 分布式锁服务Chubby
容错日志的API
ห้องสมุดไป่ตู้客户端 应用程序
Paxos 构架
值 提交
副本1 响应
值 Paxos
协议
《云计算》第三版配套PPT课件
副本2
副本3
响应
响应
值
值
12 of 56
《云计算》第三版配套PPT课件
2.3 分布式锁服务Chubby
2.3.1 Paxos算法 2.3.2 Chubby系统设计 2.3.3 Chubby中的Paxos 2.3.4 Chubby文件系统 2.3.5 通信协议 2.3.6 正确性与性能
Chubby客户端网络 副本网络
文件
快照互换
传输
（Sanpshot exchange）
Paxos协议
本地文件系统
《云计算》第三版配套PPT课件
Chubby协议 RPC
Chubby
容错的数据库
（Fault-tolerant DB）
容错的日志
（Fault-tolerant Log）
日志
文件I/O
快照
11 of 56
《云计算》第三版配套PPT课件
1
高可用性和高可靠性
4
服务信息的直接存储
2 高扩展性
3
支持粗粒度的
建议性锁服务
5 支持缓存机制 6 支持通报机制
8 of 56
2.3 分布式锁服务Chubby
《云计算》第三版配套PPT课件
Chubby的基本架构
Chubby单元的 五个服务器
客户端 应用程序
…
Chubby 程序率
acceptors 收到后，如果提案的编号大于它已经回复的所有消 息，则acceptors将自己上次的批准回复给proposers，并不再 批准小于n的提案。
2
批准阶段
当proposers接收到acceptors 中的这个“多数派”的回复后， 就向回复请求的acceptors发送accept请求，在符合acceptors 一方的约束条件下，acceptors收到accept请求后即批准这个 请求。