沃趣科技—容器化RDS(四)—计算存储分离架构下的_Split-Brain-熊中哲

华为云HCNP题库（94分）1、以下哪些是云原生的优势？【多选题】（1分）A. 模块松耦合B. 快速部署C. 硬件虚拟化D. 服务快速恢复正确答案: ABD2、2，云架构设计非常灵活，不需要掌握UML 【单选题】（1分）A.正确B.错误正确答案: B3、3，云原生四大应用是指？【多选题】（1分）A. DevOpsB. 持续交付C. 容器D. 微服务正确答案: ABCD4、4，华为云三大中间件服务是？（ABC）【多选题】（1分）A. DCS 分布式缓存服务B. DMS 分布式消息服务C. DDM 分布式数据库中间件正确答案: ABC5、5，以下哪个服务不属于华为云PaaS 服务？【单选题】A. 微服务云应用平台ServiceStageB. 弹性云服务器ECSC. 云容器引擎CCED. 云性能测试服务CPTS正确答案: B6、6，ServiceStage 包含以下能力，除了？【单选题】（1分）A. 集群和节点的资源管理B. 微服务应用开发工具盒微服务管理C. 数据库管理D. 容器和虚拟机应用的部署和应用管理正确答案: C7、7，应用架构变迁已经发展到了什么阶段？【单选题】（1分）A. 单体架构B. SOA 架构C. 微服务架构D. 雾技术架构正确答案: C8、8，华为云PaaS 有哪些level 的解决方案？【多选题】（1分）A. 应用零改造上云，自动部署和运维B. 应用+云中间件，减少运营和运维的成本C. 应用容器化，秒级弹性伸缩、资源利用更高D. 应用微服务化，特性解耦，快速上线E. 业务极致创新，基于函数的编程正确答案: ABCDE9、9，业务使用容器后能带来哪些好处？【多选题】（1分）A. 通过共享kernel，细粒度资源隔离。

（降低企业成本）B. 为业务提高了安全性C. 定义了环境无关的标准的交付、部署规范。

（提高交付效率）D. 秒级快速启动和停止（适合敏捷扩缩容场景）E. 提升代码开发质量正确答案: ACD10、10，微服务较传统单体架构，可以解决以下哪些问题？【多选题】（1分）A. 维护成本高B. 交付周期长C. 代码质量差D. 可伸缩性差E. 新人培养周期长正确答案: ABDE11、11，DCS 主要用于热点数据缓存，用于提升数据访问能力，降低数据库压力【单选题】（1分）A.正确B.错误正确答案: A12、12，如果企业自己开发或维护中间件，则企业需要自己处理软硬件的安装部署、故障和维护，以及bug 修复等；如果使用云中间件服务，则可以实现开箱即用【单选题】（1分）A.正确B.错误正确答案: A13、13，创建应用时一个应用可以创建多个容器么【单选题】（1分）A. 可以B. 不可以正确答案: A14、14，CCE 目前支持的集群类型有哪些【单选题】（1分）A. 虚拟机B. 裸金属C. WindowsD. 以上三种都支持正确答案: D15、15，华为CSE 支持多语言微服务接入与互通，其中支持的语言包括（----注意，不支持C 语言。

Oracle一体机的崛起作者｜赵晨·产品专家既然一件事物有很多的问题，无法适应时代的发展，那被淘汰也是必然的。

就像汽车取代马车，手机取代寻呼机，数字音乐取代CD唱片一样。

那取代IOE架构的会是什么呢？从目前的发展趋势来看，数据库一体机非常有可能成为它的替代者。

传统 IOE 架构的问题对于Oracle数据库系统来说，IOE是一种非常经典的架构。

过去的十几年，它已经在许多行业中证明了自己存在的合法性。

那为什么会出现数据库一体机这样基于新架构的产品呢？主要是因为随着互联网业务的飞速发展，IOE架构自身暴露出了许许多多的问题。

I/O性能这是最大的问题所在。

在该架构中，通常只有一个集中式的存储阵列，通过光纤网络向数据库服务器提供存储资源。

早期的存储阵列全部采用机械磁盘，其性能有非常明显的瓶颈，即使发展到了今天，一块高端的机械盘最多也只能提供300左右的IOPS，延迟也很高，通常在几十毫秒。

相对于SSD高达几万的IOPS，以及微秒级别的延迟而言，在OLTP的场景下，性能差距非常明显。

那你可能会有疑问，现在SSD已经非常普及，各大存储厂商的AFA（全闪阵列）产品比比皆是，是否只需将原先架构中的集中式存储替换成更新的型号就可以了？答案是否定的。

在数据仓库的场景下，数据量通常很巨大（TB甚至是PB级别），而且和时间是正相关的。

此时整个系统所能提供的吞吐量就成为关键，而非IOPS和延迟，也就是说需要在可接受的时间内，从存储系统向数据库服务器传输足够大量的数据。

在这样的场景下，集中式存储所能提供的吞吐是非常有限的（因为单个存储的网络端口数量有限），并且无法进行水平扩展。

因此即使使用了全闪阵列，也无法应对超大型的数据仓库场景。

可用性对于核心数据库系统来说，可用性一定是最重要的。

虽然集中式存储阵列内部也有各种冗余的设计，但从整个架构来看，它依然是一个单点。

一旦整个存储阵列发生故障，数据库也会随之发生宕机，而且还存在设备无法恢复导致数据丢失的风险。

容器化RDS——计算存储分离 or 本地存储随着交流机会的增多(集中在金融行业, 规模都在各自领域数一数二), 发现大家对Docker + Kubernetes的接受程度超乎想象, 并极有兴趣将这套架构应用到RDS领域. 数据库服务的需求可以简化为:实现数据零丢失的前提下,提供可接受的服务能力因此存储架构的选型至关重要.到底是选择计算存储分离还是本地存储?本文就这个问题, 从以下几点展开 :●回顾 : 计算存储分离, 本地存储优缺点●MySQL基于本地存储实现数据零丢失●性能对比●基于 Docker + Kubernetes的实现分享个人理解.回顾 : 计算存储分离, 本地存储优缺点还是从计算存储分离说起,计算存储分离先说优点 :●架构清晰●计算资源 / 存储资源独立扩展●提升实例密度, 优化硬件利用率●简化实例切换流程 : 将有状态的数据下沉到存储层, Scheduler 调度时, 无需感知计算节点的存储介质, 只需调度到满足计算资源要求的Node, 数据库实例启动时, 只需在分布式文件系统挂载 mapping volume即可. 可以显著的提高数据库实例的部署密度和计算资源利用率.以 MySQL 为例●通用性更好, 同时适用于Oracle , MySQL详见 : <容器化RDS : 计算存储分离架构下的"Split-Brain">从部分用户的上下文来看, 存在如下客观缺点 :●引入分布式存储, 架构复杂度加大. 一旦涉及到分布式存储的问题, DBA无法闭环解决.●分布式存储选型,○选择商用, 有 Storage Verdor Lock In风险○选择开源, 大多数用户(包括沃趣)都测试过GlusterFS和Ceph ,针对数据库(Sensitive Lantency)场景, 性能完全无法接受.本地存储如果在意计算存储分离架构中提到的缺点, 本地存储可以有效的打消类似顾虑,无需引入分布式存储, 避免Storage Verdor Lock In风险, 所有问题都由DBA 闭环解决,.但是, 需要依赖数据库自有方案实现数据零丢失以 MySQL 为例还会引入类似问题,●物理容量受限于单机容量;●调度更复杂, 选定数据库实例的存储类型(比如SSD )后, 一旦该实例发生”failover”, 只能调度到拥有SSD的物理节点, 这导致调度器需要对物理节点”Physical TopologyAware”;●密度难提升, 这是”Physical Topology Aware”的副作用;●因数据库的不同方案差异性较大, 通用性无法保证.接下来, 进入正题, 看一下MySQL基于本地存储如何实现数据库零丢失.MySQL基于本地存储数据零丢失最常用的是基于Replication 模型将数据复制到MySQL Cluster中所有成员.MySQL Master-Slave Replication (类似 Oracle DataGuard) 提供了基于binlog 的数据库层的复制模型, 在高并发压力下节点间同步数据速率最快, 单位时间内的交易量受其他节点的影响极小, 该架构可通过vip漂移的方式实现“failover”MySQL Master-Slave Replication但严格意义上来说, 这是基于binlog的 As ynchronous Replication 模型, 因此集群中所有成员存在数据不一致的可能,在”failover”时无法保证数据零丢失.可见如果基于Replication 模型, Synchronous Replication 是实现数据零丢失的前提.传统的Synchronous Replication 一般会采用两阶段提交或分布式锁,这会带来如下几个问题 :●单位时间内事务能力(TPS) 会跟集群成员数量成反比●增加集群成员会显著且无法预期的增加事务响应时间●增加了集群成员数据复制的冲突和死锁的可能性针对以上问题Galera Cluster 提出Certification-based Replication来解决传统Synchronous Replication 中遇到的问题, 实现如下 :Deferred Update Replication延迟更新复制这个流程图中, 有几个细节需要分享,●将基于binlog 改为基于 write-set. write-set 中包含修改的数据, Global Transaction ID(后面简称 GTID)和 Primary Key.○GTID 类似 45eec521-2f34-11e0-0800-2a36050b826b:94530586304○94530586304 为64-bit 有符号整型, 用来表示事务在序列中的位置●将传统的Synchronous Replication 改为Deferred Update Replication, 并将整个过程大致分解成四个阶段, 本地阶段, 发送阶段, 验证阶段和应用阶段, 其中:○本地阶段 :乐观执行, 在事务Commit前, 假设该Transcation在集群中复制时不会产生冲突○发送阶段 :优化同步时间窗口, 除去全局排序并获取GTID 为同步操作, 冲突验证和事务应用都为异步, 极大的优化了复制效率.○验证阶段 :只有收到该事务的所有前置事务后(不能有“hole”), 该事务和所有未执行的前置事务才能并发验证, 不然不能保证Global Ordering,因此这里需要牺牲效率, 引入一定的串行化.需要等待事务3于是就有了Galera Cluster在MySQL 分支中的实现MariaDB Galera Cluster (简称MGC) 和Percona Xtradb Cluster (简称PXC)为避免”split-brain”问题, 需要至少三节点组成集群, 对计算资源和存储资源的容量要求至少增加2倍, 会进一步降低资源的部署密度越来越多的用户也期望通过该方案实现跨 IDC 多活, 那么需要在规划阶段想清楚 :IDC 和数据库节点的拓扑架构, 以保证在1个 IDC 出问题的情况, 集群可以持续提供服务首先IDC (物理或逻辑) 最少需要3个, 再看看数据库节点数量分别为3, 4, 5, 6, 7的拓扑关系 :● 3 数据库节点 :● 4 数据库节点 :设置权重避免”split-brain”(⅙ + ⅙ ) + ⅓ + ⅓● 5 数据库节点● 6 数据库节点●7 数据库节点 : 可支持两种拓扑关系同时, 还有MySQL Group Replication1 (简称MGR), 类似Galera Cluster :●基于Corosync实现(Totem协议), 插件式安装, MySQL 官方原生插件.●集群架构, 支持多写(建议单写)●允许少数节点故障, 同步延迟较小, 保证强一致, 数据零丢失●单位时间的交易量受 flow control 影响.这里还需要提一下Vitess2●该项目由youtube开源, 从文档看功能极为强大, 高度产品化.●作为第二个存储类项目(第一个是Rook, 有意思是存储类而不是数据库类)加入CNCF,目前还处于孵化阶段(incubation-level).●笔者没有使用经验, 也不知道国内有哪些用户, 不做评论.关于MGR 和 Vitess 网上已有大量介绍, 这里不再赘述.性能对比在数据零丢失的前提下, 看看这几种架构在性能上的对比:●MGR 5.7.17 / PXC 5.7.14-26.17●MGR 5.7.17 / PXC 5.7.17-29.20 / MariaDB 10.2.5 RC1https:///doc/refman/5.7/en/group-replication-background.html2 http://vitess.io/●本地存储 / 计算存储分离性能对比1 : MGR5.7.17/ PXC5.7.14-26.17测试背景描述:●MGR 5.7.17 对比PXC 5.7.14-26.17 (基于Galera 3实现)●负载模型 : OLTP Read/Write (RW)●durability : sync_binlog=1, innodb_flush_log_at_trx_commit=1●non-durability : sync_binlog=0, innodb_flush_log_at_trx_commit=2测试数据 :来自于MySQL官方3测试结果:在设置durability的情况下, MGR最大吞吐约是PXC 5.7.14-26.17 (基于Galera 3 实现) 的3倍, 优势明显.3 /performance-evaluation-mysql-5-7-group-replication/?spm=5176.100239.blogcont66550.17.T4N8cZ以上数据来自于MySQL官方, 公平起见, 再来看看Percona在相同负载模型下的测试数据.性能对比2 : MGR5.7.17/ PXC5.7.17-29.20 / MariaDB 10.2.5 RC测试背景描述:●增加了MariaDB参与对比●PXC 升级到5.7.17-29.20, 该版本改进了MySQL write-set 复制层性能4.●负载模型 : 依然使用OLTP Read/Write (RW)●durability : sync_binlog=1●non-durability : sync_binlog=0测试数据 :设置durability , 数据来自于 Percona54 https:///blog/2017/04/19/performance-improvements-percona-xtradb-cluster-5-7-17/5 https:///blog/2017/04/19/performance-improvements-percona-xtradb-cluster-5-7-设置non-durability , 数据来自于 Percona6测试结果:在负载模型相同的情况下(durability 和non-durability) PXC 5.7.17-29.20性能与 MGR 5.7.17 不分伯仲7. 如果使用PXC, 推荐使用5.7.17-29.20 或以上版本.性能对比3 : 本地存储 / 计算存储分离为了对比本地存储和计算存储分离, 专门使用MGR + 本地存储架构和基于分布式存储的计算存储分离架构做性能对比.测试结果:在负载模型相同的情况下, 前者比后者OLTP下降32.12%, Select下降5.44%, Update下降24.18%, Insert 下降58.18%, Delete下降11.44%;6 https:///blog/2017/04/19/performance-improvements-percona-xtradb-cluster-5-7-17/7因为没有看到 MariaDB 的官方数据, 公平起见, 不做评论.详细内容可留意 @波多野同学和 @韩杰同学的测试报告, 这里不再赘述.基于 Docker + Kubernetes的实现Docker + Kubernetes + MGR / Galera Cluster在github上,可以看到基于Docker + Kuberetes + PXC的demo8. 需要说明的是, 这仅仅是个玩具, 离部署到生产环境还有极大差距.我们已有计划实现满足生产环境的●Docker + Kubernetes + PXC●Docker + Kubernetes + MGC●Docker + Kubernetes + MGR并集成到QFusion 来支持计算存储分离架构和本地存储架构混合部署, 架构示意图如下 :目前原型验证阶段已通过,预计2018年Q2发布.Docker + Kubernetes + Vitess在github上,同样可以看到基于Docker + Kubernetes的 demo9. 有兴趣的同学可以玩一下.性能只是选型需要考量的一部分, 要使用到生产环境或者产品化, 实际要考量的因素更多 :●运维 : 部署, 备份●弹性 : 计算存储扩容, 集群扩容●高可用 : 比如“failover” 的细微差别对业务的影响●容错 : 比如网络对集群的影响, 尤其是在网络抖动或有明显延时的情况下●社区活跃度●…...以现有软硬件的开放程度, 各种架构或者产品狭义上的”黑科技”并不多, 常常看到的xxx 比 xxx 快 xxx 倍严格来说应该是xxx 比 xxx 在特定场景 xxx 下快 xxx 倍.并不存在”一枪毙命”的”Silver Bullet”,只是 Docker + Kubernetes 为混合部署带来可能. 哪种更受青睐, 拭目以待, 用户会是最好的老师.。