网站的高可用架构Availability
本文章来自于阿里云云栖社区
摘要：可用性度量和考核度量用多少个9来表示，表示一年中可用时间的百分比考核可以用如下的表：
可用性度量和考核
度量
用多少个9来表示，表示一年中可用时间的百分比
考核
可以用如下的表：
故障分=故障时间（分钟）* 权重。计入考核
高可用的网站架构
分层架构，每一层都分布式部署。使用冗余和故障转移的方式保证可用性。
- 应用层用负载均衡服务器，能够监测服务器的可用性，把不可能的踢出集群- 服务层使用分布式调用框架dubbo
- 数据库使用同步复制，实现数据冗余。
- 还要考虑升级发布引起的宕机
高可用的应用
?通过负载均衡进行无状态服务的失效转移
集群的session管理
?Session复制，开启web服务器的session复制功能，能够在不同的web服务器之间进行session的同步。适合规模较小的情况
?Session绑定，可以利用负载均衡的源地址hash算法实现，负载均衡服务器总是将同一IP的请求发到同一台服务器上(也可以根据cookie中的用户信息) 。这种显然不高可用
?用cookie记录session 记录大小优先，每次都要用cookie传输影响性能。浏览器可以关闭cookie. 优点是简单，支持服务器扩展。
?session服务器构建独立的session服务器。可以简单的使用分布式缓存进行保留，如果需要继承SSO的话，就可能需要专门的session服务管理平台
高可用的服务
整体来说就是冗余，故障转移，使用分布式调用框架。
- 分级管理0级，1级。更重要的服务，使用更好的设备
- 超时设置不超时会长时间占用服务器资源。可以设置超时策略，重试，还是转移
- 异步调用
- 服务降级高并发时，可以
拒绝服务。随机拒绝部分请求
关闭功能。关闭部分不需要的功能。双十一就是这样干的
- 幂等性设计针对于重试机制。不会出现下两个订单的情况
高可用的数据
数据库高可用使用复制备份和故障转移解决
缓存的高可用作者认为应该使用集群分布式缓存，单点失效只是小部分失效不会造成数据库太大的压力
CAP原理
拂去耐受性(可以线性伸缩)，可用性(随时可读写)，一致性(所有应用访问得到相同的数据)。无法同时满足。
大型网站可能放弃一定的一致性。把一致性细分：
- 强一致性各个副本总是一致的
- 数据用户一致保证终端用户访问时，通过纠错和校验，确定一个一致且正确的数据返回给用户。
- 数据最终一致性同一用户连续访问结果不同。但是系统经过一段时间能够自我恢复和修正。
应该做到用户一致性
数据备份
冷备：无法保证最终一致性和可用性(因为恢复时间太多)
热备：
- 异步热备只写主存储区。异步线程同步写从存储区
- 同步热备同时写主备连个存储区。mysql支持半同步，保证至少有一个备写完。
读写分离也是基于数据备份
失效转移
重新路由的过程
- 失效确认心跳检测和应用程序访问失败报告一般访问失败了还是需要再次发一次心跳，防止误判。
- 访问转移重新路由，如果是对等的，直接路由就行了。但是如果是不对等的，就要根据路由算法，重新算数据等等。
- 数据恢复转移之后修复宕机的服务，然后重新加入集群
高可用的软件质量保证
?网站发布，自动化发布过程，减少人为操作带来的问题
?自动化测试Selenium等。
?预发布通过host访问，没有配置到vip或者负载均衡中。注意不要因为预发布而导致了问题，比如修改了线上的金额等
?代码控制。分支开发主干发布
火车发布模型。注意，可能有重要客人，没他火车就不开
?灰度发布如果发布失败，就要回滚，这个时候，可能会耽误很长时间，因此可以先发灰度组运行一段时间，如果不错，再发剩下的
网站运行监控
监控数据采集
1. 用户行为日志
用户的操作系统，浏览器，ip地址，访问路径，页面停留时间等，用于分析用户行为，优化网站设计，个性化营销与推荐。
o服务器端日志收集开启web容器的日志功能即可。缺点是可能会失真
o客户端浏览器日志手机。需要专门JS脚本
o使用Storm等统计分析工具
2. 服务器性能监控
系统Load,内存，磁盘，IO。等进行预警。目前的开源工具是Ganglia
3. 报告，设置阈值，进行告警
监控管理
采集之后可以对系统性能评估，集群规模伸缩性预测，进行风险预警，自动负载调整等。
主要用来做如下的功能：系统报警，失效转移，自动优雅降级
易扩展高可用的分布式订单系统 架构设计
目录 摘要 (4) 一、简介 (5) 二、业界现状 (6) 三、系统架构 (8) 3.1、交易单元 (9) 3.2、订单号 (9) 3.3、路由信息表 (10) 3.4、代理服务 (11) 3.5、交易单元 (11) 3.6、事务 (12) 3.7、订单重试 (13) 3.8、健康度检查服务 (13) 四、订单流程 (13) 4.1、创建订单 (14) 4.2、更新订单 (15) 4.3、查询订单 (15) 五、架构特性 (16) 5.1、线性扩容 (16) 5.2、故障压缩 (16) 5.3、差异服务 (16) 5.4、冷热分离 (17) 5.5、灰度控制 (17)
5.6、热点均衡 (17) 六、备份、容灾和恢复 (17) 6.1、备份 (17) 6.2、数据一致性 (18) 6.3、容灾 (18) 七、架构缺点及改进 (18) 八、总结 (19)
摘要 伴随着移动互联网的高速发展、中国第三方支付的快速增长，以及丰富的移动支付产品，深刻改变和培育了中国人民的无现金生活方式，也极大的推进了整个社会经济的发展。对于支付宝和微信支付这样的国民应用，海量交易带来的系统可用性问题成了关乎国计民生的问题。作者在2016 年到2018 年有幸参与了微信支付的核心系统的部分开发和改进，也切实感受到支付系统可用性关乎每个产品使用者的产品体验。 支付宝作为国内的另一个电商和支付巨头，他们走出一条自研高可用分布式存储系统的道路，在存储层应对了海量的电商交易和双11 交易海啸的冲击，作者对于支付宝如何解决无状态服务的可用性工作不太了解。本文结合作者在微信支付参与的核心订单系统的可用性治理的相关项目的经验，思考和总结海量交易所带来的扩容、成本、容灾和灰度等问题及解决方案，提出了一种基于MySQL 单机存储引擎，业务和存储强耦的易扩展、高可用的分布式订单系统方案。 本文主要讲述了基于交易单元构建的高可用分布式订单存储系统，交易单元是由无状态服务和有状态存储服务组成的交易单元架构的基本单元，通过交易单元可以实现线性扩缩容的能力；在下单时通过订单重试的操作可以允许一次下单重试更换到可用的交易单元，这样可以应对少数交易单元不可用带来的下单不可用问题；同时基于交易单元的架构也带来了冷热分离、故障压缩、差异服务、热点均衡和灰度控制的能力。基于交易单元化的架构虽然带来很多优点，但同时也造成业务和存储强耦合问题，另外业务开发人员在开发时也需要了解整体架构而不能更加专注业务逻辑，让真正专业的架构师在架构层面进行脱离业务的可用性治理。 关键词- 订单系统、高可用、易扩展、分布式、订单重试、交易单元、海量存储
甲骨文最高可用性架构 骨 最高 用性架构 Maximum Availability Architecture
议程表
? ? ? ? ? 甲骨文简介 高可用性介绍 传 高 用性分析 传统高可用性分析 甲骨文高可用性方案介绍(MAA) 客户成功案例分享
2
Oracle公司概揽
总揽
? ? ? ? ? ? 从08财年收入$22.4B，11财年收入35.6B 在40多项产品或市场领域占据业界第一 320,000客户跨越145国家 10W员工规模 (1 in i 3 joined j i df from acquisition) i iti ) Oracle在线社区上有超过五百万开发者 34年从业经验
革新和创新
? 超过3,000 3 000个产品，拥有 个产品 拥有2,000 2 000多个专利 ? 09财年投入$3B 研发和测试资金 ? 7,500 售后支持人员, 支持27国语言
3
今天的甲骨文公司
? 全球最大的企业软件供应商 ? 数据库市场占有率第一 ? 中间件市场占有率第一 ? 应用软件市场占有率第一 ? 服务器市场占有率第三 ? 开源产品的领军者 ? 虚拟化产品的竞争者 ? 云计算方案供应商
FAST?=?FusionMiddleware Applications System Tech
4
议程表
? ? ? ? ? 甲骨文简介 高可用性介绍 传 高 用性分析 传统高可用性分析 甲骨文高可用性方案介绍(MAA) 客户成功案例分享
5
前台门户网站架构 设计方案 北京宽连十方数字技术有限公司 2012-7
目录 1设计思路 (3) 2系统结构 (3) 3网络规划及性能计算 .................................................................................................. 错误！未定义书签。 3.1网络架构 (8) 3.2网络架构说明 ...................................................................................................... 错误！未定义书签。 3.2.1采用双防火墙双交换机做网络冗余，保障平台服务 (8) 3.2.2采用硬件设备负载均衡器，实现网络流量的负载均衡 (8) 3.3系统测算 .............................................................................................................. 错误！未定义书签。 3.3.1系统处理能力要求 (34) 3.3.2业务处理能力要求 ...................................................................................... 错误！未定义书签。 3.3.3系统话务模型 .............................................................................................. 错误！未定义书签。 3.4配置核算 .............................................................................................................. 错误！未定义书签。 3.4.1数据库服务器性能核算 .............................................................................. 错误！未定义书签。 3.4.2WEB服务器集群性能核算.......................................................................... 错误！未定义书签。 3.4.3WEB服务器集群内存性能核算.................................................................. 错误！未定义书签。 3.4.4网络带宽 (35) 4性能模拟测试及性能推算 .......................................................................................... 错误！未定义书签。 4.1测试环境 .............................................................................................................. 错误！未定义书签。 4.2测试结果 .............................................................................................................. 错误！未定义书签。 4.2.11个客户端模拟不同线和并发请求结果..................................................... 错误！未定义书签。 4.2.210个客户端请求 .......................................................................................... 错误！未定义书签。 4.3结果分析 .............................................................................................................. 错误！未定义书签。 4.4根据测试结果推算 .............................................................................................. 错误！未定义书签。 4.5设备清单 (35) 4.5.1硬件设备配置清单 ...................................................................................... 错误！未定义书签。 4.5.2设备技术规格 .............................................................................................. 错误！未定义书签。 4.6平台扩容的建议 (35)
高可用数据库架构设计标准化管理处编码[BBX968T-XBB8968-NNJ668-MM9N]
MySQL数据库高可用架构设计 目标： MySQL 数据库服务器不受单点宕机的影响，即时 A 服务器挂掉或者磁盘损坏物理故障导致数据库不可用也不会导致整个系统处于不可用状态，因为还有另外一台备用的数据库服务器可以提供服务。派宝箱采取方案双机主从热备 (Mater Slave 模式) 背景： 双机热备的概念简单说一下，就是要保持两个数据库的状态自动同步。对任何一个数据库的操作都自动应用到另外一个数据库，始终保持两个数据库数据一致。这样做的好处: 1. 可以做灾备，其中一个坏了可以切换到另一个。 2. 可以做负载均衡，可以将请求分摊到其中任何一台上，提高网站吞吐量。对于异地热备，尤其适合灾备。 原理： MySQL Replication双机热备 + 每天自动sqldump出物理文件备份 双机主从自动热备实现数据库服务的高可用加sqldump导出数据文件的方式备份。双重保险！ 可能遇到的问题与挑战：
主从数据库数据一致性问题 宕机后主从切换的问题 1 复制概述 Mysql内建的复制功能(MySQL REPLICATION)是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。 请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。 mysql支持的复制类型： （１）：基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。 一旦发现没法精确复制时，会自动选着基于行的复制。 （２）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从开始支持（３）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。 . 复制解决的问题
高并发网站系统架构解决方案 一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。 大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。 上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解决思路具备瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。 1、HTML静态化 其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。 除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。 同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。 2、图片服务器分离
1.需求分析 2.概念结构设计 3.逻辑结构设计 4.物理结构设计 5.数据库的建立和测试 6.数据库运行和维护 《车辆管理系统》数据库设计 班级：11计算机转 学号：1116939040 姓名：王湘萍 一．需求分析 1.1可行性分析 现在随着企业规模的扩大以及车辆作为最为普遍的交通工具，在企业中已经不是单一的存在，由于单位车辆数目的急剧增加，与之相对应的问题随之而生，比如车辆的使用权问题，车辆的费用问题等，不再是简单的少量的数据。为了解决这一系列的问题，我们必须借助于电脑的强大的数据处理能力和存储能力，如此可以减少人力财力来维护这些数据，可以用更少的投入来换取更佳的数据管理。因此，在这样的情况下，开发单位车辆管理系统是可行的，是必要的。如今，MIS开发已经慢慢的驱向成熟，车辆管理系统也有部分开发，但是都还不是十分完善。现今已经开发的车辆管理系统都是针对以运营为主的具有盈利目的的单位。比如，公交管理、出租车管理、运输公司管理、汽车站点的管理，而这些管理最主要是针对盈利的管理，很少有针对各种汽车使用权、车辆调配等各种普通单位，不是以车辆运营为盈利手段的车辆管理，针对这点，此系统就是适合如今大多数企业管理的车辆管理系统。 通过计算机系统对学校进行全面的管理，满足了学校的现代化管理的要求。 1）经济性 ①系统建设不需要很大的投入； ②可缩减人员编制，减少人力费用； ③人员利用率的改进； 2）技术性 ①处理速度快，准确； ②通过权限的设置，数据的安全性好； ③方便查询； ④控制精度或生产能力的提高 3）社会性
①可降低工作人员工作强度，提高效率，会得到上下员工的一致同意的； ②可引进先进的管理系统开发方案，从而达到充分利用现有资源 1.2需求分析 现代信息技术特别是计算机网络技术的飞速发展，使我们的管理模式产生了质的飞跃，网络化管理将成为信息时代的重要标志和组成部分。探索、研究并构建适宜于在计算机网络环境下的管理模式，是我们责无旁贷的使命。 通过调查，要求系统需要具有以下功能： 1）由于操作人员的计算机知识普遍较差，要求有良好的人机界面。 2）由于该系统的使用对象多，要求有较好的权限管理。 3）方便的数据查询，支持多条件查询。 4）基础信息管理与查询（包括车辆信息、用车记录、部门信息）。 5）通过计算机，能够直接“透视”仓库存储情况。 6）数据计算自动完成，尽量减少人工干预。 7）系统退出。 1.3 系统的模型结构 该系统的模型结构如图2.1所示: 图2.1 系统的模型结构 1.4业务流程分析
一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。 大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。 上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解决思路具备瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。 1、HTML静态化 其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS，像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。 除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进行实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像Mop的大杂烩就是使用了这样的策略，网易社区等也是如此。 同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比如论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进行后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这部分内容进行后台更新的时候进行静态化，这样避免了大量的数据库访问请求。
大型网站高并发架构与自动化运维实战 运维工程师解决的问题？ 1、1000台服务器规模，JAVA和PHP混合环境，如何构建一套高效的从测试环境代码测试到正式环境的代码发布、回滚以及软件更新、配置变更的可实施的解决方案及规范流程制度？ 2、电商秒杀：前10秒100万并发抢购，请设计个方案解决之？ 3、6个机房，近1000台服务器如何设计一套所有账号统一管理的解决方案？ 4、不考虑硬件资源及带宽，请设计一套可行的网站架构，解决大流量DDOS攻击问题，请分层逐一详细说明？ 5、500台服务器规模，如何实现跨机房容灾，即一个机房宕机，其他机房可以最快接管提供服务 什么是运维工程师？ 一个互联网产品的上线流程 1、首先公司管理层给出指导思想，PM定位市场需求（或copy成熟应用）进行调研、分析、最终给出详细设计。 2、架构师根据产品设计的需求，如pv大小预估、服务器规模、应用架构等因素完成网络规划,架构设计等（基本上对网络变动不大，除非大项目） 3、开发工程师将设计code实现出来、测试工程师对应用进行测试。 4、好，到运维工程师出马了，首先明确一点不是说前三步就与运维工作无关了，恰恰相反，前三步与运维关系很大：应用的前期架构设计、软/硬件资源评估申请采购、应用设计性能隐患及评估、IDC、服务性能\安全调优、服务器系统级优化（与特定应用有关）等都需运维全程参与，并主导整个应用上线项目；运维工程师负责产品服务器上架准备工作，服务器系统安装、网络、IP、通用工具集安装。运维工程师还需要对上线的应用系统架构是否合理、是否具备可扩展性、及安全隐患等因素负责，并负责最后将产品（程序）、网络、系统三者进行拼接并最优化的组合在一起，最终完成产品上线提供用户使用，并周而复使：需求->开发（升级）->测试->上线（性能、安全问题等之前预估外的问题随之慢慢就全出来了）在这里提一点：网站开发模式与传统软件开发完全不一样，网站一天开发上线1~5个升级版本是家常便饭，用户体验为王嘛，如果某个线上问题像M$ 需要1年解决，用户早跑光了；应用上线后，运维工作才刚开始，具体工作可能包括：升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障处理、服务日常变更调整、集群管理、服务性能评估优化、数据库管理优化、随着应用PV增减进行应用架构的伸缩、安全、运维开发。
英方软件数据库系统高可用解决方案 英方软件（上海）有限公司
目录 1. 概述 (1) 2. 需求分析 (2) 3.1主机配置 (3) 3.2方案拓扑图： (3) 3.3 I2高可用方案功能介绍 (4) 3.4管理控制台 (7) 5. I2的主要优势 (10) 6. 典型案例 (12) 7.公司简介 (13)
1. 概述 现代大型企业大多拥有为数众多的服务器，提供Internet与Intranet使用者各种不同的服务。如数据库系统、影像系统、录音系统、Email系统等。保持业务的持续性是当今企业用户进行数据存储需要考虑的一个重要方面。系统故障的出现，可能导致生产停顿，客户满意度降低，甚至失去客户，企业的竞争力也大打折扣。因此，保持业务的持续性是用户在选择计算机系统的重要指标。究其根本，保护业务持续性的重要手段就是提高计算机系统的高可靠性同时将数据的损失降至最低限度。 关键数据和数据库的备份操作已经成为日常运行处理的一个组成部分，以确保出现问题时及时恢复重要数据。传统的解决方案,类似于磁带机备份存在较大的缺点. 通常数据采用磁带离线备份，当数据量较大或突发灾难发生时，备份磁带无法真正及时快速恢复数据及业务。 提供有效的数据保护和高可用性服务,又在合理预算范围之内,并且能够基于你现有环境当中,获得实时数据保护,并无距离限制,为确保你重要数据的保护----包含数据库和邮件系统。I2为您提供了完美的解决方案。 I2 采用先进的异步实时数据复制技术(Asychronous Real-Time Data Replication)，立即将所有服务器上对于磁盘系统的变更透过网络传输至备援服务器，而非整个档案或磁盘的镜设(Mirror)，因此对于服务器的效能与网络带宽的影响都能降至最低，并能将成本降至最低，做到真正的实时数据保护. 业务数据是用户最宝贵的资产之一，数据的损失就是企业资产利润的损失，所以保护业务数据是企业计算系统的主要功能之一。实施I2的备份方案可以将用户数据的损失降至最低甚至为零。
数据库架构设计与实践
一、用户中心 用户中心是一个常见业务，主要提供用户注册、登录、信息查询与修改的服务，其核心元数据为：User(uid, uname, passwd, sex, age,nickname, …) 其中： ?uid为用户ID，主键 ?uname, passwd, sex, age, nickname, …等为用户的属性 数据库设计上，一般来说在业务初期，单库单表就能够搞定这个需求。 二、图示说明 为了方便大家理解，后文图片说明较多，其中： ?“灰色”方框，表示service，服务 ?“紫色”圆框，标识master，主库 ?“粉色”圆框，表示slave，从库 三、单库架构
最常见的架构设计如上： ?user-service：用户中心服务，对调用者提供友好的RPC接口?user-db：一个库进行数据存储 四、分组架构 什么是分组？ 答：分组架构是最常见的一主多从，主从同步，读写分离数据库架构：?user-service：依旧是用户中心服务 ?user-db-M(master)：主库，提供数据库写服务 ?user-db-S(slave)：从库，提供数据库读服务 主和从构成的数据库集群称为“组”。
分组有什么特点？ 答：同一个组里的数据库集群： ?主从之间通过binlog进行数据同步 ?多个实例数据库结构完全相同 ?多个实例存储的数据也完全相同，本质上是将数据进行复制 分组架构究竟解决什么问题？ 答：大部分互联网业务读多写少，数据库的读往往最先成为性能瓶颈，如果希望：?线性提升数据库读性能 ?通过消除读写锁冲突提升数据库写性能 ?通过冗余从库实现数据的“读高可用” 此时可以使用分组架构，需要注意的是，分组架构中，数据库的主库依然是写单点。一句话总结，分组解决的是“数据库读写高并发量高”问题，所实施的架构设计。 五、分片架构
可适应高并发的城市级智慧平台系统架构设计策略应用 发表时间：2018-10-15T17:17:20.863Z 来源：《防护工程》2018年第13期作者：袁华辉[导读] 城市级智慧服务（管理）平台对于提升城市智能化水平、提高政府城市管理效率，方便市民具有较大意义 袁华辉 武汉市城投停车场投资建设管理有限公司湖北武汉 430015 摘要:城市级智慧服务（管理）平台对于提升城市智能化水平、提高政府城市管理效率，方便市民具有较大意义。好的城市智慧平台必须具有较强的安全性、稳定性以及应对高并发的能力。本文从实用的角度介绍城市级平台在架构设计中的技巧和策略，侧重提供了适应高并发的系统架构设计解决方案。 关键词:高并发、智慧系统、架构设计 一、QPS是城市智慧系统架构设计的重要因素 搭建城市级的智慧应用系统，必须考虑大量用户同时使用客户端访问系统平台的极端情况。除了考虑系统的安全性、稳定性等因素外，系统架构的设计依据必须基于QPS（每秒请求数），以提高系统应对突然的高并发性可能性。不同的QPS对系统架构设计等技术要求原则如下： 50QPS以下——小网站 服务器性能稳定即可。 50～100QPS——DB极限型 须加强数据访问设计、代码优化，读写必须分离。 300～800QPS——带宽极限型 采取上缓存，多机负载均衡措施等。 500～1000QPS——内网带宽极限＋Memcache极限型采取数据分离、服务器集群、NOSQL措施。 1000～2000QPS——锁模式极限型 锁的问题会成为最大的瓶颈。要求系统中不能存在中央节点，所有的数据都必须分布存储、分布处理。 2000QPS以上——C10K极限 必须业务分离、分散QPS。 二、系统架构设计 （一）根据QPS选定架构模式 对于城市级应用系统而已必将免得大量的访问量、按照一般二线城市600万人口来计算，使用率每日可能达到1200万次。平均每日请求为每分钟8000次请求。安装业务进行估算：比如城市级智慧停车应用，高峰集中在上午7点30到9点半。下午的5点到7点这几个时间段。高峰期内平均每分钟请求约为10w次。QPS=1667，属于锁模式极限型，须采用分布式架构。 （二）应用服务器集群改善并发处理能力 单一的服务器由于系统、硬件等约束出来处理能力是非常有限的，所以我们需要我们应用能够横向扩展，向外扩展，也就就是Scale Out。 这是一个常规的分布式架构。通过负载代理到不同的服务器中，同时将文件、数据进行了分开部署。实测时，我们发现文件服务器和数据服务器压力还是非常大，需要进一步优化。 （三）使用缓存改善性能 随着对数据请求增多、用户量增多，数据库压力会慢慢凸显出来，访问延迟也就浮显出来。通常就简单的做法是采用缓存技术。其中在日常数据运用上，大部分的业务访问都集中小部分的数据上。可以将经常访问的数据缓存在内存中，这样可以减少数据库的访问压力。 \ 目前，我们的措施很大程度上提高了数据的响应时间。有了这些基本保障，下面就要着重解决锁的问题。锁主要有2类来源，一个文件读取和写入，一个数据库的读取和写入。解决锁的问题，也就是解决文件和数据问题。 （四）数据库读写分离 即使有缓存的支持，但若缓存过期、或者没有读取到缓存数据以及所有写操作还是需要访问数据库。为减轻数据库压力，故可将读、写操作分开，设计主数据库和从数据库。主数据库进行写的操作，从数据库响应所有的查询操作。主数据库每次完成了新的操作后，将数据同步到从数据库中（同步方法很多，在这里就不详细叙述了）。
可扩展、高可用、负载均衡网站架构设计方案 2009-06-08 13:22 差不多需求: 1、高可用性：将停止服务时刻降低到最低甚至是不间断服务 2、可扩展性：随着访问的增加，系统具备良好的伸缩能力 3、可视性：系统、服务的状态处于一个实时的监控之下 4、高性能高可靠性：通过优化的体系结构及合理的备份策略 5、安全性：结构上的安全及主机的安全策略 差不多思路 1、关于访问频繁，用户量大的对象（bbs,blog）采纳某种合理的方式负载到多个 服务器上。把数据库独立出来，预备2套mysql数据库，以实现主从复制，即减轻负载，又提高了可靠性。更近一步，使用mysql proxy技术，实现主从服务器的读写分离，大大提高那个系统的性能和负载能力。 2、数据库与外部网络隔离，只同意web服务器（bbs,blog等）通过私有地址方 式访问。如此就提高了数据库的安全性，同时也节约了宝贵的带宽。 3、部署监控系统，通过监控主机存活、服务、主机资源，实时把系统的健康状 态置于可视状态，对系统的运营状态心中有数。 4、备份是想都不用想的情况，使用单独的服务器集中备份，是一个比较不错的 主意。 拓扑结构
业务逻辑
技术实现 1、负载均衡。2台同样配置的linux服务器，内核支持lvs,配置keepalived工具，即可实现负载转发。一旦其后的真实服务器出现故障，keepalived会自动把故障机器从转发队列删除掉，等到故障修复，它又会自动把真实服务器的地址加入转发列表。由于lvs支持会话保持，因此关于bbs 如此的应用，一点也不用担心其登录丢失。 2、mysql主从复制。即保证数据的安全，又提高了访问性能。我们在前端的每个web服务器上加入mysql proxy那个工具，即可期待实现读写的自动分离，让写的操作发生在主数据库，让查询这类读操作发生在从数据库。 3、nagios是一个开源的，受广泛欢迎的监控平台。它可对主机的存活、系统资源（磁盘空间、负载等）、网络服务进行实时监控。一旦探测到故障，将自动发送邮件（短信）通知故障。 4、备份。包括web数据和数据库服务器的备份。关于web服务而言，GNU tar 即可实现备份的一切愿望。简单的设置一下crontab 就能够让系统在我们做梦的时刻老老实实的帮我们备份了。然而，由于空间的限制，不可能一直备份下去，因此要做一个合适的策略，以不断的用新的备份去替换陈旧的备份数据；多少天合适？看磁盘容量吧。关于数据库，先mysqldump一下，再tar.完成这些工作后把备份文件传输到备份服务器集中。一个比较省事的方法是把备份服务器以NFS 方式挂接到web服务器及数据库服务器。
SQL server高可用方案 一、高可用的类型 ●AlwaysOn 高可用性解决方案，需要sql server 版本在2012以上 SQL Server AlwaysOn 即“全面的高可用性和灾难恢复解决方案”。客户通过使用AlwaysOn 技术，可以提高应用管理方面的工作。 SQL Server AlwaysOn 在以下2个级别提供了可用性。 *数据库级可用性 是一种“热备份”技术。在同步提交模式下，主副本的数据被同步更新到其他辅助副本，主副本与辅助副本之间可以时，辅助副本可以立即成为新的主副本。 *实例级可用性 AlwaysOn 故障转移群集实例（Failover Cluster Instance，简称FCI）可以在多个16个节点之间实现故障转移（版只支持2个节点。 当主节点发生故障时，辅助节点提升为主节点并获取共享存储中的数据，然后才在这个新的主节点服务器中启动FCI 是一种“冷备份”技术。辅助节点并不从主节点同步数据，唯一的一份数据被保存在共享存储（群集共享磁盘）●日志传送 日志传送依赖于传统的Windows 文件复制技术与SQL Server 代理。 主数据库所做出的任何数据变化都会被生成事务日志，这些事务日志将定期备份。然后备份文件被辅助数据库所属最后事务日志备份在辅助数据库中进行恢复，从面实现在两个数据库之间异步更新数据。 当主数据库发生故障时，可以使辅助数据库变成联机状态。可以把每一个辅助数据库都当作“冷备用”数据库
●其它辅助技术 对数据库进行备份，当出现故障时，手动将数据还原到服务器，使得数据库重新联机，这也可以算作实现高可用性复制（Replication）并不算是一个高可用性解决方案，只是它的功能可以实现高可用性。复制通过“发布-订阅”模式服务器间实现可用性。 SQL server复制 定义及应用：数据库间复制和分发数据和数据库对象，然后在数据库间进 过局域网和广域网、拨号连接、无线连接和Internet 将数据分配到不同位sql server复制分成三类： 事务复制通常用于需要高吞吐量的服务器到服务器方案（包括：提高可伸 点的数据、集成异类数据以及减轻批处理的负荷）。 合并复制主要是为可能存在数据冲突的移动应用程序或分步式服务器应用 交换数据、POS（消费者销售点）应用程序以及集成来自多个站点的数据 快照复制用于为事务复制和合并复制提供初始数据集；在适合数据完全刷二、高可用的服务器配置： 如果只是需要复制方式，则搭建两台相同硬件配置和操作系统版本与补丁 如果需要AlwaysOn 高可用方式，即出现故障后系统自动进行切换到备用 服务器、从服务器)相同硬件配置和操作系统版本与补丁、相同数据库版本三、各种实现方式的对比 下表将SQL Server 常用的高可用性解决方案进行综合对比。
微服务系统和数据库设计方案 1.微服务本质 微服务架构从本质上说其实就是分布式架构，与其说是一种新架构，不如说是一种微服务架构风格。 简单来说，微服务架构风格是要开发一种由多个小服务组成的应用。每个服务运行于独立的进程，并且采用轻量级交互。多数情况下是一个HTTP的资源API。这些服务具备独立业务能力并可以通过自动化部署方式独立部署。这种风格使最小化集中管理，从而可以使用多种不同的编程语言和数据存储技术。 对于微服务架构系统，由于其服务粒度小，模块化清晰，因此首先要做的是对系统整体进行功能、服务规划，优先考虑如何在交付过程中，从工程实践出发，组织好代码结构、配置、测试、部署、运维、监控的整个过程，从而有效体现微服务的独立性与可部署性。 本文将从微服务系统的设计阶段、开发阶段、测试阶段、部署阶段进行综合阐述。 理解微服务架构和理念是核心。 2.系统环境
3.微服务架构的挑战 可靠性： 由于采用远程调用的方式，任何一个节点、网络出现问题，都将使得服务调用失败，随着微服务数量的增多，潜在故障点也将增多。 也就是没有充分的保障机制，则单点故障会大量增加。 运维要求高： 系统监控、高可用性、自动化技术 分布式复杂性： 网络延迟、系统容错、分布式事务 部署依赖性强： 服务依赖、多版本问题 性能（服务间通讯成本高）： 无状态性、进程间调用、跨网络调用 数据一致性： 分布式事务管理需要跨越多个节点来保证数据的瞬时一致性，因此比起传统的单体架构的事务，成本要高得多。另外，在分布式系统中，通常会考虑通过数据的最终一致性来解决数据瞬时一致带来的系统不可用。 重复开发： 微服务理念崇尚每个微服务作为一个产品看待，有自己的团队开发，甚至可以有自己完全不同的技术、框架，那么与其他微服务团队的技术共享就产生了矛盾，重复开发的工作即产生了。 4.架构设计 4.1.思维设计 微服务架构设计的根本目的是实现价值交付，微服务架构只有遵循DevOps理念方可进行的更顺畅，思维方式的转变是最重要的。
前言 高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等。 为了让业务可以流畅的运行并且给用户一个好的交互体验，我们需要根据业务场景预估达到的并发量等因素，来设计适合自己业务场景的高并发处理方案。 在电商相关产品开发的这些年，我有幸的遇到了并发下的各种坑，这一路摸爬滚打过来有着不少的血泪史，这里进行的总结，作为自己的归档记录，同时分享给大家。 服务器架构 业务从发展的初期到逐渐成熟，服务器架构也是从相对单一到集群，再到分布式服务。 一个可以支持高并发的服务少不了好的服务器架构，需要有均衡负载，数据库需要主从集群，nosql缓存需要主从集群，静态文件需要上传cdn，这些都是能让业务程序流畅运行的强大后盾。 服务器这块多是需要运维人员来配合搭建，具体我就不多说了，点到为止。 大致需要用到的服务器架构如下： ?服务器 o均衡负载(如：nginx，阿里云SLB) o资源监控 o分布式 ?数据库 o主从分离，集群 o DBA 表优化，索引优化，等 o分布式 ?nosql o redis ?主从分离，集群 o mongodb ?主从分离，集群 o memcache ?主从分离，集群 ?cdn o html o css o js o image
高并发相关的业务，需要进行并发的测试，通过大量的数据分析评估出整个架构可以支撑的并发量。 测试高并发可以使用第三方服务器或者自己测试服务器，利用测试工具进行并发请求测试，分析测试数据得到可以支撑并发数量的评估，这个可以作为一个预警参考，俗话说知己自彼百战不殆。 第三方服务: ?阿里云性能测试 并发测试工具： ?Apache JMeter ?Visual Studio性能负载测试 ?Microsoft Web Application Stress Tool 实战方案 通用方案 日用户流量大，但是比较分散，偶尔会有用户高聚的情况； 场景：用户签到，用户中心，用户订单，等 服务器架构图： 说明： 场景中的这些业务基本是用户进入APP后会操作到的，除了活动日(618,双11，等)，这些业务的用户量都不会高聚集，同时这些业务相关的表都是大数据表，业务多是查询操作，所以我们需要减少用户直接命中DB的查询；优先查询缓存，如果缓存不存在，再进行DB查询，将查询结果缓存起来。 更新用户相关缓存需要分布式存储，比如使用用户ID进行hash分组，把用户分布到不同的缓存中，这样一个缓存集合的总量不会很大，不会影响查询效率。
双节点数据库负载均衡解决方案 问题的提出？ 在SQL Server数据库平台上，企业的数据库系统存在的形式主要有单机模式和集群模式（为了保证数据库的可用性或实现备份）如：失败转移集群（MSCS）、镜像（Mirror）、第三方的高可用（HA）集群或备份软件等。伴随着企业的发展，企业的数据量和访问量也会迅猛增加，此时数据库就会面临很大的负载和压力，意味着数据库会成为整个信息系统的瓶颈。这些“集群”技术能解决这类问题吗？SQL Server数据库上传统的集群技术 Microsoft Cluster Server(MSCS) 相对于单点来说Microsoft Cluster Server(MSCS)是一个可以提升可用性的技术，属于高可用集群，Microsoft称之为失败转移集群。 MSCS 从硬件连接上看，很像Oracle的RAC，两个节点，通过网络连接，共享磁盘；事实上SQL Server 数据库只运行在一个节点上，当出现故障时，另一个节点只是作为这个节点的备份； 因为始终只有一个节点在运行，在性能上也得不到提升,系统也就不具备扩展的能力。当现有的服务器不能满足应用的负载时只能更换更高配置的服务器。 Mirror 镜像是SQL Server 2005中的一个主要特点，目的是为了提高可用性，和MSCS相比，用户实现数据库的高可用更容易了，不需要共享磁盘柜，也不受地域的限制。共设了三个服务器，第一是工作数据库（Principal Datebase），第二个是镜像数据库（Mirror），第三个是监视服务器（Witness Server，在可用性方面有了一些保证，但仍然是单服务器工作；在扩展和性能的提升上依旧没有什么帮助。
互联网开放平台的高可用架构
京麦是京东商家的多端开放式工作平台，是京东十万商家唯一的店铺运营管理平台，为京东商家提供在移动和桌面端的操作业务，京麦本身是一个开放的端体系架构，由京东官方和ISV 为商家提供多样的应用服务。 京麦开发平台是京东系统与外部系统通讯的重要平台，技术架构从早期的单一Nginx+Tomcat 部署，到现在的单一职责，独立部署，去中心化，以及自主研发了JSF/HTTP 等多种协议下的API 网关、TCP 消息推送、APNs 推送、降级、限流等技术。 京麦开放平台每天承载海量的API 调用、消息推送，经历了4 年京东618 的流量洗礼。本文将为您揭开京麦开放平台高性能API 网关、高可靠的消息服务的技术内幕。 高性能API 网关 京东内部的数据分布在各个独立的业务系统中，包括订单中心、商品中心、商家中心等，各个独立系统间通过JSF（Jingdong Service Framework）进行数据交换。而API 网关基于OAuth2 协议提供，ISV 调用是通过HTTP 的JSON 协议。
1. 网关防御校验：这里包含降级和限流，以及多级缓存等，进行数据正确性校验； 2. 网关接入分发：网关分发会根据网关注册中心的数据进行协议解析，之后动态构建调用实例，完成服务泛化调用。 API 网关是为了满足618 高并发请求下的应用场景，网关在服务调度、身份授权、报文转换、负载与缓存、监控与日志等关键点上进行了针对性的架构优化。 API 元数据统一配置 API 的调用依赖对元数据获取，比如API 的字段信息、流控信息、APP 密钥、IP 白名单等、权限配置等。在618 场景下，元数据获取性能是API 网关的关键点。基于DB 元数据读取是不可取的，即使对DB 做分库分表处理也不行，因为DB 就不是用来抗量的。 其次，要考虑到元数据的更新问题，定时的轮训更新会产生极大延迟性，而且空轮训也是对系统资源的极大浪费，采用MQ 广播通知不失为一种解决办法，但MQ 仅仅解决数据同步的问题，数据缓存在集群里服务如何保证数据一致性和数据容灾，又极大的增加了系统复杂度。