下载文档原格式
HSF基础知识介绍HSF（Hadoop Streaming on Frameworks）是阿里巴巴基于Hadoop Streaming技术，开发的分布式计算框架。
HSF旨在简化开发者在海量数据处理时的工作，提供高性能的计算能力和简单易用的编程模型。
以下是对于HSF基础知识的介绍。
1.HSF架构HSF是一个分布式计算框架，主要由以下几个组件构成：Job Scheduler、Master、Worker、Task和Split。
Job Scheduler负责调度工作和资源管理，Master是Job Scheduler的主节点，Worker是Job Scheduler的工作节点。
Task是计算任务的基本单元，Split是数据的划分单元。
2.编程模型HSF提供了简单易用的编程模型，开发者可以通过编写Map和Reduce 函数来进行数据处理任务。
Map函数对输入的数据进行处理，将其转化为键值对形式的中间结果；Reduce函数之间对Map函数的输出结果进行合并和计算，生成最终的输出结果。
开发者只需关注Map和Reduce函数的实现，而无需考虑分布式计算和数据处理的细节。
3.数据划分和分布式计算HSF将输入数据划分为多个Split，每个Split由一个或多个文件组成。
Job Scheduler将Splits分配给不同的Worker，每个Worker上运行一个或多个Task。
Worker上的Task并行处理各自被分配到的Splits，Map函数负责将输入数据划分为键值对，Reduce函数负责对Map函数的输出结果进行合并和计算。
分布式计算的过程由Job Scheduler进行管理和协调，确保任务的高效执行。
4.高性能计算HSF采用了一系列优化策略来提高计算性能。
首先，HSF利用了数据本地性原理，将计算任务尽量分发到与数据所在位置相近的Worker节点上执行，减少了数据传输所带来的开销。
其次，HSF使用了基于内存的计算模型，将中间结果缓存在内存中，减少了磁盘IO的开销。
架构知识体系架构是指在设计和搭建软件系统时所采用的框架和结构。
它涉及到系统的组织、模块化、分层、交互和性能等方面。
架构知识体系是指构建和理解软件架构所需的知识和概念的集合。
在本文中，我们将介绍架构知识体系的重要性以及构建一个完整的架构知识体系所需的关键要素。
首先，了解架构知识体系的重要性对于软件开发人员和架构师来说是至关重要的。
一个完整的架构知识体系可以帮助开发人员更好地理解和应用现有的架构模式和设计原则，从而提高系统的质量和性能。
它还可以帮助架构师更好地规划和设计系统，确保系统的可靠性、可维护性和可扩展性。
构建一个完整的架构知识体系需要包括以下关键要素：1. 架构设计原则：架构设计原则是构建一个稳定、高效和可维护系统的基础。
这些原则包括单一职责原则、开闭原则、依赖倒置原则等。
了解和应用这些原则可以帮助开发人员在设计系统时做出合理的决策，并避免常见的设计陷阱。
2. 架构模式：架构模式是在特定情境下常见的解决方案。
常见的架构模式包括分层架构、微服务架构、事件驱动架构等。
了解这些模式的特点和适用场景可以帮助架构师在设计系统时选择合适的模式，并充分发挥模式的优势。
3. 分布式系统设计：随着云计算和大数据的兴起，分布式系统设计变得越来越重要。
了解分布式系统的概念、架构和设计原则可以帮助架构师设计高可用、高性能和可扩展的分布式系统。
4. 性能优化：性能是一个系统的重要指标。
了解性能优化的方法和工具可以帮助开发人员发现和解决系统性能问题，并提高系统的响应速度和吞吐量。
5. 安全性设计：在当今的数字化时代，系统的安全性是至关重要的。
了解安全性设计的原则和方法可以帮助架构师设计和构建安全的系统，并保护系统免受各种安全威胁。
6. 项目管理和团队合作：在实际的项目开发中，项目管理和团队合作是至关重要的。
了解项目管理的方法和工具可以帮助架构师在项目中合理分配资源和管理进度。
同时，团队合作的能力也是架构师必备的技能之一。
学习分布式系统需要怎样的知识
学习分布式系统需要掌握以下知识：
1. 计算机基础知识：包括计算机体系结构、操作系统原理、网络通信原理等基础知识，对计算机硬件和软件有一定的了解。
2. 数据结构与算法：掌握常见的数据结构和算法，如链表、树、图、排序算法等，能够灵活地选择和应用合适的数据结构和算法解决问题。
3. 分布式系统理论：了解分布式系统的基本原理和概念，如分布式计算、一致性、容错性、负载均衡等，熟悉分布式系统的架构和设计模式。
4. 编程语言和编程技能：掌握至少一门编程语言，如Java、Python、C++等，并具备良好的编程能力，能够开发和调试分布式系统的相关代码。
5. 数据库知识：熟悉数据库的基本概念和操作，了解SQL和NoSQL数据库的特点与应用场景，具备在分布式环境下处理数据的能力。
6. 操作系统和网络知识：了解操作系统和网络的基本原理，熟悉常用的操作系统和网络协议，能够进行系统和网络调优。
7. 容器和虚拟化技术：了解容器和虚拟化的基本原理和常用技术，如Docker、Kubernetes等，能够构建和管理分布式系统的容器化环境。
8. 性能调优和故障诊断：具备分析和优化分布式系统性能的能力，能够诊断和解决分布式系统中的常见故障和问题。
9. 分布式存储和计算技术：掌握分布式存储和计算技术，如分布式文件系统、分布式数据库、大数据处理等，了解相关的开源工具和框架。
10. 分布式系统安全：了解分布式系统的安全问题和解决方案，如身份认证、数据加密、访问控制等，具备保护分布式系统安全的能力。
以上是学习分布式系统所需要的基本知识，学习过程中还需要进行实际开发和实验，通过实践提升对分布式系统的理解和应用能力。
《分布式计算架构与应用》课程教学大纲分布式计算架构与应用课程教学大纲课程信息- 课程名称：分布式计算架构与应用- 课程代码：DCA001- 学分：3- 先修课程：计算机原理、操作系统、数据结构与算法- 授课语言：中文- 授课方式：课堂讲授、实践操作与练课程教学目标本课程旨在使学生掌握分布式计算架构的基本概念、原理以及应用实践，并具备分布式计算系统的设计与实现能力。
通过本课程的研究，学生将能够：1. 理解分布式计算的定义、特点以及发展趋势。
2. 掌握分布式计算的基本架构和模型，包括集中式、对等式和混合式架构。
3. 熟悉分布式计算的常见技术，如远程过程调用（RPC）、消息队列（Message Queue）、分布式文件系统等。
4. 理解分布式计算的挑战与解决方案，如网络延迟、数据一致性、故障容错等。
5. 能够分析和设计分布式计算系统，包括系统架构、通信模型、数据存储与处理等方面。
6. 具备分布式计算系统的实现与应用能力，并能够参与实际项目的开发与调试。
课程内容与安排第1周：分布式计算导论- 分布式计算的定义、基本概念与特点- 分布式计算的发展历程与应用领域- 分布式计算的优势与挑战第2周：分布式计算架构与模型- 集中式架构、对等式架构和混合式架构- 分布式计算模型：Client/Server、Master/Slave、Peer-to-Peer 等第3周：远程过程调用（RPC）- 远程过程调用的基本原理与实现- 常见的RPC框架：gRPC、Apache Thrift等- 实验：使用RPC实现简单的分布式计算任务第4周：消息队列（Message Queue）- 消息队列的概念与应用场景- 基于消息队列的分布式计算模式- 开源消息队列系统的使用：RabbitMQ、Apache Kafka等第5周：分布式文件系统- 分布式文件系统的基本概念与架构- 常见的分布式文件系统：Hadoop HDFS、Ceph等- 实验：构建分布式文件系统集群并进行文件读写操作第6周：数据一致性与分布式事务- 数据一致性的概念与分类- 分布式事务的基本原理与实现方式- CAP定理与ACID特性的权衡第7周：故障容错与负载均衡- 分布式系统中的故障类型与处理策略- 负载均衡的原理与算法- 实验：使用负载均衡算法优化分布式计算任务的执行效率第8周：分布式计算的安全与隐私- 分布式计算中的安全问题与威胁- 隐私保护与数据加密在分布式计算中的应用- 实验：设计安全的分布式计算系统并进行数据保护实践课程评估方式- 平时作业：30%- 期中考试：20%- 期末项目：30%- 课堂参与度：20%参考教材- 《分布式系统原理与范型》（马润聪等著）- 《分布式计算系统》（姜承尧等著）- 《分布式系统：原理与范型》（袁春风等著）以上为本课程《分布式计算架构与应用》的教学大纲，请同学们按照教学进度进行学习和实践，祝您学有所获！。
架构师需要具备的知识体系前⾔：哲学家常思考的问题：" 我是谁？"" 我从哪⾥来？"" 要到哪⾥去？不只是哲学家，我想每个⼈都有⾃⼰对这三个问题的认知。
如果我们要成为架构师，我们⾃⼰要⾯临的三⼤问题：找准⾃⼰定位：我是谁？在哪⾥？怎样做好架构师：我要做什么？如何搭建架构师知识体系：我该怎么做？这⾥⾯就是做事⽅法论：⽬标（我要做什么），⽅法（计划）（我该怎么做）, 执⾏/⾏动要成为优秀合格的架构师，必须具备前瞻性的眼光和系统性的思考能⼒。
⽽拥有这些能⼒的前提是你必须完善⾃⼰的知识体系。
互联⽹思维不是⼯具，它是世界观。
这篇⽂章之后，你可以尝试构建⾃⼰的知识体系了。
愿每个⼈都可以像⼀个U盘⼀样，⾃带系统随处插拔。
愿每个⼈都可以和别⼈不⼀样。
⼀、通⽤技能表1、做事⽅法论：⽬标、⽅法、执⾏。
我是谁：思维⽅式，不将就认真做事的⼈如何做事：1）整体把握，找到⽅法论（解决⽅案），2）思路：分⽽治之，优先排列，计划进⾏（排期完成）。
3）及时沟通，反馈，勇于承担责任4）团队意识成长：1）和优秀的⼈在⼀起2）不断学习充电完成定义：了解基础原理，⾃测通过，及时跟踪反馈问题，⽂档更新做⼀个靠谱的⼈：“凡事有交代，件件有着落，事事有回⾳。
”2、思维结构：《⾦字塔原理》《结构化思维》系统思维3、⽂档能⼒：熟练使⽤excel，ppt4、协作类似Trello的在线协同平台Slack微信例会5、沟通能⼒：6、业务能⼒：该⾏业和本公司的业务逻辑7、计划推进：质量控制、进度控制、⼈员组织、资源协调。
1)、能够有效的组织各类资源，通过说服、协调等⽅式得到相关部门或⼈员的⽀持，以使计划顺利的推⾏下去；2)、说服⼒、协调⼒、推动⼒、监控与反馈8、项⽬管理能⼒架构评审代码规范代码 Review看板管理SCRUM敏捷开发极限编程（XP）结对编程FMEA管理模式⼆、专业技能表1、基础知识计算基础计算机原理数据结构和常⽤算法操作系统:进程,线程,内存⽹络TCP/IP协议TCP/IP⽹络模型HTTP协议原理⽹络IO模型Socket⽹络编程2、编程语⾔javajava基础类库、异常JVM原理和调优《深⼊理解java虚拟机》《java性能优化权威指南》框架并发《java并发编程实战》多线程php异常常⽤框架phpphp基础常⽤框架异常处理机制深⼊php内核3、程序设计⾼质量编码能⼒:重⽤性低耦合可扩展性可维护性⾼性能安全性⾼⾯向对象编程:MVC编程思想掌握建模语⾔和建模⼯具：UML⾯向对象思想设计模式:基础设计模式和设计原则:单⼀职责、开放封闭原则等.常⽤设计模式重构4、研发能⼒瀑布模型：需求->需求分析->设计->开发->测试->上线->运维/运营调试和解决问题能⼒敏捷思想：快速迭代，任务细分，wiki更新5、安全知识web安全：xss，sql注⼊，ddos攻击安全维度：漏洞，风险，事件https协议安全书：《⿊客攻防技术宝典（Web实战篇）》《⽩帽⼦讲Web安全》《Web前端⿊客技术揭秘》《Web之困》《SQL注⼊攻击与防御》6、Linux知识7、运维能⼒监控持续集成：jenkins⾃动化运维⼯具：ansible，saltstack虚拟化：kvm,vm容器docker云技术openstackDevOps8、数据库基础理论数据库设计的三⼤范式mysql引擎:InnoDBMyISAMNoSQL:redis/mongo9、常⽤应⽤软件Web server:NginxOpenRestyApache HttpdTomcat:架构原理,调优⽅案Jetty消息队列:RabbitMQRocketMQActiveMQKafkaRedis 消息推送ZeroMQRPC:DubboThriftgRPC数据库中间件:DBproxyHaproxy软件负载均衡:⼏种负载均衡算法：轮询、权重、负载、最少连接、QoS DNS负载均衡NginxLVS+Keepalived实现负载均衡HAProxyHaproxy+Keepalived+MySQL实现读均衡负载9、性能性能优化⽅法论容量评估CDN ⽹络连接池⼤数据HadoopStormKafka Stream11、⼯程化mavengitjenkins三、架构基础知识1、架构演进初始阶段：LAMP,部署在⼀台服务器应⽤服务器和数据服务器分离使⽤缓存改善性能使⽤集群改善并发数据库地读写分离使⽤反向代理和cdn加速使⽤分布式⽂件和分布式数据库业务拆分分布式服务2、架构模式分层：横向分层：应⽤层，服务层，数据层分割：纵向分割：拆分功能和服务分布式分布式应⽤和服务分布式静态资源分布式数据和存储分布式计算集群：提⾼并发和可⽤性缓存：优化系统性能cdn⽅向代理访问资源本地缓存分布式缓存异步：降低系统的耦合性提供系统的可⽤性加快响应速度冗余：冷备和热备，保证系统的可⽤性⾃动化：发布，测试，部署，监控，报警，失效转移，故障恢复安全：3、架构核⼼要素⾼性能：⽹站的灵魂性能测试前端优化应⽤优化数据库优化可⽤性：保证服务器不宕机，⼀般通过冗余部署备份服务器来完成负载均衡数据备份⾃动发布灰度发布监控报警伸缩性：建集群，是否快速应对⼤规模增长的流量，容易添加新的机器集群负载均衡缓存负载均衡可扩展性：主要关注功能需求，应对业务的扩展，快速响应业务的变化。
架构体系知识点总结近年来，随着信息技术的飞速发展，架构体系作为一种技术及管理模式逐渐受到高度重视。
架构体系是指在软件开发过程中，根据系统的需求和特点，提出相应的软件、硬件甚至网络等综合解决方案。
它对软件系统进行了结构化设计，为软件系统的开发、维护和升级提供了良好的基础。
对于软件开发者来说，掌握好架构体系知识是非常重要的，下面就对架构体系的相关知识点作一番总结。
一、架构体系的概念及特点架构体系是指软件系统的整体设计方案，它是对软件系统的总体结构和性能特征的描述。
架构体系的核心思想是将系统划分为各个模块、组件和子系统，并规定它们之间的接口和关系。
架构体系的设计应该具有高内聚、低耦合、易维护、易扩展、高性能等特点，以满足软件系统在不同需求下的灵活应变。
二、架构体系的基本原则1. 单一职责原则：每个模块、组件或子系统都应该只有一个职责。
2. 开放封闭原则：软件架构应该是对修改关闭，对扩展开放。
3. 接口隔离原则：保持接口的独立性，让组件之间的接口尽量小。
4. 依赖倒置原则：高层模块不应该依赖于低层模块，二者都应该依赖于抽象接口。
5. 迪米特法则（最少知识原则）：一个对象应该对其他对象有尽可能少的了解，不和陌生人说话。
三、架构体系的设计模式1. MVC模式（模型-视图-控制器模式）：将软件系统划分为三个部分，分别是模型（Model）、视图（View）和控制器（Controller），它们分别负责数据层、表示层和控制层的功能。
2. 代理模式：为其他对象提供一种代理以控制对该对象的访问。
3. 观察者模式：当一个对象发生改变时，所有依赖于它的对象都将得到通知并自动更新。
4. 单例模式：确保一个类只有一个实例，并提供一个全局访问点。
5. 工厂模式：定义一个用于创建对象的接口，让子类决定实例化哪个类。
四、架构体系的通用组件1. 数据存储：包括数据库、文件系统、缓存等。
2. 数据传输：包括网络传输、消息队列、RPC（远程过程调用）等。
分布式计算架构设计与实现随着人工智能、大数据、物联网等新技术的发展，计算机系统面临着越来越大的数据量和复杂的计算任务。
传统的计算机架构已经不足以满足需求，分布式计算架构应运而生。
本文将探讨分布式计算架构的设计与实现。
一、分布式计算架构的概念分布式计算架构是指一个由多个计算机协同工作组成的计算环境，分布式计算系统中的计算机节点互相通信，相互协作，共同完成一个计算任务。
与传统的集中式计算环境相比，分布式计算系统具有如下优点：1.可靠性高：由于分布式计算系统中每个节点都是相互独立的，当其中的一个节点出现故障时，其他节点仍然可以正常工作。
因此，分布式计算系统有更高的可靠性。
2.灵活性好：分布式计算系统可以根据需要动态添加或删除计算节点，从而适应不同规模和需求的计算任务。
3.处理能力强：由于分布式计算系统可以在多个计算节点同时工作，其处理能力也相应增强。
4.可扩展性强：分布式计算系统可以通过增加节点数量来提高系统的整体性能。
二、分布式计算架构的设计分布式计算架构的设计是一个复杂的过程，需要考虑很多因素。
下面介绍一些常用的分布式计算架构设计模式。
1.客户端-服务器架构客户端-服务器架构是最常用的分布式计算架构之一，它将计算任务分成客户端和服务器两个部分。
客户端向服务器发出请求，服务器根据所收到的请求来进行计算，并将计算结果返回给客户端。
客户端-服务器架构可以降低系统的复杂性，提高系统的可靠性和安全性。
但是，由于服务器要承担所有计算任务，如果客户端数量过多，服务器负载会变得非常大，导致系统性能受到影响。
2.对等网络架构对等网络架构是一种去中心化的分布式计算架构。
在对等网络架构中，每个节点都是对等的，它们之间相互通信，共同完成计算任务。
对等网络架构的优点是可以充分利用每个节点的计算能力，当其中的一个节点出现故障时，其他节点仍然可以正常工作。
但是，对等网络架构的缺点是系统的设计和管理比较困难。
3.基于消息传递的架构基于消息传递的架构是一种基于消息传递的分布式计算架构。
分布式体系结构范文分布式体系结构是一种在计算机系统中使用多个计算机或处理器进行协同工作的体系结构。
它可以提供更高的灵活性、可扩展性和容错性，同时还能提供更好的性能和资源利用率。
本文将介绍分布式体系结构的定义、特点、优势和应用，并探讨其在实际应用中的挑战和解决方案。
一、定义和特点：1.节点自治：每个节点都有自己的处理能力和资源，可以独立地执行任务和决策。
2.通信协作：节点之间通过网络进行通信和协作，共同完成任务。
3.分布式控制：系统的控制逻辑被分布在不同的节点上，每个节点都可以参与决策和控制过程。
4.可扩展性：可以根据需求增加或减少节点数量，以适应不断变化的工作负载。
5.容错性：系统可以容忍节点故障或通信故障，并具备自愈能力。
二、优势和应用：1.性能提升：通过利用多个节点的处理能力，可以提高任务的响应速度和吞吐量。
2.资源利用率提高：每个节点可以独立地执行任务，充分利用系统的资源。
3.可扩展性强：可以根据需求增加或减少节点数量，满足不断变化的工作负载。
4.容错性强：系统可以容忍节点故障或通信故障，并具备自愈能力。
5.灵活性提高：每个节点都可以独立地执行任务和决策，系统具有更高的灵活性。
分布式体系结构在许多领域有广泛的应用，如云计算、大数据分析、物联网等。
在云计算中，分布式体系结构可以提供弹性计算和资源共享的能力。
在大数据分析中，可以利用分布式体系结构进行并行计算和数据处理。
在物联网中，分布式体系结构可以实现设备之间的协作和数据共享。
三、挑战和解决方案：1.容错机制：通过使用冗余节点和数据备份等手段，可以提高系统的容错性和可靠性。
2.通信优化：通过优化网络拓扑结构、选择合适的通信协议等，可以减少通信延迟和带宽消耗。
3. 一致性协议：通过使用分布式一致性协议，如Paxos、Raft等，可以确保分布式系统中的数据一致性。
4.负载均衡：通过使用负载均衡算法，可以将任务均匀地分配给各个节点，提高系统的性能和资源利用率。
软件设计与体系结构知识点软件设计与体系结构是软件开发过程中非常重要的两个环节。
设计是指通过分析需求，确定软件系统所需的各个组成部分及其相互关系，以及确定各个组成部分的详细设计方案的过程。
体系结构是指软件系统的整体架构，包括各个组件之间的关系，以及软件系统与外部环境的交互方式。
软件设计的主要知识点包括：1.需求分析：分析用户需求，明确软件系统的功能、性能、可靠性等方面的要求。
2.设计原则：包括开放封闭原则、单一职责原则、里氏替换原则、接口分离原则等。
3.设计模式：是一套被反复使用的、经过验证的、用来解决在软件设计过程中常见问题的解决方案。
常见的设计模式有工厂模式、单例模式、观察者模式、策略模式等。
4.UML（统一建模语言）：是一种用于软件系统建模的标准化语言。
包括用例图、类图、时序图、状态图等。
5.架构模式：是一种包含一组满足特定需求的技术决策，指导解决软件系统中基本设计问题的模式。
常见的架构模式有分层架构、客户端-服务器架构、发布-订阅架构等。
软件体系结构的主要知识点包括：1.分层架构：将软件系统分为若干层，每一层负责处理特定的功能或任务，层与层之间通过接口进行通信。
2.客户端-服务器架构：将软件系统分为客户端和服务器两部分，客户端向用户提供界面和交互功能，服务器处理客户端发送的请求并返回相应结果。
3.分布式架构：将软件系统的各个组件分布在不同的物理节点上，通过网络进行通信。
4.微服务架构：将软件系统拆分为若干个小型服务，每个服务负责一个特定的功能，通过接口和消息进行通信。
5.事件驱动架构：系统中的各个组件通过发布-订阅模式进行通信，一个组件发生变化时通知其他相关组件。
在实际应用中，软件设计与体系结构的知识点通常会结合起来使用，以满足软件系统的需求。
同时，不同的项目可能有不同的设计与体系结构要求，开发人员需要根据具体项目的需求来选择适合的设计和架构模式。
分布式系统知识点积累总结一、分布式系统概述分布式系统是一个由多台计算机组成的系统，这些计算机通过网络进行通信和协作，共同完成某个任务。
分布式系统的设计目标是提高系统的可靠性、可扩展性和性能。
二、分布式系统的特点1. 系统中的计算资源是分布在不同的计算节点上的，节点之间通过网络连接。
2. 节点之间相互独立，没有全局时钟，只能通过消息传递的方式进行协调。
3. 分布式系统需要解决数据一致性、并发控制和通信延迟等问题。
三、分布式系统的关键技术1. 通信技术：分布式系统中的节点通过网络通信进行信息交换，通信技术是分布式系统的基础。
2. 数据复制技术：为了提高系统的可靠性和可用性，分布式系统通常会采用数据复制技术。
3. 一致性协议：分布式系统中的数据一致性是一个重要的问题，一致性协议可以保证系统中的数据一致性。
4. 分布式事务：分布式系统中的多个节点可能需要协同完成一个复杂的任务，分布式事务可以确保系统执行的原子性和一致性。
5. 负载均衡：分布式系统中的节点需要协同处理大量的请求，负载均衡技术可以使得系统的负载得到均衡，提高系统性能和可用性。
四、分布式系统的常见问题及解决方案1. 数据一致性问题：分布式系统中的数据一致性是一个常见问题，解决方案包括使用一致性协议、版本控制和事务管理等技术。
2. 并发控制问题：分布式系统中的并发控制是一个重要问题，解决方案包括使用锁、分布式事务和分布式共享内存等技术。
3. 通信延迟问题：分布式系统中的通信延迟可能导致性能下降，解决方案包括使用消息队列、异步通信和缓存等技术。
4. 节点故障问题：分布式系统中的节点故障可能导致系统的不可用，解决方案包括使用容错技术、数据备份和自动故障转移等技术。
五、分布式系统的一些经典算法1. Paxos算法：Paxos算法是一种用于分布式系统中的一致性协议，它可以确保多个节点对某个值达成一致。
2. Raft算法：Raft算法是一种分布式一致性算法，相比Paxos算法更容易理解和实现。
1.问题1、何为分布式何为微服务？2、为什么需要分布式？3、分布式核心理论基础，节点、网络、时间、顺序，一致性？4、分布式是系统有哪些设计模式？5、分布式有哪些类型？6、如何实现分布式？2.关键词节点，时间，一致性，CAP，ACID，BASE，P2P，机器伸缩，网络变更，负载均衡，限流，鉴权，服务发现，服务编排，降级，熔断，幂等，分库分表，分片分区，自动运维，容错处理，全栈监控，故障恢复，性能调优3.全文概要随着移动互联网的发展智能终端的普及，计算机系统早就从单机独立工作过渡到多机器协作工作。
计算机以集群的方式存在，按照分布式理论的指导构建出庞大复杂的应用服务，也已经深入人心。
本文力求从分布式基础理论，架构设计模式，工程应用，部署运维，业界方案这几大方面，介绍基于MSA(微服务架构)的分布式的知识体系大纲。
从而对SOA 到MSA进化有个立体的认识，从概念上和工具应用上更近一步了解微服务分布式的本质，身临其境的感受如何搭建全套微服务架构的过程。
4.基础理论4.1SOA到MSA的进化SOA面向服务架构由于业务发展到一定层度后，需要对服务进行解耦，进而把一个单一的大系统按逻辑拆分成不同的子系统，通过服务接口来通讯，面向服务的设计模式，最终需要总线集成服务，而且大部分时候还共享数据库，出现单点故障的时候会导致总线层面的故障，更进一步可能会把数据库拖垮，所以才有了更加独立的设计方案的出现。
MSA微服务架构微服务是真正意义上的独立服务，从服务入口到数据持久层，逻辑上都是独立隔离的，无需服务总线来接入，但同时增加了整个分布式系统的搭建和管理难度，需要对服务进行编排和管理，所以伴随着微服务的兴起，微服务生态的整套技术栈也需要无缝接入，才能支撑起微服务的治理理念。
4.2节点与网络节点传统的节点也就是一台单体的物理机，所有的服务都揉进去包括服务和数据库；随着虚拟化的发展，单台物理机往往可以分成多台虚拟机，实现资源利用的最大化，节点的概念也变成单台虚拟机上面服务；近几年容器技术逐渐成熟后，服务已经彻底容器化，也就是节点只是轻量级的容器服务。
总体来说，节点就是能提供单位服务的逻辑计算资源的集合。
网络分布式架构的根基就是网络，不管是局域网还是公网，没有网络就无法把计算机联合在一起工作，但是网络也带来了一系列的问题。
网络消息的传播有先后,消息丢失和延迟是经常发生的事情，我们定义了三种网络工作模式：同步网络节点同步执行消息延迟有限高效全局锁半同步网络锁范围放宽异步网络节点独立执行消息延迟无上限无全局锁部分算法不可行常用网络传输层有两大协议的特点简介：TCP协议首先tcp尽管其他可以更快tcp解决重复和乱序问题UDP协议常量数据流丢包不致命4.3时间与顺序时间慢速物理时空中，时间独自在流淌着，对于串行的事务来说，很简单的就是跟着时间的脚步走就可以，先来后到的发生。
而后我们发明了时钟来刻画以往发生的时间点，时钟让这个世界尽然有序。
但是对于分布式世界来说，跟时间打交道着实是一件痛苦的事情。
分布式世界里面，我们要协调不同节点之间的先来后到关系，但是不同节点本身承认的时间又各执己见，于是我们创造了网络时间协议（NTP）试图来解决不同节点之间的标准时间，但是NTP本身表现并不如人意，所以我们又构造除了逻辑时钟，最后改进为向量时钟：NTP的一些缺点，无法完全满足分布式下并发任务的协调问题节点间时间不同步硬件时钟漂移线程可能休眠操作系统休眠硬件休眠逻辑时钟定义事件先来后到t’= max(t, t_msg + 1)向量时钟t_i’= max(t_i, t_msg_i)原子钟顺序有了衡量时间的工具，解决顺序问题自然就是水到渠成了。
因为整个分布式的理论基础就是如何协商不同节点的一致性问题，而顺序则是一致性理论的基本概念，所以前文我们才需要花时间介绍衡量时间的刻度和工具。
4.4一致性理论说到一致性理论，我们必须看一张关于一致性强弱对系统建设影响的对比图：Atomicity：原子性，一个事务中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。
Consistency：一致性，在事务开始之前和事务结束以后，数据库的完整性没有被破坏。
Isolation：隔离性，数据库允许多个并发事务同时对其数据进行读写和修改的能力，隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。
Durabilit：事务处理结束后，对数据的修改就是永久的，即便系统故障也不会丢失。
分布式一致性CAP分布式环境下，我们无法保证网络的正常连接和信息的传送，于是发展出了CAP/FLP/DLS这三个重要的理论：CAP:分布式计算系统不可能同时确保一致性（Consistency）、可用性（Availablity）和分区容忍性（Partition）。
FLP：在异步环境中，如果节点间的网络延迟没有上限，只要有一个恶意的节点存在，就没有算法能在有限的时间内达成共识。
DLS:（1）在一个部分同步网络的模型（也就是说：网络延时有界限但是我们并不知道在哪里）下运行的协议可以容忍1/3任意（换句话说，拜占庭）错误；（2）在一个异步模型中的确定性的协议（没有网络延时上限）不能容错（不过这个论文没有提起随机化算法可以容忍1/3的错误）；（3）同步模型中的协议（网络延时可以保证小于已知d时间）可以，令人吃惊的，达到100%容错，虽然对1/2的节点出错可以发生的情况有所限制弱一致性BASE多数情况下，其实我们也并非一定要求强一致性，部分业务可以容忍一定程度的延迟一致，所以为了兼顾效率，发展出来了最终一致性理论BASE，BASE是指基本可用（Basically Available）、软状态（Soft State）、最终一致性（Eventual Consistency）基本可用(Basically Available)：基本可用是指分布式系统在出现故障的时候，允许损失部分可用性，即保证核心可用。
软状态(Soft State)：软状态是指允许系统存在中间状态，而该中间状态不会影响系统整体可用性。
分布式存储中一般一份数据至少会有三个副本，允许不同节点间副本同步的延时就是软状态的体现。
最终一致性(Eventual Consistency)：最终一致性是指系统中的所有数据副本经过一定时间后，最终能够达到一致的状态。
弱一致性和强一致性相反，最终一致性是弱一致性的一种特殊情况。
一致性算法分布式架构的核心就在一致性的实现和妥协，那么如何设计一套算法来保证不同节点之间的通信和数据达到无限趋向一致性，就非常重要了。
保证不同节点在充满不确定性网络环境下能达成相同副本的一致性是非常困难的，业界对该课题也做了大量的研究。
首先我们要了解一致性的大前提原则(CALM):CALM原则的全称是Consistency and Logical Monotonicity ，主要描述的是分布式系统中单调逻辑与一致性的关系，它的内容如下，参考consistency as logical monotonicity在分布式系统中，单调的逻辑都能保证“最终一致性”，这个过程中不需要依赖中心节点的调度任意分布式系统，如果所有的非单调逻辑都有中心节点调度，那么这个分布式系统就可以实现最终“一致性”然后再关注分布式系统的数据结构CRDT(Conflict-Free Replicated Data Types)：我们了解到分布式一些规律原则之后，就要着手考虑如何来实现解决方案，一致性算法的前提是数据结构，或者说一切算法的根基都是数据结构，设计良好的数据结构加上精妙的算法可以高效的解决现实的问题。
经过前人不断的探索，我们得知分布式系统被广泛采用的数据结构CRDT。
参考《谈谈CRDT》,A comprehensive study of Convergent and Commutative Replicated Data Types基于状态(state-based)：即将各个节点之间的CRDT数据直接进行合并，所有节点都能最终合并到同一个状态，数据合并的顺序不会影响到最终的结果。
基于操作(operation-based)：将每一次对数据的操作通知给其他节点。
只要节点知道了对数据的所有操作（收到操作的顺序可以是任意的），就能合并到同一个状态。
了解数据结构后，我们需要来关注一下分布式系统的一些重要的协议HATs(Highly Available Transactions)，ZAB(Zookeeper Atomic Broadcast)：参考《高可用事务》，《ZAB协议分析》最后要学习的是业界主流的一致性算法：说实话具体的算法我也还没完全搞懂，一致性算法是分布式系统最核心本质的内容，这部分的发展也会影响架构的革新，不同场景的应用也催生不同的算法Paxos：《优雅的Paxos算法》Raft ：《Raft 一致性算法》Gossip：《Gossip Visualization》这一节我们说完分布式系统里面核心理论基础，如何达成不同节点之间的数据一致性，下面我们将会讲到目前都有哪些主流的分布式系统。
5.场景分类5.1文件系统单台计算机的存储始终有上限，随着网络的出现，多台计算机协作存储文件的方案也相继被提出来。
最早的分布式文件系统其实也称为网络文件系统，第一个文件服务器在1970年代被发展出来。
在1976年迪吉多公司设计出File Access Listener（FAL），而现代分布式文件系统则出自赫赫有名的Google的论文，《The Google File System》奠定了分布式文件系统的基础。
现代主流分布式文件系统参考《分布式文件系统对比》,下面列举几个常用的文件系统HDFSFastDFSCephmooseFS5.2数据库数据库当然也是属于文件系统，主数据增加了事务，检索，擦除等高级特性，所以复杂度又增加了，既要考虑数据一致性也得保证足够的性能。
传统关系型数据库为了兼顾事务和性能的特性，在分布式方面的发展有限，非关系型数据库摆脱了事务的强一致性束缚，达到了最终一致性的效果，从而有了飞跃的发展，NoSql(Not Only Sql)也产生了多个架构的数据库类型，包括KV，列式存储，文档类型等。
列式存储：Hbase文档存储：Elasticsearch，MongoDBKV类型：Redis关系型：Spanner5.3计算分布式计算系统构建在分布式存储的基础上，充分发挥分布式系统的数据冗余灾备，多副本高效获取数据的特性，进而并行计算，把原本需要长时间计算的任务拆分成多个任务并行处理，从而提高了计算效率。
分布式计算系统在场景上分为离线计算，实时计算和流式计算。
离线：Hadoop实时：Spark流式：Storm，Flink/Blink5.4缓存缓存作为提升性能的利器无处不在，小到CPU缓存架构，大道分布式应用存储。
