下载文档原格式
并行计算综述姓名：尹航学号：S131020012 专业：计算机科学与技术摘要：本文对并行计算的基本概念和基本理论进行了分析和研究。
主要内容有：并行计算提出的背景，目前国内外的研究现状，并行计算概念和并行计算机类型，并行计算的性能评价，并行计算模型，并行编程环境与并行编程语言。
关键词：并行计算；性能评价；并行计算模型；并行编程1. 前言网络并行计算是近几年国际上并行计算新出现的一个重要研究方向，也是热门课题。
网络并行计算就是利用互联网上的计算机资源实现其它问题的计算，这种并行计算环境的显著优点是投资少、见效快、灵活性强等。
由于科学计算的要求，越来越多的用户希望能具有并行计算的环境，但除了少数计算机大户（石油、天气预报等）外，很多用户由于工业资金的不足而不能使用并行计算机。
一旦实现并行计算，就可以通过网络实现超级计算。
这样，就不必要购买昂贵的并行计算机。
目前，国内一般的应用单位都具有局域网或广域网的结点，基本上具备网络计算的硬件环境。
其次，网络并行计算的系统软件PVM是当前国际上公认的一种消息传递标准软件系统。
有了该软件系统，可以在不具备并行机的情况下进行并行计算。
该软件是美国国家基金资助的开放软件，没有版权问题。
可以从国际互联网上获得其源代码及其相应的辅助工具程序。
这无疑给人们对计算大问题带来了良好的机遇。
这种计算环境特别适合我国国情。
近几年国内一些高校和科研院所投入了一些力量来进行并行计算软件的应用理论和方法的研究，并取得了可喜的成绩。
到目前为止，网络并行计算已经在勘探地球物理、机械制造、计算数学、石油资源、数字模拟等许多应用领域开展研究。
这将在计算机的应用的各应用领域科学开创一个崭新的环境。
2. 并行计算简介[1]2.1并行计算与科学计算并行计算（Parallel Computing），简单地讲，就是在并行计算机上所作的计算，它和常说的高性能计算（High Performance Computing）、超级计算（Super Computing）是同义词，因为任何高性能计算和超级计算都离不开并行技术。
计算机科学中的并行计算的使用中常见问题并行计算技术是计算机科学中的重要一环，旨在提高计算效率和加快处理速度。
在实际应用中，我们经常会遇到一些与并行计算相关的常见问题。
本文将围绕这些问题展开讨论，并提供相应的解决方法。
一、任务调度问题在并行计算中，任务调度是一个关键问题。
如何合理地分配任务，使得每个任务都能被合适地执行，是一个需要解决的难题。
常见的任务调度问题包括任务划分不均匀、任务间的依赖关系以及任务调度的优化等。
对于任务划分不均匀的问题，我们可以通过合理的任务划分策略来进行优化。
例如，可以采用负载均衡的方法，根据任务的计算复杂度和数据量进行任务划分，从而使得每个节点的负载相对均衡。
任务间的依赖关系是另一个需要注意的问题。
在并行计算中，有些任务可能需要依赖其他任务的结果才能继续执行。
在这种情况下，我们需要设计合适的依赖关系图，并根据依赖关系来调度任务的执行顺序。
为了优化任务调度，我们可以使用一些优化算法。
例如，可以借鉴启发式算法、遗传算法等方法，通过迭代搜索的方式，找到最优的任务调度方案。
此外，还可以使用任务迁移、任务重分配等方法来优化并行计算的效果。
二、通信开销问题在并行计算中，不同节点之间需要进行通信以交换数据和协调任务。
然而，通信操作本身也会带来一定的开销，影响计算效率。
常见的通信开销问题包括通信延迟和带宽瓶颈等。
通信延迟是指通信操作所需要的时间，包括数据传输时间、任务切换时间等。
为了减小通信延迟，我们可以采用多种方法。
例如，可以使用高效的通信协议来减少数据传输时间；可以通过增加缓存、减少数据交换等方式来降低任务切换时间。
带宽瓶颈是指通信带宽的限制。
当通信带宽无法满足数据传输的需求时，会导致通信效率降低。
为了解决带宽瓶颈问题，我们可以采取多种策略。
例如，可以增加网络带宽，提升数据传输速度；可以进行数据压缩和数据流控制等方式来优化数据传输效果。
三、数据一致性问题在并行计算中，多个节点之间需要共享数据或者进行数据交换。
并行计算的算法设计与优化在计算机科学领域，随着计算机性能的提升和大规模数据处理的需求增加，并行计算逐渐成为一种重要的解决方案。
并行计算旨在通过同时执行多个计算任务来提高计算效率和性能。
本文将探讨并行计算的算法设计与优化。
一、并行计算的基本概念并行计算指的是将计算任务分解为多个独立的子任务，并在多个处理单元上同时执行这些子任务的过程。
通过并行计算，可以显著缩短计算任务的执行时间，提高计算系统的吞吐量和响应速度。
二、并行计算的算法设计原则1. 任务划分：将计算任务分解为多个互相独立的子任务，确保每个子任务间的计算关系尽可能少。
2. 数据划分：将输入数据分割为多个适当大小的块，以便每个处理单元可以独立地操作这些数据块。
3. 通信与同步：处理单元之间需要进行通信和同步操作，以便完成数据交换和协调计算任务的进度。
4. 负载均衡：分配任务给每个处理单元时，需要确保每个处理单元的负载相对均衡，避免出现某个处理单元繁忙而其他处理单元空闲的情况。
5. 数据局部性：合理利用数据局部性原则，减少处理单元之间的数据传输，以提高整体计算效率。
三、并行计算的算法优化技术1. 并行算法设计：根据具体的计算问题，设计高效的并行算法，使得各个子任务能够充分利用处理单元的计算能力。
2. 并行性分析：对计算任务之间的依赖关系进行分析，确定哪些计算任务可以并行执行，以及在并行执行时能否通过调整计算顺序来减少通信开销。
3. 算法细节优化：在编写并行算法时，注意细节上的优化，如减少数据冲突、合并通信操作、使用局部缓存等。
4. 并行化策略选择：根据具体应用场景和硬件平台的特点，选择合适的并行化策略，如任务并行、数据并行、管道并行等。
四、并行计算的实际应用1. 大规模数据处理：并行计算在大数据处理、数据挖掘和机器学习等领域具有广泛的应用，可以加速数据处理和分析过程。
2. 科学计算：并行计算广泛应用于科学计算领域，如天气预测、流体力学模拟和量子化学计算等，可以加快计算过程，提高计算精度。
并行语言及编译技术现状和发展趋势并行语言及编译技术的现状与发展趋势随着计算机技术的飞速发展和应用场景的不断拓展，并行计算技术变得越来越重要。
并行计算的核心思想是将一个问题拆分成多个子问题，并行处理这些子问题，以加快计算速度和提高计算效率。
在这个背景下，并行语言和编译技术的研究和应用也日益受到关注。
本文将就并行语言及编译技术的现状和发展趋势进行探讨。
一、并行语言的现状并行语言是指专门用于描述和实现并行计算的编程语言，它们通常具有对并行计算的原生支持，可以更加方便和高效地利用多核处理器和分布式计算资源。
目前，主要的并行编程语言主要包括：Cilk、OpenMP、MPI、Haskell、Go、Scala等。
1. CilkCilk是一种基于C语言的并行编程语言，它提供了一系列并行计算的关键特性，例如多线程分支、同步原语等。
Cilk的优势在于其简单易用和高性能，并且得到了广泛的应用。
2. OpenMPOpenMP是一种支持共享内存并行计算的编程接口，它可以将串行代码并行化，使得程序可以在多核处理器上并行执行，减少计算时间。
目前，OpenMP已经成为了高性能计算领域的标准之一。
3. MPIMPI是一种用于分布式内存并行计算的编程接口，它主要用于在多个计算节点上进行并行计算。
MPI提供了丰富的通信和同步机制，使得程序可以在不同计算节点上进行高效的并行计算。
4. HaskellHaskell是一种纯函数式编程语言，它的并行特性是通过“策略”（Strategy）和“并行数组”（Parallel Array）等方式来实现的。
Haskell的并行编程模型相对较为抽象和灵活，可以更好地应对多样化的并行计算场景。
5. GoGo是一种由Google开发的并行编程语言，它提供了轻量级线程（goroutine）和通道（channel）等原语，可以方便地进行并行编程。
Go语言以其简洁、高效和并发特性而受到了广泛关注。
二、编译技术的现状编译技术在并行计算中起着举足轻重的作用，它可以将高级语言转化为底层的机器指令，同时将一些并行化的优化技术应用到编译过程中，以提高程序的运行效率。
134 •电子技术与软件工程 Electronic Technology & Software Engineering 计算机技术应用 • the Application of Computer Technology【关键词】并行计算 一体化研究发展趋势 云计算我国计算科学的快速发展，使得计算科学研究领域以及与我国传统的理论科学研究领域，还有实验科学研究领域，成为了当今推动科技发展的重要三大科学领域。
而中国科技大学的技术团队所提出的并行计算在当今的科学领域发展过程当中属于研究工具，设计出来的研究工具现如今已经逐渐融入到传统的理论科学和实验科学的工作开展过程当中，并行计算一体化研究方法的诞生，推动了我国目前科学技术的快速发展，同样也为我国的科学技术在发展过程当中提供了更好的研究工具，研究方法，真正为我国科学技术发展领域提供了更好的发展平台。
1 并行计算概述及现状1.1 并行计算的概念并行计算从理论角度进行定义就是在并行计算机上进行计算，而与我国目前人们常说的高性能计算以及超级计算属于同种含义，而且我国现如今所应用的高性能计算和超级计算工作开展过程当中离不开并行技术的应用。
串行计算指的就是在单个计算机上面进行软件应用和操作读写，运用描写指令来进行问题解决。
而并行计算方法是根据串行计算理论基础与实践基础发展而来。
并行计算方式在进行问题计算过程当中拥有以下特征：（1）在计算任务开展过程当中，将计算任务分解成多个部分同时解决；（2）在同一时间范围内由不同的软件来执行不同的程序指令。
1.2 并行计算的一体化研究现状并行计算方法在应用过程当中涉及的内并行计算的一体化研究现状与发展趋势文/甘云志容十分广泛，在进行研究过程当中，研究内容包括以下几部分第一并行计算的硬件平台，第二部分则是并行程序整体设计，第三部分则为并行计算的理论基础应用，第四部分则是并行计算的具体使用情况。
我国的并行计算在发展过程当中由于长期缺乏人有方法导致我国现如今的并行计算在研究过程当中出现了参差不齐的格局，目前我国的并行计算再进研究过程中主要存在以下几个问题，并行算法不完善，并行应用效率低，无法充分利用计算机资源，并行编程语言难度较高，缺乏相应专业人才运用，并行计算机在进行构建和应用过程当中，能耗过大，管理困难。
并行计算算法设计与分析一、引言在现代计算机系统中，并行计算已经成为一种重要的技术手段。
并行计算算法的设计与分析是研究并行计算的核心内容之一。
本文将详细介绍并行计算算法的设计与分析方法，并讨论其在实际应用中的意义与挑战。
二、并行计算算法的分类1. 数据并行算法数据并行算法采用将计算任务分割为多个子任务，每个子任务在不同的处理单元上并行执行的方式。
典型的数据并行算法包括矩阵乘法算法、并行排序算法等。
2. 任务并行算法任务并行算法是将计算任务分解为多个相互独立的子任务，并行执行的方式。
各个子任务之间没有数据依赖关系，可以同时进行计算。
典型的任务并行算法包括并行搜索算法、并行图算法等。
3. 流水线并行算法流水线并行算法是将计算任务分解为多个阶段，不同处理单元在不同阶段上并行执行，通过流水线的方式提高计算效率。
典型的流水线并行算法包括多级缓存机制的并行计算算法、指令级并行计算算法等。
三、并行计算算法的设计方法1. 并行分解并行分解是指将原始的计算任务分解为多个子任务的过程。
在并行分解过程中，需要考虑任务的划分方式、任务之间的依赖关系以及负载均衡等问题。
2. 并行通信并行通信是指多个处理单元之间的信息传递与同步。
在并行计算算法的设计中，合理的并行通信方式能够提高计算效率。
常用的并行通信方式包括消息传递接口MPI、共享内存等。
3. 并行合并并行合并是指将多个子任务的计算结果合并为最终的结果的过程。
在并行合并过程中，需要考虑合并方式以及结果的正确性验证等问题。
四、并行计算算法的分析方法1. 速度up与加速比速度up表示并行计算与串行计算相比的计算速度提升程度。
加速比表示并行计算中处理单元数量增加时，计算速度相对于串行计算的提升比例。
通过对速度up与加速比的分析，可以评估并行算法的性能优劣。
2. 并行性的度量与评估并行性是指并行计算中各个子任务可以同时进行的程度。
通过对并行性的度量与评估，可以确定并行计算算法的最佳并行度。
计算机并行计算的基本问题及现状作者：张悦来源：《文存阅刊》2017年第12期（哈尔滨广厦学院黑龙江哈尔滨 150025）摘要：工作中，我们总是希望我们自己工作更有效率，用更少的时间解决更多的问题。
在计算机里，这就是并行计算的基本初衷。
全世界第一台计算机ENIAC中就己经出现了并行计算的概念。
它有20个累加器，可以并发执行多个加减运算，可谓开并行计算的先河。
在随后的20世纪五六十年代，由于晶体管和集成电器的发明，出现了更多更快的计算机。
20世纪70年代，随着微电子技术的发展，出现了微型处理器（CPU），接着，1974年，全世界第一台个人电脑—牛郎星顺利出炉。
紧随其后，看到市场前景的苹果和IBM推波助澜，计算机开始进入个人时代。
个人计算机同时又催生了软件业的高速发展，软件又带动CPU不断升级换代。
这为并行计算摆脱高端路线，进入平民化时代打下了基础。
关键词：并行计算、累加器、微电子技术、微型处理器一、并行计算的意义与功能1.1并行计算的功能在个人计算机诞生后的几十年里，程序员们编写了大量的应用软件，这些软件决大部分了采用串行计算方法。
所谓串行，是指软件在PC上执行，在进入CPU前被分解为一个个指令，指令在CPU中一条条顺序执行。
任一时间内，CPU只能够运行一条指令。
这种方式很符合我们对现实世界的思考习惯。
至于软件的运行速度，则依赖硬件的处理能力，尤其CPU的处理速度。
这种思维方式到了2005年遇到了挑战。
在那一年，受限于制造CPU的半导体材料限制，左右CPU发展的摩尔定律开始失效了。
但芯片业很快找到了一个变通的办法：在一块芯片中植入多个处理核心，通过多核的共同运算，提高运行速度。
1.2并行计算的意义并行计算目前还是一门发展中的学科。
并行计算是相对串行计算而言的，并行计算可以分为时间上的并行计算和空间上的并行计算。
时间上的并行计算就是流水线技术，即采用指令预取技术，将每个指令分成多步，各步间叠加操作，当前指令完成前，后一指令准备就绪，缩小指令执行的时钟周期。
计算机的并行与分布式计算计算机技术的快速发展促使了并行与分布式计算的兴起。
随着信息时代的到来，计算机的性能需求越来越大，传统的串行计算已无法满足实际应用需求。
并行与分布式计算技术的应用成为了解决大规模计算问题的有效手段。
本文将着重讨论计算机的并行与分布式计算的基本概念、发展历程以及应用前景。
一、并行计算的基本概念和技术并行计算是指通过同时执行多个任务或多个子任务的方式来提升计算机系统的整体计算能力。
相比传统的串行计算，它能够充分利用多个处理器或计算机节点的计算和存储资源，从而提高计算效率和速度。
并行计算可分为共享内存并行和分布式并行两种模式。
共享内存并行是通过多个处理器共享同一块物理内存来实现的，并通过锁机制来协调对共享资源的访问。
这种模式具有良好的可编程性和易用性，但在实际应用中往往面临着多线程同步和数据一致性等问题。
分布式并行则是将计算任务划分为若干个子任务，并分发到不同的计算节点上进行并行计算。
各计算节点之间通过网络进行通信，共享数据并协同完成计算任务。
分布式并行模式具有较好的可扩展性和容错性，但需要克服网络延迟和节点间通信带来的开销问题。
二、分布式计算的基本概念和技术分布式计算是指将一个较大的计算任务分解为多个子任务，并分发到不同的计算节点上进行协同计算和协同数据处理的计算模式。
在分布式计算中，各计算节点之间通过网络进行通信，共享数据和资源，并通过协同工作完成整个计算过程。
分布式计算技术的基础是计算机网络和通信技术的发展。
随着互联网的普及和计算能力的提升，分布式计算已经得到了广泛的应用，例如云计算和大数据处理等。
分布式计算具有高可靠性、高性能和强大的计算能力等优势，可以满足海量数据处理和复杂计算任务的需求。
三、并行与分布式计算的发展历程并行与分布式计算的发展历程可以追溯到上世纪60年代。
当时，计算机科学家开始尝试将计算任务分成多个子任务进行并行计算，从而提高计算速度和效率。
在此后的几十年中，随着硬件技术和软件技术的进步，人们对并行与分布式计算的研究逐渐深入，并提出了一系列的并行计算模型和分布式计算框架。
计算机并行计算的基本问题及现状引言工作中，我们总是希望我们自己工作得更有效率，用更少的时间解决更多的问题。
在计算机里，这就是并行计算的基本初衷。
全世界第一台计算机ENIAC中就己经出现了并行计算的概念。
它有20个累加器，可以并发执行多个加减运算，可谓开并行计算的先河。
在随后的20世纪五六十年代，由于晶体管和集成电器的发明，出现了更多更快的计算机。
IBM是这一时期的主角，同期计算机编程语言的出现，由软件完成处理并行计算的思想进一步深化。
但这一时期的计算还是大型机时代，没有几个平民能用得起这些昂贵的东西。
计算机和软件技术还锁在研究院和大学校园里。
20世纪70年代，随着微电子技术的发展，出现了微型处理器(CPU)接着,1974年，全世界第一台个人电脑牛郎星顺利出炉。
紧随其后，看到市场前景的苹果和IBM推波助澜，计算机开始进入个人时代。
个人计算机同时又催生了软件业的高速发展，软件又带动CPU不断升级换代。
这为并行计算摆脱高端路线，进入平民化时代打下了基础。
1并行计算的基本问题1.1为什么需要并行计算在个人计算机诞生后的几十年里，程序员们编写了大量的应用软件，这些软件决大部分了采用串行计算方法。
所谓串行，是指软件在PC 上执行，在进入CPU前被分解为一个个指令，指令在CPU中一条条顺序执行。
任一时间内，CPU只能够运行一条指令。
这种方式很符合我们对现实世界的思考习惯。
至于软件的运行速度，则依赖硬件的处理能力，尤其CPU的处理速度。
这种思维方式到了2005年遇到了挑战。
在那一年，受限于制造CPU的半导体材料限制，左右CPU发展的摩尔定律开始失效了。
但芯片业很快找到了一个变通的办法:在一块芯片中植入多个处理核心，通过多核的共同运算，提高运行速度。
不幸的是，采用串行方法编写的软件面临着一个尴尬的局面:如果仍采用串行编程方式，运行速度将停滞不前。
这样，原来需要CPU完成的提速工作，被迫需要软件自己来完成。
在另一个领域:互联网，由于网络数据极速膨胀，数据量己经远远超过一台或者几台大型计算机的处理能力，需要更大数量的计算机协同完成。
面对这些问题，主要的解决方案就是:并行计算。
1.2并行计算的涵义并行计算目前还是一门发展中的学科。
并行计算是相对串行计算而言的，并行计算可以分为时间上的并行计算和空间上的并行计算。
时间上的并行计算就是流水线技术，即采用指令预取技术，将每个指令分成多步，各步间叠加操作，当前指令完成前，后一指令准备就绪，缩小指令执行的时钟周期。
典型的以时间换空间。
空间上的并行计算是指由多个处理单元(不仅是CPU)执行的计算，是以空间换时间。
空间上的并行计算分为两类:单指令多数据流(SIMD)和多指令多数据流(MIMD)SIMD是流水技术的扩展，可以在一个时钟周期处理多个指令，我们目前使用的PC大多属于此列，例如AMD 3DNOW和Intel MMX。
MIMD大致又分为5类:工作站集群 (COW)。
对称多处理机(SMP)。
大规模并行处理机(MPP)。
分布共享存储处理机(DSM ) ,并行向量机(PVP)。
空间并行计算技术包括数据并行计算和任务并行计算。
数据并行计算是指将一个大的数据分解为多个小的数据，分散到多个处理单元执行。
任务并行是将大的任务分解为小的任务，分散到多个处理单元执行，任务并行同时还要避免任务重复执行，协调数据的上下文关系，避免冲突发生。
任务并行计算与实际应用需求紧密相关。
所以，任务并行计算要比数据并行计算复杂得多。
并行计算与串行计算的最大不同在于，并行计算不仅要考虑计算本身，还要考虑并行处理模型。
网络通信。
计算协作诸多问题。
1.3主要的并行计算体系类型1.3.1工作站集群(COW Cluster of Workstation)工作站集群可以理解为:PC+网络。
它可以由少数几台PC扩展到数千个节点的大规模并行系统，既可以是廉价的并行程序调试环境，也可以成为的高性能计算平台。
集群由于低成本，动态可扩充的特点，己经成为高性能计算平台的主流。
目前Google搜索和云计算业务即采用这一方式。
我国的联想深腾XXXX,曙光XXXX系列均属此类。
1.3.2多处理系统(SMP Symmetric Multi Processing)它由多个紧耦合多处理器组成，最大特点就是共享全部资源。
1.3.3大规模并行处理系统(MPP Massively Parallel Processing)由许多松祸合处理单元(不是处理器)组成的。
这种结构与SMP对立，每个单元自成体系，包括CPU。
内存。
硬盘。
操作系统，最大特点是不共享资源。
刀片服务器属于此列。
1.3.4分布式共享存储多处理(DSM)它可以视为对SMP的可扩充，将共享数据映射到不同的物理位置。
数据的同步由硬件或者软件来完成。
是目前高性能计算机的主流发展方向之一。
1.3.5并行向量机(PVP ,Parallel Vector Processor )PVP使用专用的向量处理器，提供数据共享，通过高速交叉开关实现通信。
向量运算是一种较简单的并行计算，适用面很广，机器比较容易实现，使用也方便，因此向量处理机(向量机)在20世纪70年代获得了迅速发展。
1.4并行计算的处理模式1.4.1主从模型( MS , Master-slave )即有一个主进程，其他是从进程。
主进程负责整个系统的控制(包括任务调度。
负载平衡)，从进程负责对数据的处理和计算任务。
Google 搜索业务目前就是采用的这种编程模型。
1.4.2对称处理模型(SPM)这种架构没有主从概念之分，所有进程的地位都是平等的。
在并行执行过程中，我们可以任意选择其中一个进程执行输入输出操作，其他进程扮演同样的角色。
1.4.3多程序处理模型( MPPM )在计算机集群中，每台计算机节点执行不同的程序和相同的程序。
1.5并行计算设计原则(1)适应性。
并行算法是并行计算的基础，是为解决实际问题而出现，必须与实际应用相结合。
(2)可扩展。
并行算法是否能够随计算节点增加或减少而同步的线性变化，是评价一个并行算法是否有效的重要标志之一。
(3)粗粒度。
通常情况下，粒度越大越好。
这是因为在每个处理机中有很多需要计算的工作任务，如此可以充分发挥多处理机的作用。
并行加速比对细粒度问题一般情况下是不会很高的，这也是为什么并行计算需要求解大规模问题的原因所在。
(4)减少通信。
一个高效的并行算法，通信是至关。
提高性能的一个关键是减少数据通信量和通信次数。
(5)优化性能。
评价性能的优缺，主要是看单节点计算的处理能力，和并行执行效率。
这与实际采用的技术息息相关。
1.6并行计算设计方法1.6.1分片(1)数据分片。
数据分片包括两类:数值分片和哈希分片。
数值分片适用于己知数据范围的分解，如果Int,Long类型处理。
哈希分片适用于未知数据范围的数据分解，包括字符串，字节数组类型。
数据分片是把相同的操作作用于不同的数据，达到提到快速求解的目的。
数据分片模型是一种较高层次的并行计算模型，编程却相对简单。
数据分片的并行计算最早应用于并行向量计算机(PVP))经过长期实践表明，该技术可以高效地求解大部分的科学和工程计算问题。
数据并行处理对象是数值，对应非数值类问题，则需要其他并行计算模型来解决。
Google的搜索业务是采用数据分片的并行计算模式。
(2)任务分片。
任务分片的并行计算主要针对非数值类的并行处理。
它通常的消息传递机制(目前主流是PMI是各并行计算执行单元之间通过传递消息来交换数据，协调步伐，执行控制操作。
消息传递一般是针对分布节点内存，也可以适用于共享内存的并行节点。
消息传递模型为程序员提供了更加灵活的控制手段和表现形式。
消息传递模型很容易实现，控制变化手段灵活多样，但是需要程序员有丰富的并行编程经验。
是一种较低层次，编程相对复杂的模型，适用于业务流程的并行化处理。
1.6.2通信协调计算过程中的数据共享。
通信工作目前主要由TCP/IP协议完成。
1.6.3组织组织各任务并发执行，提高性能。
在主线程的控制下，子线程在此承担具体的并发操作任务。
1.6.4映射分配任务(分布处理。
共享处理)。
线程和通信共同完成。
1.7并行计算应注意的事项(1)任务分解:这是所有并行计算的核心问题，优秀的任务分解需要保证平均和处理负载的平衡，同时，随着处理器能力的动态伸缩动态调节。
(2)通信:并发处理离不开网络通信联系。
相较与CPU运算，数据在网络间传递延迟是并发处理的瓶颈之一。
光纤网络是目前最好的选择。
(3)并行协调:是并行运算过程中控制流程。
(4)并行冲突:并行冲突来源主要是任务分解和并行协调。
(5)数据归并:这是数据计算完成后，必不可少的一步操作。
数据归并需要注意:过滤重复数据，合并相关性数据等。
(6)死锁。
死锁是在编程过程中，由于人为的原因造成。
死锁表示为:对象间在不放弃自己资源下互相调用。
请程序员注意。
2并行计算的发展现状2.1多核为主流的体系结构多核处理器代表了计算技术的一次创新。
由于数字数据和互联网的全球化，商业和消费者开始要求多核处理器带来性能改进，这个重要创新就开始了，因为多核处理器比单核处理器具有性能和效率优势，多核处理器将会成为被广泛采用的计算模型。
在驱动PC安全性和虚拟化技术的重大进程过程中，多核处理器扮演着中心作用，这些安全性和虚拟化技术的开发用于为商业计算市场提供更大的安全性。
更好的资源利用率。
创造更大价值。
普通消费者用户也期望得到前所未有的性能，这将极大地扩展其家庭PC和数字媒体计算系统的使用。
多核处理器具有不增加功耗而提高性能的好处，实现更大的性能/能耗比。
在一个处理器中放入两个或多个功能强大的计算核产生了一个重大的可能性。
由于多核处理器能提供比单核处理器更好的性能和效率，下一代的软件应用程序很有可能是基于多核处理器而开发的。
不管这些应用是帮助专业的电影公司以更少的投入和更少的时间完成更真实的电影，还是以更彻底的方法使得PC更自然和直观，多核处理器技术将永远改变计算世界。
多核处理器表达了AMD了解顾客需求并且开发最能满足客户要求产品的意愿。
微软多核计算的主管Dan Reed称，整个世界上很缺乏那些并行计算的研究人员，而一个间接的原因就是学院里对于并行计算的关注度不够，而这些学院正是下一代软件开发人员诞生的地方。
越来越高的时钟频率导致应用程序的代码运行得越来越快，而对于当前多核处理器来讲这一规则虽然成立，但却有所不同。
而这种不同可以做一个形象的比喻，那就是一部跑车和一辆学校的巴士。
当跑车能够以很快的速度飞奔时，巴士虽然比较慢，但它可以载着更多的人前行。
问题就是，简单地在计算机CPU上增加多个核并不能增加传统应用程序代码的运行速度，这一结果是根据一项来自于Forrester研究公司的报告得出的。
换句话说，复杂的工作需要拆分来填充这辆巴士上的空座位。
