分布式与并行计算
报告
并行计算技术及其应用简介
XX
（XXX， XX，XXX）
摘要：并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍，总结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。经过分析在当前比较常见的实现并行计算的框架和技术，来对并行计算的现状进行阐述。常见的并行架构分为SMP（多处理系统）、NUMA（非统一内存存储）、MPP（巨型并行处理）以及集群。涉及并行计算的编程模型有MPI、PVM、OpenMP、TBB及Cilk++等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。最后经过MPI编程模型，进行了并行编程的简单实验。
关键词：并行计算；框架；编写模型；应用；实验
A Succinct Survey about Parallel Computing Technology and It’s
Application
Abstract:Parallel computing is the main technology to implement high performance computing. This paper starts from the history of the development of Parallel Computing. It summarizes the problems faced in the development of parallel computing and the important technologies in the course of its development. Through the analysis of framework and technology commonly used in parallel computing
currently,to explain the current situation of parallel computing.Framework commonly used in parallel are SMP(multi processing system),NUMA(non uniform memory storage),MPP(massively parallel processing) and cluster.The programming models of parallel computing are MPI, PVM, OpenMP, TBB and Cilk++, etc.Explored the application of parallel computing combined with cloud computing and big data which are very popular in current research.Finally ,through the MPI programming model,a simple experiment of parallel programming is carried out.
Key words:parallel computing; framework; programming model; application; experiment
1引言
近年来多核处理器的快速发展，使得当前软件技术面临巨大的挑战。单纯的提高单机性能，已经不能满足软件发展的需求，特别是在处理一些大的计算问题上，单机性能越发显得不足。在最近AlphaGo与李世石的围棋大战中，AlphaGo就使用了分布式并行计算技术，才能获得强大的搜索计算能力。并行计算正是在这种背景下，应运而生。并行计算或称平行计算时相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及经过扩大问题求解规模，解决大型而复杂的计算问题。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间
上的并行则是指用多个处理器并发的执行计算。其中空间上的并行，也是本文主要的关注点。
并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既能够是专门设计的，含有多个处理器的超级计算机，也能够是以某种方式互联的若干台的独立计算机构成的集群。经过并行计算集群完成数据的处理，再将处理的结果返回给用户。
当前常见的并行计算技术中，有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序，常见的并行模型有MPI、PVM、OpenMP、TBB、Cilk++等。利用这些并行技术能够充分利用多核资源适应当前快速发展的社会需求。并行技术不但要提高并行效率，也要在一定程度上减轻软件开发人员负担，如近年来的TBB、Cilk++并行模型就在一定程度上减少了开发难度，提高了开发效率，使得并行软件开发人员把更多精力专注于如何提高算法本身效率，而非把时间和精力放在如何去并行一个算法。
文献[1]回顾了并行计算技术六十多年的发展历史，并分析了其发展的未来趋势和所面临的可拓展性“墙”。文献[2]对大规模MPI计算中，当前常见的容错机制和多模冗余带来的开销进行了分析，提
出了一种可拓展三模冗余容错机制。文献[3]则阐述了并行计算和云计算之间的关系，并介绍了并行计算在云计算中运用的一些指导原则。文献[4]分析了在大数据时代，并行计算面临的挑战和基于，综述了面向批处理、面向流处理、面向图数据以及面向内存等几类并行计算模型的相关研究。文献[5]对并行计算模型进行了概述，介绍了理想计算模型的特征，讨论了一些典型的计算模型，综述了当前并行计算模型在异构计算环境的发展情况。文献[6]针对传统单一的并行计算模型变得越来越复杂，对并行计算个阶段针对性不强，提出了一种分层并行计算模型的思想。文献[7]针对在专业集群中进行并行计算的处理，存在费用高、管理困难和操作复杂等问题，利用PC和以太网相连的实验环境，采用集群工作框架和并行计算的关键技术，提出基于Linux集群的并行计算系统环境，并在该环境上对系统性能进行了测试。文献[8]在CPU/GPU协同并行计算这一新兴领域，对当前的研究工作进行了综述。根据所用计算资源的规模将CPU/GPU协同并行计算研究划分为三类，尔后从立项依据、研究内容和研究方法等方面重点介绍了几个混合计算项目，并指出了可进一步研究的方向，以期为领域科学家进行协同并行计算研究提供一定参考。文献[9]中对图形处理器中的相关问题进行研究。提出了统一计算架构（CUDA）为实现GPU通用计算提供了高效、简便的方法．因此，建立了基于GPU通用计算平台的中心差分格式的显式有限元并行计算方法．该方法针对GPU计算的特点，对串行算法的流
程进行了优化和调整，经过采用线程与单元或节点的一一映射策略，实现了迭代过程的完全并行化。
2并行计算发展的三个重要阶段
并行计算是实现超高计算性能的主要技术手段，回顾其发展的历史进程，能够看出并行计算的发展从整体上跨越了三个阶段。
2．1 Amdahl 公式与适度并行
早在二十世纪四十年代中后期，现代电子计算机的鼻祖冯·诺依曼就提出了用并行计算提高计算机性能的技术途径。所谓并行计算，就是采用多个运算部件或多台计算机共同开展计算任务。理论上，并行多少台计算机就能够获得多少倍的运算速度，但实际加速能力往往和应用特征密切相关。1967年，Amdahl 提出了著名的计算性能加速比公式（也称Amdahl 定律）：
)
1(1-+==n f n T T S n s A （1） 公式（1）中的s T 表示应用的串行版本程序的执行时间，f 表示应
用中不能被并行化部分的工作量占整个程序工作量的比率，n 表示并行系统的处理器数目。n T 表示应用的并行版本程序和n 个处理器
上的执行时间。这些概念和理论方面的基础研究极大地推动了适度并行计算技术的实用化。
2．2 Gustafson 公式与大规模并行
80年代后期学术界展开了一次很大的讨论，大家对并行是否有
前途众说纷坛，问题的焦点是-------能不能经过并行规模增大来持续提高计算机性能。
1988年，美国科学家Gustafson 在大量实际物理问题并行计算过程中总结了一个著名公式，发表在《Communication of ACM 》上。这篇论文只有两页，但它揭示了一个规律，即Gustafson 经过她的应用实践发现，很多程序随着应用规模的扩大，程序中不能被并行化部分工作量的绝对量基本保持不变。而不能被并行化部分工作量占总工作量的相对比例f 会相应减小。基于这个规律，她提出了著名的Gustafson 加速比公式：
)1(f n f T T S n s G -+== （2）
从公式能够得出，当f 随着计算规模扩大而不断缩小时，处理器数如果增多，一个程序的加速比还是能够随着处理器的增多而提升的。这个公式不是一个精细的性能评估公式，而是一个思想性的公式，它揭示了大规模并行的要旨：并行计算机的实际性能和它所运行的并行程序特征密切相关。在大规模并行计算机上要取得高实用计算性能，在其上运行的并行程序必须具有串行计算负载保持不变，并行计算负载随着计算机规模的扩大而扩大的特点，这样的程序一般成为可扩展并行程序。在提高大规模并行计算使用效率的过程中，能否设计出可扩展并行算法和可扩展并行程序，与大规模并行计算机系统的研制同等重要。
2．3 效能评价模型与高效能并行
高性能计算机应该向什么方向发展， 美国国防部（DARPA ）提出的“高效能计算系统（HPCS ）”计划，着眼于高性能向高效能的转变，认为高效能计算机系统不但要关注很高的计算性能，还要关注系统的实用性能、可编程性、可移植性、系统鲁棒性和经济可行性。于是基于经济学中产生率的概念和效用理论逐渐取代了以往单一的计算性能评价模型。效能模型框架如下： )
,,(),(),,,(T M P C T P U U T M P =ψ （3） 其中，T 为问题P 解决的时间（Time-to-solution ），M 是并行计算机系统，U 为效用函数，C 为在系统M 上T 时间内解决问题P 所投入的最小成本函数。该效能度量模型综合考虑了并行系统开发（Development ）和运行（Execution ）两种状态，将开发的时间和系统运行的时间统一到问题解决时间T 中。虽然，围绕这一公式标志着高性能计算机学术界、产业界对大规模并行计算机发展趋势产生了新的认识。
3 并行编程模型
并行编程能够调用系统函数启动多线程，也能够利用并行编程模型，如常见的并行模型有MPI 、PVM 、OpenMP 、TBB 及Cilk++等。
3.1 MPI 简介
MPI （Message Passing Interface ）是基于消息传递的并行编程模型。消息传递指的是并行执行的各个进程具有自己独立的堆栈和代
码段，作为互补相关的多个程序独立执行，进程之间的通信经过显式地调用通信函数来完成。
（1）MPI 程序基本函数
①MPI_Init 用来初始化MPI 执行环境，建立多个MPI 进程之间的联系，为后续通信做准备。MPI_Finalize 则是结束MPI 执行环境。这两个函数之间定义MPI 程序的并行区域。
②MPI_Comm_rank 来表示各个MPI 进程。
③MPI_Comn_size 用来表示进程组中有多少个进程，返回整型的错误值，同时有两个函数参数，MPI_Comn 类型的通信域，标识参与计算的MPI 进程组，如MPI_COMM_WORLD;整数指标，返回相应进程组中的进程数。
（2）MPI 性能分析与优化举例
MPI 消息传递开销由两部分组成：一部分是通信固有的延迟；另一部分是消息传递开销，与消息的数据量和网络带宽有关。时间消耗能够用下面的式子表示：
serial comm Total T T T += （4）
其中，Total T 、comm T 、serial T 分别表示程序总用时、通信用时和串行
部分用时。而通信用时一般可作如下分解：
∑∑==÷÷÷=m i C i n i i s comm i T T w B nt T 11/ （5）
其中，n 为点对点通信次数，m 为集群通信次数，s t 为通信固定
延迟，i B 为第i 次通信的容量，w 为网络带环，i T 为负载不平衡造
成的时间消耗，i
C T 集群通信耗时。 （3）解决负载均衡问题
在并行计算中，若各个处理器上的执行时间不同，因同步会使先完成的处理器等待未完成的处理器，此时应该考虑负载均衡问题，是的资源得到合理利用。负载均衡分为：静态负载均衡及动态负载均衡。静态负载均衡使用与计算前能够准确估算总的负载，且这些负载容易平均划分给各个进程的情况。对于实现不知道负载总数，或者总负载不易平均划分的情况，需要动态负载均衡策略来解决。
3.2 PVM 简介
PVM 是一个在网络上的虚拟并行机系统的软件包，它允许将网络上基于UNIX 操作系统的并行机和单处理机的集合当成一台单一的并行虚拟机来使用。PVM 支持用户采用消息传递方式编写并行程序。计算以任务为单位，一个任务就是一个UNIX 进程，每个任务都有一个taskid 来标识（不同于进程号）。
PVM 支持在虚拟机中自动加载任务运行，任务间能够相互通讯以及同步，在PVM 系统中，一个任务呗加载到哪个节点上去运行，PVM 就允许用户指定任务被加载的节点，这样就方便了用户编写并行程序。
3.3 OpenMP 简介
OpenMp 是一种面向共享内存及分布式共享内存的多处理器多线
程并行编程语言，它也是一种能够用于显示指导多线程、共享内存并行的应用程序编程接口。OpenMP 的编程模型以线程为基础，经过编译指导语句来显示地指导并行化，为编程人员提供了并行化的完整控制。OpenMP 的执行模型采用Fork － Join 形式，Fork － Join 执行模式在开始执行的时候，只有一个主线程存在。主线程在运行过程，当遇到需要进行并行计算的时候，派生出子线程来执行并行任务。在并行执行的时候，主线程和派生线程共同工作。在并行代码结束执行后，派生线程退出或者挂起，不再工作，控制流程回到单独的主线程中。
3.4 Intel TBB（Threading Building Block）简介
Intel TBB 是一个用来支撑可扩展编程的库，TBB 的工作层次要高于裸线程，它为C + + 程序提供了丰富而完备的方法来表示并行语义。TBB 指定的是任务而不是线程，一般线程软件包都要求创立、汇合及管理线程。TBB 运用自己的调度算法把任务分配到各个线程，高效合理地利用处理器资源。TBB 的目标是经过线程来提升性能，将密集的计算任务并行化，提供更高层次和更简单的解决方案，TBB 依赖泛型编程。TBB 中还支持算法模板，如基于递归区间的面向循环算法，根据需求来递归地划分问题，从而获得并行任务的正确层次。相比静态划分问题，递归划分问题的方式更占优势。线程构建模块的函数都定义在空间tbb 中，TBB 提供parallel_for 与parallel_reduce 泛型并行算法，能够负载均衡地对固定数目的独立
循环迭代体进行并行执行。
3.5 Cilk++简介
Cilk ++ 语言扩展了C ++ 语言来编写并行应用程序，有效地利用多处理器。Cilk + + 语言特别适合但不限于分而治之算法，把任务分解成子问题( 任务) ，能够独立地加以解决。递归函数一般见于分而治之算法。这些任务会在不同循环迭代。Cilk ++ 关键字识别函数调用和循环，能够并行运行。Cilk ++ 语言比较适合“二分法”算法，将问题分解成若干独立子问题，再将这些执行结果合并起来。任务既能够在不同的函数里实现，也能够在一个迭代的循环中完成。Cilk ++ 的关键词能有效地标识可并行执行的函数调用和循环，Cilk ++ 的运行环境能有效地将这些任务调度到空闲的处理器上运行。
4几种应用背景下的并行计算
4.1 云计算与并行计算
云计算是分布式处理、并行处理和网格计算的进一步发展，是一种新兴的共享基础架构的技术，它能够将巨大的系统池连接在一起以提供各种IT 服务。连接设备、实时数据流、SOA 的采用以及搜索、开放协作、社会网络和移动商务等都是推动云计算技术发展的推动因素。
云计算与并行计算相比，在应用广泛性方面，并行计算是为满足某科学领域的专业需求，要求开发者具备较强的技术水平，不具备较强的广泛性，但云计算能够运用在较多领域，而且具有好的效
果。在性能方面，并行计算主要追求较高的加速比，而云计算则单机的计算能力要求较低，此系统经过将分散的结点统一，根据相应调度算法合理调度，从而获得巨大的计算能力，而且还能根据客户的需求变化进行调整。
并行计算和虚拟化一起构成了云计算技术的骨干。对于大型应用系统实施云计算的主要内容就是实施并行计算。并行计算技术除了当前炙手可热的MapReduce 以外，值得推荐的还有OpenMP、MPI 和Erlang。这3 个技术主要应用于并行程序的开发，和其它并行策略（如SOA）一起，用于从根本上实现应用的并行化。中国电信在支撑云的研究、建设中，计划在多个层面实施并行计算，以提高应用运行效率和可靠性，降低采购和运营成本。对于条件成熟的应用，拟从业务并行开始，在开发层面即实现并行计算。当前，经过研究分析和测试，针对不同的应用，初步制定出不同的并行化解决方案，采用合适的并行计算技术实现不同层次的并行计算。
4.2 大图数据背景下的并行计算模型及其优化技术
大数据时代背景下，数十亿顶点级别大规模图的不断涌现以及云计算基础设施的持续完善，推动着图数据处理的研究重心由单机图算法的高度优化逐渐转向分布式并行大图处理的优化。当前，大图数据处理存在两种典型的模式：一是采用通用的海量数据分布式并行计算框架MapReduce进行处理；二是采用完全面向图结构设计的专用大图计算框架。由于Mapreduce在应用定位与设计目标上主
要是针对模式自由（schema-free）的数据对象实现高吞吐的批量处理，因此其缺乏有效处理大图的内部机制。相比之下，专用大图并行计算模型有针对性地考虑了图计算的基本特征，因此从框架内部就已经提供了对大图处理的支持，能获得较好的性能。其显著的特征是提供了对图计算中最常见的迭代操作的支持和实现了直观易用的以顶点为中心的编程抽象。
从存储架构上能够将大图并行计算模型分为：面向分布内存架构以及面向单机多核共享内存架构两类。在分布内存架构下，当前具有代表性的大图并行计算模型有Pregel、HAMA、Giraph、Distributed GraphLab以及Trinity等。由于图结构的高耦合性，分布式环境下图计算的网络通信代价很高，图划分是优化分布式大图计算通信开销的有效手段。部分大图处理系统采用经典的划分方法，如ParMetis，也有其它一些系统探索了新的划分方法，如GraphX 和PowerGraph均采用vertex-cut的划分方法缓解自然图中高度数（high-degree）顶点通信集中的问题；Trinity采用多层标签传递的划分方法，借助图的语义有效支持了十亿顶点级别大图的划分；而GPS和Mizan都利用动态的划分方法缓解了大图计算过程中负载失衡时的顶点重分配的问题。除了最棘手的图划分问题外，分布式内存架构依然面临很多困难，如需要开发者具有专门的分布式编程知识在集群环境中进行复杂的调试与优化工作。鉴于此，一些研究工作面向单机环境提出了有针对性的优化技术，如序列化随机访问、
利用多核以及新型存储的高并发能力、引入异步机制等，并设计了相应的大图计算模型。上述研究利用外存的一些访问特性，经过有针对性的优化提升处理效率，缓解大图对内存的压力。另外，还有一些基于单机的图计算系统，依然假设以全内存的方式进行图数据处理。虽然这些研究的侧重点不在存储模式，可是在大图环境下这些研究成果的实施效果可能会受到一定的影响。
4.3 集群背景下的并行计算
集群(Cluster)是一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理，以此单一系统为客户提供高可靠性的服务。
在大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须能够协调管理各分离的组件的错误和失败，并可透明地向Cluster 中加入组件。一个Cluster 包含多台(至少2 台)拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。Cluster 内各节点服务器经过一个内部局域网相互通信。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一台节点服务器上被自动接管，Cluster 结构如图1 所示。
图1 Cluster体系结构
采用Cluster 体系结构的系统，具有可自由伸缩、高度可管理、高可用、高性能价格比等诸多优点，解决了跨平台管理、跨操作系统管理、系统软硬件运行状态监控等混合平台应用等技术难题，是担当大规模科学工程计算(如并行计算)的坚实且理想的系统平台。
集群能够分为 3 类：高可用性集群，负载均衡集群，超级计算集群。高可用性集群的主要功能是提供24 h 不间断服务；一般是由多个节点构成，当单个节点出现故障时，系统其它节点接替服务，整个系统仍能继续正常对外提供服务。负载均衡集群将系统的整体负载合理地分配到各个节点上，使得每个节点都不会因为超负荷工作而崩溃；而且系统整体负载需求大于系统整体负载能力时，能够经过增加系统节点，平滑地拓展系统负荷能力。超级计算集群是经过将多台机器连接起来同时处理复杂的计算问题的计算机群。
5关于并行计算的两个简单实验
5.1基于MPI的hello word程序测试
本实验旨在测试在单机环境下的基于MPI并行程序的实验环境。采用的是编程环境是：VC6.0和MPICH2。程序采用C++语言编
写。程序源代码，见附录源代码一。
运行过程：在命令行窗口中输入：mpiexec -n 200 mpitest.exe 。mpiexec是MPI运行库的命令,-n 200表示启动200个mpitest.exe ；运行截图如下。经过观察任务管理器，发现有很多个mpitest.exe的进程。因为没有联网的其它节点存在，因此200个都在本机上运行了。
图2 hello world程序运行结果图
图3 hello world程序结果局部放大图
键入命令“mpiexec -n 200 mpitest.exe ”后， MPI运行库接收到要并行运行200个mpitest.exe，查找临近节点，调度临近节点上的mpitest.exe，（在这里的测试上因为只有一个节点，因此全部一起执行了）。
5.2 数字字符串处理问题
在这一节进行的是一个经过MPI和C语言编写并行程序的实验，首先对问题进行描述如下：对于任意一个给定的合法数字字符串，将其各位累加求和，然后对求和得到的数值进行判断，如果为一位数，则停止，如果为多位数，迭代执行上述过程，直到得到一位数为止。
实验环境：经过在VC6.0平台上配置MPICH2，然后经过C语言编写并行程序。源程序见附录源程序二。运行过程中的输入输出结果如下图所示，输入数据采用txt文本输入，经过程序读入到内存。
图4 字符串处理问题输入数据文件截图
图5 字符串处理问题输出结果图
图5显示了以不同的模拟处理器个数运行程序结果。在写这个并行程序时，我总结的最大问题就是master processor和worker processor的通信，master processor怎么将任务分配给各个worker processor，不但要注意MPI_Send和MPI_Recv数目的严格匹配，还要注意MPI_Send和MPI_Recv里面的参数也要严格匹配。
4总结
在当前的计算机行业中，并行计算技术具有很重要的地位，特别是近年来，硬件发展的速度逐渐不再符合摩尔定律，其发展速度跟不上软件的需求速度。因此并行计算技术无论是运用在单机还是多机，以及集群上，都具有很重要的意义。近年比较热门的方向，云计算和大数据，都依赖于并行计算技术的实施。另外分布式计算一
般与并行计算是具有紧密关联的。在该课程上，我了解并学习了分布式并行计算领域的相关知识，虽然自己的研究方向不是课程的方向，可是自己爱好编程和算法，能够在实验中，进行并行计算方面简单的实验，我觉得自己收获很大。
致谢感谢刘老师的辛勤教学，以及同学们给我在学习和报告中的参考意见.
参考文献
[1]杨学军. 并行计算六十年[J]. 计算机工程与科学, , 34(8):1-10.
[2]王之元, 杨学军, 周云, 等. 大规模MPI并行计算的可拓展三模冗余
容错机制[J]软件学报, , 4,23(4):1023-1035.
[3]郑文武, 李光绪, 黄执勤. 云计算中的并行计算技术分析[J]. 电信科
学. ,12:31-37.
[4]潘巍, 李战怀. 大数据环境下并行计算模型的研究进展[J]. 华东师
范大学学报（自然科学版）, 201. 9,5:44-49.
[5]王庆先, 孙世新, 尚明生, 刘彦兵. 并行计算模型研究[J]. 计算机科
学, . 31（9）：128-130.
[6]陈国良, 苗乾坤, 孙广中, 徐云, 郑启龙. 分层并行计算模型[J]. 中国
科学技术大学学报, , 38（7）:841-846.
[7]王海涛. 刘淑芬. 基于Linux集群的并行计算[J]. 计算机工
程. ,36(1):64-66.
[8]卢风顺, 宋君强, 银福康, 张理论, CPU/GPU协同并行计算研究综
Windows下MATLAB分布式并行计算服务器配置和使用方 法 1MATLAB分布式并行计算服务器介绍 MATLAB Distributed Computing Server可以使并行计算工具箱应用程序得到扩展，从而可以使用运行在任意数量计算机上的任意数量的worker。MATLAB Distributed Computing Server还支持交互式和批处理工作流。此外，使用Parallel Computing Toolbox 函数的MATLAB 应用程序还可利用MATLAB Compiler （MATLAB 编译器）编入独立的可执行程序和共享软件组件，以进行免费特许分发。这些可执行应用程序和共享库可以连接至MATLAB Distributed Computing Server的worker，并在计算机集群上执行MATLAB同时计算，加快大型作业执行速度，节省运行时间。 MATLAB Distributed Computing Server 支持多个调度程序：MathWorks 作业管理器（随产品提供）或任何其他第三方调度程序，例如Platform LSF、Microsoft Windows Compute Cluster Server（CCS）、Altair PBS Pro，以及TORQUE。 使用工具箱中的Configurations Manager（配置管理器），可以维护指定的设置，例如调度程序类型、路径设置，以及集群使用政策。通常，仅需更改配置名称即可在集群间或调度程序间切换。 MATLAB Distributed Computing Server 会在应用程序运行时在基于用户配置文件的集群上动态启用所需的许可证。这样，管理员便只需在集群上管理一个服务器许可证，而无需针对每位集群用户在集群上管理单独的工具箱和模块集许可证。 作业（Job）是在MATLAB中大量的操作运算。一个作业可以分解不同的部分称为任务（Task），客户可以决定如何更好的划分任务，各任务可以相同也可以不同。MALAB中定义并建立作业及其任务的会话（Session）被称为客户端会话，通常这是在你用来编写程序那台机器上进行的。客户端用并行计算工具箱来定义和建立作业及其任务，MDCE通过计算各个任务来执行作业并负责把结果返
万方数据
２ＬＢＧＫＤ２Ｑ９模型的并行计算 ２．１数据分布 将流场划分成Ｎ。ｘＮ，的网格。设有Ｐ＝只×Ｐｖ个进程参与并行计算，进程号Ｐ。＝Ｈ以（０≤ｉ＜只，０≤Ｊ＜尸ｖ）。将数据按照重叠一条边的分块分布到各进程中。其中，进程Ｐ。存储并处理的数据网格点集，如图ｌ所示。 图１进程珊存储并处理的区域（斜线处为重叠部分） ２．２交替方向的Ｊａｃｏｂｉ迭代通信 Ｊａｃｏｂｉ迭代是一类典型的通信迭代操作。文献［４】主要讨论了一个方向的Ｊａｃｏｂｉ迭代。根据数据分布及计算要求，需要采用２个方向交替的Ｊａｃｏｂｉ迭代通信操作。本文认为，“即发即收”的通信策略能有效避免完全的“先发后收”可能造成的通信数据“堆积”过多，从而避免数据的丢失。进程Ｐｌｉ的通信操作如下（见图２）： （１）Ｉｆｉ≠只一１ｔｈｅｎ发送数据到进程Ｐ¨，； （２）Ｉｆｉ≠０ｔｈｅｎ从进程Ｐｆ＿Ｊ，接收数据； （３）Ｉｆ，≠只－１ｔｈｅｎ发送数据到进程Ｐｍｌ； （４）ＩｆＪ≠０ｔｈｅｎ从进程Ｐ—ｌ接收数据。 各进程并行执行上述操作。 图２交普方向的Ｊａｃｏｂｉ迭代 ２．３通信时间理论 由一般的通信模型可知，若发送、接收信息长度为ｎ字节的数据所需时间为：丁（ｎ）＝口＋ｎ∥，其中，常数口为通信启动时间；∥为常系数，则上述一次交替方向的Ｊａｃｏｂｉ迭代通信操作的时间约为 ２０ｅ＋２ｆｌ＇Ｎ、．Ｐ，＝１ Ｐ。＝１ 其他 其中，∥７＝∥ｓｉｚｅｏｆ（ｄｏｕｂｌｅ）。 一般情况下，当等３鲁，即等＝鲁时，通信的数据量（字节数）是最少的，为４口＋４∥，．／丝堡。可见，通信的信息 Ｖ只×０ 总量和通信时间随进程总数只×尸ｖ的增加而减少。 由于ｃ语言中数组是按“行”存放的（Ｆｏｒｔｒａｎ是按“列”存放的），当存放、发送列数据时，需要一定的辅助操作，这就增加了并行计算的计算时间，因此在只：Ｐｖ无法恰好等于Ｎｘ：Ｎ。时，需要综合考虑流场形状及大小、数据在内存中的按“行”（或按“列”）的存放方式，以确定数据的最佳分布方案。 ３数值实验 数值实验是在“自强３０００”计算机上进行的ｏｕ自强３０００”计算机拥有１７４个计算结点，每个计算结点上有２个３．０６ＣＰＵ，２ＧＢ内存。本文的实验使用了其中的３２个计算结点共６４个ＣＰＵ。程序采用ＭＰＩ及Ｃ语言编写，程序执行时，每个计算结点中启动２个进程。数值实验针对不同规模的网格划分、不同进程数以及不同的数据分布方案进行了大量实验，测得如下结果：不同的流场规模对应着各自的最佳网格划分方式；计算次数越多，加速比越大，越能体现并行计算的优越性。 由表１数据可以得知，对于规模为Ｎｘ×Ｎ、，＝４００ｘ４００，数据划分成６×６块时的加速比最高，而对于ＭＸＮｙ＝６００ｘ２００，数据划分为１２×３块则更具优越性。合适的划分方式可以使总体通信量减至最少，从而提高加速比和并行效率。另外，计算规模越大，加速比越大。 表１并行计算Ｄ２Ｑ９模型的加速比（进程数为３６） 在固定计算规模，增加处理器的情况下，并行系统的加速比会上升，并行效率会下降；在固定处理器数目，增加计算规模的情况下，并行系统的加速比和效率都会随之增加。 从表２可见，流场规模越大，并行计算的优越性越显著。因为此时计算规模（粒度）较大，相对于通信量占有一定的优势。由图３可见，加速比随进程数呈线性增长，这表明ＬＢＧＫＤ２Ｑ９模型的并行计算具有良好的可扩展性。 表２漉场规模固定时并行计算Ｄ２Ｑ９模型的加速比 ０８１６２４３２４０４８５６６４ ｎｕｍｏｆｐｒｏｃｅｓｓ 图３藐场规模固定时Ｄ２Ｑ９模型并行计算的加速比 ４结束语 本文讨论了ＬＢＧＫＤ２Ｑ９模型的分布式并行计算，通过大量的数值实验重点研究了数据分布方案如何与问题规模匹配，以获得更高的并行效率的问题。展示了ＬＢＧＫ模型方法良好的并行性和可扩展性。得到了二维ＬＢＧＫ模型并行计算数据分布的一般原则、交替方向Ｊａｃｏｂｉ迭代的通信策略。这些结论对进一步开展三维ＬＢＧＫ模型的并行计算及其他类似问题的并行计算有一定的指导意义。（下转第１０４页） 一１０１—万方数据
并行计算技术及其应用简介 XX （XXX，XX，XXX） 摘要：并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍，总结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。通过分析在当前比较常用的实现并行计算的框架和技术，来对并行计算的现状进行阐述。常用的并行架构分为SMP（多处理系统）、NUMA （非统一内存存储）、MPP（巨型并行处理）以及集群。涉及并行计算的编程模型有MPI、PVM、OpenMP、TBB及Cilk++等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。最后通过MPI编程模型，进行了并行编程的简单实验。 关键词：并行计算；框架；编写模型；应用；实验 A Succinct Survey about Parallel Computing Technology and It’s Application Abstract:Parallel computing is the main technology to implement high performance computing. This paper starts from the history of the development of Parallel Computing. It summarizes the problems faced in the development of parallel computing and the important technologies in the course of its development. Through the analysis of framework and technology commonly used in parallel computing currently,to explain the current situation of parallel computing.Framework commonly used in parallel are SMP(multi processing system),NUMA(non uniform memory storage),MPP(massively parallel processing) and cluster.The programming models of parallel computing are MPI, PVM, OpenMP, TBB and Cilk++, etc.Explored the application of parallel computing combined with cloud computing and big data which are very popular in current research.Finally ,through the MPI programming model,a simple experiment of parallel programming is carried out. Key words:parallel computing; framework; programming model; application; experiment 1引言 近年来多核处理器的快速发展，使得当前软件技术面临巨大的挑战。单纯的提高单机性能，已经不能满足软件发展的需求，特别是在处理一些大的计算问题上，单机性能越发显得不足。在最近AlphaGo与李世石的围棋大战中，AlphaGo就使用了分布式并行计算技术，才能获得强大的搜索计算能力。并行计算正是在这种背景下，应运而生。并行计算或称平行计算时相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。其中空间上的并行，也是本文主要的关注点。 并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的，含有多个处理器的超级计算机，也可以是以某种方式互联的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。 目前常用的并行计算技术中，有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序，常用的并行模型有MPI、PVM、OpenMP、TBB、Cilk++等。利用这些并行技术可以充分利用多核资源适应目前快速发展的社会需求。并行技术不仅要提高并行效率，也要在一定程度上减轻软件开发人员负担，如近年来的TBB、Cilk++并行模型就在一定程度上减少了开发难度，提高了开发效率，使得并行软件开发人员把更多精力专注于如何提高算法本身效率，而非把时间和精力放在如何去并行一个算法。
华南理工大学分布式计算期末考试卷题整 理 第一章：分布式 1）并行计算与分布式计算区别？ （1）所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能 解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些 计算结果综合起来得到最终的结果。 与并行计算不同的是，并行计算是使用多个处理器并行执行单个计算。 2）分布式计算的核心技术是？ 进程间通信IPC！！！ 3）解决进程间通信死锁的两种方法？ 超时和多线程 4）分布式系统的CAP理论是什么？ 一致性，可用性，分区容忍性 第二章：范型 1)网络应用中使用的最多的分布式计算范型是？ 客户-服务器范型（简称CS范型） 2)消息传递范型与消息中间件范型异同？ 消息传递：一个进程发送代表请求的消息，该消息被传送到接受者；接受者处理该请求，并发送一条应答消息。随后，该应答可能触发下一个请求，并导致下一个应答消息。如 此不断反复传递消息，实现两个进程间的数据交换. 基于该范型的开发工具有Socket应用程序接口（Socket API）和信息传递接口（Message Passing Interface，MPI）等 消息系统模型可以进一步划分为两种子类型：点对点消息模型（Point- to-point message model）和发布订阅消息模型（Public/Subscribe message model）。 在这种模型中，消息系统将来自发送者的一条消息转发到接收者的消息 队列中。与基本的消息传递模型不同的是，这种中间件模型提供了消息 暂存的功能，从而可以将消息的发送和接受分离。与基本的消息传递模 型相比，点对点消息模型为实现异步消息操作提供了额外的一层抽象。 如果要在基本的消息传递模型中达到同样的结果，就必须借助于线程或 者子进程技术。 3)一个分布式应用能否使用多个分布式计算范型？ 可以，部分。
分布式与并行计算报告
————————————————————————————————作者：————————————————————————————————日期： ?
并行计算技术及其应用简介 ＸX (XXX,ＸX，XＸＸ) 摘要：并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍,总结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。通过分析在当前比较常用的实现并行计算的框架和技术,来对并行计算的现状进行阐述。常用的并行架构分为SMＰ（多处理系统)、NＵMA(非统一内存存储)、MPＰ（巨型并行处理）以及集群。涉及并行计算的编程模型有ＭPＩ、PVM、Oｐe ｎMP、TＢＢ及Ｃiｌk+＋等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。最后通过MPI编程模型，进行了并行编程的简单实验。 关键词：并行计算;框架;编写模型；应用;实验 A Sucｃiｎct SurvｅyａboutＰarａlleｌCｏmputing Technology ａｎd It’ｓApplicaｔion Ａｂstract：Paｒａlｌel comｐutｉng is tｈe maｉn tecｈnoｌｏｇy ｔo implemｅnt high peｒfｏrmance comｐuting. Thisｐaｐer starｔs ｆrｏｍtｈe historyｏｆtｈe deｖelopment of Paraｌlel Computｉｎg. It sｕmｍariｚｅs tｈe prｏblems ｆaced in ｔhe developmｅnt of pａｒａllｅl coｍpｕtingａｎd the i ｍpoｒtant ｔeｃhnologies ｉn the courｓe of ｉtｓｄeveｌｏpment. Tｈrｏugh thｅanalｙsis of framework ａnｄtｅchnoｌoｇyｃommｏnｌy ｕsed ｉnｐａrａllel ｃｏmｐuting currenｔly，to expｌain the ｃｕrrent ｓituatioｎoｆｐarａlｌｅｌcomputing.Fｒamewｏrk commonlｙused in pａrallｅl arｅSMＰ（ｍuｌti ｐｒoceｓsｉng ｓysteｍ），NUMA(non uｎiｆoｒm meｍoｒy ｓtｏragｅ),ＭＰP(ｍasｓivel ｙpａraｌlｅl ｐroｃesｓiｎg)ａnd cluｓtｅｒ.The programming ｍodels of parallｅlｃｏmputｉｎg ａrｅMPI, PVM，OｐenMP, TＢB and Ｃilk+＋，eｔｃ.Eｘｐlｏred tｈe applｉcation oｆpaｒaｌlel cｏmputiｎg coｍbinｅｄwｉtｈcloｕｄcoｍputiｎgａnd bｉg ｄata ｗhicｈaｒe ｖｅry popular iｎcu ｒreｎtｒｅseａrｃh.Finaｌly ,thrｏugh ｔhe MPI prograｍmｉng ｍoｄel,ａsimpｌe experimｅnt oｆｐaraｌｌｅl programｍing iｓcaｒｒied ｏuｔ. Keｙwords:paｒａllel compｕｔｉｎg; fｒamｅｗｏrk；pｒogramｍing moｄel；appｌicａtｉｏn; expeｒiｍeｎt 1引言 近年来多核处理器的快速发展,使得当前软件技术面临巨大的挑战。单纯的提高单机性能,已经不能满足软件发展的需求，特别是在处理一些大的计算问题上,单机性能越发显得不足。在最近AｌphaＧo与李世石的围棋大战中，AｌphaＧo就使用了分布式并行计算技术,才能获得强大的搜索计算能力。并行计算正是在这种背景下,应运而生。并行计算或称平行计算时相对于串行计算来说的。它是一种一次可执行多个指令的算法,目的是提高计算速度,及通过扩大问题求解规模,解决大型而复杂的计算问题。可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。其中空间上的并行，也是本文主要的关注点。 并行计算（Ｐaraｌlel Ｃompｕｔinｇ）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题,即将被求解的问题分解成若干个部分,各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的，含有多个处理器的超级计算机，也可以是以某种方式互联的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理,再将处理的结果返回给用户。 目前常用的并行计算技术中，有调用系统函数启动多线程以及利用多种并行编程语言开发并行程序,常用
ANSYS11.0分布式并行计算步骤 Example: Running Distributed ANSYS on Windows 一、准备工作 （1）在主从机上分别安装ansys11.0到相同的目录下。 （2）在主从机上分别注册相同的用户名（管理员身份）和密码。 （3）在主从机上分别安装dotnetfx.exe。 （4）在主从机上分别为ansys创建相同的工作目录。 （5）把测试例题命令流tutor1_carrier_win.inp复制到主机的工作目录下。 命令流位于C:\Program Files\ANSYS Inc\v110\ANSYS\data\models的目录下。 二、安装mpich2并进行测试 （1）在主从机上分别安装mpich2-1.0.3-1-win32-ia32.msi，此文件在C:\Program Files\ANSYS Inc\v110\ANSYS\MPICH2中，采用默认安装目录见下图。 （2）在运行开始>程序>MPICH2>wmpiregister，输入用户名和密码，单击register，单击OK，如图所示。 （3）单机测试：在主从机上分别在DOS模式下进入C:\Program Files\Ansys Inc\v110\ANSYS\bin\intel，运行ansys110 -np 2 -mpitest命令，见下图所示。 （3）打开C:\Program Files\Ansys Inc\v110\ANSYS\bin\intel，用记事本打开machines，进行编辑，见下图，其中A13A7DA13157493为主机计算机名，PC-200907230929为从机计算机名。必须为偶数个结点，每两个核构成一个结点，所以为核数为奇数。例如A13A7DA13157493电脑为4核，设置了2核，PC-200907230929为2核，设置了1核，3核构成2个结点。
分布式并行计算应用（一） 迎接P2P分布式并行计算今年是处理器的“双核年”。多年以来，Intel和AMD都在持续努力提升CPU计算能力，在单芯片频率达到近乎极限后，终于将CPU推入多内核时代。 现今的个人计算机，运算能力是早期大型计算机的百倍以上，这是拜软件业与硬件业互相促进之赐。众所周知的例子，是所谓“微软-英特尔”联盟，即操作系统和处理器相互刺激市场需求。市场竞合的结果，导致寡头垄断局面形成；在个人电脑市场上，两硬（Intel、AMD）一软（微软）分蛋糕分得不亦乐乎。 我们需要越来越快的计算机。人类追求极限的永恒需要，会让我们在追求更高计算能力的路上继续走下去。然而，“更高计算能力”并不一定意味着“更快的CPU”，所有CPU计算能力的总和，总是大于单个CPU，分布式并行计算，提供了让许多CPU 协同工作的可能性。 多CPU（多台计算机）协同，基本上是软件层面的问题，软件层面的问题，最终还是操作系统平台的问题。互联网给了Goo gle一个机会，把运算放到客户端去执行，这是一种聪明的做法——它意味着更少的中央服务器投入和更好的用户体验。Googl e持续推出基于Web的新服务，几乎让人觉得Web OS时代已经
到来。这判断为时过早，可以说，目前Web客户端平台运算能力相对于纯本地程序，是相当低下的；再者，浏览器本身，仍然需要在操作系统之上运行；其三，这种架构仍然没有将客户计算机有机地整合起来。 IBM等大公司，推网格计算概念已有多时，实质成果还不如小小一个BT/eMule来得大。P2P技术用在文件共享上，已经改变了整个娱乐业格局，如果它被应用于运算能力协同上，前途无可限量。 互联网会更加普及，未来所有个人设备都会随时在线，设备（客户端）是人类个体的智能代理。如果把每个设备看作CPU的一个内核，将能组成一个运算能力强大的多核CPU。过去几十年，计算机CPU和操作系统，一直在朝着高度集成化方向发展，导致软、硬件体系结构趋向于高度复杂，单机运算能力也在逼近极限。基于P2P的分布式并行计算，另辟蹊径，化解了单机高度集成带来的复杂度。 基于P2P的广域网分布式并行计算，有两个问题需要解决：第一，协同机制。客户端之间如何互相协作、如何分解问题、如何解决通讯导致的延迟、如何实现“热插拔”…… 第二，信用机制。WebService租用和ASP（Application S ervice Provider）未能变成主流市场，很大程度上是因为信用机制不够健全。信用有两个层面，一个是信用观念，一个是信用技术，前者取决于后者。
基于Hadoop分布式爬虫设计综述 摘要：由于Internet规模不断扩大,包罗万象的信息资源被连接在一起,形成了一个广阔宏大的信息空间"在这个空间中,存在着海量的信息,如何快速高效和安全地让网络用户在如此浩瀚的信息海洋之中找到并获取自己所需的资源,是当前互联网发展的最大挑战之一。如今,云计算已成为当前的重要趋势之一。本文主要阐述在Hadoop分布式文件系统HDFS以及分布式计算框架MapReduce的基础上开发的分布式搜索引擎的爬虫设计相关技术、原理、流程图。 关键词：云计算分布式爬虫Hadoop 搜索引擎 1 引言 随着搜索引擎的发展,搜索引擎所采用的技术也随之变得丰富和多样化,能够适应不同搜索用户以及不同搜索目的的需要。目前,搜索引擎的性能指标主要有三个:首先考虑的是规模的大小,只有规模达到一定的数量级,用户搜索结果的符合度才能够达到满足不同用户的需求程度;其次是性能,搜索引擎的网络蜘蛛必须在一个较短的时间内完成对目标网络的信息搜索,同时,能够在用户可容忍的时间段内,完成搜索结果的反馈;最后是搜索的质量,能够去掉信息重复的网页,对一些无用信息进行过滤,能够准确返回用户想要的结果。 如何从庞大的资料库中找到正确的资料,被公认为是下一代搜索技术的竞争要点"要对海量的信息进行检索,单单依靠单台计算机的处理能力远远不够,即使硬件的发展速度很快,但是根本赶不上信息的增长速度。而若采用集群计算机实现,虽然可以解决处理速度问题,但由于从网络的整体上看,该集群仍是一个结点,会严重受制于网络带宽,因此,需要采用多台计算机进行分布式协同处理"。 分布式搜索引擎是通过网络把大范围的分布、异构数据集联合起来,形成一个逻辑整体,为用户提供分布式的信息检索服务。同传统搜索引擎相比,分布式搜索引擎有以下优点: 1)各检索服务器之间协同工作,每个服务器只搜索自身自治区域内的信息资源,彼此之间只传递搜索结果信息,加快了检索速度,减轻网络及各站点的负担; 2)与网络资源本身的分布式特性相适应,增加搜索服务器方便,有良好的可扩展性; 3)索引信息化分到各个数据库中,使得各索引数据库规模小,易于管理,缩短查询响应时间。 当今，大型网站的用户多，参与度广。因此,如何有效地为如此巨大的用户群
分布式与并行计算 报告
并行计算技术及其应用简介 XX （XXX， XX，XXX） 摘要：并行计算是实现高性能计算的主要技术手段。在本文中从并行计算的发展历程开始介绍，总结了并行计算在发展过程中所面临的问题以及其发展历程中出现的重要技术。经过分析在当前比较常见的实现并行计算的框架和技术，来对并行计算的现状进行阐述。常见的并行架构分为SMP（多处理系统）、NUMA（非统一内存存储）、MPP（巨型并行处理）以及集群。涉及并行计算的编程模型有MPI、PVM、OpenMP、TBB及Cilk++等。并结合当前研究比较多的云计算和大数据来探讨并行计算的应用。最后经过MPI编程模型，进行了并行编程的简单实验。 关键词：并行计算；框架；编写模型；应用；实验 A Succinct Survey about Parallel Computing Technology and It’s Application Abstract:Parallel computing is the main technology to implement high performance computing. This paper starts from the history of the development of Parallel Computing. It summarizes the problems faced in the development of parallel computing and the important technologies in the course of its development. Through the analysis of framework and technology commonly used in parallel computing