(重要)并行计算PC机群的构建

2012.448基于PC 集群的 MPI 并行环境的搭建希润高娃内蒙古师范大学计算机与信息工程学院 内蒙古 010022摘要：集群是充分利用计算资源的一个重要概念，PC 集群是最易构建的分布式并行计算环境。

MPI 是应用最广的并行程序设计平台。

本文通过实例阐述PC 集群及PC 集群上的MPI 并行计算环境的搭建。

关键词：集群；PC 集群；MPI ；并行0 引言高性能仍是计算机领域的重要目标。

并行计算的不断发展推动着高性能计算的发展，利用集群系统的并行计算技术已被认为是未来解决大数据量问题或商业计算的导向。

集群能够充分利用现有的闲置计算机资源，而且还能够使用较低配置的软硬件，来实现较高性能的计算。

随着处理器技术和高性能网络技术的飞速发展，以及软件工具的改善，PC 的性能不断的提高，价格越来越廉价，性价比已远远优于工作站，而PC 集群也成为了高性价比的并行计算资源。

所以基于PC 的并行计算环境及其上的并行算法的研究是很有价值和意义的。

MPI(Message Passing Interface)是基于消息传递编写并行程序的一种用户界面，是一个并行函数库的标准，是可移植的标准平台。

MPI 具有内定和用户自定义的数据汇集操作功能，可以把大量数据进行打包后传输；能有效地管理消息、缓存区，具有结构化缓存，扩充数据类型及异构性，能实现完全异步的点对点通信，发送与接收操作可以完全与计算操作交叉进行。

MP 移植性好、功能强大、效率高、硬件平台支持度高等多种优点，使它成为了研究和应用的重要并行环境。

1 集群1.1 集群系统结构集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性和可用性的服务平台，属于分布式存储的并行计算机结构，典型的集群系统结构如图1所示。

图1 集群系统结构图集群通过计算机高速网络将一群工作节点连接起来，充分利用各个节点的各种资源，统一调度，协调处理，以实现高效率的并行计算。

其高速网络可以是普通的局域网也可以是高速网络，而通信协议一般是TCP/IP 协议。

并行计算PC机群的构建随着计算机硬件技术的高速发展，处理器和网络的性能不断地迅速提高和价格的日益下降，使得并行计算日益从传统的超级计算平台转移到由一组高性能节点或工作站／PC机构成的称之为机群的计算平台上，从而机群成为构建可扩放并行计算机的一大趋势。

机群在计算机界有很多称呼，其中松耦合的工作站／PC机群也被称为工作站机群COW（Cluster of Workstation）或工作站网络NOW（Network of Workstation）；而紧耦合的高性能服务器节点机群也被称为构筑高端大规模并行机的机群系统（如SP2和Option Red）。

本文将主要从PC机群软、硬件环境的选择及配置出发给出一个逐步的PC机群构建手册，以使广大的科研工作者能够更为方便的在PC机群环境中开展自己的工作。

并行计算机群是目前由于硬件的时效性很强，所以给出例子的意义并不是很大。

我们这里给出一套配置主要是为了以后叙述的方便，读者应该根据当前最新的硬件信息进行选择。

1 PC机群硬件部件的选择在PC机群的构建过程中，硬件部件应根据所要部署应用的类型又针对性的加以选择，具体原则请参见《并行算法实践》第2.2节（硬件的选择与安装）。

本文沿用该章所给出的示例配置，如下：该PC机群包括1个服务节点（兼作计算节点）和63个计算节点。

（1）服务节点配置：CPU：Pentium Ⅳ2.0G（512KB全速二级缓存）内存：1G（2⨯512M）Rambus硬盘：80GB IDE主板：ASUS P4T Socket 423网卡：3com 905 –TX（两个）显卡、显示器、键盘、鼠标、光驱、软驱：略（2）计算节点配置：CPU：Pentium Ⅳ1.5G（512KB全速二级缓存）内存：512MB（2⨯256M）Rambus硬盘：40GB IDE主板：ASUS P4T Socket 423网卡：3com 905 –TX另外，交换设备由2个3com 3c16980和1个3com 3c16985的交换机通过一个matrix module堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为千兆网卡。

并行计算机体系结构与应用一、介绍并行计算机是一种基于多处理器系统的计算机，将一个大问题分成多个小问题，每个处理器同时解决一个小问题，然后将所有的结果合并起来得到最终结果。

并行计算机的主要特点是高性能和可扩展性。

在计算密集型应用中，它比传统的单处理器计算机有更好的性能表现。

在本文中，我们将介绍并行计算机体系结构和应用。

二、并行计算机体系结构并行计算机体系结构可以分为共享内存和分布式内存两种类型。

共享内存并行计算机中，所有处理器共享系统内存，每个处理器可以访问内存中的任何数据。

分布式内存并行计算机中，处理器之间没有共享内存，它们通过网络互连。

每个处理器只能访问它本地的内存。

1、共享内存并行计算机在共享内存并行计算机中，所有的处理器都共享一个物理内存。

当一个处理器需要访问内存的时候，它会向内存发出请求。

内存控制器会负责处理请求，并将数据保存在缓存中，如果其它处理器要访问相同的数据，那么它们可以从缓存中取出数据，这可以节省大量的访问时间。

共享内存并行计算机的优点是处理器之间可以共享数据，并且程序员不需要考虑数据的分配问题。

但是，这种体系结构也存在一些缺点，比如内存访问冲突和缺乏可靠性。

2、分布式内存并行计算机在分布式内存并行计算机中，每个处理器都有自己的物理内存，它们通过网络互连。

处理器之间的通信是通过发送和接收消息来完成的。

在分布式内存并行计算机中，处理器需要显式地将数据发送到其它处理器，这使得程序员需要考虑数据的分配问题。

然而，分布式内存并行计算机可以通过增加处理器的数量来提高性能，比共享内存并行计算机更具有扩展性。

三、并行计算机应用并行计算机的主要应用是在大型科学计算和工程领域。

以下是一些常见的应用领域：1、气象模拟气象模拟需要处理海量的数据，并且需要比较高的计算性能。

使用并行计算机可以加快气象模拟的速度，从而提高预报准确性。

2、生物信息学生物信息学需要处理大量的基因数据和蛋白质数据。

这些数据的处理需要快速和准确地分析和比较。

并行计算环境搭建一．搭建并调试并行计算环境MPI的详细过程。

1．首先，我们选择在Windows XP平台下安装MPICH。

第一步确保Windows平台下安装上了.net框架。

2．在并行环境的每台机子上创建相同的用户名和密码，并使该平台下的各台主机在相同的工作组中。

3．登陆到新创建的帐号下，安装MPICH软件，在选择安装路径时，每台机子的安装路径要确保一致。

安装过程中，需要输入一致的passphrase，也即本机的用户名。

4．安装好软件后，要对并行环境进行配置（分为两步）：第一步：注册。

在每台机器上运行wmpiregister，按照提示输入帐号和密码，即本机的登录用户名和密码。

第二步：配置主机。

在并行环境下，我们只有一台主机，其他机子作为端结点。

运行主机上的wmpiconfig，在界面左侧栏目中选择TNP工作组，点击“select”按钮，此时主机会在网络中搜索配置好并行环境的其他机子。

配置好并行环境的其他机子会出现绿色状态，点击“apply”按钮，最后点击“OK”按钮。

5．在并行环境下运行的必须是.exe文件，所以我们必须要对并行程序进行编译并生成.exe文件。

为此我们选择Visual C++6.0编译器对我们的C语言程序进行编译，在编译过程中，主要要配置编译器环境：（1）在编译器环境下选择“工程”，在“link”选项卡的“object/library modules”中输入mpi.lib，然后点击“OK”按钮。

（2）选择“选项”，点击“路径”选项卡，在“show directories for”下选择“Include files”，在“Directories”中输入MPICH软件中“Include”文件夹的路径；在“show directories for”下选择“Library files”，在“Directories”中输入MPICH软件中Library文件夹的路径，点击“OK”。

（3）对并行程序进行编译、链接，并生成.exe文件。

第11章__并行计算机体系结构简介1. 引言随着计算机应用的不断发展，对计算机性能和计算能力的需求越来越高，而单一计算机性能的提升已经达到了瓶颈。

面对这种情况，计算机学科开始关注并行计算机。

并行计算机的提出，为解决单一计算机的性能瓶颈开辟了一条新的道路。

本章将简要介绍并行计算机体系结构。

2. 并行计算机的概念并行计算机是使用并行处理器（即多个处理器）来执行并行任务的计算机。

并行处理器是一种能够在同一时间内处理多个指令或多个数据的处理器，因此对于需要进行大量计算的应用程序而言，使用并行计算机可以大大提高计算速度。

并行计算机可以分类为以下三类：（1）指令级并行计算机：每个指令被分成数个步骤，不同步骤可以并行执行，以提高计算速度。

（2）进程级并行计算机：多个处理器执行不同的程序或进程，从而提高计算速度。

（3）数据级并行计算机：多个处理器对同一数据进行不同的计算，以提高计算速度。

3. 并行计算机的体系结构并行计算机的体系结构包括处理器阵列、多处理器、超级计算机等。

（1）处理器阵列：处理器阵列是由多个同构的处理器组成的结构，每个处理器都有自己的主存储器和指令流。

处理器阵列相对简单，但是需要使用特殊的编程技术，在编写并行程序时需要考虑负载平衡、同步和通信等问题。

（2）多处理器：多处理器是由多个不同类型的处理器组成的计算机系统，这些处理器可以是同构的，也可以是异构的。

多处理器系统采用共享存储器结构或分布式内存结构。

由于多处理器系统特点是强一致性和数据共享，它需要使用特殊算法来避免死锁和竞争条件等问题。

（3）超级计算机：超级计算机是由数千个处理器组成的计算机系统，它的计算能力是常规计算机的数十倍或数百倍。

超级计算机一般使用NUMA结构、MPP结构或混合结构，采用分布式内存结构可以有效解决存储器容量的限制问题，同时使用高速互联技术可以提高计算速度。

4. 并行计算机的优缺点并行计算机相对于单一计算机性能的优势主要体现在以下几个方面：（1）计算速度快：并行计算机可以同时执行多个任务，因此可以大大缩短计算时间。

计算机科学中的并行计算架构设计随着数据量的不断增大，计算机科学界对并行计算架构的研究日趋重要。

在并行计算中，计算任务被分成多个子任务，这些子任务被同时执行，从而提高计算效率。

而并行计算架构的设计则是保证计算机系统可以充分利用并行计算的优势，实现任务的高效协同。

本文将探讨计算机科学中的并行计算架构设计，重点关注并行计算的基本原理、并行计算架构的设计过程以及并行计算在各个领域的实际应用。

并行计算的基本原理并行计算的核心思想是将单个计算任务分割成多个子任务，每个子任务被分配到不同的计算单元中同时执行。

这些计算单元可以是多个处理器、多个计算机节点或者多个计算核心。

在并行计算执行过程中，每个计算单元可以同时进行自己的计算任务，不需要等待其他计算单元的任务完成。

在并行计算中，计算任务被分割成多个子任务，并行执行。

同时执行的子任务可以被视为一个并行计算流程，这个流程被称为进程。

在每个进程中，数据被分块存储，并分配到不同的计算单元中进行处理。

计算单元之间的通信被称为消息传递，通常采用消息队列的形式进行实现。

通过这种方式，每个进程可以在自己的计算单元中独立的进行任务执行，同时也可以通过消息传递机制与其他进程进行数据交换。

并行计算架构的设计过程在并行计算架构的设计过程中，需要关注多个方面。

其中最重要的包括并行计算的吞吐量、并行计算的负载均衡、计算节点之间的消息传递效率以及并行计算的容错性等。

吞吐量在并行计算中，吞吐量指的是系统在处理计算任务时能够达到的最大速度。

提高吞吐量的方法包括增加计算单元数量、优化通信协议、以及优化计算任务的分布等。

负载均衡在并行计算中，负载均衡指的是将计算任务分配到不同的计算单元中，以达到最大的计算效率。

负载均衡的设计需要考虑多方面因素，例如任务的数量、任务的计算复杂度、计算节点的性能等因素。

通过合理的负载均衡设计，可以避免单个计算节点因为负载过重导致任务执行效率低下，从而提高并行计算的整体效率。

并行计算PC机群的构建随着计算机硬件技术的高速发展，处理器和网络的性能不断地迅速提高和价格的日益下降，使得并行计算日益从传统的超级计算平台转移到由一组高性能节点或工作站／PC机构成的称之为机群的计算平台上，从而机群成为构建可扩放并行计算机的一大趋势。

机群在计算机界有很多称呼，其中松耦合的工作站／PC机群也被称为工作站机群COW（Cluster of Workstation）或工作站网络NOW（Network of Workstation）；而紧耦合的高性能服务器节点机群也被称为构筑高端大规模并行机的机群系统（如SP2和Option Red）。

本文将主要从PC机群软、硬件环境的选择及配置出发给出一个逐步的PC机群构建手册，以使广大的科研工作者能够更为方便的在PC机群环境中开展自己的工作。

并行计算机群是目前由于硬件的时效性很强，所以给出例子的意义并不是很大。

我们这里给出一套配置主要是为了以后叙述的方便，读者应该根据当前最新的硬件信息进行选择。

1 PC机群硬件部件的选择在PC机群的构建过程中，硬件部件应根据所要部署应用的类型又针对性的加以选择，具体原则请参见《并行算法实践》第2.2节（硬件的选择与安装）。

本文沿用该章所给出的示例配置，如下：该PC机群包括1个服务节点（兼作计算节点）和63个计算节点。

（1）服务节点配置：CPU：Pentium Ⅳ2.0G（512KB全速二级缓存）内存：1G（2⨯512M）Rambus硬盘：80GB IDE主板：ASUS P4T Socket 423网卡：3com 905 –TX（两个）显卡、显示器、键盘、鼠标、光驱、软驱：略（2）计算节点配置：CPU：Pentium Ⅳ1.5G（512KB全速二级缓存）内存：512MB（2⨯256M）Rambus硬盘：40GB IDE主板：ASUS P4T Socket 423网卡：3com 905 –TX另外，交换设备由2个3com 3c16980和1个3com 3c16985的交换机通过一个matrix module堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为千兆网卡。

如何构建并行计算框架构建一个并行计算框架需要考虑多个方面，包括任务调度、并行计算模型和资源管理等。

以下是一个构建并行计算框架的简单步骤和关键要点：1.设计并行计算模型：-首先，需要明确并行计算的目标和需求。

确定需要处理的任务类型、数据规模和预期性能。

- 然后，选择合适的并行计算模型。

常见的并行计算模型包括分布式内存计算模型（如MapReduce），并行数据库计算模型和共享内存计算模型。

-根据任务类型和数据规模，选择合适的并行算法和数据结构。

考虑任务间的依赖关系，确定任务之间的调度顺序。

2.任务调度：-设计一个任务调度器，负责将任务分配给各个计算节点。

根据任务的优先级和调度策略，动态调整任务的分配和调度。

-考虑任务调度的负载均衡问题，尽量保证各个计算节点的负载均衡，提高系统的整体性能。

-使用基于优先级的调度算法，提高任务的执行效率。

3.并行计算：-在并行计算框架中，需要实现任务的并行执行。

可以使用线程池或任务队列等方式，将任务分配给多个工作线程并行处理。

-确保任务之间的数据访问互斥，避免并发冲突。

可以使用互斥锁、信号量等机制，保证对共享数据的访问线程安全。

4.数据管理：-并行计算框架需要管理大量的数据，包括输入数据和计算中间结果。

设计一个高效的数据管理策略，尽量减少数据的传输和复制。

-考虑数据分区和数据划分的问题。

根据数据的特点和计算任务的需求，将数据划分为适当的块，分配给不同的计算节点并行处理。

5.故障处理：-并行计算框架需要具备一定的容错能力。

设计一个故障检测和恢复机制，能够及时发现计算节点的故障，并将任务重新分配给其他可用节点处理。

-考虑任务中断和数据丢失的情况，设计相应的容错策略和数据恢复机制。

6.性能优化：-对于大规模并行计算框架，性能优化是非常重要的。

可以采用一些优化手段，提高并行计算的效率。

如任务并行度的调整、任务的粒度控制、数据局部性的优化等。

-使用性能分析工具进行性能测试和性能调优，定期检查系统的性能指标，寻找优化的空间。

并⾏计算机系统结构
并⾏计算机系统结构
1. 并⾏计算机结构模型
1. 单指令流多数据流机SIMD(Single Instruction Multiple Data)；
2. 并⾏向量计算机PVP(Parallel Vector Processor)；
3. 对称多处理机SMP(Symmetric MultiProcessor)；
4. ⼤规模并⾏处理机MPP(Massively Parallel Processor)；
5. 分布式共享存储DSM(Distributed Shared Memory)
6. 多处理机和⼯作站机群COW(Cluster Of Workstation)（现在常称之为机群）。

1. 并⾏计算机访存模型
1. UMA（Uniform Memory Access）模型是均匀存储访问模型的简称。

2. NUMA(Nonuniform Memory Access)模型是⾮均匀存储访问模型的简称。

3. COMA(Cache-Only Memory Access)模型是全⾼速缓存存储访问的简称。

4. CC-NUMA（Coherent-Cache Nonuniform Memory Access）模型是⾼速缓存⼀致性⾮均匀存储访问模型的简称。

5. NORMA（No-Remote Memory Access）模型是⾮远程存储访问模型的简称。