基于Abaqus软件的并行计算异构集群平台的搭建
- 格式:pdf
- 大小:280.34 KB
- 文档页数:6
高性能计算平台ABAQUS算例高性能计算平台ABAQUS算例贺有为(******************),June.2010作者简介:贺有为,中南大学材料学院研究生,师从邓运来教授,在邓运来和唐建国老师的指导下研究功能材料与分子的模拟计算。
目录ABAQUS简介 (1)ABAQUS的主要功能 (1)ABAQUS的优点 (2)为什么要利用高性能计算平台运行ABAQUS作业 (2)LINUX系统下ABAQUS应用算例 (3)ABAQUS简介ABAQUS是一套功能强大的工程模拟有限元软件,是材料计算软件里的贵族,其解决问题的范围从相对简单的线性分析到许多复杂的非线性问题。
ABAQUS包括一个丰富的、可模拟任意几何形状的单元库。
并拥有各种类型的材料模型库,可以模拟典型工程材料的性能,其中包括金属、橡胶、高分子材料、复合材料、钢筋混凝土、可压缩超弹性泡沫材料以及土壤和岩石等地质材料。
作为通用的模拟工具,ABAQUS 除了能解决大量结构(应力∕位移)问题,还可以模拟其他工程领域的许多问题,例如热传导、质量扩散、热电耦合分析、声学分析、岩土力学分析(流体渗透∕应力耦合分析)及压电介质分析。
ABAQUS的主要功能ABAQUS为用户提供了广泛的功能,且使用起来又非常简单。
大量的复杂问题可以通过选项块的不同组合很容易的模拟出来。
例如,对于复杂多构件问题的模拟是通过把定义每一构件的几何尺寸的选项块与相应的材料性质选项块结合起来。
在大部分模拟中,甚至高度非线性问题,用户只需提供一些工程数据,像结构的几何形状、材料性质、边界条件及载荷工况。
在一个非线性分析中,ABAQUS能自动选择相应载荷增量和收敛限度。
他不仅能够选择合适参数,而且能连续调节参数以保证在分析过程中有效地得到精确解。
用户通过准确的定义参数就能很好的控制数值计算结果。
ABAQUS的优点ABAQUS软件在求解非线性问题时具有非常明显的优势。
其非线性涵盖材料非线性、几何非线性和状态非线性等多个方面。
在集群计算系统上以并行方式运行Gaussian03作业的实现方式摘要:针对云南大学高性能计算中心Gaussian03目前没有充分利用曙光集群计算资源的现状,介绍了Gaussian03并行计算的实现方法。
云南大学高性能计算中心Gaussian03使用现状目前中心曙光系统上Gaussian03的使用过程中,由于输入文件中没有选择任何并行执行方式,导致所有作业基本都以线性方式执行,即其效率与单CPU执行没有什么区别,并没有充分利用集群系统的计算资源。
以下对曙光集群系统上Gaussian03作业实现并行计算的方法进行介绍。
Gaussian03并行计算方式的介绍Gaussian是做半经验计算和从头计算使用最广泛的量子化学软件,该软件由很多子程序(Link)构成。
一个Gaussian 03执行程序会启动多个子程序分段执行,其中部分子程序可以并行执行,部分程序只能串行执行,各个子程序的功能及其可并行性请参见附录1。
Gaussian03软件提供了两种并行方式,一种是OpenMP共享内存的并行方式,另一种是TCP-Linda并行方式,也可以两种并行方式混合使用。
具体来讲,共享内存的并行方式只允许作业使用某个单节点上共享内存的多个CPU。
譬如中心曙光系统上,一个作业如果通过共享内存的方式并行执行,则最多只能使用某个计算节点上的4个CPU。
TCP-Linda是专门为Gaussian03设计,实现G03分布式并行的必需程序,它以Linda并行库来实现多机的并行作业。
Linda并行方式允许作业使用多个节点上分布式共享内存的多个CPU。
譬如中心曙光系统上,一个作业如果通过Linda并行执行,若用户权限是中型作业区的8个节点,则作业可以使用8个节点协同作业。
Gaussian 03软件可以在执行任务的时候选择Linda并行方式、共享内存方式或者两种方式的混合。
Gaussian03并行计算的实现Gaussian03提供的两种并行方式或者两种方式的混合,主要通过输入文件中Link0命令来实现:%NProcLinda、%NProcShared、%LindaWorkers(提醒:本中心目前使用的是Gaussian03.D.01版本,在该版本中%NProc命令已经失效),关于Gaussian03软件所有Link0命令的含义及使用方法请参见附录2。
大规模并行计算平台的设计与实现随着科技的不断进步,大规模并行计算已成为许多领域中的重要技术手段。
在面对越来越复杂的问题和海量的数据时,传统的串行计算已无法满足需求,而并行计算平台的设计与实现则成为解决方案之一。
设计一套高效可靠的大规模并行计算平台需要考虑多个方面,包括硬件架构、通信模型、并行算法以及调度和管理等。
本文将详细介绍这些方面的内容,并探讨如何有效地设计和实现一套大规模并行计算平台。
首先,硬件架构是设计大规模并行计算平台的基础。
常见的硬件架构包括集群、分布式系统和超级计算机等。
集群是由多台计算机相互连接组成的,每台计算机可以独立工作,也可以相互合作完成任务。
分布式系统由多个独立的计算节点组成,节点之间通过网络进行通信和协作。
超级计算机则采用高度集成的多处理器结构,通过高速互联网络实现多个处理器之间的数据交换和共享。
选择适合应用需求的硬件架构是设计高效的并行计算平台的首要任务。
其次,通信模型是并行计算平台中的重要组成部分。
通信模型决定了节点之间的数据传输方式,包括点对点通信和集合通信。
点对点通信是指只有一个发送方和一个接收方之间的通信,而集合通信则涉及多个节点之间的数据交换。
在设计并行算法时,合理选择通信模型可以提高计算效率和减少通信开销。
在并行计算平台中,优秀的并行算法对于提高计算性能起到至关重要的作用。
并行算法是将问题划分为多个子问题,每个子问题由不同的计算节点处理。
在并行计算平台设计与实现过程中,需要选择适合问题特点的并行算法,并设计有效的任务划分和通信策略,以充分利用并行计算资源,提高计算效率。
除了硬件架构、通信模型和并行算法外,调度和管理也是一个重要的方面。
调度和管理包括任务的调度和资源管理两个部分。
任务调度决定了任务在计算平台上执行的顺序和方式,资源管理则负责分配和管理计算平台上的资源。
合理的调度和管理策略可以避免资源浪费、降低任务执行时间,并提高整体的性能。
总结来说,大规模并行计算平台的设计与实现需要考虑硬件架构、通信模型、并行算法以及调度和管理等多个方面。
并行计算:利用多核处理器和集群提高性能并行计算是指同时利用多个处理器或计算机集群来并行处理计算任务的一种计算模式。
随着多核处理器和集群计算技术的发展,越来越多的应用程序开始采用并行计算技术来提高性能和效率。
本文将从多核处理器和集群计算的原理、优势及应用领域等方面进行深入分析,并探讨并行计算在未来的发展趋势和挑战。
一、多核处理器的原理及优势1.多核处理器的原理多核处理器是指在一个物理芯片上集成了多个处理核心,每个核心都可以独立执行指令和处理数据。
多核处理器的原理是通过并行处理多条指令来提高系统的性能和效率。
当一个核心在执行一条指令时,其他核心可以同时执行其他指令,从而实现并行处理。
2.多核处理器的优势多核处理器的优势主要体现在以下几个方面:(1)提高性能:多核处理器能够同时执行多个任务,从而大大提高了系统的计算速度和响应能力。
(2)节省能源:相比传统的单核处理器,多核处理器在执行相同任务时可以实现更高的能效比,从而节省了能源。
(3)增强可靠性:多核处理器通过分布式处理和故障容忍等技术可以提高系统的可靠性和稳定性。
(4)降低成本:多核处理器的集成化设计可以降低系统的成本,提高系统的性价比。
二、集群计算的原理及优势1.集群计算的原理集群计算是指通过连接多台计算机来构建一个高性能计算系统,各个计算节点之间通过网络连接进行数据传输和协同计算。
集群计算的原理是通过将大规模的计算任务分解成多个小任务,然后分配给不同的计算节点并行处理,最后将结果合并输出。
2.集群计算的优势集群计算的优势主要体现在以下几个方面:(1)可扩展性:集群计算系统可以根据应用需求动态扩展计算节点,以满足不同规模和复杂度的计算任务。
(2)高性能:集群计算通过并行处理和数据分布式存储等技术可以实现高性能的计算和数据处理。
(3)灵活性:集群计算可以根据应用需求选择不同的计算节点和网络拓扑,以实现不同的计算模式和数据流程。
(4)成本效益:集群计算系统可以通过利用廉价的商用计算机和网络设备来构建高性能的计算平台,从而降低了系统的运维成本和投资成本。
我是如何进行异构并行计算算法设计的作者风辰当2011年我从中科院毕业的时候,虽然当时已经成为了GPU并行计算领域小有名气的人物,但是我当时的心境非常不安,因为无论是在51job,还是在智联招聘上都搜索不到GPU 并行计算相关的职位,甚至连并行计算相关的职位也查找不到,“毕业即失业”成为隐忧。
而在写作本文时,我在51job和智联招聘上搜索“GPU”或CUDA时,弹出来的职位数量和内容已经非常丰富了,一些企业也开始招聘X86或ARM代码优化人员。
而招聘的公司不但有百度、腾讯等一线公司,也有一些民营企业,而更多的是一些初创企业在寻找相关方向的人才。
我想我的经历是异构并行计算在中国乃至世界发展的一个缩影:异构并行计算已经从实验室里教授们的研究对象变成了真正提高企业生产力的重要工具。
作为一个异构并行计算这一浪潮的重度参与者,我想我有必要和大家分享我的异构并行计算算法设计方法:希望更多的读者从我的方法中借鉴与掌握应该如何设计异构并行计算算法,更希望我的方法能够促进异构并行计算在中国的进一步发展。
1. 异构并行计算平台的差异在不同的应用场景下,需要满足不同要求的处理器,才能够获得最高的计算性能。
在2008年以前,Intel希望通过其X86处理器架构一统天下,把其在桌面和服务器领域的成功复制到移动和嵌入式,以及图形处理。
事实证明其策略是失败的:在移动处理器上,Intel 出过几款处理器,也被联想等企业应用到手机中,但是市场并不买账,而今天移动处理器市场上基本上没有Intel的足迹;在嵌入式上面,Intel最近推出了爱迪生芯片,虽然爱迪生基于Intel X86架构,但是依据嵌入式应用的需求做了许多改进,但是市场依旧在观望;在图形处理器方面,Intel分别针对图形图像处理和通用计算推出了GEN架构和MIC架构,而无论是GEN架构和MIC架构都和传统的X86架构有本质区别,更明确地说:GEN和MIC已经不是X86处理器了,而是纯正的GPU。
ABAQUS在组合结构中的应用1. 应用背景组合结构是指由不同材料组成的结构,这些材料在力学性能和物理特性上有所不同。
组合结构广泛应用于航空航天、汽车、建筑等领域。
在设计和优化组合结构时,需要考虑复杂的力学行为和相互作用效应。
ABAQUS是一种常用的有限元分析软件,其强大的模拟功能使得它成为研究和工程领域中组合结构分析的首选工具。
2. 应用过程2.1 建立几何模型在ABAQUS中,首先需要根据实际情况建立组合结构的几何模型。
可以使用ABAQUS提供的几何建模工具,也可以通过导入CAD模型来创建几何模型。
几何模型应该包括所有组合结构的构件和连接方式。
2.2 定义材料属性组合结构中的材料通常具有不同的力学性能和物理特性。
在ABAQUS中,可以通过定义不同的材料属性来模拟组合结构中的各个材料。
这些材料属性包括弹性模量、泊松比、密度、热膨胀系数等。
2.3 网格划分在进行有限元分析之前,需要将几何模型划分为有限元网格。
ABAQUS提供了多种网格划分工具,可以根据需要选择合适的方法。
划分网格时需要考虑到组合结构中不同材料的边界条件和力学行为。
2.4 定义边界条件在组合结构分析中,边界条件的定义非常重要。
边界条件包括加载条件、约束条件等。
加载条件可以是力、压力、温度等,约束条件可以是固定支撑、自由支撑等。
根据实际情况,在ABAQUS中定义合适的边界条件。
2.5 定义分析步组合结构的分析通常需要多个分析步骤。
每个分析步骤可以有不同的加载条件和约束条件。
在ABAQUS中,可以通过定义分析步来模拟组合结构的实际工况。
2.6 进行有限元分析完成以上准备工作后,可以开始进行组合结构的有限元分析。
在ABAQUS中,可以选择合适的分析模型和求解方法,进行静态分析、动态分析、热力耦合分析等。
根据实际需要,可以对组合结构的不同部分进行局部分析或整体分析。
2.7 分析结果评估有限元分析完成后,可以对分析结果进行评估和分析。
ABAQUS提供了丰富的后处理功能,可以对位移、应力、应变、变形等进行可视化显示和分析。
第31卷第5期2011年10月地震工程与工程振动JOURNAL OF EARTHQUAKE ENGINEERING AND ENGINEERING VIBRATION Vol.31No.5Oct.2011收稿日期:2011-05-27;修订日期:2011-07-25基金项目:国家公益性行业(地震)科研专项(200808022);江苏省自然科学基金项目(BK2008368)作者简介:毛昆明(1985-),男,博士研究生,主要从事轨道交通引起的环境振动方面研究.E-mail :kun -ming@yeah.net 通讯作者:陈国兴(1963-),男,教授,博士,主要从事土动力学与岩土地震工程研究.E-mail :gxchen@njut.edu.cn 文章编号:1000-1301(2011)05-0184-06基于Abaqus 软件的并行计算异构集群平台的搭建毛昆明,陈国兴(南京工业大学岩土工程研究所,江苏南京210009)摘要:在异构集群上充分利用新、旧硬件资源调度计算任务是实现集群高性能并行计算的难点。
通过测试已搭建集群服务器的CPU 和内存对Abaqus 软件计算速度的影响,发现CPU 的主频对Abaqus /Explicit 模块计算速度的影响大,CPU 的缓存对Abaqus /Standard 模块速度影响大;当内存满足计算任务的最小需求时,增加内存对计算速度无任何影响;当内存不足时,计算速度会大幅减慢。
据此测试结果,新增4台服务器作为计算节点和一台Infiniband QDR 交换机作为交换节点,搭建了新的异构集群,性能测试结果表明:相对于千兆以太网络交换机,Infiniband QDR 交换机的并行计算效率更好,且集群的计算节点越多越显著;Abaqus /Standard 模块并行计算效率的提高幅度要比Abaqus /Explicit 模块的稍高一些。
针对异构集群硬件构架相差较大的2批新、旧硬件,设置了2个管理节点、2个网络节点、2个存储节点,充分利用了新、旧硬件资源,高效地实现了在一个异构集群平台上提交与下载任务。
关键词:异构集群;Abaqus 软件;并行计算;Infiniband QDR 交换机中图分类号:P315.69文献标志码:AConstruction of parallel computing heterogeneouscluster platform based on Abaqus softwareMAO Kunming ,CHEN Guoxing(Institute of Geotechnical Engineering ,Nanjing University of Technology ,Nanjing 210009,China )Abstract :Taking full advantage of new and old hardware resources on the heterogeneous cluster to schedule compu-ting jobs is a difficult point in the realization of high performance parallel computing.The influence of servers ’CPU and memory on computing speed of Abaqus software on the cluster which has been constructed is tested.The conclusions are drawn :CPU clock speed has a great effect on the computing speed of Abaqus /Explicit module and CPU internal cache has a great effect on computing speed of Abaqus /Standard module.When memory satisfies the minimum requirement of a computing job ,increasing memory has no effect on the computing speed.When memory is insufficient ,computing speed will slow down sharply.According to the testing results ,four servers as the compu-ting nodes and an Infiniband QDR switch as the network node are added ,and then the heterogeneous cluster is con-structed.Parallel computing speed of the Infiniband QDR switch is tested ,and the result shows that the parallel effect of the Infiniband QDR switch is superior to the gigabit ethernet switch.The more the number of computingnodes is ,the better the parallel effect is.Abaqus /Standard module ’s elevated range of parallel computing efficien-cy is slightly better than Abaqus /Explicit module ’s.Specific to two groups of new and old equipment whose archi-tectures are quite different ,two management nodes ,two network nodes and two storage nodes are set up.The new and old hardware resources are taken full advantage ,then submission and download of jobs from the heterogeneous cluster platform is achieved efficiently.Key words :heterogeneous cluster ;Abaqus software ;parallel computing ;Infiniband QDR switch引言数值模拟是工程振动(地震、风振、列车振动、爆破等)分析领域里一项重要的研究手段,但现代土木工程体积巨大,结构形式复杂,结构物与周围的场地构成了一个复杂的耦合作用系统。
巨大的计算量和超长的计算时间使传统的串行PC 机无能为力,故并行计算机成为高性能计算的平台。
并行计算机主要包括对称多处理机(SMP )和集群[1]。
集群的使用更为广泛,已有很多学者搭建了并行计算集群[2-6]。
与SMP 相比,集群更具扩展性[1]:增加集群中处理器数量时只需要增加集群的计算节点,但增加集群的计算节点面对的最大难题便是计算机第一定律--摩尔定律[7],其本质意思是指计算机硬件的更新速度很快,一年前顶尖的产品或许一年后无人问津。
一个可升级的集群必然包含新、旧硬件,在这样一个异构集群上如何调度计算任务、充分利用所有硬件,是一个必须解决的问题。
不同的硬件在一起工作有可能不兼容,即使兼容也会产生其他不可预知的一些问题,例如:2个构架相差较大的CPU 在一起工作,其计算速度比1个CPU 还慢,甚至有可能造成任务中断。
本文在已构建的基于Abaqus 软件和Linux 操作系统的并行计算集群平台[4]的基础上,测试了CPU 和内存对Abaqus 软件计算速度的影响,增加了与原集群硬件构架相差较大的新节点,并对新构建的异构集群的拓扑结构进行了优化。
1新计算节点的硬件配置要想使集群有很好的计算性能,首先需提高单节点的计算性能。
单节点的计算性能主要受控于CPU 和内存,CPU 型号和内存大小的选择也决定了所需资金的多少。
因此,对原集群增加新的服务器前必须进行一系列测试,以决定其CPU 型号和内存大小选取的合理性价比。
当CPU 的构架相同或相差不大时,影响CPU 性能的主要参数是缓存和主频,但这两者通常不可兼得,应根据不同的应用需求进行选择。
原集群的计算节点中2台服务器的CPU 为Xeon 5365,另2台服务器的CPU 为Xeon 5450,主频均为3GHz 。
缓存对计算速度的影响见表1,以Xeon 5365的计算时间为基准(Abaqus /Standard 模块与Abaqus /Ex-plicit 模块的计算时间不作横向比较,计算时间均定为1),归一化得到Xeon 5450的计算时间。
可以看出:缓存越大,计算速度越快;缓存对Standard 模块的影响很大,但对Explicit 模块的影响不明显。
表1CPU 缓存对Abaqus 计算速度的影响Table 1Effect of CPU internal cache on computing speed of AbaqusCPU 型号缓存值Standard 模块下计算时间Explicit 模块下计算时间理论值实际值理论值实际值Xeon 53658M 1111Xeon 545012M 0.670.560.670.83原集群的终端中有3台PC 机,CPU 都是Intel Core 系列,分别为E3300、E5400、E6800,缓存均为2M 。
主频对计算速度的影响见表2,以E3300的计算时间为基准,归一化得到E5400和E6800的计算时间。
可以发现:主频越高,计算速度越快;主频对Abaqus /Explicit 模块的影响很大,但对Abaqus /Standard 模块的影响稍小。
581第5期毛昆明等:基于Abaqus 软件的并行计算异构集群平台的搭建表2CPU主频对Abaqus软件计算速度的影响Table2Effect of CPU clock speed on computing speed of AbaqusCPU型号主频值(GHz)Standard模块下计算时间Explicit模块下计算时间理论值实际值理论值实际值E33002.51111E54002.70.920.950.920.93E68002.930.850.900.850.84原集群的计算节点的内存为8GB,但可以通过拔插内存条的方式改变内存值,比较不同内存情况下Abaqus软件的计算速度。