基于MPI的三维枝晶生长相场法的并行计算朱昶胜;车超;冯力;肖荣振【摘要】充分利用MPI(message passing interface)在并行环境下远高于单CPU 的强大计算能力,探索基于MPI的并行系统结构,求解三维枝晶生长的高性能计算方法.通过多进程的并发执行,实现三维相场方程求解的并行计算,探讨MPI中点对点通信与集合通信在并行计算时数据传输的效率,讨论热噪声幅值Fu=0与Fu=10-3时三维枝晶生长过程.计算结果表明:基于MPI的并行算法可使模拟尺度达到1 000×1 000×1 000网格,大大提高可模拟尺度;采用集合通信模式比点对点通信模式具有更高的并行效率,更加适合大规模并行计算环境.【期刊名称】《兰州理工大学学报》【年(卷),期】2015(041)005【总页数】6页(P5-10)【关键词】枝晶生长;相场法;MPI;并行计算【作者】朱昶胜;车超;冯力;肖荣振【作者单位】兰州理工大学计算机与通信学院,甘肃兰州730050;兰州理工大学省部共建有色金属先进加工与再利用国家重点实验室,甘肃兰州730050;兰州理工大学计算机与通信学院,甘肃兰州730050;兰州理工大学省部共建有色金属先进加工与再利用国家重点实验室,甘肃兰州730050;兰州理工大学省部共建有色金属先进加工与再利用国家重点实验室,甘肃兰州730050【正文语种】中文【中图分类】TG244Key words: dendritic growth; phase-field method; MPI; parallel computing 随着计算材料科学的发展,通过数值模拟方法真实再现铸件凝固过程,揭示铸件内部各种组织花样的形成机制及演化历程,已逐渐成为研究凝固过程的一种重要手段.相场法作为目前最有效的微观组织数值模拟方法,已在凝固微观组织演化研究中体现出越来越重要的作用.此外,相场法通过相场与温度场、溶质场、重力场、磁场及其他外部场的耦合,可有效地将微观与宏观尺度结合起来,能够对金属凝固过程进行真实的模拟,成为模拟材料微观组织的热点[1-4].随着相场法在凝固微观组织模拟中的应用越来越深入,所建立的相场模型也越来越复杂,相应地,相场模型的数值求解方法也应不断优化改进,以降低模拟软件对计算机硬件的要求,从而使模拟研究与实际生产相结合.相场模型的数值求解方法通常采用有限差分法[5-6],其程序结构简单,采用这种方法的模拟结果都基本与枝晶生长理论吻合良好,取得了预期结果.但是由于其求解相场方程计算量巨大,所以寻求高性能加速算法非常必要.采用基于MPI的并行编程算法求解三维相场模型[7-8],在大幅减少计算时间、提高计算效率的同时,以三维枝晶相场模拟为应用背景,进行相应的并行设计方法及其性能效率的比较研究,重点论述点对点通信和集合通信实现的不同,并通过实际测试结果分析二者的性能差异,旨在展现并行设计的一般思路,扩大求解规模、缩短运行时间、提高效率.Karma和Rappel等对在相场模型中耦合热噪声进行了研究[9].在他们的模型中,非能量守恒扰动(nonconserved noise)和能量守恒扰动(conserved noise)分别以下面的形式加入到相场方程和温度场控制方程中：其中,无量纲温度,D为热扩散系数,λ为耦合常数,τ和W都是界面法向矢量n的函数：式中：ε4为各向异性强度,T为热力学温度,TM为熔点,L为结晶潜热,Cp为等压热熔.θ和q分别表示热噪声矢量,热噪声幅值通过热噪声矢量按照公式求得,各自遵循下述高斯分布：其中,δ为 delta函数,δmn为〈θm(r,t)θn(r′,t)〉在m、n不同情况下的取值,将其中的一些变量按下述形式无量纲化:,热噪声矢量将变成：其中,Fu是热噪声幅值,可以写成以下形式：式中:kB为Boltzmann常数,W0为界面厚度,λ为温度在相场中的耦合系数,J取16/15.MPI(message passing interface),即消息传递接口标准,用于开发基于消息传递的并行程序,具有可移植性、灵活性、可靠性等优点.三维模型采用有限差分方法离散[10],设计方法是将整个计算域划分为多个子域,把各子域上的迭代计算任务分配给相应的节点执行.并行设计过程中需要考虑的问题有计算域划分、计算域通信等. 下面结合实现三维枝晶生长的迭代法并行求解过程,探讨基于MPI的三维枝晶生长并行处理机制提高相场的计算效率.分析三维枝晶生长相场的串行算法,程序的主要数据结构是一个用来保存相场和温度场值的三维数组,可以看作是由多个二维数组组成,三维的计算区域，如图1a所示.MPI并行计算需要将计算区域划分为多个子区域，如图1b,每个子区域分配给MPI节点,并在时间步内临近的网格进行相场值与温度场值的数据交换,最后在该时间步内进行各个节点的数据同步,其数据会根据任务规模和处理器数量分布在集群的各个处理器上,每一个时间步、每个点的相场和温度场的值都会在一次迭代计算后重新被更新.考虑到各处理器的高利用率与处理器间通信最小化之间的平衡,在划分子域时尽可能使每个子域包含的网格算点数相等,保证进程间的负载平衡.对于一个大小为X×Y×Z的均匀模拟网格,使用P个处理器进行并行计算,选择X轴方向的数据是分布式的,在并行时每个处理器会被分配(X/P)×Y×Z的数组,而每个处理器为了保存相邻节点发送的数据,把每个处理器的数组大小设置为(X/P+2)×Y×Z.三维枝晶模拟生长的迭代过程需要反复通信,为使最小化通信时间,减少通信次数,使用点对点通信和集合通信对并行程序进行计算.同时,采用重复非阻塞通信对反复执行的通信进行优化,实现通信与计算重叠,以降低不必要的通信开销.每个处理器保存相邻节点发送数据的区域,每经过一次迭代计算,每个节点都需要对各自内部的计算区域进行边界重新赋值,然后才能进行下一次迭代计算,而每个节点间传输的数据大小为Y×Z.当节点内部数据被更新时,每个节点需要等待接收边界数据,同时也需要发送自己的边界数据给相邻节点,这些发送数据、接收数据的时间就是通信开销[11],接收完边界数据后,更新节点内的数据,这样就完成了一次迭代计算.MPI最基本的通信模式是在一对进程之间进行的消息收发操作：一个进程发送消息,另一个进程接收消息.这种通信方式称为点对点通信(point to point communications).MPI提供2大类型的点对点通信函数.第一种类型称为阻塞型(blocking),第二种类型称为非阻塞型(non blocking).阻塞型函数需要等待指定操作的实际完成,或至少所涉及的数据已被MPI 系统安全地备份后才返回.如MPI_Send 和MPI_Recv都是阻塞型的.由于三维枝晶在计算过程中,需要多次的迭代计算,考虑负载平衡的问题,在并行计算过程中,每个节点之间在经过迭代计算后,使用阻塞型函数来完成各节点间数据的交换,它的完成可能需要与其他进程进行通信[12].集合通信与点对点通信在多个方面是不同的：在通信中的所有进程都必须调用相同的集合通信函数.每个进程传递给MPI集合通信函数的参数必须是“相容的”.点对点通信函数是通过标签和通信子来匹配的.集合通信函数不使用标签,只通过通信子和调用的顺序来进行匹配.图2为在三维枝晶生长的并行计算中采用点对点通信与集合通信的模型示意图.在进程间的通信阶段都采用点对点通信,在输出相场、温度场阶段之前,各节点需要将自己的计算数据发送给主节点,并由主节点进行相场温度数值的输出,在发送数据时分别采用点对点通信与集合通信对计算数据进行传输,并统计各自的计算时间,比较二者在大规模并行计算任务时进行数据传输的效率.采用高纯丁二腈(SCN)为研究对象,材料物性参数为：Tm=331.1 K,cp/= 2.00J/(kg·K),L=46.250 J/kg,ρ=1.020 kg/m3.相场参数为：d0/w0=0.139,Δ=0.55,ε=0.05,D=4,τ0=1.00,λ=6.3.假设区域内充满SCN过冷熔体,半径为r0的初始球形晶核置于区域中心：式中:x,y,z为直角坐标系代表的坐标轴,分别对应于[100]、[010]、[001]枝晶生长方向.在计算区域的边界上,相场和温度场均采用Zero-Neumann边界条件[13-15].为了获得可靠而稳定的计算结果,取空间步长Δx=Δy=Δz=0.08,Δx≤W0,时间步长为Δt,取值要满足稳定性条件Δt<Δx2/6D,Δt=0.060.采用枝晶生长的八分之一区域为计算和后处理区域.实验环境如下：刀片计算系统共有20台曙光CB65-G双路刀片,CPU整体峰值性能达到5.888万亿次/秒.每台刀片计算节点配置2颗AMD Opteron 6272 2.3 GHz十六核处理器,32 G DDR3内存.相场模型的界面厚度约束限制了其模拟尺度,使得相场和温度场在串行机上的计算变得非常困难.而且为了缩短计算时间,三维枝晶生长的模拟常采用高于常规铸造工艺条件下的大过冷度,且主要针对纯物质或对二元合金中的单枝晶和多枝晶的形貌进行定性模拟.限于硬件条件,目前在单CPU上的计算规模为500×500×500,而这也导致枝晶没有足够的生长空间,很难较好地考虑非受限生长的情况.在集群环境下利用MPI并行方式,对三维枝晶的模拟生长进行模拟计算.图3为网格数为1 000×1 000×1 000,t=25 000Δt,热噪声幅值Fu=10-3时,利用5个节点进行并行计算得出的相场与温度场图形,在对计算区域进行计算任务分配时,每个节点的计算规模为200×1 000×1 000,成功实现了较大尺度三维枝晶的定量模拟,解决了传统相场法求解方法计算效率低、内存需求容量大、计算规模小等问题,提高了模拟计算能力.同时可以看出,由于引入噪声,三维枝晶具有发达的二次晶臂.另外,在一次枝晶臂根部有明显的颈缩现象,还可观察到侧向分支根部的断裂和部分二次枝晶的合并现象.同时还可看出,温度的分布情况与枝晶生长吻合,在固相区域因凝固潜热的释放,从而使温度比液相中要高,并且在固液界面处的温度比中心要高,而且在二次枝晶生长比较快的固液界面温度最高,在枝晶尖端由于界面移动速率大,释放的潜热多,热量来不及扩散,因此温度梯度最大,在枝晶根部由于界面移动速率小,因此温度梯度最小.实验中,将计算规模设为N×N×N的均匀网格,对三维枝晶生长实现并行处理,分别用点对点通信与集合通信对数据进行传输,并将计算所需的时间进行比较.当相场的计算规模较小,网格规模为300×300×300时,点对点通信与集合通信的时间统计如图4所示.通过比较可以看出,在实验集群环境下,点对点通信与集合通信的2种并行计算时间相差不是很明显.考虑可能是因为实验计算规模较小,整体的计算时间相对较短.为了更进一步了解点对点通信与集合通信2种并行计算的效率问题,扩大计算规模,当网格数为1 000×1 000×1 000时,2种计算方式的时间统计如图5所示.通过图5可以看出,在大规模计算任务时,集合通信较点对点通信表现出了更高的通信效率,点对点通信在计算过程中需要考虑预防死锁、阻塞与非阻塞、同步与异步,以及各节点间的执行顺序问题,因此在数据传输过程中花费了许多通信开销.随着处理器个数的增加,计算所需时间随之减少,但当处理器的个数增加到10个以后,计算时间减少得并不明显,这主要是因为在任务规模不变时,随图5 网格数为1 000×1 000×1 000时,2种方式的计算时间着处理器个数增加,各处理器之间的通信开销变大,从而影响了整个程序的运行时间,当处理器大于14个时,计算时间逐步趋于稳定.通过实验得出在三维枝晶生长模拟的并行计算中,集合通信比点对点通信更具计算效率,点对点通信与集合通信有各自的传输信息特点.通过对2种通信方式测试，目的在于更明确地了解二者在三维枝晶模拟生长中的优劣性,以便于在并行计算中更有针对性地利用MPI不同的通信方式来解决大量数据的计算问题.采用基于MPI的编程模型,力求提高计算效率的同时,使计算结果能体现较大区域下的非受限生长.图6中为没有加入热噪声时t分别为15 000Δt、20 000Δt、25 000Δt、30 000Δt的三维相场枝晶生长形貌图,可以看出,没有加入热噪声时,整个三维枝晶的界面生长平滑,并不接近现实中的枝晶生长形貌.为了使枝晶的生长形貌更具真实效果,加入热噪声幅值Fu=10-3,程序的计算结果如图7所示,图中为加入热噪声时t分别为15 000Δt、20 000Δt、25 000Δt、30 000Δt的三维相场枝晶生长形貌,从图可以看出，在界面前沿形成持续扰动,并在距尖端几个波长的后方出现侧枝,实现了模拟三维枝晶生长的目的.1) 采用基于MPI的并行编程求解三维相场模型,提高了模拟计算能力,较大尺度地实现了三维枝晶定量模拟,增大了计算区域网格数,扩大了计算规模,解决了在单CPU 下计算规模小的问题.2) 并行程序在求解过程中,分别采用点对点通信与集合通信对各节点间数据进行传输,结果显示，在大规模任务情况下,集合通信比点对点通信更具计算效率,验证了MPI在并行计算三维枝晶模拟生长问题上的性能状况.3) 加入热噪声幅值参数后,三维枝晶生长在界面前沿形成持续扰动,并在距尖端几个波长的后方出现侧枝,实现了模拟三维枝晶生长的目的.致谢：本文得到兰州理工大学红柳杰出人才基金(J201304) 的资助,在此表示感谢. 【相关文献】[1] JOHNSON A E,VOORHEES P W.A phase-field model for grain growth with trijunction drag [J].Acta Materialia,2014,67:134-144.[2] BERG B A,WU H.Fortran code for SU (3) lattice gauge theory with and without MPI checkerboard parallelization [J].Computer Physics Communications,2012,183(10):2145-2157.[3] 朱昌盛,王军伟,王智平,等.受迫流动下的枝晶生长相场法模拟 [J].物理学报,2010,59(10):7417-7423.[4] SUWA Y,SAITO Y,ONODERA H.Three-dimensional phase field simulation of the effect of anisotropy in grain-boundary mobility on growth kinetics and morphology of grain structure [J].Computational Materials Science,2007,40(1):40-50.[5] SUWA Y,SAITO Y,ONODERA H.Phase field simulation of grain growth in three dimensional system containing finely dispersed second-phase particles [J].Scripta Materialia,2006,55(4):407-410.[6] 邬延辉,陆鑫达,曾志勇,等.消息传递接口在偏微分方程中的并行计算 [J].上海交通大学学报,2003,37:416-419.[7] 卢照,张锦娟,师军,等.MPI 动态负载平衡策略的研究与实现 [J].计算机技术与发展,2010,20:132-135.[8] AMRITKAR A,TAFTI D,LIU R,et al.Open MP parallelism for fluid and fluid-particulate systems [J].Parallel Computing,2012,38(9):501-517.[9] DHOTE R,GOMEZ H,MELNIK R,et al.Isogeometric analysis of coupled thermo-mechanical phase-field models for shape memory alloys using distributed computing [J].Procedia Computer Science,2013,18:1068-1076.[10] 朱昌盛,冯力,王智平,等.三维枝晶生长的相场法数值模拟研究 [J].物理学报,2009,11:8055-8061.[11] WONG U H，AOKI T，WONG H C.Efficient magnetohydrodynamic simulations on distributed multi-GPU systems using a novel GPU Direct-MPI hybrid approach[J].Computer Physics Communications,2014,185(7):1901-1913.[12] 王巍,李旺.基于 Linux 数据链路层 MPI 通信机制的设计与实现 [J].电子技术应用,2012,38:127-130.[13] JIN H,JESPERSEN D,MEHROTRA P,et al.High performance computing using MPI and OpenMP on multi-core parallel systems [J].Parallel Computing,2011,37(9):562-575. [14] 朱昶胜,李椿茂,冯力,等.基于自适应有限元法的纯物质三维枝晶生长模拟 [J].兰州理工大学学报,2015,41(4):1-5.[15] 朱昶胜,贾金芳,冯力,等.基于GPU的流动影响枝晶生长相场方法 [J].兰州理工大学学报,2015,41(3):19-25.。
