第２４卷第１７期岩石力学与工程学报
Ｖ０１．２４Ｎｏ．１７
２００５年９月ＣｈｉｎｅｓｅＪｏｕｒｎａｌ
ｏ，．ｆ
ＲｏｃｋＭｅｃｈａｎｉｃｓ
ａｎｄ
Ｅｎｇｉｎｅｅｒｉｎｇ
Ｓｅｐｔ．２００５
有限元并行ＥＢＥ方法及应用
刘耀儒，周维垣，杨强
（清华大学水利水电工程系，北京
１０００８４）
摘要。结构开裂和破坏过程的三维有限元分析，对大规模数值计算提出了很高的要求。基于Ｊａｃｏｂｉ预处理共轭梯
度法，推导了适用于分布存储并行机的有限元并行方法。在数据交换方面，采用一种按需收集、按需散发的数据
交换技术，使得该方法适合于分布内存的并行机，可极大降低数据交换量，提高并行计算效率。同时，可避免形
成整体刚度矩阵，显著减少内存需求，并可自动实现计算任务的分配。编制了有限元并行计算程序，采用悬臂梁
算例对其进行了验证，并和普通有限元方法进行了对比，然后应用于拱坝的有限元数值分析和基于网格加密技术
的四点弯曲梁开裂过程的数值模拟中。指出该方法和区域分解方法的并行实现在本质上是相同的，但ＥＢＥ方法更
具有工程实用意义。计算结果表明，对复杂的三维结构，该方法是一种很有效的并行计算方法。
关键词Ｉ岩土力学；有限元法；ｅｌｅｍｅｎｔ－ｂｙ—ｅｌｅｍｅｎｔ；并行计算；拱坝；开裂
中圈分类号：ＴＵ
４４３文献标识码：Ａ
文章编号：１０００—６９１５（２００５）１７—３０２３—０６
ＰＡＲＡＬＬＥＬＦＩＮＩＴＥＥＬＥＭＥＮＴ
ＡＮＡＬＹＳＩＳＢＡＳＥＤＯＮ
ＥＬＥＭＥＮＴ－ＢＹ．ＥＬＥＭＥＮＴＭＥＴＨＯＤ
ＡＮＤＩＴＳＡＰＰＬＩＣＡＴＩＯＮ
ＬＩＵ
Ｙａｏ—ｒｕ，ＺＨＯＵＷｅｉ—ｙｕａｎ，ＹＡＮＧＱｉａｎｇ
（ＤｅｐａｒｔｍｅｎｔｏｆＨｙｄｒａｕｌｉｃａｎｄ
Ｈｙｄｒｏｐｏｗｅｒ
Ｅｎｇｉｎｅｅｒｉｎｇ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ３Ｄｆｉｎｉｔｅｅｌｅｍｅｎｔ
ａｎａｌｙｓｉｓｏｆ
ｓｔｒｕｃｔｕｒｅｆａｉｌｕｒｅ
ｐｒｏｃｅｓｓ，ｌａｒｇｅＳＣａｌｅｎｕｍｅｒｉｃａｌ
ａｎａｌｙｓｉｓｈａｓｉｎｃｒｅａｓｅｄ
ｔｈｅｄｅｍａｎｄ
ｆｏｒｈｉｇｈ—ｐｅｒｆｏｒｍａｎｃｅ
ｃｏｍｐｕｔｉｎｇ．Ｔｈｅｅｌｅｍｅｎｔ—ｂｙ—ｅｌｅｍｅｎｔ（ＥＢＥ）ｍｅｔｈｏｄｆｏｒ
ｄｉｓｔｒｉｂｕｔｅｄｍｅｍｏｒｙ
ｐｒｏｃｅｓｓｏｒｓ（ＤＭＰ）ｉｓｆｏｒｍｕｌａｔｅｄ
ｂａｓｅｄ
ｏｎｔｈｅ
Ｊａｃｏｂｉ—ｐｒｅｃｏｎｄｉｔｉｏｎｅｄｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔ（Ｊ—ＰＣＧ）ｍｅｔｈｏｄ．Ｆｏｒｄａｔａ
ｅｘｃｈａｎｇｅ，ａｓｃｈｅｍｅ
ｗｈｉｃｈ
ｏｎｌｙｇａｔｈｅｒｓａｎｄ
ｓｃａｔｔｅｒｓ
ｎｅｃｅｓｓａｒｙｄａｔａｉｓａｄｖｉｓｅｄ
ｔｏｍａｋｅ
ＥＢＥｍｅｔｈｏｄ
ａｖａｉｌａｂｌｅｆｏｒ
ｄｉｓｔｒｉｂｕｔｅｄ—ｍｅｍｏｒｙｐａｒａｌｌｅｌｃｏｍｐｕｔｅｒｓ．Ｉｎｔｈｉｓ
ｗａｙ，ｉｔｗｉｌｌ
ｄｒａｍａｔｉｃａｌｌｙｒｅｄｕｃｅｄａｔａｅｘｃｈａｎｇｅａｎｄ
ｃｏｎｓｅｑｕｅｎｔｌｙ
ｉｍｐｒｏｖｅｅｆｆｉｃｉｅｎｃｙ
ｏｆ
ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ．Ａｔｔｈｅ
ｓａｌＩｌｅｔｉｍｅ，ｔｈｅｆｏｒｍａｔｉｏｎ
ｏｆ
ｇｌｏｂａｌｓｔｉｆｆｎｅｓｓｍａｔｒｉｘＣａｎ
ｂｅ
ａｖｏｉｄｅｄ；
ｇｒｅａｔｌｙ
ｒｅｄｕｃｉｎｇｔｈｅ
ｒｅｑｕｉｒｅｍｅｎｔｆｏｒｔｈｅ
ｓｔｏｒａｇｅ，ａｎｄｔｈｅ
ａｓｓｉｇｎｍｅｎｔｏｆｊｏｂｓＣａｎｂｅ
ｄｏｎｅ
ａｕｔｏｍａｔｉｃａｌｌｙ．Ａ３Ｄ
ｐａｒａｌｌｅｌ
ｆｉｎｉｔｅｅｌｅｍｅｎｔ
ｃｏｄｅｉｓ
ｄｅｖｅｌｏｐｅｄｕｓｉｎｇＭＰＩＣＨａｎｄ
Ｃ／Ｃ＋＋ｌａｎｇｕａｇｅ．Ｎｕｍｅｒｉｃａｌ
ｔｅｓｔｓ
ｏｎｃａｎｔｉｌｅｖｅｒｂｅａｍ
ｉｎｄｉｃａｔｅｔｈａｔ
ｔｈｅｙａｒｅ
ｃｏｒｒｅｃｔ．Ｔｈｅｎｉｔｉｓ
ａｐｐｆｉｅｄｔｏｔｈｅ
ｆｉｎｉｔｅｅｌｅｍｅｎｔ
ａｎａｌｙｓｉｓｏｆＸｉｌｕｏｄｕａｒｃｈｄａｍ
ｐｒｏｊｅｃｔａｎｄ
ｎｕｍｅｒｉｃａｌ
ａｎａｌｙｓｉｓ
ｏｆｆｒａｃｔｕｒｅ
ｐｒｏｃｅｓｓｏｆ
ｆｏｕｒ－ｐｏｉｎｔｓｈｅａｒ
ｔｅｓｔｂａｓｅｄｏｎ鲥ｄ
ｒｅｆｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙ．Ｉｔｉｓｔｈｅｓａｍｅｉｎ
ｅｓｓｅｎｃｅｆｏｒ
ＥＢＥ
ｍｅｔｈｏｄａｎｄ
ｄｏｍａｉｎ
ｄｅｃｏｍｐｏｓｉｔｉｏｎｉｎｔａｓｋａｌｌｏｃａｔｉｏｎ．Ｔｈｅ
ｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ
ｆｏｒｔｈｅ
ａｎａｌｙｓｉｓｏｆｔｈｅ
３Ｄ
ｉｒｒｅｇｕｌａｒａｎｄ
ｃｏｍｐｌｉｃａｔｅｄ
ｓｔｒｕｃｔｕｒｅｓｌｉｋｅａｒｃｈｄａｍｓ，ｔｈｅ
ｆｉｎｉｔｅｅｌｅｍｅｎｔ
ＥＢＥｍｅｔｈｏｄ
ｉｓｅｆｆｅｃｔｉｖｅａｎｄ
ｒｅｌｉａｂｌｅ．
Ｋｅｙｗｏｒｄｓ：ｒｏｃｋａｎｄｓｏｉｌｍｅｃｈａｎｉｃｓ；ｆｉｎｉｔｅｅｌｅｍｅｎｔ
ｍｅｔｈｏｄ：ｅｌｅｍｅｎｔ－ｂｙ—ｅｌｅｍｅｎｔ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ａｒｃｈｄａｒｎ；
ｃｒａｃｋｉｎｇ
１引言
结构稳定和破坏过程的三维有限元分析，需要加密网格和采用精细的荷载步长，对高性能并行计
算提出了很高的要求，其关键问题是计算任务的分
配和大内存需求问题。对有限元并行计算而言，传
统方法是采用方程组求解并行和区域分解方法。方
收藕日期Ｉ２００５—０２—２４；修旬日期ｌ２００５—０５—０８
基金项目Ｉ国家重点基础研究发展规划（９７３）项目（２００２ＣＢ４１２７０８）：中国博士后科学基金资助项目
作者■介ｔ刘耀儒（１９７４一）。男，博士，１９９８年毕业于清华大学水利水电工程系水工结构专业，主要从事并行计算、拱坝和岩石边坡静动力稳定方面
的教学与研究工作。Ｅ－ｍａｉｌ：ｌｉｕｙａｏｒｕ＠ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃａ。
万方数据岩石力学与工程学报２００５年
程组求解并行即只对方程组的求解采用并行方法，
而对其他步骤仍采用传统的串行方法。区域分解方
法采用的是子结构的方法，每个计算节点承担其中
一个子结构的计算。
文［１】采用方程组求解方法对结构的动力响应
进行了并行计算，文［２，３】采用区域分解方法分别
对平面锚固问题和地下洞室问题进行了有限元并行
计算。其中，方程组求解并行比较容易实现，但是
当问题规模增大时，它会大大增加对内存的需求，
可能会涉及到内外存交换技术，使得计算速度降
低。如果计算区域相对比较规则，剖分的子结构比
较好，则采用区域分解方法可能会获得一个很高的
并行计算效率。但是对于三维问题而言，区域分解
算法仍是一个没有得到很好解决的问题。
有限元ＥＢＥ（ｅｌｅｍｅｎｔ—ｂｙ—ｅｌｅｍｅｎｔ）方法则能很好
的解决传统三维有限元并行计算所面临的问题。该
方法最初由文［４】提出，由于该方法可以大幅度减少
对内存的需求，而且其并行性很好，因此得到了广
泛的研究。文【５］首先给出了基于ＥＢＥ方法的共轭
梯度法的实现算法，文［６】讨论了其在粗粒度并行机
上的实现，文［７，８】将ＥＢＥ方法和区域分解相结
合，用于分布存储的并行机上，取得了很好的并行
计算效率。但是，上述研究主要针对共享存储并行
机进行，或者是对基于ＥＢＥ方法的预处理技术进行
研究，而对于复杂结构的三维有限元问题在分布存
储并行机上的应用研究则相对较少。并行计算发展
的趋势是分布存储并行计算，而ＥＢＥ方法在这方
面的文献相对较少。
本文基于Ｊａｃｏｂｉ预处理共轭梯度法，给出了适
用于分布存储并行机的有限元ＥＢＥ并行计算算法。
对于数据交换，采用按需收集、按需散发的数据交
换技术，以减少数据交换量。根据该算法，采用
ＭＰＩＣＨ和Ｃ，Ｃ＋＋语言，编制了有限元并行计算程序
ＰＦＥＭ（ｐａｒａｌｌｅｌｆｉｎｉｔｅｅｌｅｍｅｎｔ
ｍｅｔｈｏｄ），并在清华大学
计算机系高性能计算技术研究所的“可扩展高性能
集群计算机系统”上实现。在算例验证的基础上，
应用于溪洛渡拱坝的有限元数值分析和四点弯曲梁
的开裂数值模拟中。
２有限元ＥＢＥ方法
有限元ＥＢＥ方法的基本思想为：在求解过程中，不形成整体刚度矩阵，只保存单元刚度矩阵，
所有计算在单元一级上进行。并行实现时，该方法
不涉及复杂的区域分解操作，和网络的拓扑结构无
关。方程组的求解一般采用预处理共轭梯度法
（ｐｒｅｃｏｎｄｉｔｉｏｎｅｄｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔ，ＰＣＧ）。对于预处
理技术，本文采用Ｊａｃｏｂｉ预处理【引，即对角预处理。
预处理矩阵用一个向量ｍ来保存，对ＥＢＥ方法，
可将其映射到每个单元上，记为ｍ（ｅ）。在方程组求
解前，ｍ（ｅ）可以由单元刚度矩阵的对角元素，通过
相邻单元的数据交换来形成。
借助节点联系矩阵的概念‘５１，可以得到基于
Ｊａｃｏｂｉ预处理的ＥＢＥ—ＰＣＧ算法‘１
０１：
（１）初始化：
①给定初始值：戈（。）＝０，，．（８）＝易（“。
②生成预处理矩阵：彬曲刊。’。量“’。
③求解方程组（ｍ（“，Ｚ，ｏｅ’）＝ｒｏ＇“。
④计剿瞄’。磊挚。和如＝驴Ｅ））Ｔ
Ｓ‘“，ｙ＝７／０。
⑤Ｐ‘８’＝Ｓ‘“。
（２）计算Ｕ‘。’＝Ａ‘８’Ｐ‘“，
吉２萎（ｐ和’川扣））帆
（３）更新工（８）和，（ｅ）：ｘ‘８’＝ｘ‘。’＋口Ｐ‘。’，ｒ（ｅ）：
ｒ（“一口Ｍ（“。
（４）求解方程组（ｍ（“，ｚｌ。）＝《“，得到ｚ｛“。
（５）计剿曲掣。Ｊ警“’∥曲妒））Ｔ弘，
和‰。＝∑∥。
（６）如果托。。＜ｅｙｏ，则停止迭代。
（７）更新ｐ‘“：ｐ‘。’＝Ｓ‘。’＋（靠。。／ｒ）ｐ‘“，并令
ｙ＝‰。，转（２）。
在上面的算法中，ｏ符号指所有单元（包括第ｅ
号单元）对第ｅ号单元的所有节点的贡献的累加。
ａ两（Ｐ）表示所有与第ｅ号单元相连接的单元。
对于迭代终止的准则，本文采用残余向量的二
范数，即
护１｝Ｉ：≤ｓ｜ｌｒ０｜Ｉ：
（１）
式中：￡为给定的精度，为一很小的值，本文取１．０×
】０～。
万方数据
