下载文档原格式
发电企业高性能计算中心的建设与实践摘要：随着国华电力研究院海水淡化、燃煤效能分析等一批自主科研项目的深入开展，普通计算终端已经无法满足专业设计与仿真软件的配置要求。
为满足技术人员对高速计算的需求，研究院建设高性能计算中心。
本文就计算中心的网络架构、高性能计算集群的配置、作业调度与集群管理系统，信息安全管控措施与机制，以及最终的平台性能测试情况进行介绍。
该中心已经成为企业技术研发的基础平台，有效提高企业自主设计、自主创新能力，实现了知识产权的保护与核心技术的保密。
关键词：高性能计算；集群；并行计算、网格计算、计算中心中图分类号：tp393随着信息技术在科学领域的不断发展发展，高性能计算已经成为理论科学和实验科学以后科技创新的主要工具[1]，也成为科技研发能力新的竞争点[2].90年代后期以来，一些传统行业和高性能计算结合的交叉学科不断涌现。
在能源领域，随着技术水平和技术难度的不断提高，工程设计和设备制造对于计算机性能的要求越来越高。
在电力行业，高性能计算已经被应用于电力系统的潮流计算、短路计算、稳定计算[3]，以及大电网系统的可靠性评估[4]。
高性能计算通过将多台机器连接起来同时处理复杂的计算问题，是一种并行计算（parallelprocessing）集群的实现方法，平台主要功能是利用所有的计算资源同时运行在并行环境下开发的并行应用程序，以解决单个计算机系统不能解决的问题（如问题规模大、单机运行速度慢）[5]。
运行在高性能的软件需要支持并行计算机制，大量应用的有cae（computeraidedengineering）工程仿真分析软件、cfd（computationalfluiddynamics）流体力学计算软件等[6]。
高性能计算中心建设是构建高性能计算能力的系统工程，要从业务需求出发，考虑软件、硬件的合理投入与综合管理。
1 工作背景神华国华（北京）电力研究院（以下简称“研究院”）作为技术支持与服务单位，承担了国华电力技术研究职能。
文章来源：安世亚太官方订阅号（搜索：peraglobal）ANSYS mechanical属于隐式结构有限元分析求解器，一般完成一个有限元分析过程需要前处理、求解和后处理三个步骤。
前处理一般在图形工作站上完成，有限元求解可在工作站、集群及SMP 服务器上进行。
对于中小型问题（例如1000 万节点以内的ANSYS mechanical问题），一般认为在图形工作站上就可以进行求解；对于中大型问题（例如1000 万节点以上的ANSYS mechanical 问题），建议还是在计算性能更高的集群或SMP 服务器上进行。
对于中小型问题，可以在图形工作站上运行有限元后处理程序，读取计算结果进行结果的分析。
因此对于ANSYS mechanical在Workbench环境中使用高性能计算的方法共有两种：一种是直接通过workbench界面进行设置并行计算求解，在本地的工作站进行求解计算；另外一种是在workbench界面中将文件保存为ANSYS mechanical经典界面的求解文件格式，提交给高性能计算平台进行计算。
1、ANSYS mechanical在Workbench界面设置方法此种方法适合中小型问题在本地的工作站进行求解计算，设置方法简单方便。
在Workbench界面环境下，打开Model模块，在菜单中依次选择Tools＞Solve Process Settings＞Advanced，进行CPU设置选择对应的CPU核数（建议关闭超线程，设置的核数不能超过工作站的CPU物理核数），默认使用分布式求解选项。
2、保存为经典界面的求解文件格式方法此种方法适合中大型问题在高性能计算平台进行计算，需要在Workbench界面中存储为指定的格式，设置步骤稍微繁琐些。
方法一：输出为dat文件，设置文件名为：file.dat。
在Workbench界面环境下，打开Model模块，在左侧的目录树上选中Static Structural。
高性能计算中心】高性能计算中心建设需求分析高性能计算中心建设需求分析目录1.1 高性能集群安全问题现状在高性能计算中心建设过程中，安全问题是必须重视的。
当前，高性能集群存在着安全问题，例如网络攻击、数据泄露等。
因此，在建设高性能计算中心时，必须采取有效措施保障系统的安全性。
1.2 系统建设需求分析高性能计算中心的建设需要考虑多方面因素。
首先，需要考虑计算节点的数量、性能、存储容量等。
其次，需要考虑网络架构、数据传输速度等因素。
此外，还需要考虑系统的可靠性、可扩展性等方面的问题。
1.3 CAE仿真与高性能计算1.3.1 CAE需求分析在建设高性能计算中心时，需要考虑到CAE仿真的需求。
根据不同的仿真需求，可以选择不同的计算节点。
例如，SMP节点适合处理单个大型仿真任务，而刀片集群适合处理多个小型仿真任务。
此外，Infiniband计算网可以提供更快的数据传输速度，适合处理大规模的数据计算任务。
改写后的文章：高性能计算中心建设需求分析目录1.1 高性能集群安全问题现状在高性能计算中心建设过程中，必须重视安全问题。
当前，高性能集群存在网络攻击、数据泄露等安全问题。
因此，在建设高性能计算中心时，必须采取有效措施保障系统的安全性。
1.2 系统建设需求分析高性能计算中心的建设需要考虑多方面因素。
首先，需要考虑计算节点的数量、性能和存储容量。
其次，需要考虑网络架构和数据传输速度。
此外，还需要考虑系统的可靠性和可扩展性。
1.3 CAE仿真与高性能计算1.3.1 CAE需求分析在建设高性能计算中心时，需要考虑到CAE仿真的需求。
根据不同的仿真需求，可以选择不同的计算节点。
例如，SMP节点适合处理单个大型仿真任务，而刀片集群适合处理多个小型仿真任务。
此外，Infiniband计算网可以提供更快的数据传输速度，适合处理大规模的数据计算任务。
1.3.1.4 存储系统需求在存储系统需求方面，我们需要考虑以下几个因素：存储容量、存储速度、数据备份和恢复、数据安全性等。
基于超级计算的CAE集成平台架构设计作者：邓子云章兢白树仁刘朝华陈磊张伟来源：《湖南大学学报·自然科学版》2013年第07期摘要：“基于超级计算的CAE集成平台”可解决工业领域的产品设计中的CAE软件集成问题、计算速度问题及并行计算机使用的问题.为研发出这个平台，提出了该平台的总体构成和总体架构设计.该平台由5层7个子系统构成，前端系统采用SSH架构，ESB总线和中间件系统采用Spring，Hibernate，Tuscany的组合来实现，集群端系统则主要是对“天河1号”超级计算机的调度系统进行改进.根据总体架构设计研发出了平台的第1个原型.关键词：超级计算；CAE集成平台；架构设计；第1个原型中图分类号：TP311.52 文献标识码：AArchitectural Design of CAE IntegrationPlatform Based on Super ComputationDENG Ziyun1，2 ， ZHANG Jing1，BAI Shuren2，LIU Zhaohua2，CHEN Lei2，ZHANG Wei2（1.College of Electrical and Information Engineering， Hunan Univ， Changsha， Hunan 410082， China；2.National Supercomputing Center in Changsha， Changsha， Hunan 410082， China）Abstract：CAE Integration Platform based on Super Computation can solve some problems in industrial products design， such as CAE software integration， calculation speed and parallel computer using. This paper proposed the overall structure and the overall architecture of the platform for development. The platform consists of 5 layers and 7 subsystems. The front end system adopts SSH architecture， ESB bus and middleware uses Spring， Hibernate and Tuscany combination. Cluster system is mainly on the “Tianhe No.1” super computer scheduling system i mprovements. According to the overall architecture design， the prototype platform was developed.Key words： super computation； CAE integration platform； architectural design； first prototype1 问题提出企业在应用CAE（Computer Aided Engineering，计算机辅助工程）软件进行工业领域产品设计的过程中普遍发现存在以下问题：1）CAE软件集成问题CAE软件的品种有许多种，如CATIA，ABAQUS，ANSYS，LSDYNA，Fluent，SINOVATION等，行业应用、软件功能各有侧重，相互孤立，需要将这些软件通过接口统一集成起来，从而可以共同工作[1-2]，如能以云计算形式供企业共享使用则更为节约资源和成本.2）计算速度问题一个模型从初始建模、计算到优化处理，最终成型，要进行各种环境条件、材质、载荷下的仿真与计算，往往需要反复调整参数、计算、评估许多次，而CAE仿真需要进行大量的计算，现有计算机单机性能仍然存在瓶颈[3]，需要使用超级计算机来支持大规模的并行计算来缩短工业设计仿真的计算时间.3）并行计算机使用问题使用超级计算机的技术门槛较高，需要操作人员掌握的专业技术知识较多，比如Unix或Linux操作系统、应用行业专业知识、并行计算，甚至系统分析设计及程序开发[3].超级计算机的计算资源如能以Web的方式提供给公众用户使用则更为便利.解决这些问题的根本办法就是研发出一个“基于超级计算的CAE集成平台”（以下简称“超算CAE平台”）.要研发出“超算CAE平台”首先要考虑的问题就是根据业务需求来理清平台的构成，搭建起先进而又稳定的平台总体架构，再进行下一步的设计和编码.2 研究现状与趋势“超算CAE平台”是工业设计领域的新兴发展趋势，国内国际的研究水平差距较小，但我国在超级计算机系统和CAE软件的无缝集成技术方面，尚缺乏研究基础和工程应用经验[4-5].大型工程和复杂产品，例如盾构机、火星着陆器、飞机、轮船等，结构及其仿真都很复杂，依靠PC机、普通工作站无法完成其结构、功能与可靠性一体化的优化设计，这就必须依靠超级计算机技术来解决问题[6-8].以第三方软件为平台集成CAD（Computer Aided Design，计算机辅助设计）/CAE软件是构建集成设计系统平台的一种趋势.适应于超级并行计算机和机群的高性能CAE求解技术，多种专业领域的CAE计算分析软件的集成化及其联合仿真，建立多物理场、多场耦合、不确定性的大型工程和复杂产品的计算模型，实现对大型工程和复杂产品的全面仿真分析和优化设计，是解决其多目标优化设计问题的必然途径[4-5].3 主要业务过程描述“超算CAE平台”的主要用户是工业设计中的设计人员，其目的是利用该平台实现工业设计中各类产品的设计、分析、计算、仿真和试验，并且让用户可以通过互联网环境使用该平台.“超算CAE平台”中的主要业务流程有三种：1）针对各种CAE商业软件的求解器应用.这种应用的主要过程要经历用户作业生成、作业提交、作业监控、结果运用4个阶段[9].2）针对各种CAE商业软件的前后处理的应用.该流程有前处理和后处理.前处理流程包括CAD模型的导入、相关参数的设置、前处理结果的导出、网格的划分、载荷的施加等.在拥有超级计算机的情形下，可将网格划分较细以得到更加优质和精确的计算结果[10].后处理流程包括计算结果的导入和计算结果的展示，即将求解的结果导入到CAE软件中，查看并进一步分析计算结果，计算结果可以图形化的方式来展现.3）多种CAE软件的综合应用.这种应用主要是复杂业务流程的组合，例如机电液一体化联合仿真、流固耦合、CAE参数的迭代优化等复杂过程.4 平台总体构成“超算CAE平台”由5层7个子系统构成，如图1所示.表现层为“超算CAE平台”门户网站；应用层为作业提交与监控系统、计算资源管控系统；表现层和应用层合为平台的前端系统部分.ESB（Enterprise Service Bus，企业服务总线）层为服务构件装配与复杂业务流程组合系统；中间件层为“超算CAE平台”中间件系统；ESB层和中间件层合为平台的ESB总线与中间件系统部分.HPC（Hign Performance Computing，高性能计算）层则分别在Linux集群（“天河1号”超级计算机）和Windows集群中驻留研发的软件，比如完成作业调度的功能、资源监控的功能，以供中间件层进一步整合资源，形成共同和相对独立且机制灵活的任务调度；HPC的两个集群驻留软件系统合为平台的集群端系统部分.安全管控系统贯穿于其它系统之中，但各个系统中有关安全的部分又能组合形成一个综合的解决方案.5 平台总体架构设计5.1 平台总体架构“超算CAE平台”的总体架构设计如图2所示.下面针对该平台的总体架构各层分别描述如下.1）门户层可针对不同的用户类型和用户对界面进行个性化配置；可对集成的应用系统，包括作业提交与监控系统、计算资源管控系统进行界面集成、信息集成，形成统一的Portalets；可对不同的用户类型做出不同的权限配置；子系统集成可实现单点登录，用户登录时应当使用USB Key 进行身份认证.2）应用层应用层的系统主要包括作业提交与监控系统和计算资源管控系统.用户在使用作业提交与监控系统时可生成作业、提交作业、监控作业、监控作业的执行过程、获取作业结果、进行作业的前处理和后处理，展现计算结果和查看作业的计费情况；计算资源管控系统可查看执行的作业的情况，进行能耗管理，生成资源热图和资源统计报表，进行必要的账务处理，如针对不同的用户设置账户预留资金、对账户进行充值等，可查看平台生成的各种日志，可查看Linux 集群（“天河1号”超级计算机）和Windows集群的网络状况，可对用户的作业进行必要的干预，可对用户的类型、信息、账户数据进行适当的审批和调整.3）ESB总线ESB总线即服务构件装配与复杂业务流程处理系统，利用开源的Tuscany SOA （ServiceOriented Architecture，面向服务的架构）软件对各种服务构件在协议解藕的基础上进行统一的封装，形成与其它系统集成与通信的接口[11-12]；在通信上统一采用XML（Extensible Markup Language，可扩展标记语言）报文，支持使用XML Schema进行数据校验；可将XML报文利用路由配置接收来自其它系统的报文，再根据报文处理的需求和情况发送到目标系统；采用Spring开源软件对各种构件使用AOP（AspectOriented Programming，面向切面的程序设计）编程技术进行前置、后置等增强处理，形成不同业务的处理流程，支持复杂业务流程的处理.4）中间件中间件主要功能是屏蔽Windows集群和Linux集群（“天河1号”超级计算机）之间的差异，根据目标集群来生成不同的指令或脚本，提交目标集群执行，并获取到中间结果和最终结果；可获取集群的结点状态，CPU/GPU、License等资源的分配情况和使用情况；作业执行的情况，以及对作业可进行干预；支持在一个作业中执行多个任务或作业步，从而可在一个作业中进行协同作业.5）HPC层在Windows集群和Linux集群（“天河1号”超级计算机）中会装有各种CAE大型商业行业应用软件，可执行结构力学、流体力学、电磁学等学科的有限元分析与计算，通过集群内的调度软件来进行大规模分布式计算作业；改进集群端的调度软件，以支持优先级调度、CAE 行业应用软件License管理等功能.5.2 前端系统架构前端系统主要包括门户、作业提交与监控系统、计算资源管控系统，各层次划分及功能描述如图3所示.1）展示层展示层负责处理与操作者的交互，收集操作数据提供给应用服务者，并根据应用服务者的反馈将返回的数据通过一定的形式在界面上展示.展示层包括客户端界面逻辑和应用服务端数据表示逻辑.2）业务层业务接口层对上层传递来的数据进行解析并分别送入不同的逻辑处理，向用户返回底层逻辑处理结果.由于数据和命令的不同，处理方式也不同.规则层负责将不同的处理方式归类，并将接口层传入的数据及命令流入对应处理流程.不同的处理流程分析数据和命令产生出对应的一个实体，这个实体根据其本身的属性和方法以及上层传入的命令，将数据处理为数据访问层需要的接口参数，并向数据访问层提交访问数据库的请求，最终向业务接口层返回访问结果.数据访问层将数据转化为数据库可识别的SQL（Structured Query Language，结构化查询语言）语句，并访问数据库层，访问结果会返回给实体层.3）数据存储层处理上层传入的SQL，读写数据库内置对象，并根据其内置对象本身的关系对数据做进一步校验和处理.主要由数据库表及相关支撑软件组成，提供对数据的存储、业务信息的数据库模式表示以及数据存储逻辑的维护和管理.前端系统采用开源的SSH（Struts+Spring+Hibernate，Struts、Spring、Hibernate）这3种开源框架技术的组合架构组合形成技术框架，如图4所示.Struts的优点在于实现了MVC（ModelViewController，模型-视图-控制器）模式，将Web 系统各组件进行了良好的分工合作；Spring的特性在于IoC（Inversion of Control，控制反转）机制；Hibernate的长处在于数据持久化.将三者集成应用的平台将具有良好的可扩展架构.在前端系统中将Struts中的Action交由Spring容器来管理，将数据逻辑层的数据操作Bean交由Spring容器来管理，而不必再在Action中声明业务逻辑操作的组件.5.3 ESB总线架构ESB总线（服务构件装配与复杂业务流程处理系统）的技术架构如图5所示.中间件系统、作业提交与监控系统、计算资源管控系统、集群端系统都通过系统接口以可插拔的方式挂接在ESB总线上，它们主要通过Web Service进行交互式处理，有同步和异步两种数据交换方式，通信采用XML报文，并支持大尺寸XML报文的传送.各种系统接入ESB总线后，在SOA集成层面上，采用开源的Tuscany作为SOA集成系统，完成协议解藕功能，将异种构件通过SCA（Service Component Architecture，服务组件架构）装配成统一的Web Service构件，再根据XML报文中指出的目标系统、结合业务的需求将报文分发到其它系统，也可在ESB总线上作出一些业务处理，如日志记录、报文加解密、数据检验等，在处理完之后再行分发.ESB总线还具有总线管理模块，支持对业务报文的定义、源和目标系统的配置、处理流程的配置等功能；总线监控模块可监控到总线的所有报文处理和构件调用的情况；报表与数据查询可以报表的方式查询到业务处理的情况，为各种作业、计费、运维管理提供可视化界面.5.4 中间件系统架构中间件系统的架构如图6所示.中间件系统一方面要对ESB总线提供应用系统接口，接口的形成可双方商定，但通过ESB总线进一步的协议解藕和封装均会成为Web Service.中间件系统对Windows集群和Linux集群（“天河1号”超级计算机）主要是要构建两条传输通道，一为指令传输通道，将可执行的指令传送，再取回中间和最终结果；二是文件传输通道，文件主要是有限元计算的模型文件、脚本文件、计算结果文件、批处理脚本文件等，需要构建基于FTP的上传和下载通道，并支持大型文件的处理；传送指令和文件的任务是通过Spring构造的调度器在时间片触发的基础上来执行任务的，任务队列通过Hibernate持久化在平台数据库中.5.5 Linux集群端调度与资源管理系统“天河1号”超级计算机使用的调度软件是在开源slurm基础上进行改进的，在“超算CAE 平台”中要做的改进主要是以下2点：1）针对slurm的改进，比如让其可以管控到核一级的计算资源，slurm与FLEXlm的集成.2）构建License管理器.根据各种CAE的接口情况将它们的License集中管理起来.6 研发进展与应用情况依据前文所述的“超算CAE平台”体系架构，已经成功地基于“天河1号”研发出了该平台，形成了第1个整体原型，前端系统的操作界面如图7所示.运用这个平台已经进行了火星探测气囊的仿真并行计算，有限元模型如图8所示.7 结语“超算CAE平台”的建立，将有助于整合国内外工业设计技术资源，促进设备及技术资源开发共享，提升一些大型企业在国家重大工程建设及重大装备中的自主创新能力.“超算CAE平台”的架构设计采用5层架构，这可在以后的研发以及二次开发过程中保持良好的可扩展性和可维护性，用户以Web方式使用超算中心的各种计算资源，从而支持云计算在工业领域CAE仿真应用.目前该平台已研发出第1个原型，并还将继续改进形成更为强大的系列软件产品.参考文献[1] 李波，周恩卫，沈斌.分布式计算环境中的协同分配任务调度仿真系统[J].计算机工程与科学，2012，34（12）：82-86.LI Bo， ZHOU Enwei， SHEN Bin. A simulating system for scheduling coAllocation tasks in distributed computing environments [J]. Computer Simulation，2012，34（12）：82-86.（In Chinese）[2] CHANG Y S， ZOU G J， CHANG C I. RARS： a resource aware replica selection and coallocation schema for mobile grid[J].International Journal of Ad Hoc and Ubiquitous Computing，2010， 6（2）：99-113.[3] 朱小谦，孟祥飞，菅晓东，等.“天河一号”大规模并行应用程序测试[J].计算机科学，2012，39（3）：265-267.ZHU Xiaoqian， MENG Xiangfei， JIAN Xiaodong，et al. Performance test of massively parallel program on TH1 A [J]. Computer Science，2012，39（3）：265-267. （In Chinese）[4] 田荣.中国CAE软件发展的新契机[J].计算机辅助工程，2011，20（1）：141-143，147.TIAN Rong. New opportunity for CAE software development in China [J]. Computer Aided Engineering，2011，20（1）：141-143，147. （In Chinese）[5] SUN Ninghui，KAHANE D，CHEN D. Highperformance computing in China： research and applications[J]. Int J High Performance Computing Applications，2010，24（4）： 363-409.[6] 丁峻宏，李根国，金先龙，等.基于高性能计算的CAE技术在大型盾构施工仿真中的应用[J].计算机辅助工程，2011，20（1）：163-167.DING Junhong， LI Genguo， JIN Xianlong，et al. Application of CAE technology based on high performance computing in largescale shield construction process [J]. Computer Aided Engineering，2011，20（1）：163-167. （In Chinese）[7] KASPER T， MESCHKE G. On the influence of face pressure， grouting pressure and TBM design in soft ground tunneling[J].Tunneling & Underground Space Technol，2006，21（2）：160-171.[8] SCHMITT J， FRITSCH M，GATTERMANN J，et al. Numerical investigations to the influence of rearrangement of ground pressure for shield tunneling[C]//Proc ICOSSAR2005.Rotterdam： Mill Press，2005：1317-1323.[9]王波章巧芳彭伟.基于广域网的CAE资源共享平台的开发及应用[J].机械设计与制造，2010（4）：64-66.WANG Bo， ZHANG Qiaofang， PENG Wei. The development and application of CAE resource sharing platform based on the WAN [J]. Machinery Design & Manufacture，2010（4）：64-66.（In Chinese）[10]刘德仿，李丽英，周临震，等.基于ANSYS的建模及分析方法研究[J].制造业自动化，2011，33（10）：140-142，149.LIU Defang， LI Liying， ZHOU Linzhen，et al. Research of modeling and analysis method based on ANSYS[J]. Manufacturing Automation，2011，33（10）：140-142，149. （In Chinese）[11]邓子云，杨晓峰，黄婧.基于ESB的SOABPM系统集成平台关键技术研究与实现[J].科学技术与工程，2010，10（3）：798-802.DENG Ziyun， YANG Xiaofeng， HUANG Jing. The key technology research and implementation of SOABPM system integration platform bBased on ESB[J]. Science Technology and Engineering， 2010，10（3）：798-802. （In Chinese）[12]王辉，邵贝恩.用SOA和BPM组合架构实时企业[J].计算机应用研究，2007，24（6）：220-223.WANG Hui， SHAO Beien. Using SOABPM combination framework to build realime enterprise[J]. Application Research of Computers，2007，24（6）：220-223. （In Chinese）。
计算机辅助工程高性能计算解决方案计算机辅助工程（CAE，Computer Aided Engineering）已成为工程和产品结构分析中（如航空、航天、机械、土木结构等领域）必不可少的数值计算工具。
本文对CAE软件的应用特点进行了分析，并针对隐式和显式应用对硬件资源的不同需求，提出了相应的解决方案。
大量的测试结果和成功案例表明，所提出的方案能充分满足CAE用户对高性能计算服务器的需求。
本解决方案对于CAE用户选择高性能计算平台具有较高的参考价值。
一、CAE高性能计算简介计算机辅助工程（CAE，Computer Aided Engineering）是用计算机辅助求解复杂工程和产品结构强度、刚度、屈曲稳定性、动力响应、热传导、三维多体接触、弹塑性等力学性能的分析计算以及结构性能的优化设计等问题的一种近似数值分析方法。
CAE从60年代初在工程上开始应用到今天，现已成为工程和产品结构分析中（如航空、航天、机械、土木结构等领域）必不可少的数值计算工具，同时也是分析连续介质力学各类问题的一种重要手段。
近年来，高性能计算作为大规模CAE应用的基石，在工业和制造业领域的应用越来越普遍和广泛。
从TOP500的统计信息来看，工业领域所占的比例在不断增加。
2005年6月，工业用户使用的高性能计算机占到52.8％。
而其中的半导体和制造业用户所占的比例相当可观。
其中美国半导体公司大约有70台，美国Boeing有4台，Lockheed Martin有2台，德国BMW有7台，德国VW有2台，德国Siemens有2台。
许多国际著名的制造业大公司已实现了产品的虚拟化设计和制造，并实现了全球资源共享，利用全新的理念设计产品。
美国GM、美国GE、日本Nissan等公司都拥有总计算能力超过10万亿次的高性能计算机用于新产品的研发。
Boeing公司在上世纪90年代就实现了无纸化设计。
Boeing公司已宣布利用高性能计算机对航空发动机进行全物理过程的模拟仿真。
Abaqus软件关于并行计算的测试报告现代CAE分析的发展对计算能力提出了越来越高的需求，Abaqus作为功能最为强大的CAE分析软件之一，在生产和研究中为各国的工程师和研究人员所广泛采用。
Abaqus提供了强大的并行功能，它采用Threads和MPI两种并行模式，可应用于SMP 或者Cluster。
本文不仅对Abaqus的并行计算的功能进行了简单介绍，而且在各种不同的操作平台上对不同分析算例进行了测试，提出了一套完整的解决方案，对于用户在Abaqus软件和硬件的选取都具有一定的参考作用。
一、CAE分析对高性能计算的需求CAE就是用计算机辅助求解工程和产品的强度、刚度、屈曲稳定性、动力响应、热传导、弹塑性等力学性能以及性能的优化设计等问题的方法。
从20世纪60年代初开始，CAE 技术逐渐被应用于解决复杂的工程分析计算问题。
CAE 的广泛应用使得工程和产品的设计水平发生了质的飞跃。
经历了40多年的发展历史，CAE 理论和算法都经历了从蓬勃发展到日趋成熟的过程，现已成为工程和产品结构分析中(如航空、航天、机械、汽车、土木结构等领域)必不可少的数值计算工具，同时也是分析连续力学各类问题的一种重要手段。
随着现代科学技术的发展，人们正在不断建造更为快速的交通工具、更大规模的建筑物、更大跨度的桥梁、更大功率的发电机组和更为精密的机械设备，因此，要进行CAE 分析设计必须获得更高的计算能力，主要表现在：要处理更多的工程数据：现代勘探和测量技术的发展，使得在设计、生产或施工前后都能获得大量的数据，数据的及时有效处理能为后继的、生产或施工提供有力的指导；要处理更大规模的问题：为了提高分析的精度，必须采用更精密的网格划分、模拟更加精细的结构，使得问题规模不断扩大；要完成更加困难的分析：在分析中要考虑更多的影响因素，不仅要处理线性弹性问题，还要处理非线性、塑性、流变、损伤以及多物理场的耦合等，分析起来更加困难；要进行更深层次的优化：为了降低成本，提高经济效益，对设计要反复进行优化，而且优化的规模也日渐增加。
随着计算机应用的广泛深入，不同领域处理问题的规模也越来越大，对计算速度的追求也在不断增长。
例如，在气象预报、流体力学、能源工程、生物制药、图像处理等领域的问题都涉及到海量的计算数据，并且计算必须在能接收的时间内完成。
所以，如何在短时间内完成计算任务，提高并行计算的效率已经成为这些领域要解决的问题。
商用CAE软件现在发展的非常之迅速，而且都致力于软件的并行化开发。
目前，市场上的通用CAE软件都实现了集群中的并行运行，而且效果都非常良好。
以ANSYS为例，作为目前最常用的有限元求解软件之一，它的求解模块种类多，多物理场实现耦合求解以及实现协同仿真技术等优点受到广大用户的欢迎。
因此，通用CAE已经成为今后工程计算领域的重要工具。
1 CAE通用软件的发展
20世纪在50年代末、60年代初就投入大量的人力和物理开发具有强大功能的有限元分析程序。
其中最为著名的是由美国国家宇航局在1965年委托美国计算科学公司和贝尔航空系统公司开发的NASTRAN有限元分析系统。
此后有德国的ASKA、英国的PAFEC等公司的产品。
CAE在工程上初步开始使用一直到今天，已经经历了50多年的发展历史，其理论和算法都经历了从蓬勃发展到日趋成熟的过程。
在航天、航空、机械、土木机构等领域的工程和产品结构分析中已经成为必不可少的数值计算工具，同时也是分析连续力学各类问题的一种重要手段。
随着计算机技术的普及和不断提高，CAE系统的功能和计算精度都有很大提高，
各种基于产品数字建模的CAE系统应运而生，并已成为结构分析和结构优化的重要工具，同时也是计算机辅助4C系统（CAD/CAE/CAPP/CAM）的重要环节。
CAE系统的核心思想是结构的离散化，即将实际结构离散为有限数目的规则单元组合体，实际结构的物理性能可以通过对离散体进行分析，得出满足工程精度的近似结果来替代对实际结构的分析，这样可以解决很多实际工程需要解决而理论分析又无法解决的复杂问题。
正因为CAE在制造企业中承担着关键的工具的作用，所以其高性能平台的选择也非常的重要，这个平台直接影响CAE的运行性能表现、整体成本和系统等方面的问题。
所以，高性能计算平台与CAE软件的如何更好的配合要进行一个全面的权衡。
2 CAE模拟的步骤
2.1 建立物理模型
在研究一项具体的问题的时候，首先必须要明确研究对象及其物理特性。
确定出一个具有特定便捷的研究区域，分析的特征与特性。
其次根据研究内容的特征，做出简化假定和近似，忽略非本质的物理过程来简化整个物理模型。
从而得出一个经过简化，比较有研究特点的物理模型。
2.2 建立数学模型
物理模型确定以后就要建立相应的数学模型，也就是用数学模型来反映问题各量之间的
微分方程及相应的定解条件。
从而归结成一套反映其内部因素数量关系的数学公式、逻辑准则和具体算法。
更加准确的描述和研究客观现象的运动规律。
2.3 空间离散
空间离散也就是对建立的物理模型进行空间的网格划分，可以通过编程以及网格划分软件来完成。
目前，ANSYS软件中的ICEM-CFD模块就是专门在结构化以、非结构化以及混合网格方面比较有优势的一个网格划分工具。
2.4 确定离散格式
在离散的网格点上，构造离散方程，形成代数方程组，寻求高效率、高准确度的计算方法，还有坐标、边界条件等。
求解这些近似离散方程，从而得到网格点上物理量的近似，如压力、密度、速度等的近似解。
2.5 求解
在所有的模型建立好以后就可以开始编制程序和进行计算，大型复杂系统的计算就需要通过高性能计算集群来完成。
从而产生大量的计算结果文件来提供研究（利用PC或者超级计算机来完成）。
2.6 后处理
求解所产生的大量数据就需要用后处理来形象的显示出来，可以从各个角度去研究物理问题的细节。
从这些细节问题上分析需要研究的问题，然后通过电脑屏幕形象的将这些大量的数据显示出来。
3 高性能计算集群的并行处理
3.1 简易高性能计算集群结构
简易高性能计算集群主要由一个主节点（服务节点）、一个系列从节点（客户节点）以及连接它们的交换机和网线，主节点是集群的控制器和对外的网关，负责对各个节点进行管理和控制和对外的通信；从节点执行主节点分配来的任务。
这样通过独立的计算机和高速网络搭建的集群属于分布式内存并行计算机，各个处理器之间通过消息传递来交换信息。
3.2 并行处理模式
采用大规模并行处理模式进行问题的求解时，一般通过区域分解方法（domain decomposition method）来处理分析对象。
所谓区域分解方法，即把整个模拟问题区域划分成很多相对小的求解子域，把每个子区域分配给不同的处理器分别进行求解，区域分解允许每个处理器独立于其他处理器来求解自己的那部分问题，而处理器之间通过交互机制进行数据交换，最后将每个子区域的解综合起来，得到整个区域的全局解。
3.3 并行求解策略
3.3.1 CPU核数
复杂系统的大规模求解有时候非常耗时，通常会认为CPU核数给的越多，计算速度就越快。
其实不然，只有合理的分配计算资源才能使计算更加经济有效[4]。
并行计算性能评价中有一项叫做加速比，对于同一个计算模型，不断增加CPU核数对其进行测试计算，当CPU增加到一定数目时，计算时间就不会有明显的加快。
因此，对于有些情况来说，CPU 核数太多反而会造成计算资源的浪费。
3.3.2 计算网格
模型的网格数也就是对空间离散后的单元数。
对于复杂问题来说，单纯增加网格规模，而不进行算法升级，计算精度就会很有限。
增加网格密度在一定程度上会提高计算的精度，但是过多的增加网格只会带来计算精度的下降，这一点在做具体物理计算时要予以考虑。
3.3.3 MPI数据交换
MPI是目前最主要的并行环境，不同节点间的通信需要网络来支持，集群系统的互联网技术大体上经历了从Ethernet到Giganet，Myrinet，Infiniband，Quadrics等发展历程。
不同的软件会在版本内置一个MPI，各个商业软件都有自己的特点和优势来实现对硬件的支持，这将大幅度提高并行处理能力。
3.3.4 求解器类型
用户在并行计算时，不能一味的追求求解速度，而是要结合具体求解的问题，同时考虑计算的稳定性和求解精度，选择合适的并行求解器。
计算时求解的迭代方式、收敛性以及稳定性等都是需要考虑在提高计算效率之内的问题之一。
4 结论
本文首先介绍了CAE通用软件的发展，其次对CAE模拟的步骤进行了简单的介绍。
综合以上两方面简单的阐述了高性能计算并行的策略，为CAE通用软件的用户提供了一定的参考意见，从而选择合适的求解方法。
参考资料来源：/cae/。
