下载文档原格式
高性能计算中心机房设计方案目录1.1 总述 (3)1.1.1 设计目标 (3)1.1.2 需求分析 (3)1.1.3 系统特点 (3)1.1.4 高性能机房建设方案 (4)1.2 空调系统 (6)1.2.1 选型分析 (6)1.2.2 空调配置 (6)1.2.3 空调特点与优势 (7)1.2.4 空调性能参数 (8)1.3 机柜系统 (9)1.3.1 机柜配置 (9)1.3.2 机柜特点 (9)1.3.3 机柜规格参数 (10)1.4 机柜配电系统 (10)1.4.1 配电模块配置 (10)1.4.2 配电模块规格 (11)1.5 行级监控系统 (11)1.6 场地条件需求 (13)1.6.1 摆放要求 (13)1.6.2 机房环境 (13)1.6.3 室外场地 (13)1.6.4 UPS (14)1.6.5 电源接入 (14)1.6.6 接地 (14)1.7 配置清单 (14)2高性能计算中心机房设计方案1.1总述1.1.1设计目标高性能计算中心的建设和稳定高效运行，需要一套可靠的信息系统基础设施作为支撑保障，确保高性能计算中心机房各种电子设备的高效、稳定、可靠运行。
本方案提供一套易管理、易维护、便于扩展、高效节能的机柜级制冷、配电、布线及监控系统一体化解决方案，与高性能计算IT设备配套集成一站式服务。
1.1.2需求分析本项目高性能计算中心IT设备总功耗不超过31KW，可用设备装机空间为126U。
根据IT设备功耗及装机空间需求，配置机柜、机柜行级空调、行级配电及监控系统，确保设备散热良好、气流组织有序、系统高效节能、易于控制管理。
1.1.3系统特点本机房方案采用曙光云座C1000系统整体解决方案，提供机柜、空调、配电和监控四个子系统模块整合的一体化方案，做到给用户一个全面的、先进的、功能满足要求的一站式解决方案，并适应高性能计算应用对机房基础设施的节能性、扩展性、智能性及建设周期的新要求。
曙光云座C1000系统具有以下几大优势。
【高性能计算中心】高性能计算中心建设方案总体设计高性能计算中心建设方案总体设计1目录21.1建设目标根据用户的实际应用需求，拟扶植高机能计算系统一套，该系统包罗以下指标：计算系统主要由刀片集群组成，辅以大批的SMP胖节点和前后处理节点，其中刀片集群峰值达到16.12TFLOPS，胖节点峰值达到1.17TFLOPS。
建设存储系统一套，需要使用稳定可靠并行存储系统，总容量达到288TB，访问带宽达到3.0GBps。
扶植文件服务器存储系统一套，需要使用稳定可靠的磁盘阵列服务器，总容量达到21TB。
前后处理节点4台，每台配置高端显卡。
收集系统应根据应用需求，配置最先进的FDR 56 Gbps Infiniband收集，为了包管可管理性和可靠性，应配置单一大端口Infiniband交换机。
管理收集考虑机能和布线的最佳挑选，使用万兆上联方案。
根据用户应用需求，配置功能强大作业调度系统，并配置可实现与现有应用集成的webportal，可实现基于图形化的互动作业，提高用户使用体验。
1.2方案选型说明1.2.1高性能计算系统选型本次投标的高性能计算系统为曙光的整体解决方案，XXX（以下简称“XXX”）是一家在天津注册，在XXX 和XXX大力推动下，以国家“863”计划重大科研成果为基础组建的高新技术企业。
XXX做为国内抢先的高机能计算解决方案供应商，具有丰富的高机能项目经验和齐全的高机能计算解决方案，承担了多个国家重大超等计算机的扶植事情，其扶植的“曙光4000A”，“曙光5000A”和“曙光星云”等多个系统的扶植，多次入选全球Top500计算排行榜的前列。
曙光在国内高性能计算市场占有很大的市场份额，从2009年至今，连续4年夺得中国TOP100排行榜的第一名，超过了国内国际所有竞争对手。
曙光作为一个自主创新的国产的高机能计算解决方案供应商，也更符合本项目的自助可控、保密的要求。
31.2.2存储系统选型本次投标的并行存储系统为曙光Parastor200存储系统，存储系统作为高性能计算系统的存储介质，数据的可靠性和稳定性是第一位的。
曙光HPC业务介绍曙光HPC业务介绍1.1.1曙光是HPC市场的领导者曙光公司为⾼性能计算⾏业领先品牌，是专业的⾼性能计算机及⾼性能计算解决⽅案提供商，拥有曙光4000、曙光5000、曙光“星云”等超级计算机的研制和运维经验，在⾼性能计算各应⽤领域和⾏业拥有众多的成功案例。
1.1.1.1中国⾼性能计算机TOP100排⾏榜中国⾼性能计算机TOP100排⾏榜由中国软件⾏业协会数学软件分会、国家863⾼性能计算机评测中⼼和中国计算机学会⾼性能计算专业委员会联合公开发布，⾃2002年起，中国⾼性能计算TOP100排⾏榜每年公开发布。
现发布地址为/doc/9b99b150b80d6c85ec3a87c24028915f804d84bb.html /、各⼤公共媒体以及每年的“全国⾼性能计算学术年会”。
该评测及排⾏榜发布得到国家863“⾼效能计算机及⽹格服务环境”重⼤专项课题，《⾼效能计算机系统测评技术研究》( No.2006AA01A105)的资助。
2009-2015最近的连续7年，曙光均领先其他国内和国际⼚商，占据TOP100数量份额第⼀。
图：2009-2015年中国⾼性能计算TOP100数量份额统计（数据来源：/doc/9b99b150b80d6c85ec3a87c24028915f804d84bb.html /）图：2009年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2010年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2011年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2012年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2013年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2014年中国⾼性能计算机TOP100曙光获得年度总份额第⼀图：2015年中国⾼性能计算机TOP100曙光获得年度总份额第⼀1.1.1.2全球⾼性能计算机TOP500排⾏榜TOP500计划是针对全球已知最强⼤的计算机系统做出排名与详细介绍。
曙光6000超级计算机使用手册系统运行部2012年12月12日目录一、基本环境二、系统软件环境2.1 操作系统 (5)2.2 作业调度系统 (5)2.3编译器和并行实现 (5)2.4 数学库 (6)三、使用方法3.1 登录和传输文件 (8)3.2 编译 (12)3.3 作业提交 (13)3.4 作业管理 (23)附件A.常用的作业提交模板1.普通串行计算 (25)2.普通MPI并行作业 (25)3.多个计算步骤的计算脚本 (25)4.共享内存并行作业 (26)5. 4. OpenMP+MPI 混合并行作业 (26)附录B：商用软件使用方法1.Fluent软件 (28)2.ANSYS软件 (30)3.CFX软件 (33)4.ABAQUS软件 (35)5.MARC软件 (37)6.NASTRAN软件 (39)7.LSDYNA软件 (41)8.DYTRAN软件 (43)9.ADF软件 (45)10.HFSS软件 (47)国家超级计算深圳中心采用由中科院和曙光公司联合研制的曙光6000超级计算系统，该系统整体计算能力实测峰值为1.271千万亿次浮点运算（1.271PFLOPS）。
于2011年11月16日投入运行。
本文主要介绍曙光6000超级计算系统的使用方法和环境。
一、基本环境为了方便管理和使用，曙光6000超级计算系统高性能计算区分成5个逻辑分区，分别为科学计算分区（GK）、工程计算分区（GG）、生命科学计算（GS）、胖节点分区（Fn）以及龙芯计算分区（Lx）。
其中GK、GG、GS分区的每个计算节点由2颗Intel5650六核心处理器组成、主频2.66GHz,配置24GB DDR3内存以及1块Nvidia C2050 GPGPU卡，一块本地149G的 SAS硬盘，一块QDR IB子卡。
胖节点分区（Fn）共配置128台4路A840 SMP计算节点，每个计算节点配置4颗AMD 6136 八核心处理，主频2.4GHz，内存128GB。
曙光航空航天高性能计算方案摘要CFD-FASTRAN软件是由CFDRC公司与美国NASA联合开发的专门用于航空航天领域空气动力学计算的CFD软件，该软件可广泛应用于飞行器的亚、跨、超和高超音速的气动力学计算和一些特殊气体动力学问题如直升机旋翼、导弹发射、座舱弹射、投弹、机动和气动弹性等。
本文针对航空航天高性能计算提出了一套完整的集群解决方案，并在此平台上对FASTRAN并行性能进行了详细的测试。
测试结果表明，FASTRAN软件可以方便的部署和运行于曙光集群系统，并能够获得令人满意的加速比。
关键字CFD，FASTRAN，并行，航空航天1.FASTRAN介绍CFD-FASTRAN是CFDRC公司与美国NASA联合开发的专门用于航空航天领域空气动力学计算的CFD软件，在当前所有为航空航天设计的计算流体力学软件中位于前列，被广泛应用于飞行器的亚、跨、超和高超音速的气动力学计算和一些特殊气体动力学问题如直升机旋翼、导弹发射、座舱弹射、投弹、机动和气动弹性等。
CFD-FASTRAN 具有挑战性的功能是将基于密度的可压缩欧拉方程和N-S方程同多体运动力学、有限反应率化学和非平衡传热学耦合起来，解决一系列极为复杂的航空航天问题。
CFD-FASTRAN具有强大的技术优势，它体现在：@多年同美国国家航空和宇宙航行局（NASA），美国能源部（DOE），美国国家科学基金会（NSF）等机构的合作，使CFD-FASTRAN不断得到完善和发展。
@CFD-FASTRAN专门针对航空航天设计，可以计算包括超高速流动，移动体，气动热化学和气弹等复杂艰辛的课题。
@CFD-FASTRAN充分考虑了行业的需要，开发出航空航天工程师所需要的前处理、后处理程序。
正是基于上述原因，使得FASTRAN在全球拥有巨大的用户数量并获得了广泛的认可。
在美国军方，CFD-FASTRAN软件一直用于先进战斗机的设计，其中著名的应用案例包括F-16战斗机翼身气动弹性分析、Martin Baker MK16座椅弹射设计、F/A18杰达姆投弹模拟设计以及X34机高超音速激波模拟设计等，如下图所示。
此外，近期NASA采用CFD-FASTRAN模拟了在9500英尺高空高速飞行(7倍声速)状态下的飞行器分离情况。
高速分离现象一直是CFD软件很难模拟的领域，但如下图所示，FASTRAN很好的模拟了飞行器分离过程中整个流场的速度和温度分布。
随着中国航天航空事业的快速发展，尤其是载人航天技术的巨大成功，我国科技人员对空气动力学的数值模拟研究提出了越来越多的需求，常规的计算能力远远无法满足复杂的大型飞行器设计所带来的巨大需求。
因此，采用大规模集群技术成为最佳选择。
FASTRAN支持大规模并行计算集群系统，它可以采用两种并行计算环境，一种为我们熟知的MPI，适用于非结构化网格；一种为自行开发的MDICE，适用于结构化网格。
由于FASTRAN的大多数湍流模型仅针对结构化网格，因此本文仅对MDICE并行环境下的FASTRAN性能进行了测试，并根据测试结果提供了一套完整的集群解决方案。
2.曙光航空航天高性能计算解决方案曙光高性能集群由若干台高性能节点机、高速计算网络连接到一起组成，并通过监控系统和一组集群管理软件对其进行有序管理。
曙光集群的基本体系结构如下图1所示，主要包括节点、网络、存储、监管和软件等几个部分。
根据用户对计算规模需求的不同，可以对节点、网络和存储等进行量身定制。
2.1.节点机节点机主要包括三类节点：计算节点、管理/登入节点和IO节点。
2.1.1.计算节点计算节点主要用于完成FASTRAN的计算任务，因此要求：@有很强的计算能力，对CFD而言特别是浮点运算能力。
@有适量的内存以使前处理和求解时数据能完全驻留在物理内存中。
经验表明，一般每个CPU至少分配1GB内存。
@支持高速、低延迟的通讯网络针对以上要求，我们推荐计算节点采用两路的曙光天阔R210A（可升级到双核）或者4路的曙光天阔R4280A。
R210A支持两颗200 Series的Opteron处理器，同时根据需要可以轻松扩展到双核；R4280A则支持4颗Opteron 800 Series单核或者双核处理器，这两种服务器都具有极高的性能，非常适合用于构建高性能集群系统。
体现在：@Opteron系列处理器较Xeon架构的处理器具有更高的性能。
AMD的Opteron系列处理器采用创新的直连架构，通过在处理器内部集成内存控制器而大幅降低内存延迟，提高数据访问速度。
由于消除了Intel固有的共享带宽瓶颈，使得AMD平台的内存带宽随着处理器数量的增加而成倍的增加，例如4路的R4280A配合双通道DDR400内存可以提供最高达4*6.4GB/s的理论内存带宽，这尤其适合浮点密集型和内存密集型的CFD应用程序。
此外，Opteron处理器在提供强大的计算能力的同时具有业内出名的低功耗，用户通过选用基于Opteron平台的处理器能够大幅降低在供电与散热系统上的开销，可以最大限度的降低TCO。
@采用四路的曙光天阔R4280A可以获得极高的性能。
AMD的超传输技术将4颗CPU 直接连接在一起，两颗CPU之间可以提供高达6.4GB/s的通讯带宽和纳秒级的延迟，这使得1个四路的SMP系统比采用任何高速网络互联的2个两路系统的性能都要高。
此外，在CPU数量需求一定的情况下，采用4路的R4280A可以大幅减少网络设备（网卡、交换机、网络监控卡）从而降低系统成本。
@采用升级到双核的曙光天阔R210A作为计算节点可以在获得高性能的同时降低系统成本。
采用一颗AMD的双核处理器可以获得50-70%左右的性能提升(参见AMD官方网站测试数据)，这使得其具有几乎相当于两路单核处理器的性能。
同时，采用Opteron的DP产品较MP产品的成本更低。
用户通过选用双核R210A可以获得性能与价格的平衡。
2.1.2.IO节点IO节点由存储设备、NFS文件系统等组成。
IO节点作为NFS文件系统主节点，外挂磁盘阵列或者连接其它存储设备，负责文件的I/O操作。
其它节点包括计算节点和管理登入节点访问存储设备的请求都要通过I/O节点完成。
由于IO节点和存储系统密切相关，所以IO节点将在后面存储系统中详细讨论。
2.1.3.管理/登陆节点管理/登入节点是外部设备和集群系统之间连接的桥梁，任何用户和系统的管理员都只能通过管理/登入节点才可能登陆到节点机子系统上，事实上，管理/登入节点是一个多种身份于一身的节点，它具有登入、管理和作业提交等功能。
但总的来说，系统对管理/登入节点要求不高，只要采用相对经济的配置就可以了，但必需保持和计算节点、IO节点同构。
2.2.网络网络的设计是系统中很重要的一部分，网络系统特别是计算网络的性能很大程度上影响着整个系统的性能。
由于并行计算时的数据通讯和NFS文件系统的数据传递对网络的要求较高，为了管理、监控等操作不对计算通讯和文件IO操作产生任何干扰，本方案设计了两套网络系统，实现双网分离、专网专用，保证了系统的高效性。
同时，两套网络又起着相互备份的功能，当其中一套网络由于某种故障瘫痪时，另一套网络就会担负起其功能，提高了系统的可靠性。
两套网络包括计算网络和管理网络。
计算网络宜采用高速的互连网络，目前的高性能网络包括千兆网、Myrinet和Infiniband等。
目前Myrinet和Infiniband价格非常昂贵，并且FASTRAN软件尚未支持这两种网络，因此本方案中的计算网络选用千兆以太网；管理网络对性能的要求不高，选择价格便宜的百兆以太网。
对于较大规模的集群系统，还可以考虑单独设置数据传输网络，将计算过程中的数据传输与个节点之间的通讯分离开，避免相互干扰。
这对于非稳态、有大量中间数据需要保存的CFD应用而言尤其重要。
数据传输网络一般采用千兆以太网，根据需要还可以在IO节点上进行双网卡绑定以提高数据传输带宽。
2.3.存储目前根据应用规模的不同，存储的解决方案有三种选择：直连式存储DAS、网络接入存储NAS和存储区域网络SAN。
DAS主要适合于构建小型存储系统，NAS适合于投资规模不大的部门级存储，而SAN造价昂贵，性能突出，适合于企业级、要求扩展能力强的存储。
针对高性能计算的特点，本解决方案的存储系统采用简单易维护的DAS方式，系统由I/O节点、磁盘阵列和NFS文件系统等组成。
为了保证性能，可单独设置I/O节点（也可与管理/登入节点合并以节省投资），所有计算节点通过NFS文件系统和I/O节点，即可象访问本地文件一样访问保存在存储设备上的数据。
磁盘阵列采用曙光DS-2120SA或DS-2120。
其中DS-2120SA盘阵支持Serial ATA磁盘技术，外部主机通道支持SCSI接口技术，内部可以容纳12颗SATA硬盘，最大提供3TB 的存储空间；DS-2120包括2个SCSI内部通道和2个SCSI外部主机通道，最大支持12块146GB的高速SCSI硬盘。
两种磁盘阵列在设计上都采用了CableLess（无线缆连接）结构，避免了诸如线缆脱落、信号串扰、线缆受热老化等问题，从根本上提高了磁盘阵列系统的可靠性，同时也带来了更高的性价比、更方便的管理。
3.曙光集群FASTRAN性能测试与分析曙光公司和ATE中国有限公司合作，在曙光集群系统上部署了FASTRAN程序，同时对其并行性能进行了测试。
结果表明，FASTRAN空气动力学模拟软件在曙光集群上可以取得较高的并行效率。
3.1.测试环境本测试环境为曙光公司的内部测试平台，由4个R4280A组成，采用千兆以太网连接。
具体配置如下：3.2.测试模型：DLR-F4翼身组合体DLR-F4翼身组合体算例是NASA的一个标准算例，用于测试商业CFD软件计算阻力的准确性。
采用CFD-FASTRAN软件进行了结构化网格的计算。
DLR-F4外形如图所示：给定的计算状态为：采用多块结构化网格进行翼身组合体计算，计算网格如图所示，图中给出了对称面和物体表面的网格。
计算网格共80块，网格单元数目为：3,780,480。
数值计算空间格式采用Roe格式，通过MUSCL限制器扩展到高阶，时间格式采用全隐格式进行时间积分。
采用层流模型，迭代30步后记录结果。
3.3.测试结果从以上测试结果可以看出，CFD－FASTRAN软件可以非常好的运行在曙光集群系统上，并可以获得非常优良的近乎线性的加速比。
正是基于这种特性，曙光集群系统非常适合CFD－FASTRAN等计算流体力学软件的并行计算。
由于其良好的可扩展性和加速比，用户可以通过扩展系统的节点数来达到提高系统性能的目的。
4.方案选择5.附录5.1.相关编纂人员简介@曹连雨@所学专业：热物理与流体力学@所在单位：曙光公司技术支持部深度技术支持组@所做工作：流体力学、财政软件等相关技术的售前支持工作。
