XXXX高性能计算平台建设方案XXXXX2013年4月目录1 概述 (2)1.1 背景概况 (2)1.2 建设内容 (3)1.3 设计原则 (3)2 总体架构 (5)3 高性能计算平台硬件系统 (6)3.1 平台架构图 (6)3.2 主要设备选型 (8)3.3 Cluster集群系统 (9)3.4 计算节点 (10)3.5 管理节点 (10)3.6 I/O存储节点 (11)3.7 网络系统方案............................................................................... 错误！未定义书签。
3.8 管理网络 (12)3.9 监控网络 (12)3.10 存储系统 (12)4 高性能计算平台软件系统 (13)4.1 64位Linux操作系统 (13)4.2 集群管理软件 (14)4.3 作业调度系统 (14)4.4 并行文件系统 (15)4.5 集群并行计算环境 (15)4.6 标准库函数 (16)4.7 标准应用软件 (16)5 项目经费预算 (17)5.1 经费来源 (17)5.2 经费支出预算 (17)附页——高性能计算平台技术参数要求 (18)1概述1.1背景概况20世纪后半期，全世界范围掀起第三次产业革命的浪潮，人类开始迈入后工业社会——信息社会。
在信息经济时代，其先进生产力及科技发展的标志就是计算技术。
在这种先进生产力中高性能计算机（超级计算机）更是具有代表性。
时至今日，计算科学（尤其是高性能计算）已经与理论研究、实验科学相并列，成为现代科学的三大支柱之一。
三种科研手段中，理论研究为人类认识自然界、发展科技提供指导，但科学理论一般并不直接转化为实用的技术；实验科学一方面是验证理论、发展理论的重要工具，另一方面，它是在理论的指导下发展实用技术，直接为经济发展服务；计算科学的发展也有相当悠久的历史，只是在计算机这一强大的计算工具问世之前，计算只能利用人类的大脑和简单的工具，计算应用于科学研究有天然的局限性，限制了它作用的发挥；随着计算机技术的发展，使用科学计算这一先进的技术手段不断普及，逐渐走向成熟。
科学计算可以在很大程度上代替实验科学，并能在很多情况下，完成实验科学所无法完成的研究工作。
科学计算也直接服务于实用科技，并为理论的发展提供依据和机会。
在许多情况下，或者理论模型过于复杂甚至尚未建立，或者实验费用过于昂贵甚至不允许进行，此时计算模拟就成为求解问题的唯一或主要手段了。
目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作用：a) 基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更高性能的计算资源。
例如，计算立体力学、计算材料学、计算电磁学。
b) 多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平台。
例如，汽车设计、船舶设计。
c) 基于仿真的工程科学结合传统工程领域的知识技术与高性能计算，提供经济高效地设计与实践方法。
例如，基于仿真的医学实践、数字城市模拟、核电、油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。
d) 高性能计算提升众多行业服务、决策的时效性，提高经济效益。
例如，实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于RFID 的货物跟踪、智能电子商务。
e) 数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难题。
例如，高能物理实验数据处理、遥感数据处理、商业智能、生物信息学、RFID 数据挖掘、金融业分析抵押借贷、移动电话流量分析。
1.2建设内容高性能计算平台是面向全校提供高速计算服务的公共计算平台，主要运行科研计算任务，并且能够根据应用任务对硬件资源的不同需求，动态分配和调整平台资源，管理计算作业。
用户通过校园网或VPN远程提交计算作业、获取计算结果，并能够根据权限调整，实现权限控制，硬件细节对用户透明。
用户界面实现图形化交互窗口和SSH登陆相结合方式。
平台的主要硬件设备有：管理节点、计算节点、存储IO节点、Infiniband交换机、高速存储、千兆以太网交换机；软件方面有：64位Linux操作系统、并行开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利用高速infiniband网络互联构成计算环境，通过并行计算支撑软件和作业调度系统使它们协同工作。
平台支持同时运行Ansys、Fluent、Gauss、Materials Studi、ADMS、Opera、HFSS、MTSS、MAGIC、CST、Icepak等商业软件，并支持C（C++）、Fortran77/90等语言的编译和运行环境，以保证学院自编应用程序的计算求解需求。
1.3设计原则高性能计算平台应具有处理大规模的复杂运算，尤其是浮点运算的能力。
它将为全校提供优化设计、分析、验证的手段，最终实现提高科研质量、缩短科研周期、降低科研成本。
因此，方案设计以用户现场测试结果为基础，根据用户对未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。
架构设计和系统选型遵循以下原则：先进性本系统方案所采用的技术既要符合业界的发展方向，又要在未来几年内仍具有很高的技术先进性，保持在同类系统中的领先地位。
这样有利于提高整个系统的计算与处理能力，保证系统的使用周期。
有限投资获取最大计算性能在有限的投资前提下，高性能计算平台应具有优秀的处理能力，它不仅具有符合要求的峰值性能(Peak Performance)，更重要的是应具有稳定的应用性能（sustained performance）。
各种复杂的研究课题在本系统中能够得到准确、快速的计算结果。
可扩展性随着对计算机系统性能的要求不断提高，高性能计算平台应具有较强的扩展能力，可以方便地实现节点增加、系统扩充和升级，以有效保护前期投入。
建议采用第三方集群管理和作业调度专业软件，集成安装与硬件设备无关，计算节点的扩展不受硬件品牌限制。
开放性和兼容性系统应符合公认的工业标准，包括体系结构，硬件，I/O, 网络，操作系统，开发环境和开发工具等。
便于和其他平台上的系统互操作。
应用开发软件丰富本系统的平台上应具有丰富的软件资源，能够提供研究课题的解决方案和相应的软件系统。
例如高性能计算方面的开发环境和应用开发软件，linux、专业平台软件商, 不仅提供处理节点间的协调和通信的中间件，使整个系统节点能够真正实现合作，负载均衡，还能针对不同应用需求，提供一系列并行计算应用。
性价比优越本系统在性价比方面在同类系统中应具有明显的优势，能满足用户应用的同时，充分考虑后期运维费用，尽量采用绿色节能型设备，降低运维功耗，比如采用刀片式服务器。
管理简单，用户易用尽量减少数据中心的设备管理难度，简化架构，底层硬件对用户透明，本着不改变设计师原有使用原则的基础上选择合适的软件架构，突破集中式资源部署应用难的屏障，实现应用简单易用的目的。
综上所述，本项目的建设，在遵循统一领导、统一规划、统一标准、统一组织的建设原则之下，最大程度上保证系统按照预期的目标顺利实施。
2总体架构根据我们对学校高性能计算平台的需求调研分析，以及其它高校的高性能计算实验室的考察，结合实际应用需求、当前计算规模大小、存储需求量等一系列的因素，充分结合总体设计原则，针对学校高性能计算应用的特点，从满足应用需求的角度出发，建立一个高可扩展、易管理的Cluster高性能计算平台环境。
主要是基于计算网络、存储网络、管理网络、监控网络的一体化网络建设的高性能计算集群系统：计算网络采用Cluster、高速InfiniBand计算网与千兆以太管理网协同工作的架构。
计算节点采用刀片服务器。
存储网络大部分数据都存放在FC架构存储系统中，选用低端扩展容量大的磁盘阵列，利用SAN交换机互联，通过存储I/O节点为高性能计算平台提供存储服务，便于维护、管理和备份。
管理网络通过资源调度管理软件管理整个高性能计算平台。
用户通过网络远程访问高性能计算平台，获取高性能计算平台的计算资源进行求解运算。
监控网络通过基于硬件设备的专业集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员的工作负担，为运维人员提供高效便捷的管理方式。
硬件部分应包括：计算节点（集群节点和小型机节点）管理节点I/O节点高速互连系统软件部分应包括：操作系统集群管理软件作业调度系统并行文件系统并行程序开发环境数学库、并行库标准应用软件客户应用软件3高性能计算平台硬件系统3.1平台架构图平台整体架构图如下：根据应用需求，小型机待今后扩展建设。
采用32节点的Cluster高性能计算集群（每个计算节点Intel Xeon X5650 2Processors/6Cores/24G内存），主要运行分布式计算应用，利用MPI现实并行计算，提高应用效率。
目前采用1台管理节点作为高性能计算平台的管理服务器，以后根据应用需求将管理节点增加到2台。
目前采用2台存储节点作为高性能计算平台的存储I/O节点，以后根据应用需求扩展存储I/O节点。
32节点高性能计算集群节点、2节点I/O服务器集群、1台管理节点均通过带宽20Gbps Infiniband高速网络互连。
计算集群节点通过20Gbps Infiniband 网络连接I/O节点，通过I/O节点的专门并行文件系统访问存储。
I/O节点通过4Gbps光纤通道卡连接至磁盘阵列环境中，配置1台磁盘阵列（可选HP P2000G3FF或IBM DS3400），10TB可用容量，以满足高性能计算环境对存储性能和空间的巨大需求，I/O节点存储链路完全多路径融合，与磁盘阵列见无单点。
高性能计算平台全部通过管理节点上的高性能计算资源管理平台软件对用户发布使用。
管理节点通过1000Base-T千兆以太网连接到校园网络中，各院系通过该网络Web 使用高性能计算平台资源，基于用户原有使用习惯的图形化交互界面，并最终通过网络可视化的查看计算过程，获得计算结果。
3.2主要设备选型计算节点采用32节点的刀片服务器作为计算节点（每个节点采用 2 Processors Intel Xeon X5650/6 Cores/18GB memory），Intel六核处理器在中规模的计算量上的性能相当于同主频四核CPU的1.5倍以上。
依据见Intel提供的数据分析图：管理节点采用1节点的机架式高端服务器（采用 2 Processors Intel Xeon X5650/6 Cores/24GB memory）作为高性能计算平台的管理节点。
存储节点采用2节点的机架式高端服务器（采用 2 Processors Intel Xeon X5650/6 Cores/36GB memory）作为高性能计算平台的存储I/O节点。
