告别免费午餐拥抱多核时代
—SuperMap空间分析并行计算实践Written by:Objects 2013-3-12 11:20:00
SuperMap空间分析并行计算实践
信息技术（InformationTechnologies，简称IT）领域，绝大多数定律都会随着技术的进步被人们淡忘，但有一些却可以经受住时间的考验，对信息技术发展带来持久而深远的影响，“摩尔定律”便是其中典型代表。“摩尔定律”支配下的信息技术，64位系统和多核计算日益普及，如何充分利用64位系统和多核环境下的计算资源成为系统设计和开发人员必
须面对的问题。地理信息系统（Geographic InformationSystem，简称GIS）中的空间分析服务具有算法逻辑复杂、数据规模庞大的特点，属于一种计算密集型服务。针对该特点，我们将并行计算技术引入传统空间分析计算过程，充分利用64位大内存和多核计算资源，大幅提升空间分析
计算性能。
一、摩尔定律下的免费午餐
摩尔定律是由英特尔创始人之一戈登·摩尔（Gordon Moore）提出。其内容为：当价格不变时，集成电路上可容纳的电子元件数目，约每隔24个月（现在普遍流行的说法是每隔18个月）便会增加一倍，性能也将提升一倍。换言之，相同性能的芯片产品，每隔18个月价钱就会降
低一半。该定律自1965年提出以来，始终较好的预测了半导体产业的
发展趋势，又由于半导体产业的巨大影响力，该定律辐射到包括微处理器、移动电话、个人电脑、互联网等在内的众多IT领域。几十年来，包括处理器速度、内存容量、网络传播速度等关键IT指标的发展大都符合摩尔定律的描述。我们有理由认为，摩尔定律在一定程度上揭示与展现了信息技术令人惊讶的进步速度。诞生于1946年的世界上第一台电子计算机，其计算速度是每秒5000次加减法运算，而今天个人电脑的计算速度是每秒500亿次浮点运算。三十五年前的英特尔8086处理器仅有三万个晶体管，而今天一个基于Nehalem架构的英特尔酷睿i7处理器集成了7.74亿个晶体管。
图1 摩尔定律曲线（https://www.doczj.com/doc/5513985149.html,, 2012）伴随着硬件技术的飞速发展，操作系统和各种应用软件无偿享用着硬件提升带来的“免费午餐”。由于处理器生产厂商致力于摩尔定律描述下的时钟频率提升，单线程的应用程序无需进行任何修改就可以在新的处理器上获得更高的性能，而功能更为强大，计算资源需求更多的操作系统和应用软件又刺激着消费者进行硬件升级，从而构成了个人电脑工业的生态链。另一方面，Google（谷歌）公司的前CEO埃里克·施密
特在一次采访中指出，如果你反过来看摩尔定律，一个IT公司如果今天和十八个月前卖掉同样多的、同样的产品，它的营业额就要降低一半。IT界把它称为反摩尔定律（Reverse Moore's Law）。这个带着悲情色彩的反摩尔定律使得IT行业不可能像传统行业那样只追求量变，而必须不断寻找革命性的创造发明，不断追赶技术的前进脚步。那些技术发展赶不上摩尔定律要求的公司，只能被市场无情的淘汰，任何一个大公司都要保持足够的警惕和研发投入，而任何一个小公司都有可能遇到让自己成长为下一个IT巨人的技术变革，这是一个最好的时代，也是一个最坏的时代。
二、多核时代的计算要求
在单核CPU时代，处理器生产厂商提升CPU运算能力的主要途径是提高主频。作为CPU的主要性能指标，主频标志着每单位时间内CPU 能够执行运算指令的数量。实际上，在单核CPU时代，处理器已经实现了多线程运算，通过在逻辑上模拟出多个CPU内核，以实现多任务调度和并发处理。然而，这些处理过程始终由单个CPU以线程切换方式完成，运算负载由单个CPU承担。而多核CPU则在真正意义上实现了内核级别并行，与传统的单核CPU相比，多核CPU带来了更强的并行处理能力和更高的计算密度，同时大大减少了散热和功耗。而多核时代的到来这也迫使应用系统告别“免费午餐”，使用多线程（或多进程）方式来充分利用多核环境下的计算资源。
图2 256核服务器的CPU任务管理器（George Chu, 2010）当前，双核和四核的个人电脑已经非常普及，而服务器的内核数量更是被不断刷新，但另一方面，由于目前针对多核开发和优化的应用程序还相对较少，使得用户无法切身感受多核计算环境下的性能提升。根本原因是并行程序的开发难度非常之大，程序设计与开发人员需要面对包括任务并行化、内存管理与使用、线程竞争与死锁、多线程程序调试等诸多技术问题。为了解决这些问题，众多并行计算模型和框架应运而生，粉墨登场。
三、跨平台的并行框架
由于SuperMap软件产品需要具有跨平台的特性，因此我们在进行并行计算框架的选择时，需要考虑其不同平台间的支持能力。当前业界应用较为广泛的跨平台并行计算框架，主要包括面向线程并行的OpenMP 框架和TBB框架，面向进程并行的MPI框架，以及OpenMP与MPI
的混合模式（Hybrid）。
OpenMP（Open Multiprocessing）：是一个支持多种平台的共享内存并行计算API，支持平台包括Solaris、AIX、HP-UX、GNU/Linux、Mac OS X和Windows，支持语言包括C、C++和Fortran。它由一组编译器指令、API和环境变量构成，适合于将已有代码进行并行化改进。
图3 OpenMP并行计算示意图（https://www.doczj.com/doc/5513985149.html,，2012）TBB（Intel Threading Building Blocks）：是一个由英特尔公司开发的C++模板库，主要目的是使得软件开发者更好的利用多核处理器。该库为开发者提供了一些线程安全的容器和算法，使得开发者无需过多关
注系统线程的创建、同步、销毁等操作，将精力集中于业务逻辑的并行化，可以与OpenMP互为补充。
MPI（Message Passing Interface）：是一个有着广泛使用基础以及专业审查委员会管理的并行计算标准，其设计主要面向大规模机器和群集系统的并行计算，其具体实现包括OpenMPI、MPICH和LAM-MPI等。
Hybrid：即混合并行计算模式，主要是指在单机环境中使用OpenMP 进行线程级别的并行，并同时在由单机组成的群集环境中通过MPI进行任务间的消息传递和并行计算，使用难度较高。
表1 并行计算框架对比
比较项目OpenMP TBB MPI
并行粒度线程线程进程
不支持支持不支持
内存分配
总体来说，并没有哪种并行计算框架可以适用于各种应用开发，较为合理的方案是根据应用程序特点选择适合自身的技术框架。当你需要
将已有程序进行并行化改进，而且希望快速看到改进效果时，OpenMP 是一个较理想的选择。当你希望从零开始，完成一个并行化程序的开发时，可能需要更多的关注TBB和MPI。而当你希望应用程序既实现单机线程级别的并行，又可以在多机群集环境中发挥并行计算优势时，就需要使用较为复杂的混合模式进行设计和开发。
四、并行计算下的空间分析
GIS空间数据随着采集、传输、处理技术的进步，其规模不断膨胀，导致传统串行空间分析方法面临巨大压力。而并行计算技术凭借其对于多核计算资源的充分利用，以及可扩展的计算能力为海量空间数据的分析提供了一种解决方案。本文中，我们主要以GIS空间分析中的水文分析为代表，分享SuperMap水文分析模块在并行计算方面的相关研究和实践工作。
水文分析是水文科学、地理信息科学与计算机科学的交叉结合产物，主要利用DEM栅格数据构建水系模型，利用水系模型进行水流方向、累积汇水量、流域、河网等水文要素的计算与提取，实现DEM表面水流过程的模拟和重现。可广泛应用于农林业、区域规划、灾害预测等诸多领域，是GIS空间分析中的重要组成部分。由于水文分析是一个完整的工作流程与分析体系，因此涉及较多分析方法，主要包括：填充伪洼地、计算流向、计算累积汇水量、划分流域（包括计算流域盆地、提取汇水点和流域分割）、提取水系网络（包括提取栅格水系、河流分析、连接水系和提取矢量水系）
图4 水文分析流程图（SuperMap，2012）由于水文分析模块涉及分析功能较多，而应用最为广泛的是基于DEM提取矢量水系，因此我们针对该流程进行并行计算实践，主要涉及填充伪洼地、计算流向、计算累积汇水量、计算流域盆地和水系矢量化功能。我们主要使用OpenMP并行计算框架，并根据具体算法使用非连续内存管理、线程池、线程任务分配等技术手段，进行水文分析相关功能的并行计算改进，以期达到充分利用多核计算资源，提升水文分析性能的目的。为了验证改进算法的有效性，我们选取了三组不同规模的DEM数据进行测试和分析。
表2 DEM数据列表
数据编
号
行数目列数目数据量
A 3601 3601 35 MB
C 18001 32401 1.5 GB
为了保证测试效果，我们使用Dell ? PowerEdge ?服务器进行测试，其处理器为2个英特尔?至强?八核处理器，单核主频为2.0 GHz，内存为32 GB，操作系统为64位Red Hat? Enterprise Linux Server。首先使用双线程并行与原串行算法进行比较，测试结果如表3所示。
表3 双线程并行计算性能统计
功能点
数据A 数据B 数据C 串行并行串行并行串行并行
加速比 1.62 1.46 1.52
时间单位：秒
图5 数据C双线程并行测试结果
从测试结果中可以看出，双线程并行算法相对于传统串行算法有较为明显的性能提升。由于各功能实现算法不同，内部并行化所使用的技术手段也存在差异，因此各算法性能提升幅度不同。但从总时间来看，三组数据的加速比分别达到了1.62、1.46和1.52，即水文分析各功能均可以通过并行计算技术大幅提升原算法性能。
为了进一步测试不同线程数目下并行算法的性能提升幅度，我们选择了填充伪洼地和流向分析两个功能，分别使用不同的线程数目进行分
析性能测试。
图6 数据C填充伪洼地功能测试结果
图7 数据C流向分析功能测试结果从图6和图7可以看出，改进后的并行算法性能随着线程数目的增加而提升，但由于算法内部无法实现完全的并行化，在线程数目增大到
8时，算法性能提升幅度减小，算法时间趋于平稳。流向分析功能由于算法结构较适宜进行并行化处理，计算任务可以较均匀的分配到多个线程上，因此分析性能的提升与线程数目的增加表现出较好的一致性。
尽管“摩尔定律”支配下的信息技术仍处于飞速发展当中，但以64位技术和多核计算平台为代表的发展趋势迫使应用系统开发进行重新思考。如何行之有效的进行并行程序的设计与开发已成为衡量一个IT公司能否充分利用计算资源的重要指标。空间分析是GIS的灵魂，而SuperMap空间分析研发团队始终紧跟技术发展脚步，优化空间分析算法，在并行计算领域进行了多项卓有成效的研究和改进。我们相信，SuperMap的空间分析模块可以在多核时代充分利用计算资源，为用户创造更多价值。
LSF高性能分布运算解决方案 一、系统组成 速度系统主要由IBM X3850 X5集群计算机、IBM X3650 M3 虚拟化服务器、Dell R5100图形工作站、存储系统组成。 IBM X3850 X5集群计算机：每个节点 4 颗CPU，每个 CPU 8核，主频 2.26GHz，节点内存 128GB。 IBM X3650 M3虚拟化服务器：每个节点 2 个 CPU，每个 CPU4核，主频 2.66GHz，节点内存 48GB。 Dell R5100图形工作站：每个节点包括 1个NVIDIA Quadro 6000 显示卡，主机CPU 主频为3.06 GHz，内存为 8GB，硬盘为 4*146GB。 存储系统：IBM DS5020 可用容量约为 12TB，由集群计算机、虚拟化服务器和图形工作站共享。 IBM X3850 X5计算集群运行用户的程序。 LSF高性能分布运算解决方案系统示意图 二、主要软件
1.操作系统：IBM X3850 X5集群计算机安装 64 位Windows2008 系统，IBM X3650 M3 安装Vmware ESX4.1系统，图形工作站安装64 位Windows2008 系统。 2.作业调度系统：Platform 公司的LSF。 3.应用软件：如表 1 所示。 名称厂家 LightTools ORA ZEMAX-EE Focus Software PADS ES Suite Ap SW Mentor Graphics Expedition PCB Pinnacle Mentor Graphics DxDesigner ExpPCB Bnd SW Mentor Graphics I/O Designer Ap SW Mentor Graphics Multi-FPGA Optimization Op S Mentor Graphics HyperLynx SI PI Bnd SW Mentor Graphics Questa Core VLOG Ap SW Mentor Graphics Precision RTL Plus Ap SW Mentor Graphics SystemVision 150 Ap SW Mentor Graphics FlowTHERM Parallel Ap SW Mentor Graphics Labview NI Code Composer Studio TI Quartus II Altera ISE Xilinx Vxworks Wind River Intel C++ Studio XE Intel MatLab及相关工具箱Mathworks Maple MapleSoft Oracle Oracle NX Mach 3 Product Design Siemens PLM Software ADAMS MSC
并行计算综述 姓名：尹航学号：S131020012 专业：计算机科学与技术摘要：本文对并行计算的基本概念和基本理论进行了分析和研究。主要内容有：并行计算提出的背景，目前国内外的研究现状，并行计算概念和并行计算机类型，并行计算的性能评价，并行计算模型，并行编程环境与并行编程语言。 关键词：并行计算；性能评价；并行计算模型；并行编程 1. 前言 网络并行计算是近几年国际上并行计算新出现的一个重要研究方向，也是热门课题。网络并行计算就是利用互联网上的计算机资源实现其它问题的计算，这种并行计算环境的显著优点是投资少、见效快、灵活性强等。由于科学计算的要求，越来越多的用户希望能具有并行计算的环境，但除了少数计算机大户（石油、天气预报等）外，很多用户由于工业资金的不足而不能使用并行计算机。一旦实现并行计算，就可以通过网络实现超级计算。这样，就不必要购买昂贵的并行计算机。 目前，国内一般的应用单位都具有局域网或广域网的结点，基本上具备网络计算的硬件环境。其次，网络并行计算的系统软件PVM是当前国际上公认的一种消息传递标准软件系统。有了该软件系统，可以在不具备并行机的情况下进行并行计算。该软件是美国国家基金资助的开放软件，没有版权问题。可以从国际互联网上获得其源代码及其相应的辅助工具程序。这无疑给人们对计算大问题带来了良好的机遇。这种计算环境特别适合我国国情。 近几年国内一些高校和科研院所投入了一些力量来进行并行计算软件的应用理论和方法的研究，并取得了可喜的成绩。到目前为止，网络并行计算已经在勘探地球物理、机械制造、计算数学、石油资源、数字模拟等许多应用领域开展研究。这将在计算机的应用的各应用领域科学开创一个崭新的环境。 2. 并行计算简介[1] 2.1并行计算与科学计算 并行计算（Parallel Computing），简单地讲，就是在并行计算机上所作的计算，它和常说的高性能计算（High Performance Computing）、超级计算（Super Computing）是同义词，因为任何高性能计算和超级计算都离不开并行技术。
M S C_M A R C单机多核并行计算示例
MSC MARC2011单机多核并行计算示例 并行计算可以有效利用本地或者网络计算机计算资源，提高计算效率，特别是针对一些计算规模相对较大的问题。本文作为MARC单机多核并行计算的一个示例。 测试平台：WIN7 64Bit MARC2011 0、提前设置 将电脑名字最好改为administrator，或者通过修改电脑名称，会使user和display后面的名子保持一致。 改电脑名字： 计算机右键—属性—更改设置—更改—计算机名
1、启动多核运算 打开dos界面输入 （1）D：按enter回车键（d为marc所在盘）
（2）cd+空格+ D:\MSC.Software\Marc\2010\marc2010\intelmpi\win64\bin按 enter回车键 （3）ismpd+空格+ –install 按enter回车键 （4）出现上图中的 关闭窗口。 2、基本配置 （1）在MARC安装目录下的intelmpi\win64\bin目录（32Bit计算机选择 win32文件夹），运行wmpiregister.exe. （2）输入用户名(登陆windows的账户名，通常为administrator)及密码（若密码为空，需要重新设置一个密码），点击register按钮，下面的对话框中会出现“Password encrypted into the Registry”信息。
（3）运行ismpd.exe，或者到dos提示符下，进入该目录，运行ismpd -install。 假如提示都正常的话，到此即完成进行并行计算的前提条件了。 3、测试 （1）在MARC安装目录下的intelmpi\win64\bin目录（32Bit计算机选择win32文件夹），运行wmpiconfig.exe （2）依次点击下面1和2.
2014年《并行计算系统》复习题 （15分）给出五种并行计算机体系结构的名称，并分别画出其典型结构。 ①并行向量处理机（PVP） ②对称多机系统（SMP） ③大规模并行处理机（MPP） ④分布式共享存储器多机系统（DSM） ⑤工作站机群（COW） （10分）给出五种典型的访存模型，并分别简要描述其特点。 ①均匀访存模型（UMA）： 物理存储器被所有处理机均匀共享 所有处理机访存时间相同 适于通用的或分时的应用程序类型 ②非均匀访存模型（NUMA）： 是所有处理机的本地存储器的集合 访问本地LM的访存时间较短 访问远程LM的访存时间较长 ③Cache一致性非均匀访存模型（CC-NUMA）： DSM结构 ④全局Cache访存模型（COMA）： 是NUMA的一种特例，是采用各处理机的Cache组成的全局地址空间 远程Cache的访问是由Cache目录支持的 ⑤非远程访存模型（NORMA）： 在分布式存储器多机系统中，如果所有存储器都是专用的，而且只能被本地存储机访问，则这种访问模型称为NORAM 绝大多数的NUMA支持NORAM 在DSM中，NORAM的特性被隐匿的 3. （15分）对于如下的静态互连网络，给出其网络直径、节点的度数、对剖宽度，说明该网络是否是一个对称网络。 网络直径：8 节点的度数：2 对剖宽度：2 该网络是一个对称网络 4. （15分）设一个计算任务，在一个处理机上执行需10个小时完成，其中可并行化的部分为9个小时，不可并行化的部分为1个小时。问： （1）该程序的串行比例因子是多少，并行比例因子是多少？ 串行比例因子：1/10
并行比例因子:9/10 如果有10个处理机并行执行该程序，可达到的加速比是多少？ 10/(9/10 + 1) = 5.263 （3）如果有20个处理机并行执行该程序，可达到的加速比是多少？ 10/(9/20 + 1)= 6.897 （15分）什么是并行计算系统的可扩放性？可放性包括哪些方面？可扩放性研究的目的是什么？ 一个计算机系统（硬件、软件、算法、程序等）被称为可扩放的，是指其性能随处理机数目的增加而按比例提高。例如，工作负载能力和加速比都可随处理机的数目的增加而增加。可扩放性包括: 1.机器规模的可扩放性 系统性能是如何随着处理机数目的增加而改善的 2.问题规模的可扩放性 系统的性能是如何随着数据规模和负载规模的增加而改善 3.技术的可扩放性 系统的性能上如何随着技术的改变而改善 可扩放性研究的目的: 确定解决某类问题时何种并行算法与何种并行体系结构的组合，可以有效的利用大量的处理器； 对于运用于某种并行机上的某种算法，根据在小规模处理机的运行性能预测移植到大规模处理机上的运行性能; 对固定问题规模，确定最优处理机数和可获得的最大的加速比 （15分）给出五个基本的并行计算模型，并说明其各自的优缺点。 ①PRAM：SIMD-SM 优点： 适于表示和分析并行计算的复杂性； 隐匿了并行计算机的大部底层细节（如通信、同步），从而易于使用。 缺点： 不适于MIMD计算机，存在存储器竞争和通信延迟问题。 ②APRAM:MIMD-SM 优点： 保存了PRAM的简单性； 可编程性和可调试性（correctness）好； 易于进行程序复杂性分析。 缺点： 不适于具有分布式存储器的MIMD计算机。 ③BSP：MIMD-DM 优点: 把计算和通信分割开来； 使用hashing自动进行存储器和通信管理； 提供了一个编程环境。 缺点： 显式的同步机制限制并行计算机数据的增加； 在一个Superstep中最多只能传递h各报文。
并行计算 实 验 报 告 学院名称计算机科学与技术学院专业计算机科学与技术 学生姓名 学号 年班级 2016年5 月20 日
一、实验内容 本次试验的主要内容为采用多线程的方法计算pi的值，熟悉linux下pthread 形式的多线程编程，对实验结果进行统计并分析以及加速比曲线分析，从而对并行计算有初步了解。 二、实验原理 本次实验利用中值积分定理计算pi的值 图1 中值定理计算pi 其中公式可以变换如下： 图2 积分计算pi公式的变形 当N足够大时，可以足够逼近pi，多线程的计算方法主要通过将for循环的计算过程分到几个线程中去，每次计算都要更新sum的值，为避免一个线程更新sum 值后，另一个线程仍读到旧的值，所以每个线程计算自己的部分，最后相加。三、程序流程图 程序主体部分流程图如下：
多线程执行函数流程图如下： 四、实验结果及分析
令线程数分别为1、2、5、10、20、30、40、50和100，并且对于每次实验重复十次求平均值。结果如下： 图5 时间随线程的变化 实验加速比曲线的计算公式类似于 结果如下： 图5 加速比曲线 实验结果与预期类似，当线程总数较少时，线程数的增多会对程序计算速度带来明显的提升，当线程总数增大到足够大时，由于物理节点的核心数是有限的，因此会给cpu带来较多的调度，线程的切换和最后结果的汇总带来的时间开销较大，所以线程数较大时，增加线程数不会带来明显的速度提升，甚至可能下降。 五、实验总结
本次试验的主要内容是多线程计算pi的实现，通过这次实验，我对并行计算有了进一步的理解。上学期的操作系统课程中，已经做过相似的题目，因此程序主体部分相似。不同的地方在于，首先本程序按照老师要求应在命令行提供参数，而非将数值写定在程序里，其次是程序不是在自己的电脑上运行，而是通过ssh和批处理脚本等登录到远程服务器提交任务执行。 在运行方面，因为对批处理任务不够熟悉，出现了提交任务无结果的情况，原因在于windows系统要采用换行的方式来表明结束。在实验过程中也遇到了其他问题，大多还是来自于经验的缺乏。 在分析实验结果方面，因为自己是第一次分析多线程程序的加速比，因此比较生疏，参考网上资料和ppt后分析得出结果。 从自己遇到的问题来看，自己对批处理的理解和认识还比较有限，经过本次实验，我对并行计算的理解有了进一步的提高，也意识到了自己存在的一些问题。 六、程序代码及部署 程序源代码见cpp文件 部署说明： 使用gcc编译即可，编译时加上-pthread参数，运行时任务提交到服务器上。 编译命令如下： gcc -pthread PI_3013216011.cpp -o pi pbs脚本(runPI.pbs)如下： #!/bin/bash #PBS -N pi #PBS -l nodes=1:ppn=8 #PBS -q AM016_queue #PBS -j oe cd $PBS_O_WORKDIR for ((i=1;i<=10;i++)) do ./pi num_threads N >> runPI.log
万方数据
２ＬＢＧＫＤ２Ｑ９模型的并行计算 ２．１数据分布 将流场划分成Ｎ。ｘＮ，的网格。设有Ｐ＝只×Ｐｖ个进程参与并行计算，进程号Ｐ。＝Ｈ以（０≤ｉ＜只，０≤Ｊ＜尸ｖ）。将数据按照重叠一条边的分块分布到各进程中。其中，进程Ｐ。存储并处理的数据网格点集，如图ｌ所示。 图１进程珊存储并处理的区域（斜线处为重叠部分） ２．２交替方向的Ｊａｃｏｂｉ迭代通信 Ｊａｃｏｂｉ迭代是一类典型的通信迭代操作。文献［４】主要讨论了一个方向的Ｊａｃｏｂｉ迭代。根据数据分布及计算要求，需要采用２个方向交替的Ｊａｃｏｂｉ迭代通信操作。本文认为，“即发即收”的通信策略能有效避免完全的“先发后收”可能造成的通信数据“堆积”过多，从而避免数据的丢失。进程Ｐｌｉ的通信操作如下（见图２）： （１）Ｉｆｉ≠只一１ｔｈｅｎ发送数据到进程Ｐ¨，； （２）Ｉｆｉ≠０ｔｈｅｎ从进程Ｐｆ＿Ｊ，接收数据； （３）Ｉｆ，≠只－１ｔｈｅｎ发送数据到进程Ｐｍｌ； （４）ＩｆＪ≠０ｔｈｅｎ从进程Ｐ—ｌ接收数据。 各进程并行执行上述操作。 图２交普方向的Ｊａｃｏｂｉ迭代 ２．３通信时间理论 由一般的通信模型可知，若发送、接收信息长度为ｎ字节的数据所需时间为：丁（ｎ）＝口＋ｎ∥，其中，常数口为通信启动时间；∥为常系数，则上述一次交替方向的Ｊａｃｏｂｉ迭代通信操作的时间约为 ２０ｅ＋２ｆｌ＇Ｎ、．Ｐ，＝１ Ｐ。＝１ 其他 其中，∥７＝∥ｓｉｚｅｏｆ（ｄｏｕｂｌｅ）。 一般情况下，当等３鲁，即等＝鲁时，通信的数据量（字节数）是最少的，为４口＋４∥，．／丝堡。可见，通信的信息 Ｖ只×０ 总量和通信时间随进程总数只×尸ｖ的增加而减少。 由于ｃ语言中数组是按“行”存放的（Ｆｏｒｔｒａｎ是按“列”存放的），当存放、发送列数据时，需要一定的辅助操作，这就增加了并行计算的计算时间，因此在只：Ｐｖ无法恰好等于Ｎｘ：Ｎ。时，需要综合考虑流场形状及大小、数据在内存中的按“行”（或按“列”）的存放方式，以确定数据的最佳分布方案。 ３数值实验 数值实验是在“自强３０００”计算机上进行的ｏｕ自强３０００”计算机拥有１７４个计算结点，每个计算结点上有２个３．０６ＣＰＵ，２ＧＢ内存。本文的实验使用了其中的３２个计算结点共６４个ＣＰＵ。程序采用ＭＰＩ及Ｃ语言编写，程序执行时，每个计算结点中启动２个进程。数值实验针对不同规模的网格划分、不同进程数以及不同的数据分布方案进行了大量实验，测得如下结果：不同的流场规模对应着各自的最佳网格划分方式；计算次数越多，加速比越大，越能体现并行计算的优越性。 由表１数据可以得知，对于规模为Ｎｘ×Ｎ、，＝４００ｘ４００，数据划分成６×６块时的加速比最高，而对于ＭＸＮｙ＝６００ｘ２００，数据划分为１２×３块则更具优越性。合适的划分方式可以使总体通信量减至最少，从而提高加速比和并行效率。另外，计算规模越大，加速比越大。 表１并行计算Ｄ２Ｑ９模型的加速比（进程数为３６） 在固定计算规模，增加处理器的情况下，并行系统的加速比会上升，并行效率会下降；在固定处理器数目，增加计算规模的情况下，并行系统的加速比和效率都会随之增加。 从表２可见，流场规模越大，并行计算的优越性越显著。因为此时计算规模（粒度）较大，相对于通信量占有一定的优势。由图３可见，加速比随进程数呈线性增长，这表明ＬＢＧＫＤ２Ｑ９模型的并行计算具有良好的可扩展性。 表２漉场规模固定时并行计算Ｄ２Ｑ９模型的加速比 ０８１６２４３２４０４８５６６４ ｎｕｍｏｆｐｒｏｃｅｓｓ 图３藐场规模固定时Ｄ２Ｑ９模型并行计算的加速比 ４结束语 本文讨论了ＬＢＧＫＤ２Ｑ９模型的分布式并行计算，通过大量的数值实验重点研究了数据分布方案如何与问题规模匹配，以获得更高的并行效率的问题。展示了ＬＢＧＫ模型方法良好的并行性和可扩展性。得到了二维ＬＢＧＫ模型并行计算数据分布的一般原则、交替方向Ｊａｃｏｂｉ迭代的通信策略。这些结论对进一步开展三维ＬＢＧＫ模型的并行计算及其他类似问题的并行计算有一定的指导意义。（下转第１０４页） 一１０１—万方数据
Monte Carlo Methods in Parallel Computing Chuanyi Ding ding@https://www.doczj.com/doc/5513985149.html, Eric Haskin haskin@https://www.doczj.com/doc/5513985149.html, Copyright by UNM/ARC November 1995 Outline What Is Monte Carlo? Example 1 - Monte Carlo Integration To Estimate Pi Example 2 - Monte Carlo solutions of Poisson's Equation Example 3 - Monte Carlo Estimates of Thermodynamic Properties General Remarks on Parallel Monte Carlo What is Monte Carlo? ? A powerful method that can be applied to otherwise intractable problems ? A game of chance devised so that the outcome from a large number of plays is the value of the quantity sought ?On computers random number generators let us play the game ?The game of chance can be a direct analog of the process being studied or artificial ?Different games can often be devised to solve the same problem ?The art of Monte Carlo is in devising a suitably efficient game.
第22章 进程、线程与并行计算 进程是正在运行的程序，线程是轻量级的进程。多任务的并发执行会用到多线程（multithreading ），而CPU 的多核（mult-core ）化又将原来只在巨型机和计算机集群中才使用的并行计算带入普通PC 应用的多核程序设计中。 本章先介绍进程与线程的概念和编程，再给出并行计算的基本概念和内容。下一章讨论基于多核CPU 的并行计算的若干具体编程接口和方法。 22.1 进程与线程 进程（process ）是执行中的程序，线程（thread ）是一种轻量级的进程。 22.1.1 进程与多任务 现代的操作系统都是多任务（multitask ）的，即可同时运行多个程序。进程（process ）是位于内存中正被CPU 运行的可执行程序实例，参见图22-1。 图22-1 程序与进程 目前的主流计算机采用的都是冯·诺依曼（John von Neumann ）体系结构——存储程序计算模型。程序（program ）是在内存中顺序存储并以线性模式在CPU 中串行执行的指令序列。对于传统的单核CPU 计算机，多任务操作系统的实现是通过CPU 分时（time-sharing ）和程序并发（concurrency ）完成的。即在一个时间段内，操作系统将CPU 分配给不同的程序，虽然每一时刻只有一个程序在CPU 中运行，但是由于CPU 的速度非常快，在很短的时间段中可在多个进程间进行多次切换，所以用户的感觉就像多个程序在同时执行，我们称之为多任务的并发。 22.1.2 进程与线程 程序一般包括代码段、数据段和堆栈，对具有GUI （Graphical User Interfaces ，图形用户界面）的程序还包含资源段。进程（process ）是应用程序的执行实例，即正在被执行的程进程（内存中） 可执行文件（盘上） 运行
告别免费午餐拥抱多核时代 —SuperMap空间分析并行计算实践Written by:Objects 2013-3-12 11:20:00 SuperMap空间分析并行计算实践 信息技术（InformationTechnologies，简称IT）领域，绝大多数定律都会随着技术的进步被人们淡忘，但有一些却可以经受住时间的考验，对信息技术发展带来持久而深远的影响，“摩尔定律”便是其中典型代表。“摩尔定律”支配下的信息技术，64位系统和多核计算日益普及，如何充分利用64位系统和多核环境下的计算资源成为系统设计和开发人员必 须面对的问题。地理信息系统（Geographic InformationSystem，简称GIS）中的空间分析服务具有算法逻辑复杂、数据规模庞大的特点，属于一种计算密集型服务。针对该特点，我们将并行计算技术引入传统空间分析计算过程，充分利用64位大内存和多核计算资源，大幅提升空间分析 计算性能。 一、摩尔定律下的免费午餐 摩尔定律是由英特尔创始人之一戈登·摩尔（Gordon Moore）提出。其内容为：当价格不变时，集成电路上可容纳的电子元件数目，约每隔24个月（现在普遍流行的说法是每隔18个月）便会增加一倍，性能也将提升一倍。换言之，相同性能的芯片产品，每隔18个月价钱就会降 低一半。该定律自1965年提出以来，始终较好的预测了半导体产业的
发展趋势，又由于半导体产业的巨大影响力，该定律辐射到包括微处理器、移动电话、个人电脑、互联网等在内的众多IT领域。几十年来，包括处理器速度、内存容量、网络传播速度等关键IT指标的发展大都符合摩尔定律的描述。我们有理由认为，摩尔定律在一定程度上揭示与展现了信息技术令人惊讶的进步速度。诞生于1946年的世界上第一台电子计算机，其计算速度是每秒5000次加减法运算，而今天个人电脑的计算速度是每秒500亿次浮点运算。三十五年前的英特尔8086处理器仅有三万个晶体管，而今天一个基于Nehalem架构的英特尔酷睿i7处理器集成了7.74亿个晶体管。
2014年《并行计算系统》复习题 1.（15分）给出五种并行计算机体系结构的名称，并分别画出其典型结构。 ①并行向量处理机（PVP） ②对称多机系统（SMP） ③大规模并行处理机（MPP） ④分布式共享存储器多机系统（DSM）
⑤工作站机群（COW） 2.（10分）给出五种典型的访存模型，并分别简要描述其特点。 ①均匀访存模型（UMA）： 物理存储器被所有处理机均匀共享 所有处理机访存时间相同 适于通用的或分时的应用程序类型 ②非均匀访存模型（NUMA）： 是所有处理机的本地存储器的集合 访问本地LM的访存时间较短
访问远程LM的访存时间较长 ③Cache一致性非均匀访存模型（CC-NUMA）： DSM结构 ④全局Cache访存模型（COMA）： 是NUMA的一种特例，是采用各处理机的Cache组成的全局地址空间 远程Cache的访问是由Cache目录支持的 ⑤非远程访存模型（NORMA）： 在分布式存储器多机系统中，如果所有存储器都是专用的，而且只能被本地存储机访问，则这种访问模型称为NORAM 绝大多数的NUMA支持NORAM 在DSM中，NORAM的特性被隐匿的 3. （15分）对于如下的静态互连网络，给出其网络直径、节点的度数、对剖宽度，说明该网络是否是一个对称网络。 网络直径：8 节点的度数：2
对剖宽度：2 该网络是一个对称网络 4. （15分）设一个计算任务，在一个处理机上执行需10个小时完成，其中可并行化的部分为9个小时，不可并行化的部分为1个小时。问： （1）该程序的串行比例因子是多少，并行比例因子是多少？ 串行比例因子：1/10 并行比例因子:9/10 （2）如果有10个处理机并行执行该程序，可达到的加速比是多少？10/(9/10 + 1) = 5.263 （3）如果有20个处理机并行执行该程序，可达到的加速比是多少？10/(9/20 + 1)= 6.897 5.（15分）什么是并行计算系统的可扩放性？可放性包括哪些方面？可扩放性研究的目的是什么？ 一个计算机系统（硬件、软件、算法、程序等）被称为可扩放的，是指其性能随处理机数目的增加而按比例提高。例如，工作负载能力和加速比都可随处理机的数目的增加而增加。 可扩放性包括: 1.机器规模的可扩放性
Hadoop部署 所需要的软件 使用VMwareWorkstationPro搭建虚拟机，安装操作系统 Ubuntu14.04。 JDK1.8 Hadoop2.6.0 1.在Ubuntu中安装JDK 将JDK解压缩到 /home/kluas/java 在~/.bash_profile中配置环境变量，并通过source~/.bash_profile生效。 #java export JAVA_HOME=/home/kluas/java/jdk export JRE_HOME=/home/kluas/java/jdk/jre export PATH=$JAVA_HOME/bin;$JRE_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 检验JDK是否安装成功 java –version 2.配置ssh信任关系，实现无密码登录 生成机器A的公私密钥对：ssh-keygen -t rsa，之后一路回车。在~/.ssh 目录下生成公钥id_rsa.pub，私钥id_ras。 拷贝机器A的id_rsa.pub到机器B的认证文件中： cat id_rsa.pub >> ~/.ssh/authorized_keys 这时候机器A到机器B的信任关系就建立好了，此时在机器A可以不需要密码直接ssh登录机器B了 3.安装Hadoop2.6.0 解压hadoop软件包，编辑/etc/profile文件，并追加 export HADOOP_HOME=/usr/kluas/Hadoop export PATH=HADOOP_HOME/bin:$PATH 运行 source /etc/profile命令 修改配置文件hadoop目录etc/Hadoop/Hadoop-env.sh追加： export JAVA_HOME=/home/kluas/java/jdk 修改配置文件hadoop目录下etc/Hadoop/core-site.xml追加：
MSC MARC2011单机多核并行计算示例 并行计算可以有效利用本地或者网络计算机计算资源，提高计算效率，特别是针对一些计算规模相对较大的问题。本文作为MARC单机多核并行计算的一个示例。 测试平台：WIN7 64Bit MARC2011 0、提前设置 将电脑名字最好改为administrator，或者通过修改电脑名称，会使user和display后面的名子保持一致。 改电脑名字： 计算机右键—属性—更改设置—更改—计算机名
1、启动多核运算 打开dos界面输入 （1）D：按enter回车键（d为marc所在盘） （2）cd+空格+ D:\MSC.Software\Marc\2010\marc2010\intelmpi\win64\bin按enter回车键 （3）ismpd+空格+ –install 按enter回车键 （4）出现上图中的
关闭窗口。 2、基本配置 （1）在MARC安装目录下的intelmpi\win64\bin目录（32Bit计算机选择win32文件夹），运行wmpiregister.exe. （2）输入用户名(登陆windows的账户名，通常为administrator)及密码（若密码为空，需要重新设置一个密码），点击register按钮，下面的对话框中会出现“Password encrypted into the Registry”信息。 （3）运行ismpd.exe，或者到dos提示符下，进入该目录，运行ismpd -install。 假如提示都正常的话，到此即完成进行并行计算的前提条件了。 3、测试 （1）在MARC安装目录下的intelmpi\win64\bin目录（32Bit计算机选择win32文件夹），运行wmpiconfig.exe （2）依次点击下面1和2.
高性能并行计算系统检查点技术与应用 孙国忠 李艳红 樊建平 （中国科学院计算技术研究所 中国科学院研究生院 北京 １０００８０） (sgz@https://www.doczj.com/doc/5513985149.html,,lyh@https://www.doczj.com/doc/5513985149.html,,fan@https://www.doczj.com/doc/5513985149.html,) 摘 要 随着高性能并行计算系统规模越来越大，软件和硬件发生故障的概率随之增大，系统的容错性和可靠性已经成为应用可扩展性的主要限制因素。并行检查点技术可以使系统从故障中恢复并减少计算损失，是高性能计算系统重要的容错手段。本文将介绍检查点技术的背景和定义，研究并行检查点协议的分类，检查点存储技术，以及利用这些协议和技术实现的ＭＰＩ并行检查点系统，最后给出对各个关键技术的详细评价及结论。 关键词 高性能计算；消息传递系统；并行检查点；回滚恢复 中图法分类号 ＴＰ３１ A Survey of Checkpointing Technology and It’s Application for High Performance Parallel Systems Sun Guo-Zhong Li Yan-Hong Fan Jian-Ping (Institute of Computing Technology,Chinese Academy of Sciences/Graduate School of the Chinese Academy of Sciences, Beijing 100080) (sgz@https://www.doczj.com/doc/5513985149.html, lyh@https://www.doczj.com/doc/5513985149.html, ｆａｎ＠ｉｃｔ．ａｃ．ｃｎ) Abstract With the scale of high performance parallel computing systems becoming larger,the fault probability of software and hardware in these systems is increased.As a result, issues of fault tolerance and reliability are becoming limiting factors on application scalability.Parallel checkpointing can help fault system recover from fault and reduce the computing losing,and is an important method for tolerating fault of high performance computing system.This paper will discuss the background and definitions of checkpointing,classify of parallel checkpointing protocols, checkpoint storage technology, and several MPI systems adopting these parallel checkpointing protocols.At last we give appraisement of these key technologies and list our conclusions. Key words High Performance Computing; Message Passing System; Parallel Checkpointing ; Rollback Recovery １ 引 言 高性能并行计算领域的容错技术由于以下几种情况而越发受到重视。1）在一台高性能计算机系统中，总的处理器数快速增长。如BlueGene/L 总的处理器有130,000个，有证据表明这样的一台机器几个小时就要有一个处理器失效。虽然处理器总数的提高带来了性能提高，但是也提高了故障点的数目。2）大多数并行计算机系统正在从采用昂贵的硬件系统向低成本、由处理器和光纤网络定制组装的cluster转变，以及采用Internet范围内网格技术来执行程序导致硬件发生故障的概率较高。3）很多科学计算任务被设计成一次运行几天或者几个月，例如ASCI的stockpile certification 程序以及BlueGene当中的ab initio 蛋白质折叠程序将运行几个月。由于应用的运行时间比硬件的平均故障间隔时间(MTBF)长，科学计算程序必须 本课题得到国家高科技发展计划(863)基金支持(2003AA1Z2070)和中国科学院知识创新工程支持(20036040) 具有对硬件故障的容错技术。采用检查点技术恢复应用运行是一种有效的容错方法。 检查点技术除了实现系统容错，还能协助实现灵活的作业调度。例如，拥有高性能计算系统的气象局要在每天的固定时段加载资源独占作业进行气象预报或者运行紧急作业，需要暂停原来运行的其它作业。因此必须记录原来作业的检查点并在完成紧急作业后恢复运行。 可见，采用检查点技术可以实现系统容错，实现灵活的作业调度以及提高资源利用率。本文将通过对各种并行检查点技术的分析比较，呈现出高性能并行计算系统检查点机制的发展状况，存在的问题和研究前景。 ２背景和定义 检查点技术在各个领域都进行了广泛研究，如硬件级指令重试、分布式共享内存系统、系统调试、实时系统等。本文侧重于高性能并行计算系统，主要包括ＭＰＰ、Ｃｌｕｓｔｅｒ。这些系统的进程之间通过消息传递实现通信，本文中也称为消息传
0.前言 最近发觉自己博客转帖的太多，于是决定自己写一个原创的。笔者用过MPI 和C#线程池，参加过比赛，有所感受，将近一年来，对多线程编程兴趣一直不减，一直有所关注，决定写篇文章，算是对知识的总结吧。有说的不对的地方，欢迎各位大哥们指正：） 1.CPU发展趋势 核心数目依旧会越来越多，依据摩尔定律，由于单个核心性能提升有着严重的瓶颈问题，普通的桌面PC有望在2017年末2018年初达到24核心（或者16核32线程），我们如何来面对这突如其来的核心数目的增加？编程也要与时俱进。笔者斗胆预测，CPU各个核心之间的片内总线将会采用4路组相连：），因为全相连太过复杂，单总线又不够给力。而且应该是非对称多核处理器，可能其中会混杂几个DSP处理器或流处理器。 2.多线程与并行计算的区别 (1)多线程的作用不只是用作并行计算，他还有很多很有益的作用。 还在单核时代，多线程就有很广泛的应用，这时候多线程大多用于降低阻塞（意思是类似于 while(1) { if(flag==1) break;
sleep(1); } 这样的代码）带来的CPU资源闲置,注意这里没有浪费CPU资源，去掉sleep(1)就是纯浪费了。 阻塞在什么时候发生呢？一般是等待IO操作（磁盘，数据库，网络等等）。此时如果单线程，CPU会干转不干实事（与本程序无关的事情都算不干实事，因为执行其他程序对我来说没意义），效率低下（针对这个程序而言），例如一个IO操作要耗时10毫秒，CPU就会被阻塞接近10毫秒，这是何等的浪费啊！要知道CPU是数着纳秒过日子的。 所以这种耗时的IO操作就用一个线程Thread去代为执行，创建这个线程的函数（代码）部分不会被IO操作阻塞，继续干这个程序中其他的事情，而不是干等待（或者去执行其他程序）。 同样在这个单核时代，多线程的这个消除阻塞的作用还可以叫做“并发”，这和并行是有着本质的不同的。并发是“伪并行”，看似并行，而实际上还是一个CPU在执行一切事物，只是切换的太快，我们没法察觉罢了。例如基于UI 的程序（俗话说就是图形界面），如果你点一个按钮触发的事件需要执行10秒钟，那么这个程序就会假死，因为程序在忙着执行，没空搭理用户的其他操作；而如果你把这个按钮触发的函数赋给一个线程，然后启动线程去执行，那么程序就不会假死，继续响应用户的其他操作。但是，随之而来的就是线程的互斥和同步、死锁等问题，详细见有关文献。 现在是多核时代了，这种线程的互斥和同步问题是更加严峻的，单核时代大都算并发，多核时代真的就大为不同，为什么呢？具体细节请参考有关文献。我
第三章互连网络 对于一颗K级二叉树（根为0级，叶为k-1级），共有N=2^k-1个节点，当推广至m-元树时（即每个非叶节点有m个子节点）时，试写出总节点数N的表达式。 答： 推广至M元树时，k级M元树总结点数N的表达式为： N=1+m^1+m^2+...+m^（k-1）=(1-m^k)*1/(1-m); 二元胖树如图所示，此时所有非根节点均有2个父节点。如果将图中的每个椭圆均视为单个节点，并且成对节点间的多条边视为一条边，则他实际上就是一个二叉树。试问：如果不管椭圆，只把小方块视为节点，则他从叶到根形成什么样的多级互联网络 答：8输入的完全混洗三级互联网络。 四元胖树如图所示，试问：每个内节点有几个子节点和几个父节点你知道那个机器使用了此种形式的胖树 答：每个内节点有4个子节点，2个父节点。CM-5使用了此类胖树结构。 试构造一个N=64的立方环网络，并将其直径和节点度与N=64的超立方比较之，你的结论是什么 答：A N=64的立方环网络,为4立方环（将4维超立方每个顶点以4面体替代得到），直径d=9，节点度n=4 B N=64的超立方网络，为六维超立方（将一个立方体分为8个小立方，以每个小立方作为简单立方体的节点，互联成6维超立方），直径d=6，节点度n=6 一个N=2^k个节点的 de Bruijin 。 。。。试问：该网络的直径和对剖宽度是多少 答：N=2^k个节点的 de Bruijin网络直径d=k 对剖宽带w=2^(k-1)
一个N=2^n个节点的洗牌交换网络如图所示。试问：此网络节点度==网络直径==网络对剖宽度== 答：N=2^n个节点的洗牌交换网络，网络节点度为=2 ，网络直径=n-1 ，网络对剖宽度=4 一个N=（k+1）2^k个节点的蝶形网络如图所示。试问：此网络节点度=网络直径=网络对剖宽度= 答：N=（k+1）2^k个节点的蝶形网络，网络节点度=4 ，网络直径=2*k ，网络对剖宽度=2^k 对于如下列举的网络技术，用体系结构描述，速率范围，电缆长度等填充下表中的各项。（提示：根据讨论的时间年限，每项可能是一个范围） 答： 如图所示，信包的片0，1，2，3要分别去向目的地A，B，C，D。此时片0占据信道CB，片1占据信道DC，片2占据信道AD，片3占据信道BA。试问： 1）这将会发生什么现象 2）如果采用X-Y选路策略，可避免上述现象吗为什么 答： 1）通路中形成环，发生死锁
1在并行机系统中，主流操作系统有UNIX/Linux，AIX(IBM)，HPUX(HP)，Solaris(SUN)，IRIX(SGI)等。 2 常用的并行算法设计的基本技术有划分，分治，倍增，流水域，破对称，平衡 树等设计技术。 3 Matlab并行程序编写过程分为创建对象，创建工作，指定工作任务，提交工作，等待和返回计算任务结果六步。 1. 云计算是对（ D ）技术的发展与运用 A. 并行计算 B网格计算 C分布式计算 D三个选项都是 2. IBM在2007年11月退出了“改进游戏规则”的（ A ）计算平台，为客户带来即买即用的云计算平台。 A. 蓝云 B. 蓝天 C. ARUZE D. EC2 3. 微软于2008年10月推出云计算操作系统是（ C ） A. Google App Engine B. 蓝云 C. Azure D. EC2 4. 2008年，（ A ）先后在无锡和北京建立了两个云计算中心 A. IBM B. Google C. Amazon D. 微软 5. 将平台作为服务的云计算服务类型是（ B ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 6. 将基础设施作为服务的云计算服务类型是（ A ） A. IaaS B.PaaS C.SaaS D.三个选项都不是 7. IaaS计算实现机制中，系统管理模块的核心功能是（ A ） A. 负载均衡 B 监视节点的运行状态 C应用API D. 节点环境配置 8. 云计算体系结构的（ C ）负责资源管理、任务管理用户管理和安全管理等工作 A.物理资源层 B. 资源池层 C. 管理中间件层 D. SOA构建层 9. 下列不属于Google云计算平台技术架构的是（ D ） A. 并行数据处理MapReduce B.分布式锁Chubby C. 结构化数据表BigTable D.弹性云计算EC2 10. 在目前GFS集群中，每个集群包含（ B ）个存储节点 A.几百个 B. 几千个 C.几十个 D.几十万个 11. 下列选项中，哪条不是GFS选择在用户态下实现的原因（ D ） A.调试简单 B.不影响数据块服务器的稳定性 C. 降低实现难度，提高通用性 D. 容易扩展 12. GFS中主服务器节点存储的元数据包含这些信息（ BCD ） A.文件副本的位置信息 B.命名空间 C. Chunk与文件名的映射 D. Chunk副本的位置信息 13. 单一主服务器（Master）解决性能瓶颈的方法是（ ABCD ） A.减少其在数据存储中的参与程度 B. 不适用Master读取数据 C.客户端缓存元数据 D. 采用大尺寸的数据块 14. （ B ）是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件 架构。 A. GFS B.MapReduce C.Chubby D.BitTable 15. Mapreduce适用于（ D ） A. 任意应用程序 B. 任意可在windows servet2008上运行的程序 C.可以串行处理的应用程序 D. 可以并行处理的应用程序