服务器内存技术
第3章服务器内存技术
无论是PC机还是服务器，内存技术发展速度都是要远低于CPU甚至磁盘技术的。在服务器内存技术中，近两年可以说没有什么实质性的变化，仍主要体现在以前Intel的
FB-DIMM标准的深入应用，以及随着PC内存技术一起发展DDR2-500和DDR3内存技术也已出现，并开始应用。
在服务器内存技术中，除了与PC机共有的内存技术之外，服务器也有一些独特的内存技术，它们一般是由像服务器巨头（如IBM、HP和Intel）提出，或形成统一的国际标准或仅用于自己的服务器产品之中。本章要为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。
本章重点
DDR2与DDR3内存各自的新技术和主要特性
ECC内存技术
IBM内存保护技术
IBM内存镜像技术
HP在线备份内存技术
HP热插拔RAID内存技术
FB-DIMM的互联架构和内存存取模式
3.1.1 什么是DDR内存
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了什么是DDR内存。
?标签：DDR内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.1 DDR内存
因为目前的服务器与PC机一样，基本上已普及了DDR内存的使用，所以在此有必要先对这一内存技术做一个简单的了解。
3.1.1 什么是DDR内存
因为DDR上、下行均可同时传输数据，所以也把DDR内存称之为双通道内存。双通道DDR有两个64位内存控制器，双64位内存体系所提供的带宽等同于一个128位内存体系所提供的带宽。双通道体系包含了两个独立的、具备互补性的智能内存控制器，两个内存控制器都能够在彼此间零等待时间的情况下同时运作。但是DDR内存的双通道并不是默认开启的，是为了满足超线程CPU高达6.4Gbps的带宽需求而设计的，一般的PC中双通道并没有打开，在服务器中通常是启用的，当然需要主板支持才行。
目前我们常用的DDR标准为DDR2，但即将有DDR3标准了，下面分别予以介绍。
3.1.2 DDR2标准
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了DDR2标准。
?标签：DDR内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
这样也就出现了另一个问题：在同等工作频率的DDR和DDR2内存中，后者的内存延时要慢于前者。举例来说，DDR 200和DDR2 400具有相同的延迟，而后者具有高一倍的带宽。实际上，DDR2 400和DDR 400具有相同的带宽，它们都是3.2Gbps，但是DDR 400
的核心工作频率是200MHz，而DDR2 400的核心工作频率是100MHz，也就是说DDR2 400的延迟要高于DDR 400。
2）封装和发热量
DDR2内存技术最大的突破点不在于用户所认为的两倍于DDR的传输能力，而是在采用更低发热量、更低功耗的情况下，DDR2可以获得更快的频率提升，突破标准DDR的400MHz限制。
DDR内存通常采用TSOP芯片封装形式，这种封装形式可以很好地工作在200MHz上，但当频率更高时，它过长的管脚就会产生很高的阻抗和寄生电容，影响它的稳定性和频率提升的难度。这也就是DDR的核心频率很难突破275MHz的原因。而DDR2内存均采用FBGA 封装形式，提供了更好的电气性能与散热性，为DDR2内存的稳定工作与未来频率的发展提供了良好的保障。
DDR2内存采用1.8V电压，相对于DDR标准的2.5V，降低了不少，从而提供了明显的更小的功耗与更小的发热量，这一点的变化意义是重大的。
除了以上所说的区别外，DDR2还引入了3项新的技术，它们是：OCD、ODT和Post CAS。
3）OCD（Off-Chip Driver，离线驱动调整）
DDR2通过OCD技术（通过加入一些I/O驱动电阻来实现）可以提高信号的完整性。DDR2通过调整上拉（pull-up）/下拉（pull-down）的电阻值使两者电压相等。使用OCD通过减少DQ-DQS的倾斜来提高信号的完整性；通过控制电压来提高信号品质。如图3-5所示为无OCD和有OCD情况下的输出信号对比。
4）ODT（On-DieTermination，内建终结电阻）
使用DDR SDRAM的主板上面为了防止数据线终端反射信号需要大量的终结电阻（如图3-6所示），不仅大大增加了主板的制造成本，而且还使整个内存板面不美观。实际上，不同的内存模组对终结电路的要求是不一样的，终结电阻的大小决定了数据线的信号比和反射率，终结电阻小则数据线信号反射率低但是信噪比也较低；终结电阻高，则数据线的信噪比高，但是信号反射率也会增加。因此主板上的终结电阻并不能非常好地匹配内存模组，还会在一定程度上影响信号品质。
DDR2可以根据自已的特点内建合适的终结电阻，在每一个芯片上终止内存信号来增强内存质量与完整性。这样可以取消主板上用于减少信号反射的终结电阻器，简化了主板设计，降低设计制造成本，还可保证最佳的信号波形。
5）Post CAS（前置列地址选通脉冲）
Post CAS是为了提高DDR2内存的利用效率而设定的。在Post CAS操作中，CAS信号（读写/命令）能够被插到RAS信号后面的一个时钟周期，CAS命令可以在附加延迟（Additive Latency，AL）后面保持有效。原来的tRCD（RAS到CAS延迟）被AL所取代，因为AL 可以在0、1、2、3、4中进行设置。由于CAS信号放在了RAS信号后面一个时钟周期，因此ACT和CAS信号永远也不会产生碰撞冲突。
3.1.3 DDR3标准
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了DDR3标准。
?标签：DDR内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
据Intel最新桌面平台规划，Intel于2007年第二季度起，推出支持DDR3内存模组、产品代号为Bearlake的芯片组产品，但是Intel预计DDR3内存在2009年才能有望成为市场主流。
而作为桌面级处理器的另一大巨头，AMD也明确表示将会在新一代处理器K8L中提供对DDR3内存的支持。AMD K8L架构原来支持4核心设计，在2007年中，AMD将推出双核心桌面版本的K8L处理器，K8L处理器将支持DDR2和DDR3内存。而从目前的情况来看，DDR2内存显然不是AMD最好的选择，高频率、低时序的DDR3内存必然会是AMD 积极开拓的对象。
在两大处理器厂商的全力支持下，自然是内存厂商最大的动力。虽然早在2002年6月28日，JEDEC就宣布开发DDR3内存标准，但由于缺乏处理器厂商的支持，DDR3内存也一直只是概念中的产品，直至在Computer 2006台北的演示厅中才看到了DDR3内存的工程样品。不过这也算是好的开始，DDR3内存将会在2007年内伴随新一代处理器问世。
1．DDR3的优势
DDR3核心同样存在许多改进，如DDR3显存采用0.11um生产工艺，耗电量较DDR2明显降低。此外，DDR3显存采用了“Pseudo Open Drain”（虚拟开漏极）接口技术，只要电压合适，显示芯片可直接支持DDR3显存。当然，显存颗粒较长的延迟时间（CAS latency）一直是高频率显存的一大通病，DDR3也不例外，DDR3的CAS latency为5/6/7/8，而DDR2为3/4/5，DDR2的延迟时间要少一些。尽管DDR3相对于DDR2在技术上并没有太多实质上的改进，但DDR3的性能优势仍比较明显，主要表现如下。
1）功耗和发热量较小
由于采用新的工艺，而且DDR3相比DDR2有更低的工作电压（从DDR2的1.8V降低到
1.5V），性能更好，更省电。使得DDR3内存在控制成本的基础上也减少了能耗和发热量，更易于被用户和厂家接受。
2）工作频率更高
由于能耗降低，DDR3可实现更高的工作频率，在一定程度上弥补了延迟时间较长的缺点。DDR3目前最高能够达到1600MHz的速度，而以前DDR2内存速度最快为800～1066MHz。3）容量大
DDR2 SDRAM中有4Bank和8Bank的设计，目的就是为了应对未来大容量芯片的需求。而DDR3很可能将从2GB容量起步，因此起始的逻辑Bank就是8个，另外还为未来的16个逻辑Bank做好了准备。
4）降低了显卡整体成本
DDR2显存颗粒规格多为4MB×32b，搭配中高端显卡常用的128MB显存便需8颗。而DDR3显存规格多为8MB×32b，单颗颗粒容量较大，4颗即可构成128MB显存。如此一来，显卡PC面积可减小，成本得以有效控制。此外，颗粒数减少后，显存功耗也进一步降低。
5）通用性好
相对于DDR变更到DDR2，DDR3对DDR2的兼容性更好。由于针脚、封装等关键特性不变，搭配DDR2的显示核心和公版设计的显卡稍加修改便能采用DDR3显存，这对厂商降低成本大有好处。
目前，DDR3显存在新出的大多数中、高端显卡上得到了广泛的应用。
2．DDR3上的技术改进和新技术
DDR3之所以具有以上这些新特性，最终还是得益于它的技术改进和新增技术上。这些改进和新增技术如下。
1）改进的封装工艺
由于DDR3新增了一些功能，所以在引脚方面会有所增加。8位芯片采用78球FBGA封装，16位芯片采用96球FBGA封装，而DDR2则有60/68/84球FBGA封装3种规格。并且DDR3必须是绿色封装，不能含有任何有害物质。
2）改进的预取机制
相对于DDR2内存的4位预取机制，DDR3内存模组最大的改进就是采用了8位预取机制设计这样DRAM内核的频率只有接口频率的1/8，DDR3 800的核心工作频率只有100MHz，当DRAM内核工作频率为200MHz时，接口频率已经达到了1600MHz。
3）改进的突发长度（Burst Length，BL）
由于DDR3的预取为8位（DDR2为4位），所以突发传输周期BL也固定为8；而对于DDR2和早期的DDR架构的系统，BL=4也是常用的，DDR3为此增加了一个4bit Burst Chop（突发突变）模式，即由一个BL=4的读取操作加上一个BL=4的写入操作来合成一个BL=8的数据突发传输。这样，可通过A12地址线来控制这一突发模式。而且，任何突发中断操作都将在DDR3内存中予以禁止，且不予支持，取而代之的是更灵活的突发传输控制（如4
位顺序突发）。
4）改进的寻址时序（Timing）
就像DDR2从DDR转变而来后延迟周期数增加一样，DDR3的CL周期也将比DDR2有所提高。DDR2的CL范围一般在2～5之间，而DDR3则在5～11之间，且附加延迟（AL）的设计也有所变化。DDR2的AL的范围是0～4之间，而DDR3的AL有3种选项，分别是0、CL-1和CL-2。为此，DDR3新增加了一个时序参数—写入延迟（CWD），这一参数将根据具体的工作频率而定。
5）新增的重置（Reset）功能
重置是DDR3新增的一项重要功能，并为此专门准备了一个引脚。这一引脚将使DDR3的初始化处理变得简单。当Reset命令有效时，DDR3内存将停止所有的操作，并切换至最少量活动的状态，以节约电耗。在Reset期间，DDR3内存将关闭内在的大部分功能，所以有数据接收与发送器都将关闭。所有内部的程序装置将复位，DLL（延迟锁相环路）与时钟电路将停止工作，而且不理睬数据总线上的任何动静。这样一来，将使DDR3达到最省电的目的。
6）新增的ZQ校准
ZQ校准功能其实是通过DDR3内存上新增的一个管脚来实现的。在这个引脚上接有一个240Ω的低公差参考电阻。这个引脚通过一个命令集，通过片上校准引擎（ODCE，On-Die Calibration Engine）来自动校验数据输出驱动器导通电阻与ODT的终结电阻值。当系统发出这一指令之后，将用相应的时钟周期（在加电与初始化之后用512个时钟周期，在退出自刷新操作后用256个时钟周期，在其他情况下用64个时钟周期）对导通电阻和ODT电阻进行重新校准。
7）一分为二的参考电压
对于内存系统工作非常重要的参考电压信号（VREF），在DDR3系统中将分为两个信号：一个是为命令与地址信号服务的VREFCA；另一个为数据总线服务的VREFDQ，它将有效地提高系统数据总线的信噪等级。
8）新增的根据温度自动自刷新（SRT，Self-Refresh Temperature）功能
为了保证所保存的数据不丢失，DRAM必须定时进行刷新，DDR3也不例外。不过，为了最大程度地节省电能，DDR3采用了一种新型的自动自刷新设计（ASR，Automatic
Self-Refresh）。当开始ASR之后，将通过一个内置于DRAM芯片的温度传感器来控制刷新的频率，因为刷新频率高的话，耗电就大，温度也随之升高。而温度传感器则在保证数据不丢失的情况下，尽量减少刷新频率，降低工作温度。
不过DDR3的ASR是可选设计，市场上的DDR3内存不一定都支持这一功能，因此还有一个附加的功能就是自刷新温度范围（SRT，Self-Refresh Temperature）。通过模式寄存器，可以选择两个温度范围，一个是普通的温度范围（如0～85℃），另一个是扩展温度范围，如最高到95℃。对于DRAM内部设定的这两种温度范围，DRAM将以恒定的频率和电流进
行刷新操作。
9）新增的局部自刷新（RASR，Partial Array Self-Refresh）功能
这是DDR3的一个可选功能项。通过这一功能，DDR3内存芯片可以只刷新部分逻辑Bank，而不是全部刷新，从而最大限度地减少因自刷新产生的电能消耗。这一点与移动型内存（Mobile DRAM）的设计很相似。
10）点对点连接（P2P，Point-to-Point）
DDR3内存采用点对点的拓朴架构，以减轻地址/命令与控制总线的负担。这是为了提高系统性能而进行的重要改动，也是与DDR2系统的一个关键区别。
在DDR3系统中，一个内存控制器只与一个内存通道打交道，而且这个内存通道只有一个插槽。因此内存控制器与DDR3内存模组之间是点对点（P2P，Point-to-Point）的关系（单物理Bank的模组），或者是点对双点（P22P，Point-to-two-Point）的关系（双物理Bank的模组），从而大大减轻了地址/命令/控制与数据总线的负载。
在内存模组方面，与DDR2的类别相类似，也有标准DIMM（台式PC）、SO-DIMM/Micro-DIMM（笔记本电脑）、FB-DIMM2（服务器）之分，其中第二代FB-DIMM 将采用规格更高的AMB2（高级内存缓冲器）。不过目前有关DDR3内存模组的标准制定工作刚开始，引脚设计还没有最终确定。
Intel目前确立了使用DDR3标准的桌面型和服务器四核心处理器代号分别为Clovertown和Kentsfield，AMD也表示在即将推出的四核心Opteron处理器时开始支持DDR3标准。
3.2 通用服务器内存技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(1)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了通用服务器内存技术. 。
?标签：DDR内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.2 通用服务器内存技术
服务器内存技术是所有服务器技术之中比较重要、也是比较基础的一类。因为内存技术非常尖端，所以并不是所有服务器厂商都能推出具有价值的内存技术。目前在内存技术方面除了一些通用的内存技术外，另外主要的就是像IBM、HP和Intel这样的巨头所推出的专用服务器内存技术。
大家知道，内存是引起电脑故障的一个重要因素，当使用PC机时，经常会因读写内存而出现故障或死机。而由于服务器对高可用性的要求，就必须对服务器所使用的内存采取比普通PC机内存更高的内存保护技术，使它能长期稳定地工作。同时服务器所需面对的应用请求比PC机多许多，所以对内存容量和散热性能方面的要求都较PC机高。这就涉及内存纠错、内存保护、内存镜像和各种特殊的模组技术的使用。
3.2.1 奇偶校验技术
对于内存中的“奇偶校验（Parity）”技术的介绍要从比特的概念说起。学习过数字电路的人都知道，在数字电路中最小的数据单位就叫“比特（bit）”，也叫数据“位”，而电脑是一种数字产品，所以“比特”也是内存中的最小单位。
比特是通过“1”和“0”来表示数据高、低电平信号的。在数字电路中将8个连续的比特叫做一个字节（byte），在不带“奇偶校验”的内存中的每字节只有8位，若它的某一位存储出了错误，就会使其中存储的相应数据发生改变而导致应用程序发生错误。而带有“奇偶校验”的内存在每一字节（8位）外又额外增加了一位来进行错误检测。
对于奇偶校验位的电平值可以通过下面的例子来说明。比如，一字节中存储了某一数值（1，0，1，0，1，0，1，1），把这每一位相加起来（1+0+1+0+1+0+1+1=5），若其结果是奇数，校验位就定义为1，反之则为0。当CPU返回读取的存储数据时，它会再次检测前8位中存储的数据的计算结果是否与校验位相一致。当CPU发现两者不同时，就试图纠正这些错误。但奇偶校验有一个缺点，当内存查到某个数据位有错误时，却并不一定能确定错误出在哪一位，也就不一定能修正错误，所以带有奇偶校验的内存的主要功能是“发现错误”，并能纠正部分简单的错误。这种内存技术最早应用于72线EDO内存时代（现在普遍是168线的内存），随着这种技术的应用领域的扩展和价格的下降，现在带有奇偶校验技术的内存极为普遍，广泛应用于普通PC机上。所以目前奇偶校验内存并不是服务器专用的，而目前服务器上所用的内存一般都是ECC内存，它同样具有奇偶校验功能，但它却能实实在在地起到纠错的作用，比奇偶校验内存更先进。
注意：有的主板可以同时使用带奇偶校验位或不带奇偶校验位的两种内存条，但它们不能混用。
3.2.2 ECC内存查纠错技术
ECC的英文全称是Error Checking and Correcting（错误检查和纠正），从这个名称就可以看出它的主要功能就是“发现并纠正错误”。
与奇偶校验技术一样，ECC纠错技术也需要额外的空间来存储校正码，但其占用的位数跟数据的长度并非成线性关系。具体来说，它是以8位数据、5位ECC码为基准，随后每增加一个8位数据只需另增加一位ECC码即可。通俗地讲，就是一个8位的数据产生的
除了能够检查到并改正单比特错误之外，ECC码还能检查到（但不改正）单DRAM芯片上发生的任意2个随机错误，并最多可以检查到4比特的错误。当有多比特错误发生的时候，ECC内存会生成一个不可隐藏的中断（non-maskable interrupt，NMI），系统会中止运行以避免出现数据恶化。
显然ECC码的长度跟数据的长度成对数关系，当数据长度在64位以上的时候，ECC 码在空间占用上就会凸现优势。此外，ECC校验最大的优点是如果数据中有一位错误，它不但能发现而且可以对其更正，ECC校验还可以发现2～4位错误（不能更正），当然这样的情况出现的几率是非常低的。但ECC码的校验算法比奇偶校验复杂不少，需要专门的芯片来支持，所以普通的电脑主板不一定支持。而且因为系统需要时间来等待校验的结果，所以ECC校验会降低系统速度2％～3％，但以这小小的代价换来系统稳定性的大大提高，可以说是非常值得的。
注意:ECC不是一种内存型号，而是一种内存技术，不仅以前的EDO内存可以有，SD 内存也可有。现在主流的DDR、DDR2、DDR3内存同样可以有，所以在现在的服务器配置中都可见到“512 MB ECC DDR-400内存”之类的字样。那是因为ECC并不是一种影响内存结构和存储速度的技术，它可以应用到不同的内存类型之中，就像在前面讲到的“奇遇校验”内存一样。
3.3 IBM服务器内存技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了IBM服务器内存技术。
?标签：内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.3 IBM服务器内存技术
内存在服务器中的重要性大家都十分清楚。目前，企业在应用中十分重视服务器的内存保护。随着用户对服务器要求的不断提高，如何在提高内存密度、增大内存容量的同时，保证系统内存的可靠性越来越受到用户和服务器厂商的关注。一些有研发实力的服务器厂商针对自己的服务器推出了专门的服务器内存技术，以提高竞争优势。这些技术能够增加内存的容错能力，能够满足那些对实效性要求很高的应用软件的需求，用户可以根据自己对内存可靠性的要求自由选择系统配置。首先来了解一下全球服务器的领导厂商——IBM在内存方面有哪些独特技术。
3.3.1 Chipkill内存技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(2)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了Chipkill内存技术。
?标签：Chipkill内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.3.1 Chipkill内存技术
Chipkill内存最初是由20年前的IBM大型机发展过来的，Chipkill是为美国航空航天局（NASA）的“探路者”探测器赴火星探险而研制的。它是IBM公司为了弥补目前服务器内存中ECC技术的不足而开发的，是一种新的ECC内存保护技术（HP也有新的ECC内存技术，本章后面将介绍）。
ECC内存技术虽然可以同时检测和纠正单一比特错误，但如果同时检测出两个以上比特的数据错误，则无能为力。但基于Intel处理器架构的服务器的CPU性能以几何级的倍数提高，而硬盘驱动器的性能同期只提高了5倍，因此为了保证正常运行，服务器需要大量的内存来临时保存从CPU上读取的数据。这样大的数据访问量就导致单一内存芯片在每次访问时通常要提供4（32位）或8（64位）字节以上的数据。一次性读取这么多数据，出现多位数据错误的可能性会大大提高，而ECC又不能纠正双比特以上的错误，这样就很可能造
?
Oracle帮您准确洞察各个物流环节
3.3.2 大容量、高速度技术
众所周知，在整个计算机行业中，内存技术的进展远远落后于磁盘存储、处理器技术和网络带宽的发展速度。IBM的研究发现，处理器的吞吐量每年增长近60％，磁盘存储的成本每年的降低幅度超过60％。相比之下，内存成本每年的平均降低幅度仅为30％，内存速度的改善则更慢，成为整个服务器性能的瓶颈。而IBM的Active Memory（活动内存）的“大内存容量”（Large Memory Capacity）和“高速内存存取”（High-Speed Memory Access）技术的推出则可以解决这个问题。
大多数服务器由于受机器中内存插槽的限制，内存只能达到16GB。而Active内存所具有的大内存容量技术可使IBM eServer x系列中的IA-64服务器的内存高达256GB（基于IA-32的MP服务器的内存也可高达64GB）。内存容量的增大使运行多数据库成为可能，防止了用户在运行数据库时，由于内存失败而引起系统崩溃。eServer x系列服务器的高速内存存取技术使得前端总线的速度高达400MHz，这主要归功于更大的带宽和更短的反应时间。
3.3.4 IBM内存镜像（Memory Mirroring）技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了IBM内存镜像（Memory Mirroring）技术。
?标签：镜像技内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.3.4 IBM内存镜像（Memory Mirroring）技术
IBM的另一种更高级的防止因内存错误而导致整个服务器不稳定性事件发生的技术就是内存镜像技术。或许有可能服务器不知什么原因使许多内存保护和Chipkill修复技术都不能完全修复内存错误的情况，此时内存镜像就会开始在系统中运行。
内存镜像的工作原理很像磁盘镜像，就是将数据同时写入到两个独立的内存卡中（两个内存卡的配置是一样的），平时的内存数据读取只在激活的内存卡中进行。如图3-14所示是CPU同时把数据写入到两片内存中的示意图。
如果一个内存中发生足以引起系统报警的软故障，系统频繁报告管理员这个内存条将要出故障，或者整个内存条都要彻底损坏，服务器就会自动地切换到镜像内存卡，直到有故障的内存被更换。镜像内存允许进行热交换（Hot swap）和在线添加（Hot add）内存。因为镜像内存的存在，对于软件系统来说也就只有整个内存的一半容量是可用的。如果不希望镜像，在BIOS中进行禁止即可。
3.4 HP服务器内存技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了HP服务器内存技术。
?标签：内存服务器IBM HP网管员必读王达网管员必读——服务器与存储
?
Oracle帮您准确洞察各个物流环节
3.4 HP服务器内存技术
与IBM一样，HP也是全球服务器行业中的领导厂商，特别是自2001年并购原来为全球四大服务器厂商之一的Compaq（康柏）以来。在服务器内存技术方面，HP与IBM一样也面临同样的问题，目前最常用的解决办法是利用3种容错内存保护技术（Fault-Tolerant Memory Protection Technologies）：在线备份内存、热插拔镜像内存和热插拔RAID内存。
另外还有一个保护级别较低，相当于IBM的Chipkill技术的HP新ECC纠错技术。
3.4.1 HP新ECC内存技术
https://www.doczj.com/doc/5d9000737.html, 2007-10-25 13:47 王达电子工业出版社易飞思公司我要评论(0)
?摘要：《网管员必读——服务器与存储》第3章为大家介绍的是目前主流应用的一些服务器内存技术，如ECC、FB-DIMM、DDR2-500、DDR3，以及IBM、HP各自的一些服务器内存技术。本节介绍了HP新ECC内存技术。
为了使用在线备份内存模式，用户需要利用基于ROM的设置功能，把内存条组C作为在线备份内存。在向服务器中配置在线备份内存模式之前，必须先装上内存条组C。如果内存条组A和B中的每个DIMM的容量为1 GB，那么内存系统的总容量为4 GB。内存条组C的容量必须至少和内存条组A或B中最大的相同。例如，如果内存条组A可以包含2个512 MB的DIMM，内存条组B包含2个1 GB的DIMM，那么内存条组C至少包含2个1 GB 的DIMM。在下一代的在线备份内存模式中，没有专门的在线备份内存条组，而是把最新装上的内存条组作为在线备份内存条组。
对于在线备份内存模式（Online Spare Memory Mode），如果在内存条组A或B中的DIMM出现问题，则在其前面的LED指示灯将发亮，说明存储区A或存储区B使用的DIMM 出现故障，而且其错误值超过了预先设定的错误极限（如图3-17所示）。出错内存条中的所有数据将被复制到在线备份内存条中，出错的内存条不再工作，但是服务器依然正常运行，用户可以在计划内的停机期间更换出错的内存条。
信息化的年代离不开网络，服务器是网络不可缺少的部件，所以造就了近代服务器业的迅速发展。而在服务器硬件故障中，内存故障列举首位。内存故障导致服务器数据永久丢失或系统宕机。这样会给企业或个人带来无法估计的灾难。所以近来服务器厂商在采用越来越多的技术来保障内存的稳定性。我们所知道的主要有奇偶校验技术、ECC技术和IBM的Chipkill-correct ECC技术。现在我 给大家简单介绍两种内存冗余技术:内存热备和内存镜像。 内存热备—Sparing 进行内存热备时，做热备份的内存在正常情况下是不使用的，也就是说系统是看不到这部分内存容量的。每个内存通道中有一个DIMM不被使用，预留为热备内存。芯片组中设置有内存校验错误次数的阈值, 即每单位时间发生错误的次数。当工作内存的故障次数达到这个“容错阈值”，系统开始进行双重写动作，一个写入主内存，一个写入热备内存，当系统检测到两个内存数据一致后，热备内存就代替主内存工作，故障内存被禁用，这样就完成了热备内存接替故障内存工作的任务，有效避免了系统由于内存故障而导致数据丢失或系统宕机。这个做热备的内存容量应大于等于所在通道的最大内存条的容量，以满足内存数据迁移的最大容量需求。 内存镜像—Mirroring 内存镜像是将内存数据做两个拷贝，分别放在主内存和镜像内存中。系统工作时会向两个内存中同时写入数据，因此使得内存数据有两套完整的备份。由于采用通道间交叉镜像的方式，所以每个通道都有一套完整的内存数据拷贝。 在系统芯片组中设置有“容错阈值”。如果任意内存达到了“容错阈值”，其所在通道就被标示出来，另一个通道单独工作。但仍然保持双通道的内存带宽。
内存安装方法 本文主要简要介绍FlexServer服务器内存安装的方法，分为R390机架式服务器与B390刀片式服务器两部分。 总体上说，服务器内存安装依照编号顺序进行即可。服务器的所有内存插槽编号均由“数字+字母”的形式组成，实际安装时需要关注的仅仅是编号中的字母部分。扩容时按照A，B，C，D，……的顺序进行，同时兼顾多个CPU对应内存尽量均衡。 首先说机架式服务器，机架式服务器中R390为两路CPU，其每个CPU有4个通道12个内存。插槽机架式服务器的内存插槽上会盖有一个导风盖，盖子上会具体记录内存插槽编号： 简单说机架式服务器的主要扩容顺序如下： 12A-9B-1C-4D-11E-8F-2G-5H-10I-7J-3K-6L 只要看好对应的插槽进行安装即可。特别提醒的是在服务器中每个CPU两侧各有6个插槽，图中红线两侧的插槽分属两个不同CPU，扩容时请兼顾两个CPU的内存数量均衡。如果遇到奇数个数的内存，建议插在CPU1（主CPU）上。
内存条具体的形态如上图所示，进行安装前请先确保内存条本身完好，不应有任何的弯曲损坏。 安装时，先将插槽两侧的小卡扣向下按下，再将内存插入插槽中即可，插好后内存条应该无松动。由于内存下方一边较长一边较短，需要按照正确的方向进行放置。 小卡扣 较短一侧 对于刀片式服务器，扩容方法类似，只是刀片服务器中内存插槽数有所缩减。每个CPU只有4通道8个插槽，每个通道减为两个插槽。需要注意的是CPU与内存插槽的对应关系仍然没有改变，内存插槽分布在CPU两侧。 在扩容时，现将刀片从刀框上取下：
如上图所示，拔出刀片时请先开启卡扣。
DELL PowerEdge R710服务器支持DDR3 的DIMM (RDIMM) 或ECC 非缓冲的DIMM(UDIMM)。单列和双列DIMM 可以是1067 MHz 或1333 MHz，四列DIMM 可以是1067 MHz。 DELL PowerEdge R710服务器含18 个内存插槽，分为两组，每组九个插槽，分别用于一个处理器。每组插槽（9 个）分为三个通道，每个通道有三个内存插槽。每个通道的第一个插槽上都标有白色释放拉杆。 DELL PowerEdge R710服务器支持的最大内存取决于所用的内存模块类型和大小： ? 对于大小为2-GB、4-GB 和8-GB （如果有）的单列和双列RDIMM，支持的总量最大为144 GB。 ? 对于四列RDIMM （每个通道两个），支持的总量最大为96 GB。 ? 对于1 GB 和2 GB 的UDIMM，支持的最大总容量为24 GB。 内存一般安装原则 为确保获得最佳系统性能，请在配置系统内存时遵守以下通用原则： 注：未遵循这些原则的内存配置会导致系统在启动时停机，并且无任何系统消息的视频输出。 ? 不能混合安装RDIMM 和UDIMM。 ? 每个通道不得安装两个以上UDIMM。 ? 除了未使用的内存通道之外，所有被占用的内存通道的配置必须相同。 ? 在双处理器配置中，每个处理器的内存必须配置相同。 ? 大小不同的内存模块可以在一个内存通道中混用（如2-GB、8-GB 和4-GB），但所有被占用的通道的配置必须相同。
? 对于优化器式，内存模块按照插槽的数字顺序安装，以A1 或B1开始。 ? 对于内存镜像模式或高级ECC 模式，离处理器最远的三个插槽不使用，内存模块首先从插槽A2 或B2 开始安装，然后按剩下插槽的数字顺序安装（如A2、A3、A5、A6、A8 和A9）。 ? 高级ECC 模式需要 x4 或x8 DRAM 设备宽度。 ? 每个通道的内存速度因内存配置而异： –对于单列或双列内存模块： ? 每个通道一个内存模块时最多支持1333 MHz。 ? 每个通道两个内存模块时最多支持1067 MHz。 ? 每个通道三个内存模块时最多支持800 MHz（不管内存模块速率如何）。 –对于四列内存模块： ? 每个通道一个内存模块时最多支持1067 MHz。 ? 每个通道两个内存模块时最多支持800 MHz，不管内存模块的速率如何。 ? 如果安装了四列内存模块，则只能再向该通道添加一个内存模块。 ? 如果四列内存模块与单列或双列模块混用，则四列模块必须安装在带有白色释放拉杆的插槽中。 ? 如果安装了速率不同的内存模块，则它们将以最慢内存模块的速率运行。 模式特定原则
服务器内存知识讲解 -- 服务器内存知多少？ 随着网络的普及和应用，服务器也为越来越多的企业所需要，可是对于服务器内存，大多数人还是缺乏了解。其实服务器内存与普通内存在总体功能上和外观上是基本没有区别的，主要区别在它们所使用的技术上，为了让大家对服务器内存有一个较全面的了解，我们就以一问一答的方式来具体介绍。 问：什么是服务器内存？它与普通PC机上的内存有什么区别？ 答：服务器内存也是内存，它与我们平常在电脑城所见的普通PC机内存在外观和结构上没有什么明显实质性的区别，它主要是在内存上引入了一些新的技术，普通PC机上的内存在服务器上一般是不可用的服务器认不到的，这就是说服务器内存不能随便为了贪便宜用普通PC机的内存来替代的原因了。有些人把具有某种技术的内存就称之为“服务器内存”，其实是不全面的，服务器的这些内存技术之所以在目前看来是服务器在专用，但不能保证永远只能是服务器专用。这些新技术之所以先在服务器上得以应用是因为服务器价格较贵，有条件得以应用，这些新技术由于价格的原因暂时在普通PC机上无法实现应用，但是会随着配件价格的下降逐步走向普通PC机，就行原来的奇偶校正内存一样原先也是最先应用在服务器上，现在不是很普遍了吗？所以服务器内存并不是一种特指，它是内存新技术在不同时间段上的应用。 问：什么是Buffer和Unbuffer的？ 答：Buffer即缓存器，也可理解成高速缓存，在服务器及图形工作站内存有较多应用，容量多为64K，但随着内存容量的不断增大，其容量也不断增加，具有Buffer的内存将对内存的读写速度有较大提高，象早起168芯EDOECC服务器内存大多都带Buffer，Unbuffer表示不具有高速缓存。有Buffer的内存几乎都带有ECC功能，Unbuffer内存只有少数带ECC功能。其在内存编号上也有较明显特征，以维京内存PC133 128M为例，其编号为ME16641U4SS-CL3，其中的字母U就代表Unbuffer。 问：什么是Register? 答：Register即寄存器或目录寄存器，在内存上的作用我们右以把它理解成书的目录，有了它，当内存接到读写指令时，会先检索此目录，然后再进行读写操作，这将大大提高服务器内存工作效率。带有Register 的内存一定带Buffer,并且目前能见到的Register内存也都具有ECC功能，其主要应用在中高端服务器及图形工作站，如IBM Netfinity 5000。 问：什么是ECC内存？ 答：目前是一谈到服务器内存，大家都一致强调要买ECC内存，认为ECC内存速度快，其实是一种错误地认识，ECC内存成功之处并不是因为它速度快(速度方面根本不关它事只与内存类型有关)，而是因为它有特殊的纠错能力，使服务器保持稳定。ECC本身并不是一种内存型号，也不是一种内存专用技术，它是一种广泛应用于各种领域的计算机指令中，是一种指令纠错技术。它的英文全称是“Error Checking and Correcting”，对应的中文名称就叫做“错误检查和纠正”，从这个名称我们就可以看出它的主要功能就是“发现并纠正错误”，它比奇偶校正技术更先进的方面主要在于它不仅能发现错误，而且能纠正这些错误，这些错误纠正之后计算机才能正确执行下面的任务，确保服务器的正常运行。之所以说它并不是一种内存型号，那是因为并不是一种影响内存结构和存储速度的技术，它可以应用到不同的内存类型之中，就象我们在前面讲到的“奇偶校正”内存，它也不是一种内存，最开始应用这种技术的是EDO内存，现在的SD也有应用，而ECC内存主要是从SD内存开始得到广泛应用，而新的DDR、RDRAM也有相应的应用，目前主流的ECC 内存其实是一种SD内存。 问：目前服务器内存的主要外频是多少： 答：由于服务器内存在各种技术上相对兼容机来说要严格得多，它强调的不公是内存的速度，而是它的内
服务器处理性能估算 系统的建设，必须满足未来5年业务发展和管理的需求，所以下面对服务器性能指标的估算，将以满足未来5年的需要为基准。 1. 数据库服务器 1.1 TPC-C值估算 约定： 系统同时在线用户数为100人（U1）； 平均每个用户每分钟发出2次业务请求（N1）； 系统发出的业务请求中，更新、查询、统计各占1/3； 平均每次更新业务产生3个事务（T1）； 平均每次查询业务产生8个事务（T2）； 平均每次统计业务产生13个事务（T3）； 一天内忙时的处理量为平均值的5倍； 经验系数为1.6；(实际工程经验) 考虑服务器保留30％的冗余； 服务器需要的处理能力为： TPC-C=U1*N1*（T1+T2+T3）/3*3*经验系数/冗余系数 则数据库服务器的处理性能估算为： TPC-C= 100*2*（3+8+13）/3*5*1.6/0.7= 18,285 TPM 1.2. 内存估算 该服务器内存主要由操作系统占用内存、数据库系统占用内存、并发连接占用内存等几部分组成。 约定： 操作系统占用约400M内存空间； 数据库系统占用内存0.8GB； 每个并发连接占用5 M； 考虑服务器内存保留15％的冗余； 则服务器的内存估算为： Mem = (400M + 0.8GB + 100*5M) / (1-15%) = 2 GB
1.3. 存储容量估算 预算管理系统中存储着预算编制数据等资料信息以及日志等管理信息。 在已经考虑了数据冗余的前提下，约定： 每月有100个分局或部室编制预算； 每月每个分局或部室编制1次预算； 预算模板共含6000个预算指标； 每个预算指标含5条明细项目； 每条记录占用空间300B； 每月的预算数据存储容量需求：6000*5*100*500B=1.5G 每月的日志数据存储容量需求：0.1G 每月进行数据备份一次，数据存储容量需求：12*9G=108G 整年总共需用存储容量：12*1.5G+1.5G+12*0.1G+12*9G=20.7G+108G=128.7G 约定系统中预算编制数据等资料信息以及日志等管理信息在线保存5年(备份数据每年进行清除)则预算管理系统的存储容量估算为： 5*20.7G+108G =103.5G+108G=211.5G 1.4. 服务器安装软件 该服务器中将需要安装的软件如下： 操作系统为：Windows 2000 Server 数据库：Oracle 1.5. 建议配置 根据以上的性能指标建议数据库服务器标准配置如下： 应用名称功能描述数量说明 数据库服务器CPU：TPCC值应大于18,285 TPM 内存：2G及以上 硬盘：211.5GB以上（建议通过RAID5或镜像等方式进行数据备份） 以太网卡：100M及以上 参考一下： 数据库服务器性能TPC-C测算 每秒峰值：6,000个连接/秒，即主机处理峰值应能达到6,000连接/秒； 每个连接平均需要10个数据库访问，按照经验，每个数据库访问相当于服务器3-4tpm
最近要买一台电脑，看到dell内存里有UDIMM和RDIMM2种UDIMM 表示控制器输出来的地址和控制的信号直接到达DIMM 的DRAM芯片上。 UDIMM全称是无缓冲双信道内存模块（Unbuffered Dual In-Lne Memory Modules）,它不支持服务器内存满配，就是最高容量了，因为使用UDIMM内存时最大使用每通道只能用2个插槽，但支持3通道，所以只能每边插6条，一共12条内存，不能插满18个插槽，虽然性能会有所下降，但是对于预算比较有限的用户来说，是个很好的方案。 RDIMM就是带寄存器的双信道内存模块(Registered Dual In-Lne Memory Modules),它表示控制器输出的地址和控制信号经过Register芯片寄存后输出到DRAM芯片，控制器输出的时钟信号经过PLL后到达各个DRAM芯片。比起UDIMM来由于有了寄存器，所以处理速度各方面性能都有不少提升，有2种工作模式，即Registered模式（寄存器模式）和Buffered（缓冲器模式）模式。在支持Registered工作模式的主板上工作时，Registered内存工作于Registered模式，这时主板上的地址信号和控制信号会比数据信号先一个时钟周期到达DIMM，送入Register芯片后会在其中停留一个时钟周期，然后在下一个时钟信号的上升沿从Register输出，与此时从主板上到达DIMM的数据信号一起同时传送到SDRAM。当Registered内存工作在普通的主板上时，为Buffered工作模式，这
时所有的信号也基本上是同时到达DIMM再同时传，Register芯片这时在功能上只相当于一个简单的Buffer，其输入到输出之间是直通的，只简单的起到改善地址信号和控制信号的作用送到SDRAM，时序上与Unbuffered内存是一样的。（一般用于服务器）适合不同的主板，并且RDIMM支持最高配置，不会受到内存插的数量限制。 内存插法这里要说下的是，由于服务器的CPU常常会不止一个，所以内存插法要注意 以双CPU的戴尔服务器R710为例，左右2边都有内存插槽，它们分别属于一个CPU，所以每个CPU只能分到72GB的内存，即 9*8，插内存时候要对称，尽量避免5，7，这类的插法，因为内存支持3通道，所以可以每边3条，或者继续双通道2条也可以，但是5条分配不均，启动不了的，7也是这样。
服务器内存和普通PC内存都是内存（RAM），在外观和结构上没有什么明显的区别，但是其价格要高于普通内存。服务器内存主要有SDRAM、 DDR和DDR2三种类型，目前用得较多服务器内存是DDR和DDR2。服务器内存与普通内存相比主要区别就是服务器采用了一些新的技术，例如ECC（错误检查和纠正）、Chipkill、Register（寄存器）、热插拔技术、以及FB-DIMM（全缓冲内存模组）等，目前用的较多的服务器内存主要是采用ECC和REG ECC技术的。从外观来说， ECC 内存因为要满足效验纠错的需要，加入了一颗ECC效验颗粒，由于采用的是TOSP 封装，使得内存看上去每面有9颗内存颗粒。REG ECC内存上面的芯片一般比普通主板多出2-3个，主要是PLL (Phase Locked Loop)和Register IC。ECC与ECC REG内存是从最初发展到现在已经历了两代，频率主要有133、266、333、400、533、667阶段。 （一）揭开服务器内存技术的神秘面纱 （1）ECC ECC是一种广泛应用于各种领域的计算机中的指令纠错技术，ECC的英文全称是“Error Checking and Correcting”，对应的中文名称就叫做“错误检查和纠正”，从该名称我们就可以看出它的主要功能就是“发现并纠正错误”，它比奇偶校正技术更先进的方面主要在于它不仅能发现错误，而且能纠正这些错误，这些错误纠正之后计算机才能正确执行下面的任务，确保服务器的正常运行。很多时候听到一些奸商说我们的服务器内存是ECC内存，其实ECC并不是一种型号，而是将ECC技术应用到内存中。ECC内存主要是从SD内存开始得到广泛应用，目前主流的ECC内存主要是SD内存。 （2）Chipkill Chipkill技术是IBM公司为了解决目前服务器内存中ECC技术的不足而开发的，是一种新的ECC内存保护标准。ECC内存只能同时检测和纠正单一比特错误，但如果同时检测出两个以上比特的数据有错误，则一般无能为力。由于目前使用的服务器其系统速度都很高，同时出现多比特错误的现象很少发生，因此ECC技术得到了充分地认可和应用，使得ECC内存技术成为几乎所有服务器上的内存标准。 随着基于Intel处理器架构的服务器的CPU性能在以几何级的倍数提高，而硬盘驱动器的性能跟不上CPU性能，因此服务器需要大量的内存来临时保存CPU上需要读取的数据，这样大的数据访问量就导致单一内存芯片上每次访问时通常要提供4（32位）或8（64位）比特以上的数据，一次性读取这么多数据，出现多位数据错误的可能性会大大地提高，而ECC又不能纠正双比特以上的错误，这样就很可能造成全部比特数据的丢失，系统就很快崩溃了。IBM的Chipkill技术是利用内存的子结构方法来解决这一难题。即单一芯片，无论数据宽度是多少，只对于一个给定的ECC识别码，它的影响最多为一比特。因此，即使整个内存芯片出了故障，每个ECC识别码也将最多出现一比特坏数据，而这种情况完全可以通过ECC逻辑修复，从而保证内存子系统的容错性，保证了服务器在出现故障时，有强大的自我恢复能力。采用这种内存技术的内存可以同时检查并修复4个错误数据位，服务器的可靠性和稳定得到了更加充分的保障。 （3）Register Register即寄存器或目录寄存器，在内存上的作用如同书的目录，当内存接到读写指令时，会先检索此目录，然后再进行读写操作，这将大大提高服务器内存工作效率。带有Register的内存一定带Buffer(缓冲)，并且目前能见到的
服务器内存升级有讲究 单位有一台IBM X3650服务器，标准配臵为1个四核CPU、2G内存、146G硬盘、COMBO光驱。因业务需要，该服务器内存要升级至8G。服务器主板有1 2条内存槽，且原配内存为1对1G内存，因此只需再购臵3对1G内存即可升级至8G。 服务器内存购臵回来后，按1-8顺序依次将内存安装到服务器主板内存插槽中。启动电源，服务器自检出错，只检测到6G内存。难道是内存没有安装好接触不良引起？内存全部拆下重新安装，故障依旧。会不会是一对内存有质量问题导致服务器不能识别？有质量问题的内存又是哪一对？看来要对每一对内存单独检查，找出问题所在。笔者将所有内存拆下，并将所购臵的3对内存依次安装到原配内存插槽（第1和第4插槽），开机自检，内存正常使用。内存无质量问题，难道是主板内存插槽有问题，如果插槽有故障，服务器自检发现6G 内存后应该不会报错，百思不得其解。看来得问问IBM，向厂家救援了。 在拿起电话准备拨号之际，突然想起原配2G内存是安装在1号和4号内存插槽，为何不安装在1号和2号内存插槽？难道内存插槽是配对使用？带着这个问题，笔者查阅了IBM服务器相关资料，真相才得以大白。原来IBM服务器的12条内存插槽确实是配对使用的，其对应顺序为：1-4、2-5、3-6、7-10、8-1 1、9-12，难怪按1-8号内存插槽依次安装4对内存只发现3对，原来7号槽和8号槽不是配对关系，服务器报错也就不足奇了。在重新按配对顺序安装好4对内存后，8G内存终于可以正常使用，问题圆满解决。 服务器升级小问题也有大学问。
文章如转载，请注明转载自：https://www.doczj.com/doc/5d9000737.html,/post/438.html
所谓的光辉岁月，并不是以后，闪耀的日子，而是无人问津时，你对梦想的偏执。XXX系统应用服务器内存溢出解决报告 放弃很简单，但你坚持到底的样子一定很酷！ 1 xxxx股份有限公司 2010.9
所谓的光辉岁月，并不是以后，闪耀的日子，而是无人问津时，你对梦想的偏执。 目录 第一章问题现象与分析 (2) 1.1、问题现象 (2) 1.2、通常导致这种现象的原因 (2) 1.3、xxx社保宕机现象对比分析 (3) 第二章解决方法路线图 (4) 2.1 jvm的调整 (4) 2.2 减少jvm内存使用 (5) 2.2.1 加快db访问速度，减少中间件并发业务量 (5) 2.2.2 限制sql返回结果集 (6) 2.2.3 减少业务会话中存放的对象 (6) 2.3 补救措施 (6) 第三章、解决结果与进一步建议 (6) 3.1 解决结果 (6) 3.2 进一步建议 (7) 第一章问题现象与分析 1.1、问题现象 XXX应用服务器经常有内存溢出、系统没有响应的现象，尤其在每月的月末最为明显。 目前的应用服务器有三种类型，其中ibm和linux应用服务器报告频繁出现内存溢出或没有响应的现象，hp unix应用服务器相稳定。在出现问题期间Weblogic无法响应任何客户端请求，大量请求加载到了这台没有响应的Server上，最后只有杀掉并重启这台应用服务器。 1.2、通常导致这种现象的原因 WLS Server 没响应可能的几种原因： 放弃很简单，但你坚持到底的样子一定很酷！ 2
所谓的光辉岁月，并不是以后，闪耀的日子，而是无人问津时，你对梦想的偏执。 1、繁重的I/O，呼叫DB时间过长导致中间件内存耗尽，server没有响应。 2、程序死循环，loop－backs，这种情况cpu很忙，系统没有响应。 3、连接到外部server，没响应，由于网络等原因 4、2个以上的执行者同步死锁 5、业务量过大，全部线程都被占用，出现队列等待现象 6、读写本地I/O，发生阻塞 WLS Server 宕机的原因： ?OutOfMemory ?JNI程序 ?jvm的bug ?os的bug 1.3、xxx社保宕机现象对比分析 ?应用服务器没有响应分析 通过初步判断，对于xxx应用服务器没有响应的情况可以做如下排出法解决： ――程序死循环 这种情况会导致cpu非常繁忙，而通过目前观察，每次系统没响应的时候，cpu没有一直100%忙，另外，对出现问题时的java core分析没有发现这类线程，因此可以基本排除这种可能，。 ――连接到外部server，没响应，由于网络等原因 目前我们的业务基本都是直接通过中间件访问数据，没有通过应用服务器间调用或多数据库调用的，基本排除这种可能。 ――2个以上的执行者同步死锁 这种情况有可能，但比较难找，一般都是业务高峰的时候才有可能出现，跟应用人员了解后得知我们很少使用同步方式实现对资源的共享。另外通过对javacore进行分析，并未发现同步造成的死锁现象。 ――业务量过大，全部线程都被占用，出现队列等待现象 通过观察我们的业务量在高峰时确实很大，但由于我们配置的线程数都很高，尽管出现宕机时也没有达到配置的上线，所以这个方面可以被排除。 ――繁重的I/O，呼叫DB时间过长导致中间件内存耗尽 由于我们经常有新业务变更，尤其近期还有居民医保业务上线，因此I/O问题导致放弃很简单，但你坚持到底的样子一定很酷！ 3
服务器内存 简要概述 服务器内存也是内存（RAM），它与普通PC机内存在外观和结构上没有明显区别，主要是在内存引入ECC，Chipkill，热插拔等特有技术，具有极高的稳定性和纠错性能。 备注： 内存：计算机中重要的部件之一，它是与CPU进行沟通的桥梁，计算机所有程序的运行都是在内存中进行的。内存（Memory）也称为内存存储，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。 相关组件 内存控制器 内存控制器是计算机系统内部控制内存，并且通过内存与CPU之间交换数据的重要组成部分。内存控制器决定了计算机系统所能使用的最大内存容量，内存BANK数，内存类型和速度，内存颗粒数据深度和数据宽度等 备注： 内存BANK分为逻辑BANK和物理BANk。 逻辑BANK：芯片的内部，内存的数量是以位（bit）为单位写入一张大的矩阵中，每个单元格称为Cell，只要指定一个行（row），再指定一个列（Column），就可以准确地定位到某个Cell，这样一个阵列称为内存的逻辑BANK。 物理BANK：内存和主板上的北桥芯片之间用来交换数据的通道。 内存模组 内存模组可以简单理解为芯片组所能支持的标准内存插槽数量。由于每款芯片组对于内存芯片的数据深度和数据宽度支持程度不同，实际上就决定了每个内存BANK的最大容量，进而也就决定了芯片组所能支持的内存BANK数量。 相关参数 内存频率 内存频率可以用工作频率和等效频率两种方式表示，工作频率是内存颗粒自身的工作频率，频率越高，表示内存的自身存取速度越快。 DDR内存可以在脉冲的上升和下降沿都传输数据，因此传输数据的等效频率是工作频率的2倍；而DDR2内存每个时钟能够以4倍于工作频率的速度读/写数据，因此传输数据的等效频率是工作频率的4倍。 内存容量 计算机内存容量通常是指随机存储器的容量，一般都是2的倍数。系统中内存的数量等于插在主板内存插槽上所有内存条容量的总和，内存容量的上限一般有主板芯片组和内存插槽决定。 内存带宽
服务器内存本身是内存(RAM)，具有一些特有的技术（ECC、REG、FBD、ChipKill、热插拔技术）从而有着极高的稳定性和纠错性能。目前在内存技术方面除了一些通用的内存技术外，另外还有像HP的“在线备份内存”和热插拔镜像内存；IBM的ChipKill内存技术和热更换和热增加内存技术和Intel这样的巨头所推出的专用服务器内存技术。 主要技术 一：Parity 奇偶校验技术，比特是通过“1”和“0”来表示数据高、低电平信号的。在数字电路中将8个连续的比特叫做一个字节（byte），在不带“奇偶校验”的内存中的每字节只有8位，若它的某一位存储出了错误，就会使其中存储的相应数据发生改变而导致应用程序发生错误。而带有“奇偶校验”的内存在每一字节（8位）外又额外增加了一位来进行错误检测。对于奇偶校验位的电平值可以通过下面的例子来说明。比如，一字节中存储了某一数值（1，0，1，0，1，0，1，1），把这每一位相加起来 （1+0+1+0+1+0+1+1=5），若其结果是奇数，校验位就定义为1，反之则为0。当CPU返回读取的存储数据时，它会再次检测前8位中存储的数据的计算结果是否与校验位相一致。当CPU发现两者不同时，就试图纠正这些错误。这种同位检查码（Parity check codes）被广泛地使用在侦错码（error detectioncodes）上，它们增加一个检查位给每个资料的字元（或字节），并且能够侦测到一个字符中所有奇（偶）同位的错误，但并不能确定错误在哪一个位，也就无法修正错误。这种内存技术最早应用于72线EDO内存时代。ECC内存却能实实在在地起到纠错的作用，比奇偶校验内存更先进。 二：ECC ECC的英文全称是“Error Checking and Correcting”，对应的中文名称就叫做“错误检查和纠正”；它比奇偶校正技术Parity更先进的方面主要在于它不仅能发现错误，而且能纠正这些错误，确保服务器的正常运行。ECC本身并不是一种内存型号，而是一种影响内存结构和存储速度的技术，广泛应用于各种领域的计算机指令中，是一种指令纠错技术。 与奇偶校验技术一样，ECC纠错技术也需要额外的空间来存储校正码，但其占用的位数跟数据的长度并非成线性关系。具体来说，它是以8位数据、5位ECC码为基准，随后每增加一个8位数据只需另增加一位ECC码即可。通俗地讲，就是一个8位的数据产生的ECC码要占用5位的空间；一个16位数据的ECC码只需在原来基础上再增加一位，也就是6位；而32位的数据则只需在原来基础上增加一位，即7位的ECC码即可，依次类推。
IBM X3650 M2服务器因为采用了三通道的技术，所以它的内存插法与以前的X3650,X3650M有很大的区别。 IBM X3650 M2服务器有16条内存插槽，而IBM解释说根据英特尔的技术资料，如果两个处理器配满3通道18条内存，则无论采用什么规格的内存都只工作在DDR3 800的频率之下，而当配12条内存时其会工作在DDR3 1066的频率之下，当每个通道只配1条内存时内存可以工作在1333MHz的频率之下，因此12条内存是速度与容量的平衡选择，而额外多加的两条内存是为了有用户进行内存镜像时准备的。 IBM X3650 M2采用Nehalem-EP核心XEON 首先，不同型号的CPU会影响内存的实际工作频率。 800MHz: (E550x) 1066MHz:(E552x or L552x and up) 1333MHz:(X55xx processor models) IBM System x3650 M2 (7947) 内存子系统物理图： CPU1 内存连接顺序为：3, 6, 8, 2, 5, 7,1, 4 CPU2 内存连接顺序为：11, 14, 16, 10,13, 15, 9, 12 上面的顺序不用特意去背，在机器的背板上标有顺序的。
System x3650 M2 (7947) 内存子系统结构图： 图中数字为内存连接顺序，注意上图下标数字为主板上的物理槽位(对应图1），实际上IBM供货的内存都是1333Mhz的。 每CPU 要求至少1条内存，服务器需要最小两条1G内存，这时安排在每3和第6槽上（第3和第6是分别通道0,1中最快与CPU1连接的） 每通道接一条内存，运行在1333Mhz 每通道接二条内存，运行在1066Mhz 每通道接三条内存，运行在800Mhz 图3：内存镜像配置： 注意，CH2,在内存镜像配置下不可用。 需要注意的是只配一块CPU的时候只有1-8插槽的内存可以使用，必须配满2 个CPU才能用满16个内存插槽。 IBM X3650 M2服务器上电之后是不能马上开机的，系统会先进行自检，大概2到3分钟之后才能按下电源开机(这点与所有的X系列服务器都一样)。
2.3.1.服务器处理性能估算 2.3.3.1. 数据库要求 TPCC值估算 参数： 系统同时在线用户数为100人（U1）； 平均每个用户每分钟发出5次业务请求（N1）； 系统发出的业务请求中，更新、查询、统计各占1/3； 平均每次更新业务产生3个事务（T1）； 平均每次查询业务产生8个事务（T2）； 平均每次统计业务产生13个事务（T3）； 一天内忙时的处理量为平均值的5倍； 经验系数为2；(实际工程经验) 考虑服务器保留30％的冗余； 服务器需要的处理能力为： TPC-C=U1*N1*（T1+T2+T3）/3*10*经验系数*冗余系数 则数据库服务器的处理性能估算为： TPC-C= 100*5*（3+8+13）/3*5*2*1.3= 52,000 TPM 内存估算 该服务器内存主要由系统占用内存、数据库系统占用内存、并发连接占用内存等几部分组成。 参数： 系统占用约1G内存空间； 数据库系统占用内存5G ； 每个并发连接占用5 M； 考虑服务器内存保留30％的冗余； 则服务器的内存估算为： 内存= (1G + 5GB + 100*5M) *1.3≈10 GB 存储容量估算 根据陕西移动对系统建设要求，实物管理必须满足未来3年业务发展和管理的需求，所以下面对服务器性能指标的估算，将以满足未来3年的需要为基准。实物管理面向陕西移动省公司和下属地市公司，以下参数假设均以此为前提进行。
用户数 用户数＝3000人 实物管理数据量说明 (1)估算参数说明 假设按照12个公司计算 每地市公司按照700个基站计算 每基站按照200个设备计算 每个设备按照每月5条记录计算 一条指标数数据记录平均占数据库1.5kb 固定资产总记录数：=600,000 每条记录占用字节数：10K (10,240 bytes，含同固定资产相关的字典数据) 每月的日志数据存储容量需求：1G 索引容量系数1.5， 考虑30%的冗余 (2)数据量估算 3年总共需用存储容量： (12*(700*200*12*5*1.5/1024+1000))*3*1.3*1.5+600000*10/1024=939848 M = 940G 2.3.3.2. 应用服务要求 TPCC值估算 参数： 系统同时在线用户数为100人（U1）； 平均每个用户每分钟发出5次业务请求（N1）； 系统发出的业务请求中，更新、查询、统计各占1/3； 平均每次更新业务产生3个事务（T1）； 平均每次查询业务产生8个事务（T2）； 平均每次统计业务产生13个事务（T3）； 一天内忙时的处理量为平均值的5倍； 经验系数为2；(实际工程经验) 考虑服务器保留30％的冗余； 服务器需要的处理能力为： TPC-C=U1*N1*（T1+T2+T3）/3*10*经验系数*冗余系数
系统内存 系统支持DDR3 注册的DIMM (RDIMM) 或ECC 非缓冲的DIMM (UDIMM)。单列和双列DIMM 可以是1067 MHz 或1333 MHz，四列DIMM 可以是1067 MHz。 系统包含18 个内存插槽，分为两组，每组九个插槽，分别用于一个处理器。每组插槽（9 个）分为三个通道，每个通道有三个内存插槽。每个通道的第一个插槽上都标有白色释放拉杆。 系统支持的最大内存取决于所用的内存模块类型和大小： ?对于大小为2-GB、4-GB 和8-GB（如果有）的单列和双列RDIMM，支持的总量最大为144 GB。 ?对于四列RDIMM（每个通道两个），支持的总量最大为96 GB。 ?对于1 GB 和2 GB 的UDIMM，支持的最大总容量为24 GB。 内存模块一般安装原则 为确保获得最佳系统性能，请在配置系统内存时遵守以下通用原则。 注：未遵循这些原则的内存配置会导致系统在启动时停机，并且无任何系统消息的视频输出。 ?不能混合安装RDIMM 和UDIMM。 ?每个通道不得安装两个以上UDIMM。 ?除了未使用的内存通道之外，所有被占用的内存通道的配置必须相同。 ?在双处理器配置中，每个处理器的内存必须配置相同。 ?大小不同的内存模块可以在一个内存通道中混用（如2-GB、8-GB 和4-GB），但所有被占用的通道的配置必须相同。 ?对于优化器式，内存模块按照插槽的数字顺序安装，以A1 或B1 开始。 ?对于内存镜像模式或高级ECC 模式，离处理器最远的三个插槽不使用，内存模块首先从插槽A2 或B2 开始安装，然后按剩下插槽的数字顺序安装（如A2、A3、A5、A6、A8 和A9）。 ?高级ECC 模式需要x4 或x8 DRAM 设备宽度。 ?每个通道的内存速度因内存配置而异： o对于单列或双列内存模块： o每个通道一个内存模块时最多支持1333 MHz。 o每个通道两个内存模块时最多支持1067 MHz。 o每个通道三个内存模块时最多支持800 MHz（不管内存模块速率如何）。 对于四列内存模块： o每个通道一个内存模块时最多支持1067 MHz。 o每个通道两个内存模块时最多支持800 MHz，不管内存模块的速率如何。 如果安装了四列内存模块，则只能再向该通道添加一个内存模块。 如果四列内存模块与单列或双列模块混用，则四列模块必须安装在带有白色释放拉杆的插槽中。 如果安装了速率不同的内存模块，则它们将以最慢内存模块的速率运行。