大道至简，图解大型互联网数据中心典型模型
原创2016-04-08腾讯数据中心ensoli
数据中心本质上是数学和逻辑的组合，分析模块化数据中心的颗粒度可以归纳演绎出其典型模型，本文介绍一些大型互联网数据中心的典型案例，正是为了做此方面的分析。
大型互联网公司数据中心建筑布局
图一是谷歌数据中心的典型布局，从空中俯视看到的庞大体量和氤氲升腾的水汽，让人立马联想到现代化的超级信息处理工厂，或在海上全力巡航的超级信息航母。
谷歌的数据中心建筑结构极其精简，主体机房为宽而矮的单层仓储式厂房建筑结构，船体的中后两舱为两个长宽形主体机房模块，船头为机房配套的功能区域(如安保办公、拆包卸货、备品备件间等)；船体左侧为模块化变配电及柴发区域，船体右侧是模块化制冷及散热储水区域，水电分区，左右两翼像巡洋舰和护卫舰等保障航空母舰的稳定安全运行。
图一谷歌数据中心俯视图
图二为其主平面布局图。
北侧为水，南侧为电，中间为机房模块，约2万平米的中间主机房区可以支持约8到10万台服务器，左右两侧为网络间以及办公支持区。
白地板区域分为南北共四个大机房房间，每个房间可以支持约2万到2.5万台服务器，每个机房模块内约30纵列，每列约25到30个IT机柜，每个大房间可以部署约750到900个机柜，约1万KVA的电力，整个建筑约4万KVA总用电。
图二谷歌数据中心平图布局图
图三是facebook在瑞典的模块化数据中心效果图，该建筑也是仓储式大厂房结构，左右两栋数据中心大楼内共建设了1#-4#四个大房间的数据中心模块，两栋建筑之间有一个专用制冷机房，在建筑的两侧也部署了室外集装箱柴发。
此外，在数据中心建筑隔壁，还设有一个用于办公的其它功能的建筑。
图三 facebook模块化机房俯视图
图四类似这个数据中心的平面布局（冷机和配电位置稍有变化，但主体框架模块没变），同样左右两侧共四个大机房模块，A/B区南北各两个，大房间的南北两侧为AHU模块，同样和冷热通道一一对应；两个建筑大房间之间为电力模块，以及制冷模块，同样是模块化的设计。
每个AHU对应各自的一个通道，约60个机柜，平均每个IT机柜功率约为8-10KW，因此每个AHU的制冷量约为500-600KW。
中间北侧为电力模块房间，四个房间共6套IT 电力模块，以及1套备份模块、1套冷机等负载配单模块；中间南侧为制冷泵房，共9个制冷模块，按8用1备计算，每个房间均摊约2个制冷模块。
每个大机房房间同样可支持约2万到2.5万台规模服务器，每个房间内部署了约4*13*15
个机柜，共约780个机柜，并支持扩展到900个，同样约1万KVA的电力，整个建筑约4万KVA总用电，共支持约8到10万台的服务器。
图四 facebook数据中心平面布局图
图五是facebook另外一个长条形数据中心的俯视图，该建筑从左到右共有四个大机房模块，每个机房模块有独立的4台室外型集装箱柴发，屋顶是其自然冷空调系统，紧贴数据中心建筑的上侧有办公用房。
图五 facebook数据中心布局二
这种长条形布局下，机房内部如图六Open datacenter的数据中心机房模型，每个大机房模块共12*6*11=792个机柜，整个数据中心建筑共有12到14台柴发，两个蓄冷罐，支撑四个大机房模块使用。
图六 Open datacenter的模型布局
图七是Switch公司的super nap 7数据中心俯视图，类似的，整个数据中心建筑由四个大机房模块构成，每个机房模块约10MVA的供电容量，由6台（5+1）2000KW的柴发做掉电备份，9套1200KVA的UPS，三角形DR方式2N供电。
同样的，每个大机房模块有44个R18的微模块构成，总计约792个IT机柜，平均单功率约为9KW；9个（8+1）AHU空调模块，每个AHU模块标称具有1000KW的散热能力。
图七 Switch公司的supernap 7数据中心布局
从谷歌、facebook和super nap等数据中心的典型模型上看，大型互联网数据中心大多是模块化设计，基本整个园区规划有两到三栋大型数据中心建筑，总共用电80到120MVA，由132KV变电站供电。
每栋数据中心建筑用电量则高达40MVA，数据中心建筑内有4个
大机房模块，每个机房模块约2-2.5万台服务器，典型的单模块机柜数量为750-1000个机柜，每栋数据中心建筑约有8-10万台的服务器，总机柜数量为3000到4000个机柜。
大型互联网数据中心基本多为仓储式单层建筑结构，建筑内的典型四个大机房模块有长条型并排布局，也有南北向田字型布局，模块化的电力和空调模块就近摆放。
大型互联网公司数据中心的电气
为什么大型互联网数据中心都有相似的特征，这背后有何逻辑呢？
其实数据中心的一些边界条件基本限制了数据中心的典型模型，比如一条中压外线（美国为13.2KV，欧洲中国约为10KV）的电力容量约为10MVA-12MVA，典型的变压器容量约为1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限档位，母排和断路器容典型量约1600A、2000A、3200A、4000A、50000A、6300A等有限档位，还有冷机的冷量、UPS的容量等都是类似的有限档位，因此数据中心规划设计需要兼顾到这些产业链，并满足公路运输条件，以及操作人员可以忍受的连续工作最高温度等，根据不同系统的合适颗粒度，选择最佳性价比的典型模型。
通常电力是数据中心内较为宝贵的资源，所以数据中心设计通常会把一条外线的容量尽量用满，即一个机房模块通常会用满10到12MVA的外电容量，图八是个典型的互联网公司数据中心供电架构图，单路市电供电，高压柴发备份。
图八典型互联网数据中心供电架构图
我们可以根据一条13.2KV外线约12MVA的容量来推算该机房模块的模型，配置了4台2500KW左右的高压柴发，4台3000KVA的变压器，额外有1台2500KW的柴发和3000KVA 的变压器作为四个房间的冗余备份，刚好用满电力容量，因此数据中心大机房模块内通常也规划有4个小房间的模块。
前面是针对互联网数据中心内单路市电+柴发的供电架构，如果对于部分双路10KV外电的
高可靠2N供电架构，实际上也是类似处理方法，将10MVA的外电，分摊到4个IT房间，每个房间约2个2000KVA的变压器，剩余一对2000KVA的变压器给到制冷房间用于冷机制冷等。
当然也可以按三个IT房间来规划，这种布局下每个房间配置2个2500KVA的变压器，剩余一对2500KVA的变压器给到冷机和其他动力设备。
图九典型数据中心2N供电高可靠设计的模型
在建筑布局上，同样采用模块化的布局，如图十的典型数据中心建筑内有左右两个大机房模块，每个大机房模块内的一对10KV外线带有四个IT房间，每个房间由一对2000KVA的变压器来承担，每个房间按IT机柜功率来部署，大约有200到250个的IT机柜（由IT机柜平均功率决定）。
同样配套的模块化电力和空调就近摆放，按需建设实现变成长边投资，为未来的技术升级提供条件。
图十典型数据中心2N供电高可靠设计的布局
综上，典型的互联网数据中心机房模块内，也同样因为电力容量限制，以及设备颗粒度的不连续性，加上产业链生态等会有最佳模型。
典型的模块化数据中心由2个高压模块（或者单N的1条外线）、8到10个低压变配电模块（或者单N的4到5个低压模块）、3到4个IT房间（每个机房模块配置2500KVA或者2000KVA的变压器）的典型模型。
每个模块化数据中心约750到1000个IT机柜，每个IT房间约200到250个IT机柜。
动力设备方面基本多为3到4台800到1100冷吨的冷机，以及4到6台1800KW到2500KW的柴发等。
大型互联网公司数据中心空调模块
相对而言，大型互联网数据中心的制冷系统的标准化较差，这主要由不同地区的制冷方式差异导致。
比如热带地区采用的集中式冷机制冷，和凉爽地区分散式AHU模块制冷就会有很大的差异。
但从前面分析的数据中心模型上看，大型互联网数据中心的空调系统也呈模块化方式在建设。
如图十一所示的谷歌数据中心，综前所述，一栋40MVA的数据中心建筑，由四个大机房模块构成，每个机房模块约10MVA的用电。
整个数据中心建筑左侧有15套空调系统，因此每个机房模块分摊到3套空调系统，剩余3套空调给四个机房模块做冗余备份，以及其他办公和环境负荷等，每套空调系统约有1000到1200冷吨。
图十一谷歌数据中心的模块化空调系统
而如图十二的Super nap数据中心则采用了模块化AHU散热方式，每个10MVA的大机房模块配置了9个AHU模块，每个AHU模块的散热能力达到了1000KW，8用1备，
该AHU支持六种不同的冷却方式，并在AHU内部加装了小飞轮UPS，保障AHU模块供冷的持续性，也是非常经典的模块化空调设计实现。
图十二 SuperNAP数据中心的模块化空调系统
前面简单介绍了两个大型互联网公司模块化空调系统的应用案例。
地区不同，制冷方式不同，模块化空调系统呈现出较大的差异性，颗粒度也有较大的差异，但不管是冷机还是AHU或其它不同方式，也基本分为3到4套系统，每个系统由不同数量的更小单元末端组成（可能是模块化AHU，也可能是小风墙等）。
“大道至简，悟者天成”。
大型互联网数据中心典型模型模块精简、功能分区清晰、颗粒度合理。
在我们从这些先行者的实践经验中悟出真理后，剩下的就是要考虑如何去躬行。
一旦做到知行合一，就没有攀不上的高峰。
