机柜功率密度
1. 3 秒看懂
机柜功率密度定义了单个机柜所能承载的 IT 设备最大功耗,通常用 kW/rack 表示。在传统数据中心,这一数字长期停留在 3~7 kW;随着生成式 AI 训练与推理负载爆发,单机柜功耗已快速跳升至 30~60 kW,NVIDIA 最新 NVL72 机架级方案更将整柜峰值推至 约 120 kW。机柜功率密度不再是机房管理员的后台参数,而是决定算力部署规模、选址可行性、供电架构与散热方式的第一物理约束——冷却必须从纯风冷转向冷板液冷或浸没式液冷,配电从单相 32 A 跃迁到三相 400 V/63 A 甚至直流母线,数据中心建筑也从通用楼宇变为围绕“兆瓦级 Pod”设计的专用设施。
2. 3 分钟产业解释
为什么机柜功率密度突然成为基础设施竞赛的核心?
一座数据中心的总引入电力、每排机柜的配电容量和散热能力,最终都压缩到“单柜可消耗多少千瓦”这个数字上。过去,装有双路 CPU 和少量扩展卡的通用服务器,单柜 8~10 kW 已被视为“高密”;但到了 H100/H200/GB200 时代,一台 8 GPU 的 AI 训练节点本身就有 8–10 kW 的峰值功耗,单个标准 42U 机柜即使仅放 2–4 台此类服务器,IT 负载轻轻松松突破 30 kW。
连锁反应
- 散热方式被迫改变:传统风冷单柜极限约 15~25 kW,要继续提升只能靠液冷。
- 配电系统重新设计:需要从 230 V 单相升级为 400 V 三相、更高安培母线,甚至 48 V 或 380 V 直流微网。
- 选址与电网容量变成瓶颈:很多现有建筑受限于变压器和桥架,只能推倒重建;部分超大型集群不得不建在具有充沛水电的偏远地区。
因此,机柜功率密度既是衡量一座数据中心“算力浓度”的标尺,也是决定其造价、工期与可扩展性的物理天花板。它把芯片 TDP、服务器 ODM 设计、温控设备、配电系统和建筑结构串联成了一条刚性约束链,任何一环缺失都无法安全运转。
3. 技术原理
3.1 功耗构成与配电模型
一个满配 AI 机柜的总 IT 功耗 P_{IT} 可表示为:
P_{IT} = \sum (P_{server} + P_{network}) + P_{switch} + P_{storage}
以 8 卡 NVIDIA H100 SXM 系统为例,单 GPU 热设计功耗(TDP)约 700 W,整机峰值约 10 kW(根据 NVIDIA 公开设计导则估算)。4 台并置即达到 40 kW,计入 Top-of-Rack 交换机、管理网络和智能 PDU 自耗,IT 负载可达 45 kW+。
中心向市电的取电还需叠加上游损耗:
P_{input} = P_{IT} \times PUE
优质超大规模数据中心 PUE 可低至 1.1~1.3。承载 45 kW IT 负载的机柜,实际需要从市电汲取约 50 kW 以上的总功率,供电链路从变压器 → 低压配电柜 → UPS → 列头柜/母线 → 机柜 PDU 均需以此峰值设计。
3.2 典型高密供电拓扑
市电 10 kV / 20 kV
↓
变压器 → 低压配电柜 (400 V)
↓
UPS 系统(锂电/飞轮)
↓
配电列头柜 / 母线系统
↓
机柜 PDU → 设备内 PSU
为承载单柜 30 kW 以上负载,业界正快速转向:
- 三相 400 V/63 A 输入:理论容量约 43 kW;超过则需要双路供电或更高电流。
- 48 V 直流 / 380 V 高压直流:减少 AC-DC 变换级数,电池可直挂在母线上,显著降低线路损耗。
- 机架内铜母线:替代多股电缆,支持动态调整分配,单母线电流可达 400 A 以上。
3.3 散热传热机理与物理限制
风冷散热能力可用简化公式描述:
Q_{cooling\_air} \approx 0.02 \times \Delta T \times text(Airflow) \;(text(m)^3/text(min))
ΔT 通常上限为 20 K,即便将风量推至机房条件允许的极限,单柜风冷也很难长时间稳定超过 25 kW 的热负载;局部热点更会导致芯片降频或宕机。
液冷利用液体的高比热容:冷板式液冷直接冷却 CPU/GPU 冷板,带走芯片 60%~80% 的热量,剩余部分由低速风冷辅助。配合 CDU(冷量分配单元)和一次侧冷水,单柜可轻松做到 60 kW,部分浸没式方案达 100 kW 以上。液冷系统的核心控制参数包括二次侧供水温度(通常 32~45 ℃)、流量和温差,必须与芯片允许结温精确匹配。
3.4 功率密度与算力密度的映射
芯片 TDP(瓦)与能效比(TFLOPS/W)的乘积决定了固定功耗下可获得多少算力。若每一代 AI 加速器 TDP 继续攀升(以 H100 的 700 W 到 Blackwell 的单芯片更高),则机柜功率密度提高是维持或增加集群总算力的必要前提。这使功率密度升级成为一条与摩尔定律并行、但受物理约束更苛刻的路径。
4. 关键参数
- 单机柜额定功率 (kW/rack):设计阶段最硬性的边界。当前行业实践:传统企业机房 5~8 kW,主流云风冷 10~20 kW,高密液冷 30~60 kW,下一代旗舰达到 100 kW+。
- 机房单位面积功率 (kW/m²):用于整体规划,高密 AI 机房可到 15~25 kW/m² 甚至更高(来源:施耐德电气高密部署白皮书系列)。
- 电能使用效率 (PUE):全年总能耗/IT 能耗。采用液冷和高压直流的新建园区可达 1.1 以下(目标 1.05~1.08)。
- 冷却容量利用率:实际 IT 负载 ÷ 设计散热能力,反映冗余情况。
- 供电路径损耗:从变压器到芯片的累进损耗百分比,48 V 直流方案实测可节省 5%~8% 的线路损耗(参考 OCP ORv3 技术文档)。
- 机柜进/出风温差 ΔT:热点与平均温度差值,典型要求 ≤15 K(ASHRAE TC 9.9 推荐)。
- 液冷二次侧供水温度与流量:通常供水 32 ℃,回水 45 ℃,流量按 kW 负载和 ΔT 设计,是 CDU 选型核心。
- 芯片结温 Tjunction:GPU 通常上限 95~105 ℃,液冷设计须留有 15 ℃ 以上裕量。
以上参数均在数据中心设计阶段通过 CFD(计算流体动力学)仿真与电气系统模型迭代确认,缺一不可。
5. 技术路线
5.1 散热方式演进
| 散热方案 | 典型单柜密度 | 关键技术 | 优势 | 局限 |
|---|---|---|---|---|
| 房间级风冷 | 3~8 kW | 空调、架空地板 | 结构简单,改造便宜 | 存在冷热气流短路,难以超过 10 kW |
| 列间风冷 + 热通道封闭 | 8~20 kW | 列间精密空调、智能风墙 | 接近热源,可动态调配 | 稳定上限约 25 kW,对建筑层高、承重要求高 |
| 冷板液冷 + 辅助风冷 | 25~60 kW | 冷板、CDU、去离子水 | 直接带走芯片 60%~80% 热量,支持高密 | 管路复杂,泄漏风险,需双冷源 |
| 浸没式液冷(单相/两相) | 60~100 kW+ | 密闭槽体、介电液体 | 散热极限极高,可省去服务器风扇 | 液体维护成本高,承重、密封和消防特殊要求 |
| 两相冷板 + 背板换热 | ≥50 kW | 制冷剂蒸发换热 | 极高换热系数,无漏水风险 | 制冷剂环保限制,系统控制复杂 |
5.2 配电架构升级路线
- 传统交流:230 V 单相 32 A → 三相 400 V 63 A/125 A,铜缆母线。
- 48 V 直流整机柜(OCP Open Rack v3):集中式整流模块将交流转为 48 V,铜母线直供主板,省去设备内 AC-DC 电源,降低损耗。
- 380 V 高压直流 (HVDC):在部分超大规模项目中探索,可进一步压缩电流、减少铜用量,但生态成熟度较低。
- 储能集成:锂电 UPS 直接挂在 48 V 或 400 V 母线,实现峰谷套利与电网辅助服务。
注:以上密度范围、供电容量均为行业实践经验值,实际需结合设备热设计、单路供电能力和机柜结构综合评估。
6. 上游
6.1 芯片与服务器设计
- GPU/ASIC 供应商:NVIDIA (H100/H200/B200/GB200)、AMD (MI300X)、Intel (Gaudi 系列)、Google (TPU v5p)、Amazon (Trainium2) 等。芯片 TDP 提升是机柜功耗增长的根本源头。
- 服务器 ODM/OEM:富士康、英业达、广达、超微、技嘉、联想等,负责集成 GPU 节点并适配液冷。基于 NVIDIA 参考设计,推出定制整机柜方案。
6.2 散热解决方案
- 冷板组件:CoolIT Systems、Boyd Corporation、Delta Electronics 等,提供 GPU/CPU 直接液冷冷板与快速接头。
- CDU 与管路:CoolIT、Vertiv、nVent 等提供一次/二次侧热交换与水泵系统。
- 浸没式液冷:Iceotope、LiquidStack、GRC 等专注单相或两相浸没式散热。
- 制冷剂:3M Novec 等生产介电液体(注意环保法规变化)。
6.3 电力基础设施
- UPS/STS/储能:Vertiv、施耐德电气 (APC)、伊顿等提供高功率锂电 UPS、静态切换开关和 48 V/400 V 直流系统。
- PDU/母线:Server Technology (Legrand)、Raritan (Legrand)、Vertiv 等提供智能机柜 PDU 与高电流母线槽。
- 变压器与开关柜:ABB、西门子、施耐德等提供 10 kV/20 kV 中压到 400 V 的变电设备。
6.4 整机柜与标准
- OCP 社区:推动 Open Rack v3 48 V 规范、液冷接口标准化。
- 关键基础设施调试与仿真:提供 CFD 分析、电力系统建模的工程咨询公司。
7. 下游
7.1 超大规模云与互联网厂商
- AWS、Microsoft Azure、Google Cloud、Meta、Oracle:大规模部署 GPU 集群以训练和推理大模型,自研或共同定义液冷整机柜标准,是全球高密机柜需求的最大来源。
- 国内云厂商:字节跳动、阿里云、腾讯云等在自建数据中心中快速引入冷板液冷。
7.2 新兴 AI 与超算机构
- 头部大模型创业公司、国家超算中心等需要数十至数百个高密液冷机柜,通常托管在第三方数据中心或与云厂商合作。
7.3 托管与零售数据中心
- Equinix、Digital Realty、CyrusOne、GDS (万国数据)、秦淮数据 等提供支持高密液冷的托管空间(通常为 15–20 kW/柜起,并可定制液冷单元)。
- 辅助服务:设计咨询、热流体仿真、电气合规认证。
8. 受益公司
(本节描述业务关联与价值链地位,不构成任何投资建议)
- GPU 定义者 NVIDIA:DGX SuperPOD 和 NVL72 等参考架构直接设定行业功率密度标杆,生态供应商必须对标其要求,带动冷却与供电升级。
- 关键基础设施双巨头:Vertiv 和施耐德电气,提供覆盖 UPS、配电柜、CDU、行级空调、监控的全套高密方案,是高密升级过程中的基础设施中枢。
- 液冷专业厂商:CoolIT Systems(冷板龙头,已部署于多个超算与云集群)、Boyd(热管理)、Iceotope(浸没式),受益于液冷渗透率从 2022 年的不足 10% 向 2026 年预计 30%+ 的结构性提升。
- 液冷整机柜供应商:Supermicro(液冷整机柜大量出货,紧密接入 NVIDIA 认证)、广达、英业达、富士康等 ODM 获得高价值 AI 服务器与机柜订单。
- 数据中心 REITs:Equinix、Digital Realty 通过改造部分设施支持 30 kW+ 机柜,提升租金和定价能力,吸引 AI 客户。
- 国内产业链映射:中科曙光、浪潮信息(液冷服务器);英维克、高澜股份、同飞股份(液冷 CDU、水泵、管路);良信股份、正泰电器(配电母线)。
所有受益逻辑均基于各公司公开披露的业务定位与行业趋势推导,不涉及经营预测。
9. 市场规模
高密机柜的相关市场分散在多个产品类别中,目前尚无“机柜功率密度解决方案”的统一统计,公开资料未见独立规模数据。但可通过几个细分子项勾勒增长轮廓:
- 数据中心液冷市场:据第三方研究机构 650 Group 数据(2023 年发布),全球数据中心液冷市场 2023 年预估约 22 亿美元,预计 2028 年达 89 亿美元,年复合增速约 32%(口径含冷板、浸没式及相关 CDU/分配系统)。需注意此为基于公开转述的估算,最终以报告全文为准。
- 高压直流与母线市场:根据 Global Market Insights 等调研(2022–2023 年),数据中心 PDUs/母线市场约 25 亿–30 亿美元,高功率母线因 30 kW+ 需求而加速增长,但精确细分暂缺。
- AI 服务器资本支出:主要云厂商(Amazon、Microsoft、Google、Meta、Oracle)2024 年资本支出合计预计超 1,800 亿美元(来源:公司财报指引、彭博一致预期),其中相当比例用于 GPU 集群基建,直接拉动高密机柜配电与散热投入。
- 单位造价:传统风冷单柜配电+散热约 $3,000–$5,000,同等容量的液冷方案现阶段约 $10,000–$25,000(来源:施耐德电气与 Vertiv 白皮书及行业调研,具体取决于规模与冗余等级)。随着标准化和规模效应,价差有望收敛。
以上数据仅展示公开研究中的部分参考口径,不构成对任何公司收入或市场规模的承诺。
10. 玩家对比
| 类别 | 代表企业 | 核心产品/方案 | 特点 | 典型部署场景 |
|---|---|---|---|---|
| 液冷冷板与CDU | CoolIT Systems | 直接液冷冷板、CDU | 液冷出货量领先,与各大 OEM 合作紧密 | 超大规模云、超算中心 |
| 液冷冷板与CDU | Boyd Corporation | 冷板、换热器 | 热管理领域历史悠久,深度耦合 OEM | 工业、超算、部分云 |
| 液冷冷板与CDU | Vertiv / 施耐德 | 整合液冷 + UPS + 配电 | 提供全栈基础设施,单一供应商交付便利 | 中大型数据中心 |
| 浸没式液冷 | Iceotope / LiquidStack / GRC | 单相/两相浸没槽 | 解热能力极高,但运维门槛高 | 边缘高密、POC 项目 |
| 液冷整机柜 | Supermicro | Liquid Cooling Rack Solution | 面向 NVIDIA SXM 等提供即插即用液冷机柜 | AI 集群、集团私有云 |
| 液冷服务器 ODM | 广达、英业达、富士康 | 定制 48 V 整机柜、液冷节点 | 为大型云厂定制,规模庞大,单价较低 | 云厂自建巨型园区 |
| 高密配电 | Server Technology (Legrand) | 智能三相 PDU、母线 | 80 kW+ 高密机架配电,远程监测 | 所有高密机柜 |
| 数据中心托管商 | Equinix / Digital Realty | 高密托管单元 | 推出液冷专区,30 kW+ 单柜,按 kW 计价 | 需要在超一线城市部署的 AI 客户 |
注:此表基于公开信息整理的行业概况,各企业财务数据、市占率等需查阅其定期报告,此不赘述。
11. 风险
11.1 液冷泄漏与系统可靠性
冷板快速接头、管路长期运行存在滴漏风险,一旦冷却液泄漏可能损坏整柜乃至整排 GPU,造成训练中断和巨额资产损失。行业对材料、焊接、接头寿命和监控要求极高,全行业交付能力和认证周期仍是瓶颈。
11.2 区域电网与审批
单座 AI 数据中心年耗电未来可能以百兆瓦计算,很多城市电网无法满足,获取变电站指标和环境审批周期长达 2–5 年。高密机柜的优势可能因“有硬件但无电可用”而无法落地。
11.3 标准不统一
尽管 OCP 推进 48 V 和液冷接口标准化,但各家云厂仍存在自研接口和协议,“各自为战”导致供应商无法大范围平滑复用,增加成本和备件压力。
11.4 成本与投资回报
高密液冷方案单位初始资本开支远高于传统风冷,老旧机房无法原地升级。投资者和运营方需仔细评估 AI 需求持续性,避免基础设施过度建设而利用率不足。
11.5 环保法规变化
浸没式液冷常用的 PFAS 类介电液体面临全球日益严苛的环保管控(欧盟、美国部分地区已在推动限制),可能影响长期运维成本和方案选择。
12. 误读纠偏
- 误读:“高密机柜就是换个空调或加个液冷” 纠偏:供电线路、UPS 容量、变压器、承重和消防等都需要同步改造。仅更换冷却但供电未升级,轻则跳闸,重则线缆过热引发火灾。
- 误读:“液冷机柜可以无限堆高密度” 纠偏:受芯片封装热阻、冷板面积、CDU 换热能力和流量极限,以及连接器电流承载力的物理约束。成本随密度指数上升,100 kW 级方案通常需要浸没式或两相,仍有天花板。
- 误读:“额定功率=所有设备电源铭牌功率相加” 纠偏:实际负载很少同时达到所有部件峰值,但数据中心设计必须按最大可能负荷考虑 N+1 冗余。安全余量取决于实测与 CFD,不能用简单的额定叠加做出判断。
- 误读:“机柜功率密度只在 AI 训练集群有意义” 纠偏:推理、边缘计算和高性能存储也在推高密度,只是增长速度与训练集群有差异。机柜功率密度是通用基础设施度量。
13. 最新事件
- NVIDIA NVL72 机架级方案 (2024 年 3 月 GTC):单个 GB200 NVL72 机架集成 72 块 Blackwell GPU 和 36 颗 Grace CPU,满载功耗达 约 120 kW,采用直接液冷与水循环分配单元。这是量产级方案中单柜功耗的新高点,也标志着液冷成为高端 AI 集群标配。
- OCP 2024 全球峰会 (2024 年 10 月):发布 Open Rack v3 液冷整机柜规范更新,多家厂商展出 100 kW+ 液冷电源架构与全直流方案,推动 48 V、380 V 直流生态成熟。
- 云厂商大规模液冷部署:Microsoft 在 2024 年宣布为 Azure 高密度区域规模引入冷板液冷;Meta 在新一代 AI 集群中也转向液冷整机柜方案;Google 披露其自研 TPU v5p 集群已采用液冷。
- 国内推动:三大运营商与大型互联网公司发布液冷白皮书,推进“风液融合”,部分省份规定新建大型数据中心液冷比例不低于 10%–20%(2025 年目标)。
- 担忧与事故:2024 年内有媒体报道某超算液冷泄漏导致 GPU 损坏,引发对冷板快速接头可靠性的再次审视,行业开始强调接头认证标准和二次防护设计。
(以上事件皆为 2024 年公开报道与技术公告摘要,具体细节以厂商官方声明为准。)
14. 跟踪指标
若需持续观察行业动态,可重点跟踪以下数据和信号:
- 云厂商资本开支:Amazon、Microsoft、Google、Meta、Oracle 的季度资本开支与指引,尤其 AI 基础设施相关部分。
- NVIDIA 数据中心 GPU 出货与供电需求:NVIDIA 每季度数据中心业务收入、发布的参考设计功耗值,可作为功率密度需求的直接代理。
- 液冷渗透率:定期出自 650 Group、Omdia 等报告;也关注超大规模厂商在财报电话会议中提及的“液冷部署比例”。
- 基础设施公司订单:Vertiv、施耐德电气、CoolIT 等非上市或上市公司财报中液冷相关收入增速、在手订单与 backlog。
- 高密机柜功率目标:云厂商在技术大会(AWS re:Invent、Microsoft Ignite、Google Cloud Next 等)公布的新一代机柜设计目标,常为 50 kW→100 kW 跃迁节点。
- 电力与选址指标:主要城市建设 100 MW+ 新建数据中心项目的审批进度、电网增容规划,反推现实落地速度。
- 标准与法规:OCP 规范更新、IEC/UL 针对液冷和直流配电的安全标准、PFAS 相关环保法规进展,影响技术路线切换。
15. 信源
- Uptime Institute:“Rack Density Trends, Risks and Preparations” 年度调查报告、高密度白皮书。
- OCP (Open Compute Project):Advanced Cooling Solutions、Open Rack v3 48 V 规范。
- NVIDIA:DGX SuperPOD 参考架构、NVL72 技术白皮书。
- ASHRAE TC 9.9:Datacom Equipment Power Trends and Cooling Applications 热设计指导。
- 施耐德电气:“How to Deploy High-Density Racks” 设计系列白皮书。
- Vertiv:“High Density and AI’s Impact on Data Center Power Infrastructure” 白皮书。
- 650 Group:Data Center Liquid Cooling Market Report(2023/2024)。
- 各公司财报与公开声明:NVIDIA、Vertiv、施耐德电气、Supermicro、Equinix、Digital Realty 等。
- 第三方市场研究:Global Market Insights、Mordor Intelligence 等对机架 PDU、电力基础设施市场的估计(使用时请核实最新版本)。
- 云厂商技术博客:Azure High-Performance Computing、Meta AI Research Infrastructure、Google Cloud TPU System Architecture 等公开工程分享。
以上信源可在各机构官网、技术社区及公开数据库中检索获取,部分深度报告需付费订阅。