HGX 平台
3 秒看懂
NVIDIA HGX 是一块高度集成的 AI 计算基板,它将多颗高端 GPU 通过 NVLink + NVSwitch 全互联,形成一个“类单一大 GPU”的加速器模组,专为数据中心的大模型训练和高吞吐推理设计。它不是一台完整的服务器,而是提供给 OEM 厂商集成的核心算力砖块。截至 2025 年 Q2,HGX 平台已迭代至 Blackwell 代际(B200/B100),单板 NVLink 总带宽突破 14 TB/s,是当前万亿参数模型训练的事实标准基板。
3 分钟产业解释
如果把构建 AI 集群比喻成盖楼,HGX 就是预制好的重型承重墙——它把 8 个 GPU、高速互联通路以及供电散热框架提前封装成一个标准化算力单元。服务器厂商(如超微、戴尔、联想)只需加上 CPU、内存、存储和网络,就能制造出一台 8 卡 AI 服务器。这和消费者买到的单张显卡插主板的模式完全不同。
- HGX vs DGX:DGX 是 NVIDIA 的品牌整机(包含 CPU、系统盘、Infiniband 网卡等),开箱即用;HGX 则是供 OEM 伙伴使用的 GPU 基板子系统。DGX 内部搭载的同样是 HGX 基板,两者是整体与核心部件的关系。以 DGX H100 为例,其内部即集成了一块 HGX H100 8-GPU 基板。
- 产业地位:当前主流大模型训练(如 GPT-4、Llama 3、Gemini 系列)几乎全部依赖 HGX 平台提供的超高 GPU 间互连带宽。据 SemiAnalysis 2024 年报告估算,全球头部 AI 训练集群中 HGX 或等效 NVSwitch 全互联方案的渗透率超过 90%。如果说 GPU 芯片是燃料,HGX 就是发动机总成,直接决定万亿参数模型能否在合理时间内完成一次迭代。
技术原理
为什么全互联如此关键——NVSwitch 的非阻塞魔法
传统多 GPU 方案(如直插 8 张 PCIe 卡)需要经过 PCIe 交换机,或在 GPU 之间使用点对点桥接,无法同时让所有 GPU 两两高速通信。大模型张量并行、流水线并行中的 AllReduce 和 ReduceScatter 操作,是典型的“所有人跟所有人说话”模式。据 NVIDIA 公开技术资料,若使用 PCIe 树形拓扑进行千亿参数模型训练,GPU 利用率可能因通信瓶颈降至 50% 以下。
HGX 借助 NVSwitch 实现无收敛全互联。以电话交换机为喻:多台 NVSwitch 各自拥有多个端口,每个端口连接一块 GPU。当 GPU0 向 GPU3 发送数据时,会占用一条内部通道,但这条通道不会阻塞 GPU1 和 GPU2 之间同时进行的通信。因此,8 块 GPU 同时执行全双工通信时,单片 GPU 可独享其对外全带宽(例如 H100 的 NVLink 4.0,单 GPU 总带宽 900 GB/s),整板总带宽为单 GPU 对外带宽 × 8,而非被共享总线切分。
逻辑拓扑示意(简化呈现,非实际物理连线):
[GPU0] ——— NVSwitch0 ——— [GPU1]
| ||| |
|—— NVSwitch1 —— NVSwitch2 ——|
| ||| |
[GPU2] ——— NVSwitch3 ——— [GPU3]
... (扩展至 8 GPU,4 颗 NVSwitch 提供全通路)
对于 H100/H200 代际,4 颗 NVSwitch 芯片各提供多个高速端口,交叉连接至 8 颗 GPU,保证了任意两 GPU 间均独占双向链路。配合 NVIDIA 的 NCCL 通信库,开发者无需感知底层拓扑即可获得近乎线性的多卡扩展效率。
存储与计算解耦
HGX 板上的 GPU 拥有统一的大容量高带宽显存池(HBM)。虽然物理上每颗 GPU 独占其堆叠的 HBM,但通过 NVLink 的跨卡直接内存访问(Direct Load/Store)以及 CUDA UVM(统一虚拟内存)等软件抽象,编程视角上常呈现近似共享内存的视图,显著降低了显存墙对模型尺寸的限制。例如,在 A100 80GB SXM 代际,8 卡总物理显存 640GB,通过 NVLink 连接可支持跨卡访问,为模型并行策略提供了重要硬件基础。
关键参数
以下参数基于 NVIDIA 各代官方架构白皮书、产品规格表及 GTC 技术演讲整理,标注对应代际与来源。
| 参数项 | A100 HGX | H100 HGX | H200 HGX | B200 HGX |
|---|---|---|---|---|
| GPU 型号 | A100 SXM 80GB | H100 SXM 80GB | H200 SXM 141GB | B200 SXM |
| 单板 GPU 数量 | 8 | 8 | 8 | 8 |
| NVSwitch 芯片数 | 6 | 4 | 4 | 4 (架构升级) |
| NVLink 代际 | 第 3 代 | 第 4 代 | 第 4 代 | 第 5 代 |
| 单 GPU 双向带宽 | 600 GB/s | 900 GB/s | 900 GB/s | 1,800 GB/s |
| 整板 NVLink 总带宽 | 4.8 TB/s | 7.2 TB/s | 7.2 TB/s | 14.4 TB/s |
| 单 GPU HBM 容量 | 80GB (HBM2e) | 80GB (HBM3) | 141GB (HBM3e) | 192GB (HBM3e) |
| 整板总显存池 | 640GB | 640GB | 1,128GB | 1,536GB |
| 整板典型 TDP | ~ 4-5 kW (风冷) | ~ 5-7 kW (风冷/液冷) | ~ 7-8 kW | ~ 8-10 kW (液冷优先) |
| 外形规格 | HGX A100 Baseboard | HGX H100 Baseboard | 兼容 H100 基板 | 新一代基板设计 |
| 发布时间 (公开) | 2020 年 5 月 | 2022 年 3 月 | 2023 年 11 月 | 2024 年 3 月 (GTC) |
数据来源:NVIDIA A100/H100/H200/B200 产品规格页及各代白皮书(截至 2025 年 Q2),功耗为典型板级 TDP 范围,具体数值因 OEM 系统设计差异有所浮动。B200 部分指标为 GTC 2024 披露的预发布规格。
补充指标说明
- NVLink 总带宽:指 8 颗 GPU 同时全双工通信的理论聚合带宽,数值 = 单 GPU NVLink 双向带宽 × 8。该指标直接决定 AllReduce 操作的延迟下限。
- 显存池 ≠ 可直接编程的单一显存空间:跨卡访问存在延迟梯度(相比本地 HBM 增加约 1-2 微秒),需模型并行策略配合,后文“误读纠偏”会详细说明。
- 散热设计:自 H100 代际起,液冷成为推荐散热方案;B200 代际因整板功耗进一步提升,多数 OEM 默认搭配液冷或定制风冷方案出货。
技术路线
HGX 各代际演进
根据 NVIDIA 公开产品路线图及 GTC 历年演讲整理。
- HGX-1(Volta 代际,2017-2018):搭载 V100 SXM2/SXM3,首次引入 NVSwitch,实现 8 GPU 全互联架构。相对于前代 Pascal 的立方网格点对点拓扑,是质的飞跃。奠定“8 SXM + NVSwitch”行业范式。
- HGX-2(Volta 代际延伸,2018):同样基于 V100,容纳更大显存(32GB HBM2),为云实例场景提供更大内存池配置。该代际尚未支持 MIG(多实例 GPU)硬件分区,MIG 从 A100 代际引入。
- HGX A100(Ampere 代际,2020):搭载 A100 Tensor Core GPU,NVSwitch 升级至第三代,NVLink 单 GPU 双向带宽 600 GB/s。首次引入 MIG 多实例 GPU 技术,单卡可切分为至多 7 个独立实例,提升云化部署灵活性。该基板成为 GPT-3 等千亿参数模型训练的主力平台。
- HGX H100(Hopper 代际,2022):搭载 H100 GPU,NVSwitch 升级至第四代、NVLink 单 GPU 双向带宽 900 GB/s。引入 FP8 Transformer Engine,显著提升大模型训练吞吐(据 NVIDIA 官方,较 A100 训练吞吐提升至多 9 倍,推理吞吐提升至多 30 倍,含稀疏计算加速)。
- HGX H200(Hopper 代际延伸,2023-2024):GPU 芯片基本不变,HBM 升级至 HBM3e,单卡显存从 80GB 提升至 141GB,总显存池 1,128GB。据 NVIDIA 官方,在 Llama 2 70B 推理场景中,H200 相较 H100 性能提升约 1.4-1.9 倍,主要受益于更大的显存和更高的 HBM 带宽(4.8 TB/s 每卡)。该基板在物理上兼容 H100 基板设计,OEM 厂商可平滑升级。
- HGX B200/B100(Blackwell 代际,2024 发布,2025 量产出货):搭载 B200 GPU,NVLink 升级至第五代,单 GPU 双向带宽 1,800 GB/s,整板总带宽 14.4 TB/s。支持 FP4 精度,进一步加速大模型推理。该代际引入与 Grace CPU 通过 NVLink-C2C 组成 GB200 超级芯片的选项,但 GB200 本身不使用标准 HGX 基板,属于不同形态的构建单元。
路线对比:HGX vs PCIe 插卡 vs AMD Instinct 同类方案
| 对比维度 | HGX 基板(SXM + NVSwitch) | PCIe 插卡服务器 | AMD Instinct 8-GPU OEM 方案 |
|---|---|---|---|
| GPU 互联拓扑 | 无收敛全互联,各代均为 8 GPU 对等 | 通过 PCIe Switch,形成非对等树形拓扑,部分路径需 CPU 中转 | Infinity Fabric 全互联,设计理念类似,物理层基于定制互联 |
| 互连带宽有效性 | 每对 GPU 独占全双工链路,AllReduce 无阻塞 | 总带宽受 PCIe Switch 上联瓶颈,多卡通信易拥塞 | 与 HGX 同级别,据 AMD 公开数据 MI300X 平台单 GPU 互联带宽 896 GB/s |
| 软件生态 | NCCL 深度优化,CUDA 生态成熟度极高 | 需手工调优拓扑偏移,大模型训练效率显著低于 HGX | ROCm + RCCL,成熟度持续追赶,2024 年后在 Llama/Stable Diffusion 等主流模型上适配加速 |
| 供电与散热 | SXM mezzanine 直连主板,供电能力强,适合液冷 | 受 PCIe 插槽供电规范约束(单卡上限通常 300W-450W),高功耗 GPU 受限 | 类似 SXM 基板设计,面向高功耗场景(MI300X 单卡 TDP 750W) |
| 主要场景 | 万亿参数大模型训练、高并发批量推理 | 中小模型微调、企业推理、科学计算 | 同 HGX 场景,头部云厂商和超算中心 |
说明:PCIe 插卡方案中,2024 年后部分主板采用 PCIe Gen5 双宽/双高设计,但仍无法解决 GPU 间非全互联的根本瓶颈。AMD MI300X 平台从 2024 年起获得更多 OEM 支持,截至 2025 年 Q2,市场份额仍极低(公开资料未见权威第三方份额数据)。
上游
HGX 基板的制造涉及多层供应链,核心环节如下:
- GPU 计算芯片设计:NVIDIA 独家设计,无替代供应方。
- HBM 高带宽存储器:由 SK 海力士、三星电子、美光供应。据 TrendForce 2024 年 Q4 报告,SK 海力士在 HBM3/HBM3e 代际占据约 50% 市场份额,三星约 40%,美光快速追赶至约 10%。HBM 供应短缺是全行业性瓶颈。
- NVSwitch 交换芯片:NVIDIA 自研,由台积电代工。
- 先进封装(CoWoS):台积电 CoWoS-S/L/R 封装方案将 GPU 芯片与 HBM 堆栈合封。据台积电 2024 年 Q4 法说会,CoWoS 产能 2024 年月产约 3.5 万片(12 英寸等效),2025 年规划扩至约 5.5-6 万片,仍供不应求。CoWoS 产能是 HGX 出货量的核心硬约束。
- 高速 PCB 板材与基板:多层高密度 PCB 由台湾、日本、中国大陆供应商提供,高端 ABF 载板由欣兴、Ibiden 等供应。
- 板端电源管理(PMIC/VRM):MPS、Infineon、瑞萨等,需满足数千瓦整板功耗的动态供电稳定性要求。
- 散热组件:液冷冷板、歧管、CDU 由 Cooler Master、Boyd Corporation、Vertiv 等供应,风冷散热器由多家参与。
下游
HGX 基板流向的典型路径为:
- NVIDIA 设计并认证 HGX 基板,将基板作为准系统级组件出售给 OEM 厂商。
- OEM 服务器厂商 基于 HGX 基板设计整机服务器,加入 CPU(多数为双路 Intel Xeon 或 AMD EPYC)、系统内存、NVMe 存储、网卡(ConnectX-7/8 InfiniBand 或 BlueField DPU)、电源模块及风冷/液冷方案。主要厂商:Super Micro Computer(超微)、Dell Technologies、Hewlett Packard Enterprise(HPE)、Lenovo、GIGABYTE、ASUS、Inventec、Quanta 等。
- 云服务商(CSP)与大型企业 采购整机服务器用于部署:
- AWS P4d/P4de(A100 HGX 基板)、P5(H100 HGX 基板),据 AWS 公开资料;
- Google Cloud A3 实例(H100 HGX 基板),据 Google Cloud 公开文档;
- Microsoft Azure NDm A100 v4 / ND H100 v5 实例;
- Oracle Cloud Infrastructure BM.GPU 系列。
- 大型 AI 实验室和科技公司(如 OpenAI、Meta、xAI、Anthropic)自建集群时,直接与 NVIDIA 及 OEM 签订三方协议,构建基于 HGX 的 SuperPOD 或定制集群。据 SemiAnalysis 2024 年 9 月报告,Meta 在 2024 年的 H100 等效采购量超过 15 万张(主要为 HGX 基板形式),是该年度最大单一买家之一。
受益公司
以下根据公开年报、出货数据及研究机构估算整理,仅描述业务关联,不构成投资判断。
- NVIDIA(NVDA):直接销售 HGX 基板及配套 GPU、NVSwitch、网卡。数据中心业务收入(据 FY2025 Q3 财报,2024 年 10 月披露,当季营收 308 亿美元,其中计算与网络业务约 276 亿美元)高度依赖 HGX/DGX 套件出货量,是该业务板块的主力驱动力。
- 台积电(TSMC / 2330.TW):独家提供先进封装(CoWoS)及 GPU 芯片代工。据台积电 2024 年 Q4 法说会,高性能计算(HPC)板块已占总营收的 53%,AI 相关营收同比增长超两倍。
- SK 海力士(000660.KS):HBM 主力供应商,据公司 2024 年 Q4 财报,HBM 业务营收同比增长超 4 倍。三星电子(005930.KS)和美光(MU)同为受益方,但份额和确收节奏各异。
- OEM 服务器厂商:
- Super Micro Computer(SMCI):与 NVIDIA 发布节奏紧密配合,据公司 FY2025 Q1(2024 年 9 月财季)财报,营收 59.9 亿美元(同比 +181%),AI GPU 平台(含 HGX 整机)为增长主要驱动。公司在液冷方案上布局较早,在 HGX 高功耗代际的份额持续受益。
- Dell Technologies(DELL):据公司 FY2025 Q2(2024 年 8 月季度)财报,AI 服务器出货当季约 31 亿美元,积压订单超 45 亿美元,HGX 整机为重要构成。
- HPE(HPE):据 FY2024 Q4 财报,AI 系统营收同比增长超 100%,其中 HGX 基板相关整机为主要增量。
- 散热方案商:液冷需求因 B200 代际功耗大幅增长而快速扩大。受益方包括 Vertiv(VRT)、Cooler Master(未上市)、Boyd Corporation(未上市)等。
- ODM/白牌组装商:广达(Quanta)、英业达(Inventec)、纬创(Wistron)等台系 ODM 为云服务商定制基于 HGX 的整机,据各公司月度营收公告,AI 服务器相关营收占比在过去 12 个月持续提升。
- 投资于 HGX 集群的云厂商:微软(MSFT)、亚马逊(AMZN)、谷歌(GOOGL)、甲骨文(ORCL)需大量资本开支采购 HGX 服务器。据各公司 2024 年 Q4/2025 年 Q1 财报电话会,四家云厂商 2025 年合计资本支出指引超过 3000 亿美元(口径含数据中心基建及服务器),HGX 平台服务器为其中重要采购部分。
市场规模
整体 AI 服务器市场中的 HGX 份额
- 据 IDC 2024 年 12 月公开摘要(Worldwide Quarterly Server Tracker),2024 年第三季度全球服务器支出中,AI 服务器(含 GPU 加速器)占比已超 30%,同比增长超 80%。
- 另据 TrendForce 2024 年 8 月报告,预估 2024 年全球 AI 服务器出货量约 167 万台(含 HGX、PCIe 卡、ASIC 方案等所有 GPU 加速服务器),其中搭载 NVIDIA GPU 的方案(HGX + PCIe 卡 + DGX 整机)占比超过 75%。
- 具体到 HGX 基板口径:Omdia 2024 年 11 月估算,NVIDIA 在数据中心 GPU 基板(含 HGX 和较小规模的 4-GPU 板等)市场 2024 年全年营收约 830 亿美元,同比增长约 136%。(数据口径含 NVIDIA 整个计算 GPU 基板/模组收入,不单独拆分 HGX)。
- HGX 平台的独占性定价权使其板均售价(ASP)极高。以 H100 HGX 8-GPU 基板为例,据第三方渠道拆解(参考 ServeTheHome 2023 年 12 月报告及 John Peddie Research 估算),含 8 颗 H100 SXM 的基板在 2024 年中的 OEM 批发价约在 20-28 万美元区间(视采购规模和配套条件浮动);B200 HGX 据估算(如 SemiAnalysis 2024 年 6 月)ASP 将超过 35 万美元。注意:具体价格为企业间保密商业条款,以上为第三方估算区间,非 NVIDIA 或 OEM 官方报价。
量价拆分逻辑
HGX 市场规模 = HGX 基板出货量 × ASP。关键变量:
- 出货量上限受 CoWoS 产能约束:台积电 CoWoS 月产能决定 GPU 裸片+HBM 的合封产出,是目前最核心的供给梗阻点。
- ASP 随代际升级大幅跃迁:每次架构升级(如 H100→B200),单基板集成价值量均显著提升。
- 需求端:模型尺寸持续膨胀:从 GPT-4 的约 1.8 万亿(MoE 结构)到未来更大规模模型,训练集群需求仍在扩张,HGX 基板的需求增速短期内高于供给增速。
玩家对比
NVIDIA HGX 全互联基板 vs. AMD Instinct 8-GPU 方案
| 维度 | NVIDIA HGX(H100/H200/B200) | AMD Instinct 平台(MI300X) |
|---|---|---|
| GPU 互联方案 | NVSwitch 全互联,单 GPU 总双向带宽 900 GB/s(H100)至 1800 GB/s(B200) | Infinity Fabric 全互联,单 GPU 互联带宽 896 GB/s(MI300X,PCIe 5.0 x16 另计) |
| 单 GPU 显存 | H200:141GB HBM3e;B200:192GB HBM3e | 192GB HBM3(MI300X) |
| 8 GPU 总显存池 | H200 1,128GB;B200 1,536GB | 1,536GB |
| 软件生态 | CUDA + NCCL,成熟度极高,覆盖几乎所有主流框架 | ROCm + RCCL,2024 年后加速追赶,PyTorch/TensorFlow 原生支持度提升 |
| 量产与可用性 | 主流云厂商均有实例可用,OEM 整机 SKU 丰富 | 2024 年 Q4 起在 Azure、Oracle Cloud 有实例,OEM 选型少于 HGX |
| 市场份额(2024E) | 据 Mercury Research / JPR 估算,数据中心 GPU 领域超过 90% | 个位数,同比快速增长,但基数极低 |
HGX 基板内部代际结构
- 2024 年主力出货:H100 HGX + H200 HGX(后者 2024 年下半年起量)。
- 2025 年过渡:B200 HGX 预计 Q2 起量,H100 相关基板逐步减产但不立刻退市,仍满足存量集群扩容需求。
- 需注意:B200 代际的 GB200 超级芯片(Grace CPU + B200 GPU 通过 NVLink-C2C 整合)不使用标准 HGX 基板,其 Compute Tray 采用新型竖装设计,构成独立的算力砖块形态,与 HGX 产品线分属不同构建范式。GB200 NVL72 机柜在 2025 年 GTC 大会上作为下一代集群方案被重点介绍,占用独立市场讨论。
风险
- 供应链集中与产能瓶颈:HBM 和 CoWoS 先进封装的产能高度集中于少数供应商(台积电、SK 海力士、三星),任一大规模地缘、灾害事件或技术延迟均可能打断 HGX 出货节奏。
- 云厂商自研替代:谷歌 TPU(v5p/v6)、亚马逊 Trainium2、微软 Maia 100 等在内部工作负载上逐步扩大部署。虽然截至 2025 年 Q2,这些自研方案在通用性、互连带宽和软件生态方面仍与 HGX 存在显著差距,但大型 CSP 的战略是降低对单一供应商的依赖,长期来看可能侵蚀 HGX 的部分可替代工作负载需求。
- 功耗与散热挑战:B200 HGX 整板 TDP 进入 8-10 kW 区间,对数据中心供电和散热提出极端要求。若液冷基础设施部署速度跟不上 GPU 升级节奏,可能限制部分传统数据中心的采购意愿,延缓 HGX 最新代际的渗透速度。
- 技术标准竞争:UALink 联盟(2024 年 5 月由 AMD、博通、思科、谷歌、HPE、英特尔、Meta、微软等共同宣布)旨在推动开放 GPU 互联标准,虽尚处早期(1.0 规范预计 2025 年内发布),但长期可能削弱 NVSwitch 专有架构的锁定效应。公开资料未见 UALink 有实际量产芯片时间表。
- 出口管制:美国对华 GPU 出口管制政策(2022 年 10 月、2023 年 10 月多次升级)限制高端 HGX 基板(H100/H200/B200)向中国直接出口,NVIDIA 虽推出合规版本(H20 等),但其张量互联带宽和 NVLink 规格被大幅调降,相关产品的市场竞争力和收入贡献受限。同时,管制政策若有进一步调整,可能影响全球 HGX 市场供需重构。
- 代际切换阶段性扰动:B200 HGX 爬坡初期良率可能偏低,OEM 整机验证周期较长,可能导致 2025 年部分季度业绩波动。同时 H100/H200 渠道库存消化节奏也是影响短期业绩的常见因素(参考 NVIDIA FY2025 Q2 至 Q3 电话会讨论)。
误读纠偏
误读 1:“8 张 GPU 的服务器就是 HGX”
市面上存在大量 PCIe Gen4/Gen5 8 卡服务器,它们通过 PCIe Switch 扩展了卡槽数量,但 GPU 之间通信须经过 PCIe Switch 总线,拓扑为非全互联树形,部分卡间通信需 CPU 中转,无法实现 HGX 式的全非阻塞通信。严格意义上的 HGX 指搭载 NVSwitch 的 SXM 基板全互联方案。据 NVIDIA 产品定义,非 NVSwitch 的全 PCIe 方案归入“GPU 直插系统”类别,不称 HGX。
误读 2:“HGX 只能配 Intel CPU”
历史上多数 HGX 整机搭配双路 Intel Xeon(如 Emerald Rapids/Sapphire Rapids),但并非绑定。HGX 基板对外通过 PCIe 接口与 CPU 通信,可与 AMD EPYC(如 Genoa/Turin)搭配。实际上,部分超微 H100 HGX 机型已提供 AMD EPYC 选项。而 Grace-Hopper(GH200)及后续 GB200 超级芯片使用 NVLink-C2C 直连 CPU 与 GPU,完全不同于标准 HGX 基板的 8-GPU 全互联方案,属于不同产品形态,不可混同。
误读 3:“HGX 显存容量直接加起来就是可用的总显存”
尽管总物理显存为 8 卡 HBM 容量之和(如 H200 HGX 为 1,128GB),但跨卡访问存在延迟梯度(较本地 HBM 增约 1-2 微秒级)与有效带宽差异,且 CUDA 程序不能简单将之视为一块平坦的大显存。实际使用中需通过模型并行策略(张量并行、流水线并行等)将模型逐层切割,每张 GPU 加载不同部分,再利用 NVLink 高速通信掩盖跨卡访存延迟。直接跨卡显存寻址虽在硬件上支持(Direct Store/Load),但性能敏感应用仍需显式编程优化。
误读 4:“液冷是可选项,H100 风冷完全够用”
对于 H100 HGX 基板,虽然风冷在部分 OEM 设计中可行,但需要在机箱内维持极高的风量(典型超微风冷 H100 机型使用超过 12 颗对旋风扇),噪音和气流设计挑战显著。到了 B200 代际,风冷已基本被多数 OEM 排除出推荐配置,液冷(直连式单相或两相)成为默认方案。评估 HGX 代际切换时,应将液冷基础设施的配套成本与周期纳入考量。
最新事件
(截至 2025 年 Q2 初,根据公开报道和公司公告)
- GTC 2025(2025 年 3 月):NVIDIA 发布 Blackwell Ultra(B300)及 Vera Rubin 路线图更新。B300 HGX 预计 2025 年下半年推出,NVLink 带宽和显存容量较 B200 再次翻倍;Rubin 平台(2026 年)将启用全新架构及 NVLink 6。此次大会确认 GB200 NVL72 及 B200 HGX 均于 2025 年上半年开始向客户出货。
- Meta 公布 Llama 4 训练集群(2025 年 2 月):据 Meta AI 官方博客,其 Llama 4 模型使用超过 10 万张 H100 构建的训练集群(主要为 HGX H100),并计划在 2025 年内将集群扩展至 30 万张以上,可能部分接入 B200。
- xAI 孟菲斯集群扩容(2024 年 12 月 - 2025 年 1 月):据公开报道,xAI 在田纳西州孟菲斯的 Colossus 训练集群初始部署 10 万张 H100,并在 2024 年底至 2025 年初进行扩容,部分加入 H200 节点。
- DeepSeek V3 训练细节公开(2024 年 12 月):DeepSeek 公开其 V3 模型训练使用了 2048 块 H800 GPU(NVLink 域为每组 8 卡,应为 HGX 基板的合规变体),引发行业对“HGX 在受限芯片条件下是否仍具效率优势”的关注。据其论文,训练过程中 NVLink 全互联的 8 卡域内通信能力仍是效率关键支撑。
- 台积电宣布 CoWoS 产能再扩计划(2025 年 1 月法说会):台积电 2024 年 Q4 法说会确认 2025 年 CoWoS 产能将较 2024 年翻倍以上,2026 年继续大幅扩张,部分缓解 HGX 基板产能瓶颈。
- 美国对华芯片管制新规讨论(2025 年初):据报道,美国政府酝酿进一步收紧出口管制,可能限制 H20 等中国特供版芯片的销售,但截至 2025 年 4 月尚未正式实施。该不确定性影响 HGX 合规变体在亚太地区的供应链计划。
跟踪指标
投资者和行业观察者可定期关注以下数据来源与指标,以评估 HGX 平台及相关产业链的动态:
| 跟踪维度 | 具体指标 | 建议来源与频率 |
|---|---|---|
| 台积电先进封装产能 | CoWoS 月产能及扩产进度 | 台积电季度法说会、供应链媒体报道 |
| HBM 供应与价格 | HBM3/HBM3e 季度出货量、供应商份额变动 | TrendForce/集邦咨询季度存储报告、SK 海力士/三星/美光季报 |
| NVIDIA 数据中心营收 | 季度数据中心营收及环比增速、下季度指引 | NVIDIA 季度财报(FY2026 Q1 预计 2025 年 5 月发布) |
| 云厂商 CAPEX | 微软/亚马逊/谷歌/Meta 季度资本支出及全年指引 | 各公司季度财报电话会 |
| OEM AI 服务器出货 | 超微/戴尔/HPE AI 相关营收及积压订单 | 各公司季度财报 |
| HGX 代际切换信号 | B200 公开客户部署案例、H100 渠道降价/库存动态 | 行业媒体报道(如 ServeTheHome、The Next Platform)、渠道调研 |
| 大模型训练规模 | 重要模型(如 Llama 4、GPT-5)公开的训练集群规模 | 各实验室官方技术博客/论文 |
| 竞品进度 | AMD Instinct MI300X/MI400 客户部署更新、Intel Gaudi 3 进度 | 各公司官方发布、行业会议(Hot Chips/ISSCC) |
| 管制政策 | 美国商务部 BIS 对华芯片出口管制最新名单和参数阈值 | 美国联邦公报、主流科技媒体 |
| 散热供应链 | 液冷方案在新建数据中心的渗透率 | 行业研究报告(如 Vertiv/Uptime Institute 调查)、数据中心建设公告 |
信源
本页面信息综合自以下来源,截至 2025 年 Q2:
- NVIDIA 官方:HGX 产品页面、各代 GPU 架构白皮书(A100、H100、H200、B200)、GTC 2023/2024/2025 主题演讲及技术专场
- NVIDIA 季度财报及电话会议记录(FY2024 Q1~FY2025 Q4)
- 台积电季度法说会记录(2024 Q1~2024 Q4)
- IDC Worldwide Quarterly Server Tracker(公开摘要)
- TrendForce 存储与服务器报告(2024 Q3~Q4)
- Omdia Cloud & Data Center Market Insights(2024 年 11 月)
- SemiAnalysis 行业分析报告(2024 年系列)
- John Peddie Research GPU 市场追踪
- ServeTheHome / The Next Platform 技术拆解与渠道报道
- SK 海力士、三星电子、美光季度财报及投资者演示
- Super Micro Computer、Dell Technologies、HPE 季度财报及电话会议
- 主要云服务商(AWS、微软 Azure、谷歌云、Oracle Cloud)公开实例文档
- DeepSeek V3 技术报告(2024 年 12 月)
- Meta AI、xAI 等公开博客与报道
- 美国联邦公报及主流科技媒体对出口管制政策的报道
部分数据为第三方估算区间(已在文中标注),未经 NVIDIA 或 OEM 官方确认,仅供参考。
一句话总结
NVIDIA HGX 平台是 AI 大模型时代服务器内部 Scale-up 网络的工业标准,通过 NVSwitch 非阻塞全互联将 8 颗 GPU 融合为一个超强加速器基板,定义了超大规模训练的单节点范式。从 2020 年的 A100 到 2025 年的 B200,HGX 的 NVLink 总带宽从 4.8 TB/s 跃升至 14.4 TB/s,持续推高单节点算力密度,并深度绑定台积电 CoWoS、HBM 及液冷生态,成为全球 AI 基础设施投资的核心观察载体。