网络层 开放阅读

HGX 平台

NVIDIA HGX

概念 ID
nvidia-hgx
更新时间
2026-05-29
来源数量
待补

HGX 平台

3 秒看懂

NVIDIA HGX 是一块高度集成的 AI 计算基板,它将多颗高端 GPU 通过 NVLink + NVSwitch 全互联,形成一个“类单一大 GPU”的加速器模组,专为数据中心的大模型训练和高吞吐推理设计。它不是一台完整的服务器,而是提供给 OEM 厂商集成的核心算力砖块。截至 2025 年 Q2,HGX 平台已迭代至 Blackwell 代际(B200/B100),单板 NVLink 总带宽突破 14 TB/s,是当前万亿参数模型训练的事实标准基板。

3 分钟产业解释

如果把构建 AI 集群比喻成盖楼,HGX 就是预制好的重型承重墙——它把 8 个 GPU、高速互联通路以及供电散热框架提前封装成一个标准化算力单元。服务器厂商(如超微、戴尔、联想)只需加上 CPU、内存、存储和网络,就能制造出一台 8 卡 AI 服务器。这和消费者买到的单张显卡插主板的模式完全不同。

  • HGX vs DGX:DGX 是 NVIDIA 的品牌整机(包含 CPU、系统盘、Infiniband 网卡等),开箱即用;HGX 则是供 OEM 伙伴使用的 GPU 基板子系统。DGX 内部搭载的同样是 HGX 基板,两者是整体与核心部件的关系。以 DGX H100 为例,其内部即集成了一块 HGX H100 8-GPU 基板。
  • 产业地位:当前主流大模型训练(如 GPT-4、Llama 3、Gemini 系列)几乎全部依赖 HGX 平台提供的超高 GPU 间互连带宽。据 SemiAnalysis 2024 年报告估算,全球头部 AI 训练集群中 HGX 或等效 NVSwitch 全互联方案的渗透率超过 90%。如果说 GPU 芯片是燃料,HGX 就是发动机总成,直接决定万亿参数模型能否在合理时间内完成一次迭代。

技术原理

为什么全互联如此关键——NVSwitch 的非阻塞魔法

传统多 GPU 方案(如直插 8 张 PCIe 卡)需要经过 PCIe 交换机,或在 GPU 之间使用点对点桥接,无法同时让所有 GPU 两两高速通信。大模型张量并行、流水线并行中的 AllReduce 和 ReduceScatter 操作,是典型的“所有人跟所有人说话”模式。据 NVIDIA 公开技术资料,若使用 PCIe 树形拓扑进行千亿参数模型训练,GPU 利用率可能因通信瓶颈降至 50% 以下。

HGX 借助 NVSwitch 实现无收敛全互联。以电话交换机为喻:多台 NVSwitch 各自拥有多个端口,每个端口连接一块 GPU。当 GPU0 向 GPU3 发送数据时,会占用一条内部通道,但这条通道不会阻塞 GPU1 和 GPU2 之间同时进行的通信。因此,8 块 GPU 同时执行全双工通信时,单片 GPU 可独享其对外全带宽(例如 H100 的 NVLink 4.0,单 GPU 总带宽 900 GB/s),整板总带宽为单 GPU 对外带宽 × 8,而非被共享总线切分。

逻辑拓扑示意(简化呈现,非实际物理连线):

[GPU0] ——— NVSwitch0 ——— [GPU1]
  |           |||           |
  |—— NVSwitch1 —— NVSwitch2 ——|
  |           |||           |
[GPU2] ——— NVSwitch3 ——— [GPU3]
  ... (扩展至 8 GPU,4 颗 NVSwitch 提供全通路)

对于 H100/H200 代际,4 颗 NVSwitch 芯片各提供多个高速端口,交叉连接至 8 颗 GPU,保证了任意两 GPU 间均独占双向链路。配合 NVIDIA 的 NCCL 通信库,开发者无需感知底层拓扑即可获得近乎线性的多卡扩展效率。

存储与计算解耦

HGX 板上的 GPU 拥有统一的大容量高带宽显存池(HBM)。虽然物理上每颗 GPU 独占其堆叠的 HBM,但通过 NVLink 的跨卡直接内存访问(Direct Load/Store)以及 CUDA UVM(统一虚拟内存)等软件抽象,编程视角上常呈现近似共享内存的视图,显著降低了显存墙对模型尺寸的限制。例如,在 A100 80GB SXM 代际,8 卡总物理显存 640GB,通过 NVLink 连接可支持跨卡访问,为模型并行策略提供了重要硬件基础。

关键参数

以下参数基于 NVIDIA 各代官方架构白皮书、产品规格表及 GTC 技术演讲整理,标注对应代际与来源。

参数项A100 HGXH100 HGXH200 HGXB200 HGX
GPU 型号A100 SXM 80GBH100 SXM 80GBH200 SXM 141GBB200 SXM
单板 GPU 数量8888
NVSwitch 芯片数6444 (架构升级)
NVLink 代际第 3 代第 4 代第 4 代第 5 代
单 GPU 双向带宽600 GB/s900 GB/s900 GB/s1,800 GB/s
整板 NVLink 总带宽4.8 TB/s7.2 TB/s7.2 TB/s14.4 TB/s
单 GPU HBM 容量80GB (HBM2e)80GB (HBM3)141GB (HBM3e)192GB (HBM3e)
整板总显存池640GB640GB1,128GB1,536GB
整板典型 TDP~ 4-5 kW (风冷)~ 5-7 kW (风冷/液冷)~ 7-8 kW~ 8-10 kW (液冷优先)
外形规格HGX A100 BaseboardHGX H100 Baseboard兼容 H100 基板新一代基板设计
发布时间 (公开)2020 年 5 月2022 年 3 月2023 年 11 月2024 年 3 月 (GTC)

数据来源:NVIDIA A100/H100/H200/B200 产品规格页及各代白皮书(截至 2025 年 Q2),功耗为典型板级 TDP 范围,具体数值因 OEM 系统设计差异有所浮动。B200 部分指标为 GTC 2024 披露的预发布规格。

补充指标说明

  • NVLink 总带宽:指 8 颗 GPU 同时全双工通信的理论聚合带宽,数值 = 单 GPU NVLink 双向带宽 × 8。该指标直接决定 AllReduce 操作的延迟下限。
  • 显存池 ≠ 可直接编程的单一显存空间:跨卡访问存在延迟梯度(相比本地 HBM 增加约 1-2 微秒),需模型并行策略配合,后文“误读纠偏”会详细说明。
  • 散热设计:自 H100 代际起,液冷成为推荐散热方案;B200 代际因整板功耗进一步提升,多数 OEM 默认搭配液冷或定制风冷方案出货。

技术路线

HGX 各代际演进

根据 NVIDIA 公开产品路线图及 GTC 历年演讲整理。

  • HGX-1(Volta 代际,2017-2018):搭载 V100 SXM2/SXM3,首次引入 NVSwitch,实现 8 GPU 全互联架构。相对于前代 Pascal 的立方网格点对点拓扑,是质的飞跃。奠定“8 SXM + NVSwitch”行业范式。
  • HGX-2(Volta 代际延伸,2018):同样基于 V100,容纳更大显存(32GB HBM2),为云实例场景提供更大内存池配置。该代际尚未支持 MIG(多实例 GPU)硬件分区,MIG 从 A100 代际引入。
  • HGX A100(Ampere 代际,2020):搭载 A100 Tensor Core GPU,NVSwitch 升级至第三代,NVLink 单 GPU 双向带宽 600 GB/s。首次引入 MIG 多实例 GPU 技术,单卡可切分为至多 7 个独立实例,提升云化部署灵活性。该基板成为 GPT-3 等千亿参数模型训练的主力平台。
  • HGX H100(Hopper 代际,2022):搭载 H100 GPU,NVSwitch 升级至第四代、NVLink 单 GPU 双向带宽 900 GB/s。引入 FP8 Transformer Engine,显著提升大模型训练吞吐(据 NVIDIA 官方,较 A100 训练吞吐提升至多 9 倍,推理吞吐提升至多 30 倍,含稀疏计算加速)。
  • HGX H200(Hopper 代际延伸,2023-2024):GPU 芯片基本不变,HBM 升级至 HBM3e,单卡显存从 80GB 提升至 141GB,总显存池 1,128GB。据 NVIDIA 官方,在 Llama 2 70B 推理场景中,H200 相较 H100 性能提升约 1.4-1.9 倍,主要受益于更大的显存和更高的 HBM 带宽(4.8 TB/s 每卡)。该基板在物理上兼容 H100 基板设计,OEM 厂商可平滑升级。
  • HGX B200/B100(Blackwell 代际,2024 发布,2025 量产出货):搭载 B200 GPU,NVLink 升级至第五代,单 GPU 双向带宽 1,800 GB/s,整板总带宽 14.4 TB/s。支持 FP4 精度,进一步加速大模型推理。该代际引入与 Grace CPU 通过 NVLink-C2C 组成 GB200 超级芯片的选项,但 GB200 本身不使用标准 HGX 基板,属于不同形态的构建单元。

路线对比:HGX vs PCIe 插卡 vs AMD Instinct 同类方案

对比维度HGX 基板(SXM + NVSwitch)PCIe 插卡服务器AMD Instinct 8-GPU OEM 方案
GPU 互联拓扑无收敛全互联,各代均为 8 GPU 对等通过 PCIe Switch,形成非对等树形拓扑,部分路径需 CPU 中转Infinity Fabric 全互联,设计理念类似,物理层基于定制互联
互连带宽有效性每对 GPU 独占全双工链路,AllReduce 无阻塞总带宽受 PCIe Switch 上联瓶颈,多卡通信易拥塞与 HGX 同级别,据 AMD 公开数据 MI300X 平台单 GPU 互联带宽 896 GB/s
软件生态NCCL 深度优化,CUDA 生态成熟度极高需手工调优拓扑偏移,大模型训练效率显著低于 HGXROCm + RCCL,成熟度持续追赶,2024 年后在 Llama/Stable Diffusion 等主流模型上适配加速
供电与散热SXM mezzanine 直连主板,供电能力强,适合液冷受 PCIe 插槽供电规范约束(单卡上限通常 300W-450W),高功耗 GPU 受限类似 SXM 基板设计,面向高功耗场景(MI300X 单卡 TDP 750W)
主要场景万亿参数大模型训练、高并发批量推理中小模型微调、企业推理、科学计算同 HGX 场景,头部云厂商和超算中心

说明:PCIe 插卡方案中,2024 年后部分主板采用 PCIe Gen5 双宽/双高设计,但仍无法解决 GPU 间非全互联的根本瓶颈。AMD MI300X 平台从 2024 年起获得更多 OEM 支持,截至 2025 年 Q2,市场份额仍极低(公开资料未见权威第三方份额数据)。

上游

HGX 基板的制造涉及多层供应链,核心环节如下:

  • GPU 计算芯片设计:NVIDIA 独家设计,无替代供应方。
  • HBM 高带宽存储器:由 SK 海力士、三星电子、美光供应。据 TrendForce 2024 年 Q4 报告,SK 海力士在 HBM3/HBM3e 代际占据约 50% 市场份额,三星约 40%,美光快速追赶至约 10%。HBM 供应短缺是全行业性瓶颈。
  • NVSwitch 交换芯片:NVIDIA 自研,由台积电代工。
  • 先进封装(CoWoS):台积电 CoWoS-S/L/R 封装方案将 GPU 芯片与 HBM 堆栈合封。据台积电 2024 年 Q4 法说会,CoWoS 产能 2024 年月产约 3.5 万片(12 英寸等效),2025 年规划扩至约 5.5-6 万片,仍供不应求。CoWoS 产能是 HGX 出货量的核心硬约束。
  • 高速 PCB 板材与基板:多层高密度 PCB 由台湾、日本、中国大陆供应商提供,高端 ABF 载板由欣兴、Ibiden 等供应。
  • 板端电源管理(PMIC/VRM):MPS、Infineon、瑞萨等,需满足数千瓦整板功耗的动态供电稳定性要求。
  • 散热组件:液冷冷板、歧管、CDU 由 Cooler Master、Boyd Corporation、Vertiv 等供应,风冷散热器由多家参与。

下游

HGX 基板流向的典型路径为:

  1. NVIDIA 设计并认证 HGX 基板,将基板作为准系统级组件出售给 OEM 厂商。
  2. OEM 服务器厂商 基于 HGX 基板设计整机服务器,加入 CPU(多数为双路 Intel Xeon 或 AMD EPYC)、系统内存、NVMe 存储、网卡(ConnectX-7/8 InfiniBand 或 BlueField DPU)、电源模块及风冷/液冷方案。主要厂商:Super Micro Computer(超微)、Dell Technologies、Hewlett Packard Enterprise(HPE)、Lenovo、GIGABYTE、ASUS、Inventec、Quanta 等。
  3. 云服务商(CSP)与大型企业 采购整机服务器用于部署:
    • AWS P4d/P4de(A100 HGX 基板)、P5(H100 HGX 基板),据 AWS 公开资料;
    • Google Cloud A3 实例(H100 HGX 基板),据 Google Cloud 公开文档;
    • Microsoft Azure NDm A100 v4 / ND H100 v5 实例;
    • Oracle Cloud Infrastructure BM.GPU 系列。
  4. 大型 AI 实验室和科技公司(如 OpenAI、Meta、xAI、Anthropic)自建集群时,直接与 NVIDIA 及 OEM 签订三方协议,构建基于 HGX 的 SuperPOD 或定制集群。据 SemiAnalysis 2024 年 9 月报告,Meta 在 2024 年的 H100 等效采购量超过 15 万张(主要为 HGX 基板形式),是该年度最大单一买家之一。

受益公司

以下根据公开年报、出货数据及研究机构估算整理,仅描述业务关联,不构成投资判断。

  • NVIDIA(NVDA):直接销售 HGX 基板及配套 GPU、NVSwitch、网卡。数据中心业务收入(据 FY2025 Q3 财报,2024 年 10 月披露,当季营收 308 亿美元,其中计算与网络业务约 276 亿美元)高度依赖 HGX/DGX 套件出货量,是该业务板块的主力驱动力。
  • 台积电(TSMC / 2330.TW):独家提供先进封装(CoWoS)及 GPU 芯片代工。据台积电 2024 年 Q4 法说会,高性能计算(HPC)板块已占总营收的 53%,AI 相关营收同比增长超两倍。
  • SK 海力士(000660.KS):HBM 主力供应商,据公司 2024 年 Q4 财报,HBM 业务营收同比增长超 4 倍。三星电子(005930.KS)和美光(MU)同为受益方,但份额和确收节奏各异。
  • OEM 服务器厂商
    • Super Micro Computer(SMCI):与 NVIDIA 发布节奏紧密配合,据公司 FY2025 Q1(2024 年 9 月财季)财报,营收 59.9 亿美元(同比 +181%),AI GPU 平台(含 HGX 整机)为增长主要驱动。公司在液冷方案上布局较早,在 HGX 高功耗代际的份额持续受益。
    • Dell Technologies(DELL):据公司 FY2025 Q2(2024 年 8 月季度)财报,AI 服务器出货当季约 31 亿美元,积压订单超 45 亿美元,HGX 整机为重要构成。
    • HPE(HPE):据 FY2024 Q4 财报,AI 系统营收同比增长超 100%,其中 HGX 基板相关整机为主要增量。
  • 散热方案商:液冷需求因 B200 代际功耗大幅增长而快速扩大。受益方包括 Vertiv(VRT)、Cooler Master(未上市)、Boyd Corporation(未上市)等。
  • ODM/白牌组装商:广达(Quanta)、英业达(Inventec)、纬创(Wistron)等台系 ODM 为云服务商定制基于 HGX 的整机,据各公司月度营收公告,AI 服务器相关营收占比在过去 12 个月持续提升。
  • 投资于 HGX 集群的云厂商:微软(MSFT)、亚马逊(AMZN)、谷歌(GOOGL)、甲骨文(ORCL)需大量资本开支采购 HGX 服务器。据各公司 2024 年 Q4/2025 年 Q1 财报电话会,四家云厂商 2025 年合计资本支出指引超过 3000 亿美元(口径含数据中心基建及服务器),HGX 平台服务器为其中重要采购部分。

市场规模

整体 AI 服务器市场中的 HGX 份额

  • 据 IDC 2024 年 12 月公开摘要(Worldwide Quarterly Server Tracker),2024 年第三季度全球服务器支出中,AI 服务器(含 GPU 加速器)占比已超 30%,同比增长超 80%。
  • 另据 TrendForce 2024 年 8 月报告,预估 2024 年全球 AI 服务器出货量约 167 万台(含 HGX、PCIe 卡、ASIC 方案等所有 GPU 加速服务器),其中搭载 NVIDIA GPU 的方案(HGX + PCIe 卡 + DGX 整机)占比超过 75%。
  • 具体到 HGX 基板口径:Omdia 2024 年 11 月估算,NVIDIA 在数据中心 GPU 基板(含 HGX 和较小规模的 4-GPU 板等)市场 2024 年全年营收约 830 亿美元,同比增长约 136%。(数据口径含 NVIDIA 整个计算 GPU 基板/模组收入,不单独拆分 HGX)。
  • HGX 平台的独占性定价权使其板均售价(ASP)极高。以 H100 HGX 8-GPU 基板为例,据第三方渠道拆解(参考 ServeTheHome 2023 年 12 月报告及 John Peddie Research 估算),含 8 颗 H100 SXM 的基板在 2024 年中的 OEM 批发价约在 20-28 万美元区间(视采购规模和配套条件浮动);B200 HGX 据估算(如 SemiAnalysis 2024 年 6 月)ASP 将超过 35 万美元。注意:具体价格为企业间保密商业条款,以上为第三方估算区间,非 NVIDIA 或 OEM 官方报价。

量价拆分逻辑

HGX 市场规模 = HGX 基板出货量 × ASP。关键变量:

  • 出货量上限受 CoWoS 产能约束:台积电 CoWoS 月产能决定 GPU 裸片+HBM 的合封产出,是目前最核心的供给梗阻点。
  • ASP 随代际升级大幅跃迁:每次架构升级(如 H100→B200),单基板集成价值量均显著提升。
  • 需求端:模型尺寸持续膨胀:从 GPT-4 的约 1.8 万亿(MoE 结构)到未来更大规模模型,训练集群需求仍在扩张,HGX 基板的需求增速短期内高于供给增速。

玩家对比

NVIDIA HGX 全互联基板 vs. AMD Instinct 8-GPU 方案

维度NVIDIA HGX(H100/H200/B200)AMD Instinct 平台(MI300X)
GPU 互联方案NVSwitch 全互联,单 GPU 总双向带宽 900 GB/s(H100)至 1800 GB/s(B200)Infinity Fabric 全互联,单 GPU 互联带宽 896 GB/s(MI300X,PCIe 5.0 x16 另计)
单 GPU 显存H200:141GB HBM3e;B200:192GB HBM3e192GB HBM3(MI300X)
8 GPU 总显存池H200 1,128GB;B200 1,536GB1,536GB
软件生态CUDA + NCCL,成熟度极高,覆盖几乎所有主流框架ROCm + RCCL,2024 年后加速追赶,PyTorch/TensorFlow 原生支持度提升
量产与可用性主流云厂商均有实例可用,OEM 整机 SKU 丰富2024 年 Q4 起在 Azure、Oracle Cloud 有实例,OEM 选型少于 HGX
市场份额(2024E)据 Mercury Research / JPR 估算,数据中心 GPU 领域超过 90%个位数,同比快速增长,但基数极低

HGX 基板内部代际结构

  • 2024 年主力出货:H100 HGX + H200 HGX(后者 2024 年下半年起量)。
  • 2025 年过渡:B200 HGX 预计 Q2 起量,H100 相关基板逐步减产但不立刻退市,仍满足存量集群扩容需求。
  • 需注意:B200 代际的 GB200 超级芯片(Grace CPU + B200 GPU 通过 NVLink-C2C 整合)不使用标准 HGX 基板,其 Compute Tray 采用新型竖装设计,构成独立的算力砖块形态,与 HGX 产品线分属不同构建范式。GB200 NVL72 机柜在 2025 年 GTC 大会上作为下一代集群方案被重点介绍,占用独立市场讨论。

风险

  • 供应链集中与产能瓶颈:HBM 和 CoWoS 先进封装的产能高度集中于少数供应商(台积电、SK 海力士、三星),任一大规模地缘、灾害事件或技术延迟均可能打断 HGX 出货节奏。
  • 云厂商自研替代:谷歌 TPU(v5p/v6)、亚马逊 Trainium2、微软 Maia 100 等在内部工作负载上逐步扩大部署。虽然截至 2025 年 Q2,这些自研方案在通用性、互连带宽和软件生态方面仍与 HGX 存在显著差距,但大型 CSP 的战略是降低对单一供应商的依赖,长期来看可能侵蚀 HGX 的部分可替代工作负载需求。
  • 功耗与散热挑战:B200 HGX 整板 TDP 进入 8-10 kW 区间,对数据中心供电和散热提出极端要求。若液冷基础设施部署速度跟不上 GPU 升级节奏,可能限制部分传统数据中心的采购意愿,延缓 HGX 最新代际的渗透速度。
  • 技术标准竞争:UALink 联盟(2024 年 5 月由 AMD、博通、思科、谷歌、HPE、英特尔、Meta、微软等共同宣布)旨在推动开放 GPU 互联标准,虽尚处早期(1.0 规范预计 2025 年内发布),但长期可能削弱 NVSwitch 专有架构的锁定效应。公开资料未见 UALink 有实际量产芯片时间表。
  • 出口管制:美国对华 GPU 出口管制政策(2022 年 10 月、2023 年 10 月多次升级)限制高端 HGX 基板(H100/H200/B200)向中国直接出口,NVIDIA 虽推出合规版本(H20 等),但其张量互联带宽和 NVLink 规格被大幅调降,相关产品的市场竞争力和收入贡献受限。同时,管制政策若有进一步调整,可能影响全球 HGX 市场供需重构。
  • 代际切换阶段性扰动:B200 HGX 爬坡初期良率可能偏低,OEM 整机验证周期较长,可能导致 2025 年部分季度业绩波动。同时 H100/H200 渠道库存消化节奏也是影响短期业绩的常见因素(参考 NVIDIA FY2025 Q2 至 Q3 电话会讨论)。

误读纠偏

误读 1:“8 张 GPU 的服务器就是 HGX”

市面上存在大量 PCIe Gen4/Gen5 8 卡服务器,它们通过 PCIe Switch 扩展了卡槽数量,但 GPU 之间通信须经过 PCIe Switch 总线,拓扑为非全互联树形,部分卡间通信需 CPU 中转,无法实现 HGX 式的全非阻塞通信。严格意义上的 HGX 指搭载 NVSwitch 的 SXM 基板全互联方案。据 NVIDIA 产品定义,非 NVSwitch 的全 PCIe 方案归入“GPU 直插系统”类别,不称 HGX。

误读 2:“HGX 只能配 Intel CPU”

历史上多数 HGX 整机搭配双路 Intel Xeon(如 Emerald Rapids/Sapphire Rapids),但并非绑定。HGX 基板对外通过 PCIe 接口与 CPU 通信,可与 AMD EPYC(如 Genoa/Turin)搭配。实际上,部分超微 H100 HGX 机型已提供 AMD EPYC 选项。而 Grace-Hopper(GH200)及后续 GB200 超级芯片使用 NVLink-C2C 直连 CPU 与 GPU,完全不同于标准 HGX 基板的 8-GPU 全互联方案,属于不同产品形态,不可混同。

误读 3:“HGX 显存容量直接加起来就是可用的总显存”

尽管总物理显存为 8 卡 HBM 容量之和(如 H200 HGX 为 1,128GB),但跨卡访问存在延迟梯度(较本地 HBM 增约 1-2 微秒级)与有效带宽差异,且 CUDA 程序不能简单将之视为一块平坦的大显存。实际使用中需通过模型并行策略(张量并行、流水线并行等)将模型逐层切割,每张 GPU 加载不同部分,再利用 NVLink 高速通信掩盖跨卡访存延迟。直接跨卡显存寻址虽在硬件上支持(Direct Store/Load),但性能敏感应用仍需显式编程优化。

误读 4:“液冷是可选项,H100 风冷完全够用”

对于 H100 HGX 基板,虽然风冷在部分 OEM 设计中可行,但需要在机箱内维持极高的风量(典型超微风冷 H100 机型使用超过 12 颗对旋风扇),噪音和气流设计挑战显著。到了 B200 代际,风冷已基本被多数 OEM 排除出推荐配置,液冷(直连式单相或两相)成为默认方案。评估 HGX 代际切换时,应将液冷基础设施的配套成本与周期纳入考量。

最新事件

(截至 2025 年 Q2 初,根据公开报道和公司公告)

  • GTC 2025(2025 年 3 月):NVIDIA 发布 Blackwell Ultra(B300)及 Vera Rubin 路线图更新。B300 HGX 预计 2025 年下半年推出,NVLink 带宽和显存容量较 B200 再次翻倍;Rubin 平台(2026 年)将启用全新架构及 NVLink 6。此次大会确认 GB200 NVL72 及 B200 HGX 均于 2025 年上半年开始向客户出货。
  • Meta 公布 Llama 4 训练集群(2025 年 2 月):据 Meta AI 官方博客,其 Llama 4 模型使用超过 10 万张 H100 构建的训练集群(主要为 HGX H100),并计划在 2025 年内将集群扩展至 30 万张以上,可能部分接入 B200。
  • xAI 孟菲斯集群扩容(2024 年 12 月 - 2025 年 1 月):据公开报道,xAI 在田纳西州孟菲斯的 Colossus 训练集群初始部署 10 万张 H100,并在 2024 年底至 2025 年初进行扩容,部分加入 H200 节点。
  • DeepSeek V3 训练细节公开(2024 年 12 月):DeepSeek 公开其 V3 模型训练使用了 2048 块 H800 GPU(NVLink 域为每组 8 卡,应为 HGX 基板的合规变体),引发行业对“HGX 在受限芯片条件下是否仍具效率优势”的关注。据其论文,训练过程中 NVLink 全互联的 8 卡域内通信能力仍是效率关键支撑。
  • 台积电宣布 CoWoS 产能再扩计划(2025 年 1 月法说会):台积电 2024 年 Q4 法说会确认 2025 年 CoWoS 产能将较 2024 年翻倍以上,2026 年继续大幅扩张,部分缓解 HGX 基板产能瓶颈。
  • 美国对华芯片管制新规讨论(2025 年初):据报道,美国政府酝酿进一步收紧出口管制,可能限制 H20 等中国特供版芯片的销售,但截至 2025 年 4 月尚未正式实施。该不确定性影响 HGX 合规变体在亚太地区的供应链计划。

跟踪指标

投资者和行业观察者可定期关注以下数据来源与指标,以评估 HGX 平台及相关产业链的动态:

跟踪维度具体指标建议来源与频率
台积电先进封装产能CoWoS 月产能及扩产进度台积电季度法说会、供应链媒体报道
HBM 供应与价格HBM3/HBM3e 季度出货量、供应商份额变动TrendForce/集邦咨询季度存储报告、SK 海力士/三星/美光季报
NVIDIA 数据中心营收季度数据中心营收及环比增速、下季度指引NVIDIA 季度财报(FY2026 Q1 预计 2025 年 5 月发布)
云厂商 CAPEX微软/亚马逊/谷歌/Meta 季度资本支出及全年指引各公司季度财报电话会
OEM AI 服务器出货超微/戴尔/HPE AI 相关营收及积压订单各公司季度财报
HGX 代际切换信号B200 公开客户部署案例、H100 渠道降价/库存动态行业媒体报道(如 ServeTheHome、The Next Platform)、渠道调研
大模型训练规模重要模型(如 Llama 4、GPT-5)公开的训练集群规模各实验室官方技术博客/论文
竞品进度AMD Instinct MI300X/MI400 客户部署更新、Intel Gaudi 3 进度各公司官方发布、行业会议(Hot Chips/ISSCC)
管制政策美国商务部 BIS 对华芯片出口管制最新名单和参数阈值美国联邦公报、主流科技媒体
散热供应链液冷方案在新建数据中心的渗透率行业研究报告(如 Vertiv/Uptime Institute 调查)、数据中心建设公告

信源

本页面信息综合自以下来源,截至 2025 年 Q2:

  • NVIDIA 官方:HGX 产品页面、各代 GPU 架构白皮书(A100、H100、H200、B200)、GTC 2023/2024/2025 主题演讲及技术专场
  • NVIDIA 季度财报及电话会议记录(FY2024 Q1~FY2025 Q4)
  • 台积电季度法说会记录(2024 Q1~2024 Q4)
  • IDC Worldwide Quarterly Server Tracker(公开摘要)
  • TrendForce 存储与服务器报告(2024 Q3~Q4)
  • Omdia Cloud & Data Center Market Insights(2024 年 11 月)
  • SemiAnalysis 行业分析报告(2024 年系列)
  • John Peddie Research GPU 市场追踪
  • ServeTheHome / The Next Platform 技术拆解与渠道报道
  • SK 海力士、三星电子、美光季度财报及投资者演示
  • Super Micro Computer、Dell Technologies、HPE 季度财报及电话会议
  • 主要云服务商(AWS、微软 Azure、谷歌云、Oracle Cloud)公开实例文档
  • DeepSeek V3 技术报告(2024 年 12 月)
  • Meta AI、xAI 等公开博客与报道
  • 美国联邦公报及主流科技媒体对出口管制政策的报道

部分数据为第三方估算区间(已在文中标注),未经 NVIDIA 或 OEM 官方确认,仅供参考。

一句话总结

NVIDIA HGX 平台是 AI 大模型时代服务器内部 Scale-up 网络的工业标准,通过 NVSwitch 非阻塞全互联将 8 颗 GPU 融合为一个超强加速器基板,定义了超大规模训练的单节点范式。从 2020 年的 A100 到 2025 年的 B200,HGX 的 NVLink 总带宽从 4.8 TB/s 跃升至 14.4 TB/s,持续推高单节点算力密度,并深度绑定台积电 CoWoS、HBM 及液冷生态,成为全球 AI 基础设施投资的核心观察载体。

source: 公开披露与公开资料整理 本页仅用于产业链学习、信息检索和研究辅助;不构成投资建议,不预测涨跌,不提供买卖、仓位或目标价建议。
完整概念页 复盘 13 节结构 公司投研页 沿产业链找到受益公司 投资课 把概念转成可跟踪模型