HGX 平台

3 秒看懂

NVIDIA HGX 是一塊高度整合的 AI 計算基板，它將多顆高階 GPU 通過 NVLink + NVSwitch 全互聯，形成一個“類單一大 GPU”的加速器模組，專為資料中心的大型模型訓練和高吞吐推論設計。它不是一臺完整的伺服器，而是提供給 OEM 廠商整合的核心算力磚塊。截至 2025 年 Q2，HGX 平台已迭代至 Blackwell 代際（B200/B100），單板 NVLink 總頻寬突破 14 TB/s，是當前萬億引數模型訓練的事實標準基板。

3 分鐘產業解釋

如果把建置 AI 叢集比喻成蓋樓，HGX 就是預製好的重型承重牆——它把 8 個 GPU、高速互聯通路以及供電散熱架構提前封裝成一個標準化算力單元。伺服器廠商（如超微、戴爾、聯想）只需加上 CPU、記憶體、儲存和網路，就能製造出一臺 8 卡 AI 伺服器。這和消費者買到的單張顯示卡插主機板的模式完全不同。

• HGX vs DGX：DGX 是 NVIDIA 的品牌整機（包含 CPU、系統盤、Infiniband 網絡卡等），開箱即用；HGX 則是供 OEM 夥伴使用的 GPU 基板子系統。DGX 內部搭載的同樣是 HGX 基板，兩者是整體與核心部件的關係。以 DGX H100 為例，其內部即集成了一塊 HGX H100 8-GPU 基板。
• 產業地位：當前主流大型模型訓練（如 GPT-4、Llama 3、Gemini 系列）幾乎全部依賴 HGX 平台提供的超高 GPU 間互連頻寬。據 SemiAnalysis 2024 年報告估算，全球頭部 AI 訓練叢集中 HGX 或等效 NVSwitch 全互聯方案的滲透率超過 90%。如果說 GPU 晶片是燃料，HGX 就是發動機總成，直接決定萬億引數模型能否在合理時間內完成一次迭代。

技術原理

為什麼全互聯如此關鍵——NVSwitch 的非阻塞魔法

傳統多 GPU 方案（如直插 8 張 PCIe 卡）需要經過 PCIe 交換器，或在 GPU 之間使用點對點橋接，無法同時讓所有 GPU 兩兩高速通訊。大型模型張量並行、流水線並行中的 AllReduce 和 ReduceScatter 操作，是典型的“所有人跟所有人說話”模式。據 NVIDIA 公開技術資料，若使用 PCIe 樹形拓撲進行千億引數模型訓練，GPU 利用率可能因通訊瓶頸降至 50% 以下。

HGX 藉助 NVSwitch 實現無收斂全互聯。以電話交換器為喻：多臺 NVSwitch 各自擁有多個埠，每個埠連線一塊 GPU。當 GPU0 向 GPU3 傳送資料時，會佔用一條內部通道，但這條通道不會阻塞 GPU1 和 GPU2 之間同時進行的通訊。因此，8 塊 GPU 同時執行全雙工通訊時，單片 GPU 可獨享其對外全頻寬（例如 H100 的 NVLink 4.0，單 GPU 總頻寬 900 GB/s），整板總頻寬為單 GPU 對外頻寬 × 8，而非被共享匯流排切分。

邏輯拓撲示意（簡化呈現，非實際物理連線）：

[GPU0] ——— NVSwitch0 ——— [GPU1]
  |           |||           |
  |—— NVSwitch1 —— NVSwitch2 ——|
  |           |||           |
[GPU2] ——— NVSwitch3 ——— [GPU3]
  ... (擴充套件至 8 GPU，4 顆 NVSwitch 提供全通路)

對於 H100/H200 代際，4 顆 NVSwitch 晶片各提供多個高速埠，交叉連線至 8 顆 GPU，保證了任意兩 GPU 間均獨佔雙向鏈路。配合 NVIDIA 的 NCCL 通訊庫，開發者無需感知底層拓撲即可獲得近乎線性的多卡擴充套件效率。

儲存與計算解耦

HGX 板上的 GPU 擁有統一的大容量高頻寬視訊記憶體池（HBM）。雖然物理上每顆 GPU 獨佔其堆疊的 HBM，但通過 NVLink 的跨卡直接記憶體訪問（Direct Load/Store）以及 CUDA UVM（統一虛擬記憶體）等軟體抽象，程式設計視角上常呈現近似共享記憶體的檢視，顯著降低了視訊記憶體牆對模型尺寸的限制。例如，在 A100 80GB SXM 代際，8 卡總物理視訊記憶體 640GB，通過 NVLink 連線可支援跨卡訪問，為模型並行策略提供了重要硬體基礎。

關鍵引數

以下引數基於 NVIDIA 各代官方架構白皮書、產品規格表及 GTC 技術演講整理，標註對應代際與來源。

引數項	A100 HGX	H100 HGX	H200 HGX	B200 HGX
GPU 型號	A100 SXM 80GB	H100 SXM 80GB	H200 SXM 141GB	B200 SXM
單板 GPU 數量	8	8	8	8
NVSwitch 晶片數	6	4	4	4 （架構升級）
NVLink 代際	第 3 代	第 4 代	第 4 代	第 5 代
單 GPU 雙向頻寬	600 GB/s	900 GB/s	900 GB/s	1,800 GB/s
整板 NVLink 總頻寬	4.8 TB/s	7.2 TB/s	7.2 TB/s	14.4 TB/s
單 GPU HBM 容量	80GB （HBM2e）	80GB （HBM3）	141GB （HBM3e）	192GB （HBM3e）
整板總視訊記憶體池	640GB	640GB	1,128GB	1,536GB
整板典型 TDP	~ 4-5 kW （風冷）	~ 5-7 kW （風冷/液冷）	~ 7-8 kW	~ 8-10 kW （液冷優先）
外形規格	HGX A100 Baseboard	HGX H100 Baseboard	相容 H100 基板	新一代基板設計
釋出時間 （公開）	2020 年 5 月	2022 年 3 月	2023 年 11 月	2024 年 3 月 （GTC）

資料來源：NVIDIA A100/H100/H200/B200 產品規格頁及各代白皮書（截至 2025 年 Q2），功耗為典型板級 TDP 範圍，具體數值因 OEM 系統設計差異有所浮動。B200 部分指標為 GTC 2024 揭露的預釋出規格。

補充指標說明

• NVLink 總頻寬：指 8 顆 GPU 同時全雙工通訊的理論聚合頻寬，數值 = 單 GPU NVLink 雙向頻寬 × 8。該指標直接決定 AllReduce 操作的延遲下限。
• 視訊記憶體池 ≠ 可直接程式設計的單一視訊記憶體空間：跨卡訪問存在延遲梯度（相比本地 HBM 增加約 1-2 微秒），需模型並行策略配合，後文“誤讀糾偏”會詳細說明。
• 散熱設計：自 H100 代際起，液冷成為推薦散熱方案；B200 代際因整板功耗進一步提升，多數 OEM 預設搭配液冷或定製風冷方案出貨。

技術路線

HGX 各代際演進

根據 NVIDIA 公開產品路線圖及 GTC 歷年演講整理。

• HGX-1（Volta 代際，2017-2018）：搭載 V100 SXM2/SXM3，首次引入 NVSwitch，實現 8 GPU 全互聯架構。相對於前代 Pascal 的立方網格點對點拓撲，是質的飛躍。奠定“8 SXM + NVSwitch”行業範式。
• HGX-2（Volta 代際延伸，2018）：同樣基於 V100，容納更大視訊記憶體（32GB HBM2），為雲端例項場景提供更大記憶體池配置。該代際尚未支援 MIG（多例項 GPU）硬體分割槽，MIG 從 A100 代際引入。
• HGX A100（Ampere 代際，2020）：搭載 A100 Tensor Core GPU，NVSwitch 升級至第三代，NVLink 單 GPU 雙向頻寬 600 GB/s。首次引入 MIG 多例項 GPU 技術，單卡可切分為至多 7 個獨立例項，提升雲端化部署靈活性。該基板成為 GPT-3 等千億引數模型訓練的主力平台。
• HGX H100（Hopper 代際，2022）：搭載 H100 GPU，NVSwitch 升級至第四代、NVLink 單 GPU 雙向頻寬 900 GB/s。引入 FP8 Transformer Engine，顯著提升大型模型訓練吞吐（據 NVIDIA 官方，較 A100 訓練吞吐提升至多 9 倍，推論吞吐提升至多 30 倍，含稀疏計算加速）。
• HGX H200（Hopper 代際延伸，2023-2024）：GPU 晶片基本不變，HBM 升級至 HBM3e，單卡視訊記憶體從 80GB 提升至 141GB，總視訊記憶體池 1,128GB。據 NVIDIA 官方，在 Llama 2 70B 推論場景中，H200 相較 H100 效能提升約 1.4-1.9 倍，主要受益於更大的視訊記憶體和更高的 HBM 頻寬（4.8 TB/s 每卡）。該基板在物理上相容 H100 基板設計，OEM 廠商可平滑升級。
• HGX B200/B100（Blackwell 代際，2024 釋出，2025 量產出貨）：搭載 B200 GPU，NVLink 升級至第五代，單 GPU 雙向頻寬 1,800 GB/s，整板總頻寬 14.4 TB/s。支援 FP4 精度，進一步加速大型模型推論。該代際引入與 Grace CPU 通過 NVLink-C2C 組成 GB200 超級晶片的選項，但 GB200 本身不使用標準 HGX 基板，屬於不同形態的建置單元。

路線對比：HGX vs PCIe 插卡 vs AMD Instinct 同類方案

對比維度	HGX 基板（SXM + NVSwitch）	PCIe 插卡伺服器	AMD Instinct 8-GPU OEM 方案
GPU 互聯拓撲	無收斂全互聯，各代均為 8 GPU 對等	通過 PCIe Switch，形成非對等樹形拓撲，部分路徑需 CPU 中轉	Infinity Fabric 全互聯，設計理念類似，物理層基於定製互聯
互連頻寬有效性	每對 GPU 獨佔全雙工鏈路，AllReduce 無阻塞	總頻寬受 PCIe Switch 上聯瓶頸，多卡通訊易擁塞	與 HGX 同級別，據 AMD 公開資料 MI300X 平台單 GPU 互聯頻寬 896 GB/s
軟體生態	NCCL 深度最佳化，CUDA 生態成熟度極高	需手工調優拓撲偏移，大型模型訓練效率顯著低於 HGX	ROCm + RCCL，成熟度持續追趕，2024 年後在 Llama/Stable Diffusion 等主流模型上適配加速
供電與散熱	SXM mezzanine 直連主機板，供電能力強，適合液冷	受 PCIe 插槽供電規範約束（單卡上限通常 300W-450W），高功耗 GPU 受限	類似 SXM 基板設計，面向高功耗場景（MI300X 單卡 TDP 750W）
主要場景	萬億引數大型模型訓練、高併發批次推論	中小模型微調、企業推論、科學計算	同 HGX 場景，頭部雲端廠商和超算中心

說明：PCIe 插卡方案中，2024 年後部分主機板採用 PCIe Gen5 雙寬/雙高設計，但仍無法解決 GPU 間非全互聯的根本瓶頸。AMD MI300X 平台從 2024 年起獲得更多 OEM 支援，截至 2025 年 Q2，市場份額仍極低（公開資料未見權威第三方份額資料）。

上游

HGX 基板的製造涉及多層供應鏈，核心環節如下：

• GPU 計算晶片設計：NVIDIA 獨家設計，無替代供應方。
• HBM 高頻寬儲存器：由 SK 海力士、三星電子、美光供應。據 TrendForce 2024 年 Q4 報告，SK 海力士在 HBM3/HBM3e 代際佔據約 50% 市場份額，三星約 40%，美光快速追趕至約 10%。HBM 供應短缺是全行業性瓶頸。
• NVSwitch 交換晶片：NVIDIA 自研，由台積電代工。
• 先進封裝（CoWoS）：台積電 CoWoS-S/L/R 封裝方案將 GPU 晶片與 HBM 堆疊合封。據台積電 2024 年 Q4 法說會，CoWoS 產能 2024 年月產約 3.5 萬片（12 英寸等效），2025 年規劃擴至約 5.5-6 萬片，仍供不應求。CoWoS 產能是 HGX 出貨量的核心硬約束。
• 高速 PCB 板材與基板：多層高密度 PCB 由臺灣、日本、中國大陸供應商提供，高階 ABF 載板由欣興、Ibiden 等供應。
• 板端電源管理（PMIC/VRM）：MPS、Infineon、瑞薩等，需滿足數千瓦整板功耗的動態供電穩定性要求。
• 散熱元件：液冷冷板、歧管、CDU 由 Cooler Master、Boyd Corporation、Vertiv 等供應，風冷散熱器由多家參與。

下游

HGX 基板流向的典型路徑為：

1. NVIDIA 設計並認證 HGX 基板，將基板作為準系統級元件出售給 OEM 廠商。
2. OEM 伺服器廠商 基於 HGX 基板設計整機伺服器，加入 CPU（多數為雙路 Intel Xeon 或 AMD EPYC）、系統記憶體、NVMe 儲存、網絡卡（ConnectX-7/8 InfiniBand 或 BlueField DPU）、電源模組及風冷/液冷方案。主要廠商：Super Micro Computer（超微）、Dell Technologies、Hewlett Packard Enterprise（HPE）、Lenovo、GIGABYTE、ASUS、Inventec、Quanta 等。
3. 雲端服務商（CSP）與大型企業 採購整機伺服器用於部署：
   • AWS P4d/P4de（A100 HGX 基板）、P5（H100 HGX 基板），據 AWS 公開資料；
   • Google Cloud A3 例項（H100 HGX 基板），據 Google Cloud 公開文件；
   • Microsoft Azure NDm A100 v4 / ND H100 v5 例項；
   • Oracle Cloud Infrastructure BM.GPU 系列。
4. 大型 AI 實驗室和科技公司（如 OpenAI、Meta、xAI、Anthropic）自建叢集時，直接與 NVIDIA 及 OEM 簽訂三方協議，建置基於 HGX 的 SuperPOD 或定製叢集。據 SemiAnalysis 2024 年 9 月報告，Meta 在 2024 年的 H100 等效採購量超過 15 萬張（主要為 HGX 基板形式），是該年度最大單一買家之一。

受益公司

以下根據公開年報、出貨資料及研究機構估算整理，僅描述業務關聯，不構成投資判斷。

• NVIDIA（NVDA）：直接銷售 HGX 基板及配套 GPU、NVSwitch、網絡卡。資料中心業務營收（據 FY2025 Q3 財報，2024 年 10 月揭露，當季營收 308 億美元，其中計算與網路業務約 276 億美元）高度依賴 HGX/DGX 套件出貨量，是該業務板塊的主力驅動力。
• 台積電（TSMC / 2330.TW）：獨家提供先進封裝（CoWoS）及 GPU 晶片代工。據台積電 2024 年 Q4 法說會，高效能運算（HPC）板塊已佔總營收的 53%，AI 相關營收年增率增長超兩倍。
• SK 海力士（000660.KS）：HBM 主力供應商，據公司 2024 年 Q4 財報，HBM 業務營收年增率增長超 4 倍。三星電子（005930.KS）和美光（MU）同為受益方，但份額和確收節奏各異。
• OEM 伺服器廠商：
  • Super Micro Computer（SMCI）：與 NVIDIA 釋出節奏緊密配合，據公司 FY2025 Q1（2024 年 9 月財季）財報，營收 59.9 億美元（年增率 +181%），AI GPU 平台（含 HGX 整機）為增長主要驅動。公司在液冷方案上版面配置較早，在 HGX 高功耗代際的份額持續受益。
  • Dell Technologies（DELL）：據公司 FY2025 Q2（2024 年 8 月季度）財報，AI 伺服器出貨當季約 31 億美元，積壓訂單超 45 億美元，HGX 整機為重要構成。
  • HPE（HPE）：據 FY2024 Q4 財報，AI 系統營收年增率增長超 100%，其中 HGX 基板相關整機為主要增量。
• 散熱方案商：液冷需求因 B200 代際功耗大幅增長而快速擴大。受益方包括 Vertiv（VRT）、Cooler Master（未上市）、Boyd Corporation（未上市）等。
• ODM/白牌組裝商：廣達（Quanta）、英業達（Inventec）、緯創（Wistron）等臺系 ODM 為雲端服務商定製基於 HGX 的整機，據各公司月度營收公告，AI 伺服器相關營收佔比在過去 12 個月持續提升。
• 投資於 HGX 叢集的雲端廠商：微軟（MSFT）、亞馬遜（AMZN）、Google（GOOGL）、甲骨文（ORCL）需大量資本支出採購 HGX 伺服器。據各公司 2024 年 Q4/2025 年 Q1 財報電話會，四家雲端廠商 2025 年合計資本支出展望超過 3000 億美元（口徑含資料中心基建及伺服器），HGX 平台伺服器為其中重要採購部分。

市場規模

整體 AI 伺服器市場中的 HGX 份額

• 據 IDC 2024 年 12 月公開摘要（Worldwide Quarterly Server Tracker），2024 年第三季度全球伺服器支出中，AI 伺服器（含 GPU 加速器）佔比已超 30%，年增率增長超 80%。
• 另據 TrendForce 2024 年 8 月報告，預估 2024 年全球 AI 伺服器出貨量約 167 萬臺（含 HGX、PCIe 卡、ASIC 方案等所有 GPU 加速伺服器），其中搭載 NVIDIA GPU 的方案（HGX + PCIe 卡 + DGX 整機）佔比超過 75%。
• 具體到 HGX 基板口徑：Omdia 2024 年 11 月估算，NVIDIA 在資料中心 GPU 基板（含 HGX 和較小規模的 4-GPU 板等）市場 2024 年全年營收約 830 億美元，年增率增長約 136%。（資料口徑含 NVIDIA 整個計算 GPU 基板/模組營收，不單獨拆分 HGX）。
• HGX 平台的獨佔性定價權使其板均售價（ASP）極高。以 H100 HGX 8-GPU 基板為例，據第三方渠道拆解（參考 ServeTheHome 2023 年 12 月報告及 John Peddie Research 估算），含 8 顆 H100 SXM 的基板在 2024 年中的 OEM 批發價約在 20-28 萬美元區間（視採購規模和配套條件浮動）；B200 HGX 據估算（如 SemiAnalysis 2024 年 6 月）ASP 將超過 35 萬美元。注意：具體價格為企業間保密商業條款，以上為第三方估算區間，非 NVIDIA 或 OEM 官方報價。

量價拆分邏輯

HGX 市場規模 = HGX 基板出貨量 × ASP。關鍵變數：

• 出貨量上限受 CoWoS 產能約束：台積電 CoWoS 月產能決定 GPU 裸片+HBM 的合封產出，是目前最核心的供給梗阻點。
• ASP 隨代際升級大幅躍遷：每次架構升級（如 H100→B200），單基板整合價值量均顯著提升。
• 需求端：模型尺寸持續膨脹：從 GPT-4 的約 1.8 萬億（MoE 結構）到未來更大規模模型，訓練叢集需求仍在擴張，HGX 基板的需求增速短期內高於供給增速。

玩家對比

NVIDIA HGX 全互聯基板 vs. AMD Instinct 8-GPU 方案

維度	NVIDIA HGX（H100/H200/B200）	AMD Instinct 平台（MI300X）
GPU 互聯方案	NVSwitch 全互聯，單 GPU 總雙向頻寬 900 GB/s（H100）至 1800 GB/s（B200）	Infinity Fabric 全互聯，單 GPU 互聯頻寬 896 GB/s（MI300X，PCIe 5.0 x16 另計）
單 GPU 視訊記憶體	H200：141GB HBM3e；B200：192GB HBM3e	192GB HBM3（MI300X）
8 GPU 總視訊記憶體池	H200 1,128GB；B200 1,536GB	1,536GB
軟體生態	CUDA + NCCL，成熟度極高，覆蓋幾乎所有主流架構	ROCm + RCCL，2024 年後加速追趕，PyTorch/TensorFlow 原生支援度提升
量產與可用性	主流雲端廠商均有例項可用，OEM 整機 SKU 豐富	2024 年 Q4 起在 Azure、Oracle Cloud 有例項，OEM 選型少於 HGX
市場份額（2024E）	據 Mercury Research / JPR 估算，資料中心 GPU 領域超過 90%	個位數，年增率快速增長，但基數極低

HGX 基板內部代際結構

• 2024 年主力出貨：H100 HGX + H200 HGX（後者 2024 年下半年起量）。
• 2025 年過渡：B200 HGX 預計 Q2 起量，H100 相關基板逐步減產但不立刻退市，仍滿足存量叢集擴容需求。
• 需注意：B200 代際的 GB200 超級晶片（Grace CPU + B200 GPU 通過 NVLink-C2C 整合）不使用標準 HGX 基板，其 Compute Tray 採用新型豎裝設計，構成獨立的算力磚塊形態，與 HGX 產品線分屬不同建置範式。GB200 NVL72 機櫃在 2025 年 GTC 大會上作為下一代叢集方案被重點介紹，佔用獨立市場討論。

風險

• 供應鏈集中與產能瓶頸：HBM 和 CoWoS 先進封裝的產能高度集中於少數供應商（台積電、SK 海力士、三星），任一大規模地緣、災害事件或技術延遲均可能打斷 HGX 出貨節奏。
• 雲端廠商自研替代：Google TPU（v5p/v6）、亞馬遜 Trainium2、微軟 Maia 100 等在內部工作負載上逐步擴大部署。雖然截至 2025 年 Q2，這些自研方案在通用性、互連頻寬和軟體生態方面仍與 HGX 存在顯著差距，但大型 CSP 的戰略是降低對單一供應商的依賴，長期來看可能侵蝕 HGX 的部分可替代工作負載需求。
• 功耗與散熱挑戰：B200 HGX 整板 TDP 進入 8-10 kW 區間，對資料中心供電和散熱提出極端要求。若液冷基礎設施部署速度跟不上 GPU 升級節奏，可能限制部分傳統資料中心的採購意願，延緩 HGX 最新代際的滲透速度。
• 技術標準競爭：UALink 聯盟（2024 年 5 月由 AMD、博通、思科、Google、HPE、英特爾、Meta、微軟等共同宣佈）旨在推動開放 GPU 互聯標準，雖尚處早期（1.0 規範預計 2025 年內釋出），但長期可能削弱 NVSwitch 專有架構的鎖定效應。公開資料未見 UALink 有實際量產晶片時間表。
• 出口管制：美國對華 GPU 出口管制政策（2022 年 10 月、2023 年 10 月多次升級）限制高階 HGX 基板（H100/H200/B200）向中國直接出口，NVIDIA 雖推出合規版本（H20 等），但其張量互聯頻寬和 NVLink 規格被大幅調降，相關產品的市場競爭力和營收貢獻受限。同時，管制政策若有進一步調整，可能影響全球 HGX 市場供需重構。
• 代際切換階段性擾動：B200 HGX 爬坡初期良率可能偏低，OEM 整機驗證週期較長，可能導致 2025 年部分季度業績波動。同時 H100/H200 渠道庫存消化節奏也是影響短期業績的常見因素（參考 NVIDIA FY2025 Q2 至 Q3 電話會討論）。

誤讀糾偏

誤讀 1：“8 張 GPU 的伺服器就是 HGX”

市面上存在大量 PCIe Gen4/Gen5 8 卡伺服器，它們通過 PCIe Switch 擴充套件了卡槽數量，但 GPU 之間通訊須經過 PCIe Switch 匯流排，拓撲為非全互聯樹形，部分卡間通訊需 CPU 中轉，無法實現 HGX 式的全非阻塞通訊。嚴格意義上的 HGX 指搭載 NVSwitch 的 SXM 基板全互聯方案。據 NVIDIA 產品定義，非 NVSwitch 的全 PCIe 方案歸入“GPU 直插系統”類別，不稱 HGX。

誤讀 2：“HGX 只能配 Intel CPU”

歷史上多數 HGX 整機搭配雙路 Intel Xeon（如 Emerald Rapids/Sapphire Rapids），但並非繫結。HGX 基板對外通過 PCIe 介面與 CPU 通訊，可與 AMD EPYC（如 Genoa/Turin）搭配。實際上，部分超微 H100 HGX 機型已提供 AMD EPYC 選項。而 Grace-Hopper（GH200）及後續 GB200 超級晶片使用 NVLink-C2C 直連 CPU 與 GPU，完全不同於標準 HGX 基板的 8-GPU 全互聯方案，屬於不同產品形態，不可混同。

誤讀 3：“HGX 視訊記憶體容量直接加起來就是可用的總視訊記憶體”

儘管總物理視訊記憶體為 8 卡 HBM 容量之和（如 H200 HGX 為 1,128GB），但跨卡訪問存在延遲梯度（較本地 HBM 增約 1-2 微秒級）與有效頻寬差異，且 CUDA 程式不能簡單將之視為一塊平坦的大視訊記憶體。實際使用中需通過模型並行策略（張量並行、流水線並行等）將模型逐層切割，每張 GPU 載入不同部分，再利用 NVLink 高速通訊掩蓋跨卡訪存延遲。直接跨卡視訊記憶體定址雖在硬體上支援（Direct Store/Load），但效能敏感應用仍需顯式程式設計最佳化。

誤讀 4：“液冷是可選項，H100 風冷完全夠用”

對於 H100 HGX 基板，雖然風冷在部分 OEM 設計中可行，但需要在機箱內維持極高的風量（典型超微風冷 H100 機型使用超過 12 顆對旋風扇），噪音和氣流設計挑戰顯著。到了 B200 代際，風冷已基本被多數 OEM 排除出推薦配置，液冷（直連式單相或兩相）成為預設方案。評估 HGX 代際切換時，應將液冷基礎設施的配套成本與週期納入考量。

最新事件

（截至 2025 年 Q2 初，根據公開報道和公司公告）

• GTC 2025（2025 年 3 月）：NVIDIA 釋出 Blackwell Ultra（B300）及 Vera Rubin 路線圖更新。B300 HGX 預計 2025 年下半年推出，NVLink 頻寬和視訊記憶體容量較 B200 再次翻倍；Rubin 平台（2026 年）將啟用全新架構及 NVLink 6。此次大會確認 GB200 NVL72 及 B200 HGX 均於 2025 年上半年開始向客戶出貨。
• Meta 公佈 Llama 4 訓練叢集（2025 年 2 月）：據 Meta AI 官方部落格，其 Llama 4 模型使用超過 10 萬張 H100 建置的訓練叢集（主要為 HGX H100），並計劃在 2025 年內將叢集擴充套件至 30 萬張以上，可能部分接入 B200。
• xAI 孟菲斯叢集擴容（2024 年 12 月 - 2025 年 1 月）：據公開報道，xAI 在田納西州孟菲斯的 Colossus 訓練叢集初始部署 10 萬張 H100，並在 2024 年底至 2025 年初進行擴容，部分加入 H200 節點。
• DeepSeek V3 訓練細節公開（2024 年 12 月）：DeepSeek 公開其 V3 模型訓練使用了 2048 塊 H800 GPU（NVLink 域為每組 8 卡，應為 HGX 基板的合規變體），引發行業對“HGX 在受限晶片條件下是否仍具效率優勢”的關注。據其論文，訓練過程中 NVLink 全互聯的 8 卡域內通訊能力仍是效率關鍵支撐。
• 台積電宣佈 CoWoS 產能再擴計劃（2025 年 1 月法說會）：台積電 2024 年 Q4 法說會確認 2025 年 CoWoS 產能將較 2024 年翻倍以上，2026 年繼續大幅擴張，部分緩解 HGX 基板產能瓶頸。
• 美國對華晶片管制新規討論（2025 年初）：據報道，美國政府醞釀進一步收緊出口管制，可能限制 H20 等中國特供版晶片的銷售，但截至 2025 年 4 月尚未正式實施。該不確定性影響 HGX 合規變體在亞太地區的供應鏈計劃。

追蹤指標

投資者和行業觀察者可定期關注以下資料來源與指標，以評估 HGX 平台及相關產業鏈的動態：

追蹤維度	具體指標	建議來源與頻率
台積電先進封裝產能	CoWoS 月產能及擴產進度	台積電季度法說會、供應鏈媒體報道
HBM 供應與價格	HBM3/HBM3e 季度出貨量、供應商份額變動	TrendForce/集邦諮詢季度儲存報告、SK 海力士/三星/美光季報
NVIDIA 資料中心營收	季度資料中心營收及季增率增速、下季度展望	NVIDIA 季度財報（FY2026 Q1 預計 2025 年 5 月釋出）
雲端廠商 CAPEX	微軟/亞馬遜/Google/Meta 季度資本支出及全年展望	各公司季度財報電話會
OEM AI 伺服器出貨	超微/戴爾/HPE AI 相關營收及積壓訂單	各公司季度財報
HGX 代際切換訊號	B200 公開客戶部署案例、H100 渠道降價/庫存動態	行業媒體報道（如 ServeTheHome、The Next Platform）、渠道調研
大型模型訓練規模	重要模型（如 Llama 4、GPT-5）公開的訓練叢集規模	各實驗室官方技術部落格/論文
競品進度	AMD Instinct MI300X/MI400 客戶部署更新、Intel Gaudi 3 進度	各公司官方釋出、行業會議（Hot Chips/ISSCC）
管制政策	美國商務部 BIS 對華晶片出口管制最新名單和引數閾值	美國聯邦公報、主流科技媒體
散熱供應鏈	液冷方案在新建資料中心的滲透率	行業研究報告（如 Vertiv/Uptime Institute 調查）、資料中心建設公告

信源

本頁面資訊綜合自以下來源，截至 2025 年 Q2：

• NVIDIA 官方：HGX 產品頁面、各代 GPU 架構白皮書（A100、H100、H200、B200）、GTC 2023/2024/2025 主題演講及技術專場
• NVIDIA 季度財報及電話會議記錄（FY2024 Q1～FY2025 Q4）
• 台積電季度法說會記錄（2024 Q1～2024 Q4）
• IDC Worldwide Quarterly Server Tracker（公開摘要）
• TrendForce 儲存與伺服器報告（2024 Q3～Q4）
• Omdia Cloud & Data Center Market Insights（2024 年 11 月）
• SemiAnalysis 行業分析報告（2024 年系列）
• John Peddie Research GPU 市場追蹤
• ServeTheHome / The Next Platform 技術拆解與渠道報道
• SK 海力士、三星電子、美光季度財報及投資者演示
• Super Micro Computer、Dell Technologies、HPE 季度財報及電話會議
• 主要雲端服務商（AWS、微軟 Azure、Google雲端、Oracle Cloud）公開例項文件
• DeepSeek V3 技術報告（2024 年 12 月）
• Meta AI、xAI 等公開部落格與報道
• 美國聯邦公報及主流科技媒體對出口管制政策的報道

部分資料為第三方估算區間（已在文中標註），未經 NVIDIA 或 OEM 官方確認，僅供參考。

一句話總結

NVIDIA HGX 平台是 AI 大型模型時代伺服器內部 Scale-up 網路的工業標準，通過 NVSwitch 非阻塞全互聯將 8 顆 GPU 融合為一個超強加速器基板，定義了超大規模訓練的單節點範式。從 2020 年的 A100 到 2025 年的 B200，HGX 的 NVLink 總頻寬從 4.8 TB/s 躍升至 14.4 TB/s，持續推高單節點算力密度，並深度繫結台積電 CoWoS、HBM 及液冷生態，成為全球 AI 基礎設施投資的核心觀察載體。