NVL72
1. 3 秒看懂
NVL72 是 NVIDIA 面向超大混合專家（MoE）模型推論打造的機架級 AI 計算系統，單臺機架整合 72 顆 Blackwell GPU，通過 NVLink 全互聯並將所有 GPU 視訊記憶體與 Grace CPU 記憶體統一為約 30 TB 的共享地址池。在 DeepSeek‑R1、Kimi K2 等 MoE 模型上，NVL72 可實現單 GPU 75 tokens/s 的吞吐，每 token 成本降至上一代方案及競品的數十分之一，常被比喻為“一座機架就是一個巨無霸 GPU”。
2. 3 分鐘產業解釋
傳統 8‑GPU 伺服器好比一條八車道公路，而 NVL72 則是一座 72 車道且所有車輛可以瞬時換道的高架樞紐。推論 MoE 模型時，每個 token 都要根據路由結果在多個“專家”GPU 之間頻繁搬動資料，跨伺服器的 InfiniBand 或乙太網路延遲成為核心瓶頸。
NVL72 通過將 72 顆 Blackwell GPU 部署在同一機架內，用 NVLink 5 + 多級 NVSwitch 建置無阻塞全網際網路絡，所有 GPU 可直接訪問全域性地址空間，資料搬移幾乎零等待。結果是單 GPU 推論吞吐大幅提升，DeepSeek‑R1 推論效能達到同等規模 AMD MI355X 叢集的 28 倍，每 token 成本僅約後者的十五分之一（來源：太平洋科技引用的 SemiAnalysis InferenceMAX 基準，2025 年）。用上一代 Hopper HGX 執行 Kimi K2 時，NVL72 同樣有 10 倍效能優勢（來源：ZOL 問答引用的測試資料，2025 年）。
產業意義上，NVL72 改變了推論叢集的部署形態：過去需要上百臺 8‑GPU 伺服器才能支撐的大規模 MoE 推論，現在可能只需三、四臺 NVL72 機架，功耗、空間和網路裝置數量都大幅削減，雲端廠商與模型託管商的總擁有成本（TCO）由此實現代際最佳化。
3. 技術原理
3.1 全互聯拓撲與統一記憶體
NVL72 由 18 個計算節點構成，每個節點搭載 4 顆 Blackwell GPU 及對應的 Grace CPU（ARM 架構）。機架內部不再設有傳統的 top‑of‑rack 交換器，GPU 間通訊完全由 NVSwitch 背板實現。NVIDIA 利用 NVLink 5 和 NVSwitch 4 建置了 72‑GPU all‑to‑all 無阻塞交換網路，任意兩顆 GPU 之間的點對點單向頻寬超過 900 GB/s，總聚合頻寬高達 129.6 TB/s（來源：NVIDIA 官方架構白皮書）。
在此基礎上，所有 GPU 的 HBM 視訊記憶體以及 Grace CPU 的 LPDDR5X 記憶體被對映為統一的虛擬地址空間，總容量約為 30 TB。CUDA 程式只需發出單一的指標引用，即可跨 GPU 訪問資料，無需顯式複製或藉助 MPI 通訊。這種“全互聯＋統一記憶體”的組合，使得 MoE 推論中極度頻繁的 All‑to‑All 通訊如同在單片 GPU 內部完成。
3.2 MoE 推論通訊瓶頸的化解
MoE 模型每一層 Transformer 後都要執行一次 All‑to‑All 通訊：token 根據門控網路的選擇，從當前專家所在的 GPU 被重分發到下一層專家所在的 GPU。在傳統多伺服器叢集中，此類步驟的延遲通常在數十微秒甚至百微秒級，往往成為吞吐限制因素。
NVL72 內部 NVLink 的延遲為亞微秒級，All‑to‑All 資料搬運不再阻塞計算流。因此，DeepSeek‑R1 等模型推論時，單 GPU 的 75 tokens/s 吞吐已接近純計算瓶頸，而非通訊瓶頸（來源：SemiAnalysis 測試，太平洋科技報道，2025 年）。
3.3 計算與儲存網路分離
機架內的 GPU‑GPU 通訊與機架間的 RDMA 通訊完全解耦。每臺 NVL72 對外通過 ConnectX‑7（GB200）或 ConnectX‑8（GB300）智慧網絡卡提供 InfiniBand 或 Ethernet 埠，負責跨機架的梯度、引數同步和資料讀取。這種分離保證了即使在數十臺 NVL72 構成的超大叢集中，機架內超低延遲特性也不會被跨機架通訊拖慢。
3.4 記憶體一致性與多租戶隔離
統一記憶體池支援 NVIDIA MIG（多例項 GPU）及虛擬化功能，可按預設比例將 GPU 計算單元與記憶體靜態或動態劃分給不同推論任務。對於雲端服務商，單一 NVL72 機架就能以接近裸金屬效能同時服務多個模型租戶，資源利用率和排程靈活性均優於傳統伺服器堆疊方案。
4. 關鍵引數
以下引數綜合自 NVIDIA 官方技術部落格、太平洋科技、光纖線上及公開基準測試（2025 年）：
- GPU 數量：72 顆 NVIDIA Blackwell GPU（推算為 18 節點 × 4 GPU，具體晶片代號如 GB200‑B200/GB300‑B300，部分細節未完全公開）。
- 統一記憶體池：約 30 TB（包含 GPU HBM 與 Grace CPU LPDDR5X，來源：太平洋科技報道）。
- 內部互連：NVLink 5，每 GPU 雙向總頻寬 1.8 TB/s；單個 NVSwitch 晶片聚合雙向頻寬 7.2 TB/s；整機架總聚合頻寬 129.6 TB/s（官方）。
- 對外網路：
- GB200 配 ConnectX‑7，每節點 2 塊 400G NDR 網絡卡（合計 800G），平均每 GPU 約 200G；
- GB300 配 ConnectX‑8，每節點 2 塊 800G XDR 網絡卡（合計 1.6T），平均每 GPU 約 400G（來源：光纖線上技術分析）。
- 推論吞吐（MoE）：75 tokens/s/GPU（DeepSeek‑R1 推論，SemiAnalysis 基準，2025 年）。
- 相對效能：
- vs AMD MI355X 8‑GPU 同等規模叢集，推論效能 28 倍，每 token 成本約 1/15（來源同上）；
- vs Hopper HGX（H100）執行 Kimi K2，效能約 10 倍（來源：ZOL 問答，2025 年）。
- 對外總頻寬：GB200 版本約 14.4 Tbps（36 × 400G）；GB300 版本約 28.8 Tbps（36 × 800G）。
- 功耗與冷卻：單機架功耗極高，需配置液冷散熱（NVIDIA 官方參考設計已配套液冷方案，具體熱設計功率未完整揭露）。
- 可管理性：支援 MIG、SR‑IOV 等虛擬化功能，可作為統一資源池動態劃分。
5. 技術路線
NVIDIA 資料中心 GPU 互連架構的演進脈絡清晰體現了“更多 GPU 在單一故障域內全互連”的產業趨勢：
- Pascal 世代：8‑GPU 伺服器，NVLink 僅限單臺伺服器內部，跨機展靠 InfiniBand。
- Volta/Turing：NVSwitch 首次出現，單節點可容納 16 GPU 全互聯。
- Ampere：引入 MIG 分割，拓撲仍以 8‑GPU 為基本單元。
- Hopper：NVLink‑4 提升頻寬，HGX 平台依舊以 8‑GPU 為最小粒度，MoE 推論需多伺服器跨機協作。
- Blackwell NVL72：首次將單機架內全互聯 GPU 數量推至 72，結合 Grace CPU 實現高速資料搬移和統一記憶體。推論通訊瓶頸從網路側完全轉向計算側。
- GB300 增強：在 GB200 基礎上將對外網路升級至 800G XDR，多機架 scale‑out 效率進一步提升。
該路線圖表明，NVIDIA 正將系統級設計邊界從伺服器擴充套件至整機架，以適應 MoE 等新型通訊密集型模型。
6. 上游
NVL72 的硬體生產涉及多個高精尖供應鏈環節：
- 計算晶片與晶圓：NVIDIA Blackwell GPU 採用台積電 4NP 工藝（定製 4nm，屬 5nm 家族），Grace CPU 同樣基於台積電先進工藝。晶圓代工、CoWoS 先進封裝（用於 GPU HBM 整合）由台積電主導。
- 互連晶片：NVSwitch 4 晶片與 ConnectX‑7/8 智慧網絡卡，由 NVIDIA 設計，委託台積電等製造。
- 網路與光模組：機架對外連線依賴 400G/800G OSFP/QSFP‑DD 光模組或直連銅纜（DAC）及有源光纜（AOC）。代表性供應商包括 Coherent、Finisar（II‑VI）、旭創科技、光迅科技等；多模光纖採用 OM4/OM5 規格。GB300 升級 800G 將直接拉動高速光模組與 DSP 晶片需求。
- 高速銅纜與背板：機架內 NVSwitch 背板採用高密度銅纜互連，供應商包括安費諾、泰科電子等，對訊號完整性要求極高。
- 電源與液冷：NVL72 單機架功耗可能高達數十千瓦，必須配置冷板式或浸沒式液冷方案。冷卻分配單元（CDU）、冷板及快接頭等元件供應商包括 Cooler Master、Vertiv、雙鴻科技、高力熱處理等。電源模組（PSU）供應商如臺達、光寶等亦將受益。
- 機架整合與組裝：NVIDIA 提供參考設計，ODM/OEM 廠商（如鴻佰科技、英業達、緯創等）負責整機架組裝與測試。
7. 下游
NVL72 主要瞄準以下應用場景和客戶型別：
- 超大 MoE 模型推論服務：直接執行 DeepSeek‑R1、Kimi K2、Qwen2.5‑MoE 等混合專家模型，作為推論農場的核心計算單元。
- AI 雲端與模型即服務（MaaS）平台：如 CoreWeave、Lambda Labs、國內火山引擎、無問芯穹等，利用 NVL72 建置成本極低的 token 生成服務，並向全球開發者提供 API。
- 主權 AI 與科研超算：政府或大型科研機構需要高密度、低延遲推論能力，NVL72 能顯著壓縮節點數量，簡化網路拓撲，降低運維複雜度。
- 企業級私有化部署：金融、醫療、法律等行業的頭部企業，部署千億甚至萬億引數 MoE 模型以支撐智慧問答、程式碼生成、科學發現等場景，NVL72 可以將推論總成本壓制到可接受的私有部署水平。
- 邊緣與混合推論叢集：雖然 NVL72 體型巨大，但其超高密度也適用於集中式區域推論中心，通過高吞吐 API 為邊緣應用提供支援。
8. 受益公司
NVL72 的量產及部署將對 AI 產業鏈上若干環節的公司形成顯著拉動，以下為公開資料中明確關聯或已揭露合作關係的部分代表（不構成任何投資建議）：
- NVIDIA（核心設計者與晶片供應商）：直接銷售 GPU 基板、NVSwitch、網路介面卡及參考設計，享受機架級系統的高附加值。
- 慧與科技（HPE）：首批 OEM 合作伙伴之一，已公開宣佈接受 GB300 NVL72 訂單（來源：老虎社群，2025 年中），將推出整機櫃產品。
- 聯想、戴爾、超微（Supermicro）：均已宣佈將推出基於 NVL72 的整機櫃解決方案（來源：各公司官網及新聞稿，2025 年）。
- 光模組/光器件廠商：Coherent、旭創科技、Finisar 等——每臺 NVL72 需大量 800G 光模組用於 scale‑out，GB300 升級進一步推升需求。
- 液冷供應鏈：Cooler Master、Vertiv、雙鴻、高力等，高功耗密度迫使液冷滲透率快速提升，帶來冷板、CDU 及管路系統訂單。
- 高速聯結器與銅纜：安費諾、泰科電子等，NVSwitch 背板及內部高速互聯使用大量定製化連線方案。
- AI 雲端平台：CoreWeave、Lambda Labs 等 GPU 專業雲端，有望率先部署 NVL72，憑藉低推論成本建立 TCO 壁壘，吸引大批客戶。
9. 市場規模
截至 2025 年第三季度，尚無研究機構單獨揭露 NVL72 的出貨量或對應的市場規模。但可以從 AI 推論基礎設施的整體趨勢判斷其潛在空間：
- 根據 IDC 於 2025 年釋出的全球 AI 伺服器季度追蹤報告（公開摘要），2024 年全球 AI 伺服器市場出貨規模接近 200 億美元，加速伺服器中 GPU 類系統佔比超過 85%。
- TrendForce 集邦諮詢 2025 年報告指出，由大型語言模型推論驅動的伺服器需求增速已超越訓練，2025 年推論伺服器佔 AI 伺服器出貨比重預計將首次超過 50%。
- 以 DeepSeek‑R1、Kimi K2 為代表的 MoE 架構快速普及，此類模型的高通訊需求使傳統 8‑GPU 伺服器在總擁有成本上不再佔優，高密度機架級系統成為升級替代的主力。
- 公開資訊顯示，HPE、聯想等大型 OEM 已為 NVL72 整機櫃產品建立專門銷售團隊，顯示下游期待強烈。若 2026 年全球推論用高密度機架系統出貨量達到萬臺級別，對應光模組、液冷、網路裝置等關聯市場規模可能觸及數十億美元量級，但具體金額及份額需待廠商年報揭曉。
注意：以上所有市場資料均來自第三方機構公開摘要，NVL72 本身的具體營收貢獻尚未單獨揭露，投資者應查閱 NVIDIA 及 OEM 廠商後續季報中的細分業務口徑。
10. 玩家對比
本部分對比 NVL72 與同時期面向 AI 推論的主要硬體方案，所有資料均基於 2025 年公開測試或官方規格。
| 維度 | NVIDIA NVL72（GB300） | AMD MI355X 8‑GPU 叢集 | Intel Gaudi 3 8‑加速器叢集 | 自研 ASIC（如 Google TPU v5p） |
|---|---|---|---|---|
| 單系統 GPU/加速器數 | 72 顆，全互聯 | 每伺服器 8 顆，需跨機互聯 | 每伺服器 8 顆，需跨機互聯 | 每機架最多構成 3D 環形，單元數 64‑256 不等 |
| 互連拓撲與頻寬 | NVLink 5 全互聯 129.6 TB/s 聚合 | Infinity Fabric 4‑GPU/8‑GPU，單鏈路頻寬較低 | 21 條 200Gbps 乙太網路鏈路，非對稱拓撲 | ICI 互連，每鏈路 800 Gbps，專屬環形 |
| 統一記憶體池 | ~30 TB 統一地址 | 無統一池，需顯式搬運 | 無統一池 | 部分模型可藉助編譯器實現邏輯統一，但非硬體級 |
| MoE All‑to‑All 延遲 | 亞微秒級 | 數十微秒 | 數十微秒 | 低個位數微秒（專屬網路） |
| DeepSeek‑R1 推論吞吐 | 75 tokens/s/GPU（來源：SemiAnalysis） | 推算約 2.7 tokens/s/GPU（源自 28 倍效能比） | 未公開 | 未公開 |
| 每 token 成本（相對） | 1 （基準） | 約 15 倍（來源同上） | 未公開 | 未公開 |
| 最小部署粒度 | 1 機架（72 GPU） | 單臺伺服器（8 GPU） | 單臺伺服器（8 加速器） | 1 臺機架或子機架 |
| 網路升級路徑 | 800G XDR（ConnectX‑8） | 400G 乙太網路方案為主 | 內嵌乙太網路，可通過外掛升級 | 專屬光交換器 |
小結：NVL72 的最大優勢在於將超高 GPU 數量與全互聯統一記憶體濃縮於單機架，大幅縮減通訊開銷，決定了它在 MoE 等通訊密集型模型上的絕對領先。在通訊佔比較低的稠密模型（如普通 Transformer）推論中，AMD 與 Intel 方案仍具備一定競爭力，但整體 TCO 已難以匹敵 NVL72 的“單機架一站式”部署簡易性。自研 ASIC（如 TPU）雖然在特定場景下有極佳的能效，但生態封閉、靈活性受限。
11. 風險
- 模型架構演變風險：若未來主流演算法從 MoE 轉向完全不同的結構（如連續狀態模型或全新遞迴架構），導致推論過程不再需要高強度的 All‑to‑All 通訊，NVL72 的獨有優勢可能被稀釋。
- 供應鏈集中風險：NVL72 嚴重依賴台積電先進工藝與 CoWoS 封裝，任何產能波動或地緣擾動都可能影響供貨與交付節奏。HBM 及先進封裝產能仍屬稀缺資源。
- 功耗與冷卻挑戰：單機架數十千瓦的功率密度對資料中心的配電、製冷以及樓板承重提出極高要求，老舊資料中心可能難以直接部署，需進行大規模基礎設施改造。液冷系統的長期運維可靠性與漏液風險也需時間檢驗。
- 客戶鎖定效應：從訓練到推論全面採用 NVL72 會進一步強化資料中心對 NVIDIA 生態的依賴，可能引發使用者對單一供應商鎖定和議價能力下降的擔憂。部分雲端廠商或國家/地區可能加快扶持替代方案。
- 資本支出短期消化：NVL72 機架單價極高，企業客戶在宏觀環境不確定時可能放緩採購，轉而使用租賃雲端服務而非自建，從而影響裝置商的季度出貨節奏。
- 競爭加劇：雖然當前 AMD、Intel 等尚無同等級別機架產品，但未來 24‑36 個月內可能會出現類 NVSwitch 的互連方案或基於 UALink 等開放標準的對標產品，屆時價格壓力可能顯現。
12. 誤讀糾偏
❌ 誤讀一：NVL72 只是一個塞了 72 張顯示卡的大支架。
✅ 它不只是物理密度的提升，更是系統架構的重塑。通過 NVSwitch 全互聯與統一記憶體設計，72 顆 GPU 對軟體呈現為一臺擁有 30 TB 視訊記憶體的單一裝置，無需程式設計師管理跨 GPU 的資料搬移。這是傳統機架級堆疊無法實現的能力。
❌ 誤讀二：在任何場景下效能都是 AMD 的 28 倍。
✅ 28 倍資料來源於 SemiAnalysis InferenceMAX 基準，專門針對 DeepSeek‑R1 這類 MoE 模型的高通訊負載場景（來源：太平洋科技報道，2025 年）。對於通訊佔比較低的稠密模型，效能差距會顯著縮小，AMD MI355X 仍然可以提供有競爭力的價效比，不能簡單外推至所有 AI 工作負載。
❌ 誤讀三：有了 NVL72 就可以完全省去外部網路。
✅ 機架內部全互聯解決了最頭疼的 All‑to‑All 通訊，但多機架擴充套件（例如建置包含數十臺 NVL72 的超大推論網格）仍然依賴 ConnectX 網絡卡和外部交換網路。GB300 將對外網路升級至 800G，正是為了最佳化跨機架通訊，而非取消它。
❌ 誤讀四：NVL72 只適合推論，不能做訓練。
✅ 雖然 NVL72 的設計重點在推論側，但其巨大的統一記憶體池和 GPU 全互聯同樣可以加速某些訓練環節，尤其是大規模 MoE 模型的預訓練或微調，可減少跨節點通訊開銷，只不過當前市場關注點更多集中在推論的降本效應上。
❌ 誤讀五：所有 72 顆 GPU 可以直接被當作一個巨型 GPU 跑任意老的 CUDA 程式。
✅ 要實現統一定址的透明性，應用需要通過 CUDA Unified Memory 和 NVLink 感知的庫（如 NCCL、cuBLAS、FasterTransformer 等）進行適配。雖然程式設計門檻大幅降低，但仍需架構和模型程式碼針對多 GPU 拓撲做一些最佳化，並非完全無感的即插即用。
13. 最新事件
- 2025 年 3 月，NVIDIA GTC 大會：NVIDIA 正式釋出 GB300 NVL72，宣佈對外網路升級至 800G XDR，並展示包括 Grace CPU 增強版在內的全棧推論方案。
- 2025 年中，HPE 開啟訂單：慧與科技（HPE）在官方活動中確認已開始接受 GB300 NVL72 訂單，目標發貨時間為 2025 年 12 月（來源：老虎社群，2025 年 6 月資訊）。聯想、戴爾、超微隨後亦宣佈將提供基於相同架構的整機櫃產品。
- 2025 年初 MoE 模型密集釋出：中國公司 DeepSeek 於 2025 年 1 月推出 DeepSeek‑R1，引起全球開發者對 MoE 模型推論成本的關注；4 月，月之暗面釋出 Kimi K2；阿里雲端釋出 Qwen2.5‑MoE 等，持續提升市場對高密度推論硬體的渴求。
- 2025 年 7 月，SemiAnalysis 基準傳開：InferenceMAX 報告詳細對比了 NVL72 與 MI355X 的推論效率，28 倍效能差及 1/15 的 token 成本被多家科技媒體轉引，進一步確立 NVL72 在 MoE 推論的標杆地位。
- 2025 年 Q3，光模組與液冷廠商訂單升溫：多家光模組公司在其業績交流中透露，800G 產品訂單可見度已延展至 2026 年上半年，主要來自 AI 推論叢集的需求，部分分析師將此與 NVL72 機架出貨預期關聯。
14. 追蹤指標
若想持續追蹤 NVL72 的產業滲透與影響，可重點關注以下可公開獲取的資料和訊號：
- NVIDIA 財報與業績展望：資料中心業務營收、Blackwell 系列產品出貨量展望、公司對推論業務的評論。
- 主要雲端廠商資本支出：微軟、Google、亞馬遜、Meta 等在其季度財報中揭露的 AI 基礎設施投資及“推論伺服器”提及頻率。
- OEM 廠商動靜：慧與科技、聯想、戴爾及超微的 AI 伺服器訂單積壓與出貨量，以及它們在業績說明會上對 NVL72 類產品的揭露。
- 光模組與液冷供應鏈：Coherent、旭創科技等的 800G 光模組訂單和出貨展望；Cooler Master、Vertiv、雙鴻等液冷裝置的營收增速與新建產線計劃。
- MoE 模型推論 API 價格：DeepSeek、Kimi 等 API 服務商每百萬 token 的定價變化。若 NVL72 實現大規模部署，理應在終端 API 價格中有所體現。
- 台積電先進製程與封裝產能：台積電月度營收、CoWoS 產能擴張進度以及 4NP 製程的利用率，側面反映 Blackwell 晶片的供應情況。
- 行業標準與競品動向：UALink、Ultra Ethernet 等開放互連標準的推進，以及 AMD、Intel 是否公佈 64 GPU 以上全互聯機架計劃。
- 資料中心規範與政策：主要市場對新資料中心的功率密度限制、液冷標準及能效規範，可能影響 NVL72 的部署速度。
15. 信源
- NVIDIA Technical Blog “Tag: NVL72” — NVIDIA 官方技術博文入口，涵蓋 NVL72 架構、Vera Rubin 平台等最新資訊。
- 太平洋科技《輝達GB200 NVL72效能超AMD MI355X 28倍，成本僅十五分之一！》 — 引用 SemiAnalysis InferenceMAX 基準的對比資料（2025 年）。
- 光纖線上《NVIDIA NVL72 GB200/GB300系統InfiniBand與Ethernet連線方案技術》 — 詳述內部網路拓撲、光模組及佈線方案（2025 年）。
- ZOL問答《輝達GB200NVL72效能較HGX200提升10倍》 — Kimi K2 推論測試資料（2025 年）。
- 老虎社群《慧與科技 - Hpe Nvidia Gb300 Nvl72 現已接受訂單》 — HPE 訂單與發貨資訊（2025 年）。
- NVIDIA GTC 2025 主題演講及相關官方新聞稿 — GB300 NVL72 規格升級與合作伙伴公佈。
- IDC《Worldwide AI Server Tracker》Q1 2025 公開摘要 — AI 伺服器市場規模與趨勢。
- TrendForce 集邦諮詢 2025 年 AI 伺服器相關報告 — 推論伺服器佔比預測。
- 各 OEM 廠商（HPE、聯想、戴爾、超微）官網新聞及產品介紹頁面 — NVL72 產品計劃。
- 多家光模組及散熱廠商的季度業績交流及公開宣告（2025 年）。