NVL144

1 3 秒看懂

NVL144 是 NVIDIA 在單臺 8 GPU 伺服器內部實現的全互聯高速通訊矩陣：通過 4 顆 NVSwitch 交換晶片，將 8 顆 GPU 全部 144 條 NVLink 通道聚合成一個無擁塞的交換背板，使任意兩個 GPU 之間都可直接點對點通訊，無需多跳轉發。結果是一臺 8 GPU 節點在記憶體、頻寬和延遲上等價於一臺“巨型 GPU”，因而可以極高效地執行張量並行、流水線並行等超大型模型訓練模式。

2 3 分鐘產業解釋

在訓練萬億引數大型模型時，單顆 GPU 的算力與視訊記憶體遠遠不夠，必須把模型切分到多顆 GPU 上協同計算。節點內部的 GPU 互聯一旦變成瓶頸，並行效率就會斷崖式下跌。NVL144 提供的全互聯方案正是這根“救生索”：它將 GPU 間的有效對分頻寬推高到每顆 GPU 900 GB/s（基於 NVLink 4.0），並且憑藉 NVSwitch 的硬體排程，所有通訊路徑可以同時滿速工作，無需擔心鏈路爭搶或樹狀拓撲的多跳延遲。因此，開發者可以把 8 顆 GPU 當作一塊擁有 640 GB（H100 SXM 80GB 版）甚至更高視訊記憶體池的統一計算裝置來進行程式設計，大幅減少通訊開銷，將更多算力真正用於矩陣乘法。NVL144 目前是 NVIDIA DGX H100、DGX H200 和 DGX B200 等旗艦系統的標配，已成為頭部 AI 實驗室和雲端服務商建置千卡、萬卡叢集時，節點內 Scale‑up 的基準配置。

3 技術原理

NVL144 的底層由三大機制支撐：NVLink 物理層、NVSwitch 全互聯交換以及硬體一致性的記憶體語義。

• NVLink 物理通道與拓撲 每顆 H100 GPU 內建 18 個 NVLink 4.0 埠，每個埠同時收發的雙向頻寬為 50 GB/s，因此單顆 GPU 的對分頻寬為 18\times50=900 GB/s。8 顆 GPU 合計 144 條 NVLink，構成 NVL144 數最基礎的物理意義。所有鏈路均以序列/解串器（SerDes）差分對形式引出，最終連線到 NVSwitch 晶片的埠上。實際佈線並非將 144 條鏈路簡單地做點對點直連，而是將所有鏈路完全終止在 NVSwitch 內部交換矩陣，實現任意 GPU 到任意 GPU 的單跳連線。

• NVSwitch 無阻塞交換背板 DGX H100 內部包含 4 顆 NVSwitch 晶片，每顆承擔 2 顆 GPU 的全部 36 條 NVLink（18 條/GPU），並通過內部高速介面在 NVSwitch 之間相互連線，最終建置成一個 8×8 全互聯的交叉開關。與傳統 PCIe 樹狀網路不同，NVSwitch 不依賴轉發表，而是在物理層進行無擁塞的電路交換——任意一對源/目標 GPU 都能在物理層建立專用通道，且多個 GPU‑GPU 通訊對可以同時進行而不互相干擾。這保證了極端場景（如 All‑Reduce 梯形聚合）下的有效利用頻寬幾乎可以逼近理論峰值。

• 硬體一致性記憶體語義與統一地址空間 NVLink 協議本身支援原生 load/store 語義，亦即允許 GPU 直接對本節點內其他 GPU 的視訊記憶體執行“遠地載入/儲存”指令，無需經過複雜的 RDMA 佇列和 CPU 中轉。配合 NVIDIA 的 Unified Memory 及硬相干一致性引擎，NVL144 可將 8 顆 GPU 的 HBM 視訊記憶體抽象成一個邏輯上統一的、可被任意 GPU 透明訪問的記憶體池。硬體層面維護的一致性協議確保一個 GPU 寫入遠端地址後，其他 GPU 能立刻看到最新資料，這一特性對流水線並行和專家混合（MoE）模型的 token 排程至關重要。

• 與 GPUDirect RDMA 的協同 NVL144 雖然解決的是節點內互聯，但其 NVLink 通道同樣可以被 GPUDirect RDMA 利用，使外部網絡卡（ConnectX‑7 等 InfiniBand/乙太網路卡）能夠直接將資料推送到遠端 GPU 的視訊記憶體，中間繞過主機記憶體甚至 CPU，從而在 Scale‑up 和 Scale‑out 的交界處大幅降低延遲與能耗。

4 關鍵引數

以下引數均以 DGX H100（Hopper 架構，SXM5 形態） 為基準，除非特別說明，口徑均為單節點內部 8 GPU 全互聯配置。

引數	數值	說明與來源
GPU 數量	8 顆	每臺 DGX 標準配置
NVLink 版本	4.0	基於 H100 SXM5，採用 PAM4 編碼
每 GPU NVLink 鏈路數	18 條	源自 H100 白皮書（NVIDIA, 2022）
單鏈路雙向頻寬	50 GB/s	單向 25 GB/s，雙向彙總 50 GB/s（NVIDIA DGX H100 資料表）
單 GPU 對分頻寬	900 GB/s	18×50 GB/s（同上）
全節點總 NVLink 鏈路數	144 條	8×18，NVL144 名稱來源
全節點總雙向理論頻寬	7.2 TB/s	8×900 GB/s，雙向聚合值
NVSwitch 晶片數量	4 顆	每顆管理 2 顆 GPU 的全套 NVLink
NVSwitch 晶片工藝	未公開，推測為台積電 7 nm 或 4 nm	公開資料未見明確製程說明
GPU‑GPU 跨 NVSwitch 延遲	典型 <3 μs（往返延遲）	基於 NVLink 4.0 與 NVSwitch 架構的技術文件給出的指示性範圍，NVIDIA 未公佈精確單跳數值
支援的記憶體語義	load/store, atomics	NVLink 4.0 協議特性
HBM 視訊記憶體彙總（H100 80GB SXM）	640 GB	8×80 GB
HBM 頻寬（每 GPU）	3.35 TB/s	H100 SXM5 規格，NVIDIA 官方資料
配套 Scale‑out 網路	8 個 ConnectX‑7 400 Gb/s InfiniBand/乙太網路	DGX H100 資料表

後續 Blackwell 架構的 DGX B200（2024 年釋出）沿用 144 條 NVLink 的物理通道數，但升級為 NVLink 5.0，單鏈路雙向頻寬提升至 100 GB/s，單 GPU 對分頻寬達到 1.8 TB/s，全節點總頻寬躍升至 14.4 TB/s（來源：NVIDIA DGX B200 白皮書, 2024）。

5 技術路線

NVL144 並不是一蹴而就的產物，而是 NVIDIA 近十年內持續推動 GPU 互聯升級的結果。

• NVLink 1.0（2016，Pascal P100） 首次引入高速 NVLink 匯流排，單 GPU 提供 4 條 NVLink，每條雙向 20 GB/s，總頻寬 80 GB/s，支援 2‑way/4‑way 互聯，無 NVSwitch 晶片。

• NVLink 2.0（2017，Volta V100） 每 GPU 升級至 6 條 NVLink，單鏈路 25 GB/s 雙向，頻寬 150 GB/s；同時引入第一代 NVSwitch，支援 8 顆 V100 建置全互聯 DGX‑1，全節點總頻寬 1.2 TB/s。此時單節點 NVLink 路數為 48 條，遠未達到 144 條。

• NVLink 3.0（2020，Ampere A100） 每 GPU 提供 12 條 NVLink 3.0，單鏈路雙向 50 GB/s，單 GPU 頻寬 600 GB/s。DGX A100 採用 6 顆 NVSwitch（第二代），單節點總鏈路數為 96 條（12×8），總頻寬 4.8 TB/s。雖然全互聯拓撲已經實現，但物理通道數僅為 NVL144 的三分之二。

• NVLink 4.0 + NVL144（2022，Hopper H100） 每 GPU NVLink 數量躍升至 18 條，單鏈路速度維持 50 GB/s 雙向，單 GPU 頻寬 900 GB/s。DGX H100 內嵌 4 顆第三代 NVSwitch，首次將單節點 NVLink 路數推至 144 條，全節點總頻寬 7.2 TB/s。相應的 NVSwitch 晶片在埠密度、訊號完整性及功耗控制上均有重大升級，為今日大型模型訓練提供了穩定的內部通訊基石。

• NVLink 5.0 + 144 路繼承（2024，Blackwell B200） 通道數依然保持 8×18=144 條，但對速率進行翻倍，單鏈路雙向頻寬達到 100 GB/s，單 GPU 頻寬 1.8 TB/s，全節點總頻寬 14.4 TB/s。配套的第五代 NVSwitch 加強了網路內歸約（in‑network reduction）和 SHARP 功能，使全互聯矩陣不僅能傳遞資料，還能直接進行求和等計算操作（來源：NVIDIA GTC 2024 主題演講）。

從技術路線圖可以清晰看出，NVL144 代表了 NVIDIA 在單節點內部互聯物理鏈路數上的一個穩定平台：通道數量（144）在 H100 時代定型，後續演進的重大變化在於單鏈路速率的提升和 NVSwitch 晶片的智慧化，而非隨意增加鏈路數，以此保障機箱內物理版面配置和訊號完整性的持續可行。

6 上游

NVL144 的硬體載體主要由 NVSwitch 晶片、GPU 矽中介層、聯結器與高密度 PCB 背板構成，其上游供應鏈涉及多個關鍵環節。

• 先進製程晶圓代工 NVSwitch 晶片本身是一顆高引腳數的交叉開關 ASIC，其製造高度依賴台積電的先進製程。雖然 NVIDIA 未正式公佈 NVSwitch 3/4/5 代晶片的精確工藝節點，但根據電源、熱設計功耗和晶片面積推斷，多采用台積電 7 nm 或 4 nm 級工藝。台積電在晶圓代工中處於壟斷地位（來源：公開技術分析機構 SemiAnalysis, 2023）。三星、英特爾代工服務均沒有被證實的 NVSwitch 製造記錄。

• 先進封裝（CoWoS‑S/CoWoS‑L） NVSwitch 晶片與 GPU 一樣需要高階封裝技術，尤其是連線 GPU 的高速訊號需要極低的失諧和衰減。台積電的 CoWoS‑S（矽中介層）和 CoWoS‑L（區域性矽橋）被廣泛用於 NVSwitch 與 GPU SXM 模組的基板中。2023 年 CoWoS 產能緊缺，直接導致 DGX 系統交付延後（來源：台積電法說會，2023Q2 及公開報道）。

• HBM 儲存堆疊 雖然 HBM 本身安裝在 GPU 基板上，但 NVL144 全互聯將多個 GPU 的視訊記憶體合併為統一池，因此 HBM 的容量、速度和能效間接影響 NVL144 的網路效率。目前 HBM 主要由 SK 海力士、三星和美光供應。截至 2024 年，SK 海力士佔據 HBM 市場過半份額，是 NVIDIA H100/H200 HBM 的核心供應商（來源：TrendForce 2024 報告）。

• 高密度互連基板與聯結器 144 條 NVLink 訊號需要通過定製的 SXM 聯結器和多層基板布到 NVSwitch 晶片，其對訊號完整性、插損和串擾有極高要求。主要供應商包括富士康、TE Connectivity、山一電機等，公開資料未見具體份額。

• 上游材料和裝置 上游材料如 ABF 載板（欣興、伊歐樂、景碩等）、高頻覆銅板以及測試探針卡製造商（FormFactor 等）均為間接受益方。但 NVL144 體量尚小，相對整個 AI 伺服器供應鏈而言，單個 NVSwitch 模組對上游拉動有限。

7 下游

NVL144 全互聯架構的下游生態，涵蓋從整機系統、基礎模組到最終應用場景的完整鏈條。

• 整機與 OEM 系統 直接使用 NVL144 的標杆產品是 NVIDIA DGX 系列整機（DGX H100、DGX H200、DGX B200）以及 HGX 基板。HGX 基板是交付給 OEM（超微、戴爾、慧與、聯想、華碩、技嘉等）的核心模組，廠商將其裝入自己的伺服器機箱並搭配 CPU、儲存後形成自有品牌的 GPU 伺服器。截至 2024 年上半年，幾乎所有 8 卡 H100/B200 伺服器均依賴 NVL144 全互聯設計，沒有替代拓撲（來源：NVIDIA 官方認證合作伙伴列表）。

• 雲端服務商與算力租賃 微軟 Azure、亞馬遜 AWS、Google Cloud、Oracle 雲端（OCI）等超大規模雲端廠商均向客戶提供基於 NVL144 節點（即 8 卡 H100 例項）的 GPU 例項，如 Azure ND H100 v5 系列、AWS P5 例項、OCI bare‑metal H100 例項。同時，新興的 GPU 專業雲端供應商（CoreWeave、Lambda Labs、Paperspace 等）大量採購配備 NVL144 的 DGX/HGX 系統對外提供按小時計費的算力服務。2024 年這些算力租賃公司的資本支出多數與 H100/B200 系統直接相關，NVL144 的滲透率為 100%（因為 8 卡 SXM 形態必含 NVSwitch 全互聯）。

• AI 模型訓練與科研 大型模型研發團隊（OpenAI、Meta、Anthropic、Google DeepMind、國內頭部網際網路企業等）和國家級超算中心（如美國 Argonne 國家實驗室的 Aurora 系統使用 H100 的類似互聯方案）都是 NVL144 的直接受益者。對萬億引數密集模型而言，張量並行和流水線並行極度依賴節點內高頻寬通訊，NVL144 幾乎成為標配。

• 工業與科學計算 氣候模擬、藥物分子動力學、計算流體力學等傳統 HPC 應用原本多使用 MPI 跨節點通訊，但在節點內，NVL144 允許用 CUDA 統一記憶體實現更細粒度的資料共享，降低程式設計複雜度，提高單節點效率。NVIDIA 的 HPC 開發套件（如 HPC SDK）在 Hopper 架構上已將 NVSwitch 全互聯的區域性高速域作為預設最佳化物件。

8 受益公司

以下列出關聯 NVL144 供應鏈和生態的主要上市公司，僅陳述客觀受益邏輯，不構成任何投資建議。

• NVIDIA（輝達） NVL144 體系中的 GPU、NVSwitch 晶片、參考設計及相關軟體棧完全由 NVIDIA 掌控。NVL144 增強了 DGX 系統的競爭壁壘，推動資料中心業務增長。2024 財年（2023 年 1 月終止）資料中心營收（含計算與網路）為 475.25 億美元，FY2025 一季度（2025 財年第一季度）資料中心營收進一步攀升至 226 億美元，其中網路營收（包括 NVSwitch、InfiniBand、乙太網路）約為 32 億美元（來源：NVIDIA 季報/年報）。

• 台積電 獨家代工 NVIDIA H100、B200 GPU 及 NVSwitch 晶片，並提供 CoWoS 先進封裝。2023 年及 2024 年來自 NVIDIA 的 AI 晶片訂單是台積電 5 nm/4 nm 及 CoWoS 產能利用率的重要支撐（來源：台積電法人說明會）。

• SK 海力士 作為 H100/H200 的 HBM3 主要供應商，直接受益於每臺 NVL144 節點對高頻寬記憶體的強勁需求。2024 年 SK 海力士 HBM 營收年增率大幅增長，其中大部分供給 NVIDIA（來源：SK 海力士 2024Q1 財報陳述及市場分析師報告）。

• 美光、三星 美光已量產 HBM3e，並被 NVIDIA H200 和 B200 採用（來源：NVIDIA 市佔說明及供應商公告）。三星的 HBM 產品亦在驗證中，若進入供應鏈，同樣會受益。

• OEM/ODM 廠商 超微（SMCI）、戴爾科技、惠普企業、聯想、鴻海、緯創、英業達等企業承接 HGX/DGX 整機的組裝與定製化服務，NVIDIA NVL144 體系的出貨增長直接帶動它們的 AI 伺服器營收。

• 網路廠商 NVL144 雖然本身是節點內互聯，但每個 DGX 節點往往配套 8 個 ConnectX‑7 智慧網絡卡或 BlueField DPU，這些產品的出貨與 NVL144 節點數量強相關，間接利好 Mellanox 品牌（NVIDIA 內部）及部分收發器/線纜供應商。

• 算力租賃與雲端服務商 CoreWeave、Lambda Labs 等以 H100 GPU 租賃為核心業務的非上市及上市主體，其商業模式高度依賴 NVL144 節點提供的單位算力密度；大型公有雲端廠商同樣藉此類節點推出高獲利的 GPU 例項。

9 市場規模

目前沒有獨立研究機構單獨統計 NVL144（即 NVSwitch 全互聯模組）的市場規模，相關營收被淹沒在 GPU 伺服器和網路裝置中。但可以通過 NVIDIA 資料中心業務及 GPU 出貨資料側面觀察。

• NVIDIA 資料中心網路營收 NVIDIA FY2024 全年（截至 2024 年 1 月）網路營收為 45.3 億美元，較上年增長 133%。該營收包括 InfiniBand、乙太網路交換器/介面卡以及 NVSwitch 模組。假設 NVSwitch 模組約佔網路營收的 15%25%（非公開，系基於單臺 DGX 中 NVSwitch 相對於網絡卡價值的粗略推估），則 FY2024 該部分隱含規模約 7 億11 億美元。實際資料公開資料未見細分。

• 8 卡全互聯 GPU 伺服器出貨量 根據多家第三方機構的估算，2023 年 H100 總出貨量在 50 萬～65 萬塊（來源：Omdia 2023 年報告及媒體報道）。若按每 8 塊 GPU 構成一個 NVL144 節點計算，摺合約 6 萬～8 萬臺伺服器（含 DGX 整機及 HGX 模組）。每臺伺服器中 4 顆 NVSwitch 晶片構成全互聯，對應 NVSwitch 晶片全年出貨量約 25 萬～32 萬顆。2024 年 H100 及 Blackwell 需求更旺盛，有分析師預計全年 NVIDIA 資料中心 GPU 出貨約 150 萬～200 萬塊，則 NVL144 節點的出貨量可能達 19 萬～25 萬臺級別（來源：多份券商硬體產業鏈調研，口徑可能包含 H200 和 B200）。這些均為間接推估，公開精確資料缺乏。

• 潛在空間 隨著 AMD MI300X 等競品也推廣 8 GPU 全互聯方案，整個 GPU 全互聯模組的市場正快速擴大。IDC 預計 2024 年全球 AI 伺服器市場將超過 500 億美元，其中搭載全互聯 GPU 的伺服器佔比持續提升，NVL144 作為事實標準之一，其長期 TAM 與高階 AI 伺服器市場高度繫結。NVIDIA 的 NVSwitch 技術正在向 36 GPU、72 GPU（如 GB200 NVL72）超大規模全互聯演進，未來 NVSwitch 模組的市場將不僅侷限於傳統的 8 卡節點。

10 玩家對比

NVL144 在單節點 8 GPU 全互聯領域幾乎佔據統治地位，但仍與以下幾家廠商的替代方案形成競合。

• AMD Infinity Fabric（MI300X） AMD MI300X 同樣採用 8 GPU 全互聯設計，通過 Infinity Fabric 鏈路將所有 OAM 模組直連。根據 AMD 官方資料，每顆 MI300X 加速器提供 8 條 Infinity Fabric 鏈路，每條雙向頻寬 100 GB/s（推測為同類 4 通道級聯），即單 GPU 對分頻寬為 800 GB/s，8 GPU 總頻寬 6.4 TB/s。NVL144 在 Hopper 代次的總頻寬為 7.2 TB/s，領先 12.5%；而在 Blackwell 代次升級至 14.4 TB/s 後，已形成代際優勢。此外，AMD 平台的統一記憶體模型（ROCm 的 Unified Memory）和硬體一致性生態遠不如 CUDA 成熟，軟體在利用全互聯特性時仍有較大差距（來源：公開評測及 CSET 報告, 2024）。

• Intel Xe Link（Ponte Vecchio 與 Gaudi） Intel 的 Data Center GPU Max 系列（Ponte Vecchio）採用 Xe Link 互聯，但未實現 8 GPU 全互聯的同等量化；其 Gaudi 3 AI 加速器內部採用 RoCE 環網實現 8 卡通訊，並非硬體全互聯矩陣，有效頻寬和延遲不及 NVL144。Intel 的 GPU 市場佔有率極低，短期內難以對 NVL144 形成實質競爭（來源：Intel 產品釋出及 Tom’s Hardware 分析）。

• 自研 ASIC 互聯方案（Google TPU、AWS Trainium） Google 的 TPU v5p 等通過 ICI 匯流排連線 8～256 塊定製晶片，但其架構通常使用二維環網或環面，而非 NVSwitch 式的全互聯交叉開關。AWS Trainium2 使用 NeuronLink 實現 2D 環網，頻寬和延遲特性與 NVL144 不同。雖然這些方案在其封閉生態內極具競爭力，但都不構成通用市場的直接替代品。

• PCIe 交換方案（傳統形態） 部分伺服器廠商利用 PCIe Switch 建置多 GPU 連線，但 PCIe 5.0 的單鏈路頻寬僅 128 GB/s（單向 64 GB/s，雙向 128 GB/s），即便堆疊 16 條