NVSwitch
3 秒看懂
NVSwitch 是 NVIDIA 為超大規模 GPU 叢集打造的高速片間交換晶片，作用是把多顆 GPU 的 NVLink 直連通道匯聚成一張全互聯交換網路，讓域內任一 GPU 能以滿頻寬直接讀寫任一其它 GPU 的視訊記憶體。16～256 顆 GPU 被整合成一臺邏輯上的巨型加速器，從根本上消除了伺服器內乃至跨機架的 GPU 通訊瓶頸，是 DGX、HGX 及 NVL 機架級系統的必要元件。
3 分鐘產業解釋
在千億引數大型模型訓練中，單 GPU 視訊記憶體與算力遠不夠用，必須將模型切分到多顆 GPU 協同計算。傳統 GPU 間通訊依賴 PCIe 或外部網路（InfiniBand/乙太網路），頻寬低、延遲高，且需要 CPU 側多次複製，浪費大量算力。NVIDIA 先後引入了 NVLink（GPU 間直連高速匯流排）和 NVSwitch（該匯流排的交換核心）。NVSwitch 把原本需要多級轉發或 CPU 介入的資料搬運，變成一塊交換晶片內的交叉排程：所有 GPU 通過獨立的收發鏈路連到 NVSwitch，交換晶片在硬體層面解析目標 GPU 的實體地址，以數十納秒級延遲完成資料包轉發。結果就是伺服器內 8 GPU 乃至 SuperPOD 中 256 GPU 形成統一的共享地址空間與記憶體一致域，讓張量並行、專家並行等集合通訊操作近乎無阻塞執行，大幅降低通訊時間佔比，支撐更大型模型、更長時間的訓練任務。
技術原理
設計目標與約束
傳統 PCIe 樹狀拓撲中，GPU 間資料傳輸需要經過 CPU 的 Root Complex，不僅共享上游頻寬，而且每次跨 GPU 訪問都必須經歷多次協議轉換。NVLink + NVSwitch 的設計要求：
- 類記憶體訪問延遲：支援 load/store 語義，端到端延遲必須接近本地視訊記憶體訪問的納秒級別，以便直接對遠端地址做原子操作。
- 全速率聚合頻寬：隨著域內 GPU 數量增加，單個 GPU 應能同時與所有對端保持全雙工線速通訊，總頻寬 = Σ(每鏈路頻寬 × 鏈路數)。
- 硬體級快取一致性：各 GPU 的 L2 快取與遠端視訊記憶體之間需要維護一致性協議，確保張量並行的權重梯度、最佳化器狀態在 GPU 間無錯誤共享。
通訊機制與分層棧
NVSwitch 並非孤立元件，它與 NVLink 構成機內加速器互連的兩層棧：
- NVLink：鏈路層，提供 GPU 到 GPU / GPU 到 Switch 的高頻寬、低延遲點對點連線，每個埠由多組 SerDes 差分對構成。
- NVSwitch：交換層，匯聚所有 NVLink 埠，內部基於交叉矩陣（Crossbar）或共享快取交換結構實現完全無阻塞排程，並處理地址解析與原子操作。
實際工作流程（以 GPU 發起遠端視訊記憶體讀取為例）：
- GPU 執行緒執行一條 load 指令，目標地址經頁表對映為遠端 GPU 視訊記憶體的 NVLink 域地址。
- 請求被打包為 NVLink 事務包，通過本地 SerDes 傳送至 NVSwitch。
- NVSwitch 解析目的 GPU ID 並查表轉發，經過交叉矩陣無阻塞送達遠端 GPU 的埠。
- 遠端 GPU 的 NVLink 控制器訪問本地 HBM，返回資料沿原路徑反傳，並完成可能的快取記憶體一致性探測。
並行訓練中的通訊模式對映
- 張量並行：每個 Transformer 層跨 GPU 劈分，前向/反向需要高頻 AllReduce。在 NVSwitch 全互聯域內，AllReduce 可分解為 all-to-all 的收發操作，NVSwitch 提供無阻塞資料交換，而聚合計算由 GPU 上的 Tensor Core 或驅動庫完成。
- 流水線並行：主要依賴點對點傳遞，對 NVSwitch 的全域交換能力佔用較低。
- MoE 專家路由：專家分發與結果收集需要 all-to-all 集合通訊，NVSwitch 的全互聯特性使收發延遲遠低於傳統網路，可顯著提升 MoE 層吞吐。
與傳統網路交換器的本質區別
- NVSwitch 處理的是 GPU 實體地址與記憶體語義，支援原生原子操作、硬體一致性協議探測，資料包不包含 IP 或 MAC 頭部。
- 資料中心乙太網路或 InfiniBand 交換器工作在 RDMA 層級，通過軟體/韌體模擬遠端記憶體訪問，即便採用 RoCE 或 InfiniBand RC 模式，端到端延遲往往在微秒級別，比 NVSwitch 高出約一個數量級，且無法提供位元組粒度的硬體一致性。
關鍵引數
NVSwitch 已歷經三代，核心規格持續躍升。以下引數整理自 NVIDIA A100、H100、B200 官方白皮書及 GTC 主題演講，未單獨註明的即為公開技術檔案揭露；未揭露細節處標“公開資料未見”。
| 指標 | NVSwitch v1 (A100 系統) | NVSwitch v2 (H100/ H200 系統) | NVSwitch v3 (B100/B200/NVL72) |
|---|---|---|---|
| 配套 NVLink 版本 | NVLink 3 | NVLink 4 | NVLink 5 |
| 單埠速率（雙向） | 50 GB/s | 50 GB/s | 100 GB/s（單向）×2 方向，即 200 GB/s 雙向 |
| 單晶片埠數 | 18 個 | 64 個 | 72 個 |
| 單晶片交換總頻寬（雙向） | ~900 GB/s（18×50） | 3200 GB/s（64×50）[公開資料計算] | 14.4 TB/s（72×200） |
| 典型系統配置 | DGX A100：8 GPU + 6 顆 NVSwitch v1 | DGX H100：8 GPU + 4 顆 NVSwitch v2 | NVL72：72 GPU + 9 顆 NVSwitch v3（整機架） |
| 域內單 GPU 聚合頻寬（雙向） | 600 GB/s（A100，12 條 NVLink 3 鏈路） | 900 GB/s（H100，18 條 NVLink 4 鏈路） | 1.8 TB/s（B200，18 條 NVLink 5 鏈路） |
| 跨節點支援 | 無 | 通過 NVSwitch 二層擴充套件至最多 256 GPU | 原生支援 72 GPU 域，更大域通過外部網路擴充套件 |
| 製程/封裝 | 台積電 7 nm 級別製程，CoWoS 封裝 [NVIDIA 未公開具體節點，行業推測] | 台積電 4 nm 級別製程 [推測] | 台積電 4 nm 增強版，CoWoS-L/C [公開資料未見確切製程節點] |
| 交換延遲增量 | 數百納秒級（官方宣稱接近 200 ns 級交換開銷） | 類似量級 | 公開資料未見具體數字，行業預期更低 |
注：GPU 聚合頻寬指單顆 GPU 同時通過所有 NVLink 鏈路與域內其他 GPU 全速通訊的雙向總頻寬，為 GPU 與 NVSwitch 間鏈路頻寬之和。
技術路線
從點對點到全互聯交換
- 無 NVSwitch 階段（P100 / V100）：依靠 GPU 間直接的點對點 NVLink 構成立方網或環狀拓撲，每顆 GPU 只能同時與有限的鄰居滿速通訊，多跳轉發時延遲、頻寬均受影響。
- NVSwitch v1（A100）：首次實現伺服器內 8 GPU 全互聯交換，任一 GPU 可通過 NVSwitch 直達其他 7 顆 GPU，無需多跳，顯著降低通訊棧複雜度。
- NVSwitch v2（H100）：將全互聯擴充套件到跨節點層面，通過二層 NVSwitch 架構組建 256 GPU 的 NVLink 域，同時大幅增加單晶片埠數，讓單個交換器支援更多 GPU，降低每埠成本。
- NVSwitch v3（Blackwell）：進一步融入整機架系統（NVL72），原生管理多達 72 顆 GPU 的全互聯域，交換容量倍增，配合 NVLink 5 和液冷機架交付，實現“機架即一臺巨型 GPU”的織物。
主流 GPU 互連方案對比
| 方案 | 互連基礎 | 拓撲 | 單 GPU 對域總頻寬（標的） | 典型域規模 | 延遲 | 硬體快取一致性 | 開放性 |
|---|---|---|---|---|---|---|---|
| PCIe 直連 + CPU 轉發 | PCIe Gen5 | 樹狀 | ~128 GB/s 雙向 | 1-2 GPU | 高（微秒級） | 不支援 | 完全開放 |
| NVIDIA NVLink + NVSwitch（H100） | NVLink4 + NVSwitch2 | 全互聯交換 | ~900 GB/s 雙向 | 8~256 GPU（跨節點） | 極低（百納秒級） | 支援 | 封閉，NVIDIA 專有 |
| NVIDIA NVLink + NVSwitch（B200） | NVLink5 + NVSwitch3 | 全互聯交換 | 1.8 TB/s 雙向 | 72 GPU（整機架） | 極低 | 支援 | 封閉 |
| AMD Infinity Fabric（MI300X） | Infinity Fabric 3.0 | 全互聯 | ~896 GB/s（8 卡平台，雙向合計） | 8 GPU（12.8 Tb/s 節點內） | 低 | 支援 | AMD 專有 |
| Intel Gaudi 3 內部互連 | 專用 RoCE 引擎 + 內部 switch | 全互聯 | 3.84 Tb/s（8 卡系統，內部 all-to-all） | 8 GPU 節點 | 略高於 NVSwitch | 有限 | Intel 專有（基於標準化 Ethernet） |
| Google TPU ICI（TPU v5p） | 光交換器 OCS | 對數/3D Torus | ~6.4 Tb/s（晶片間雙向） | 8960 晶片 Pod | 低 | 支援 | 完全封閉，自用 |
| 超乙太網路/PCIe Switch 方案 | PCIe Gen6/7 + 相容 Ethernet | Fat Tree / Dragonfly | 400-800 Gb/s 每網絡卡 | 數千 GPU | 高（微秒級） | 不支援（依賴軟體） | 標準化，開放 |
表中指標根據各公司公開技術檔案與行業基準整理；延遲對比為集合通訊操作開銷的量級參考，非精確端到端測量值。
上游
SerDes 與高速物理層
NVSwitch 的埠數量與速率依賴超高速 SerDes（當前 112G/224G PAM4），推動台積電先進製程下 SerDes IP 的迭代。未來 NVSwitch 有望邁向共封裝光學（CPO），以應對交換頻寬指數級增長帶來的前端面板密度和功耗挑戰。主要受益環節為高速 SerDes IP 供應商及光模組/矽光子企業。
先進封裝與基板
單顆 NVSwitch 整合數十個高速埠和多顆晶片邏輯，需要超大尺寸封裝。NVSwitch v1/v2 先後採用 CoWoS-S，v3 預計匯入 CoWoS-L 或更新方案，中介層面積、ABF 載板層數持續上升。台積電 CoWoS 產能直接決定 NVSwitch 以及 GPU 的供給彈性。截至 2025 年 4 月，台積電 CoWoS 月產能已從 2023 年的 8,000 片擴至約 35,000 片（來源：DigiTimes 引述供應鏈訊息，2025 年 2 月），但 NVSwitch 與 HBM 堆疊 GPU 共同搶佔產能。
系統設計與液冷
整機架 NVL72 包含 9 顆 NVSwitch 3 及配套背板、銅纜背板聯結器、電源分配架構，須由 ODM（鴻佰科技、緯穎、雲端達等）完成系統整合與液冷測試。NVSwitch 背板頻寬密度極高，促使 PCB 材料向低損耗升級，並帶動板級液冷方案滲透。
EDA 與測試
高速 SerDes 與大規模交叉矩陣的驗證依賴高階 EDA 工具（Cadence、Synopsys）。ATE 裝置（Advantest、Teradyne）需要支撐數百條高速通道的並行測試，機時與測試成本隨埠密度提升而顯著增加。
（注：上述產業鏈環節中的具體份額與產能數字多為行業估算，下游客戶佔比未獲完全揭露。）
下游
AI 伺服器整機
NVSwitch 直接出現在 DGX 主機板和 HGX 基板上。DGX H100/B200 內部整合 NVSwitch 交換模組，形成 8 GPU 全互聯底座；NVL72 機架則以獨立 NVSwitch 交換器盒連線 9 個計算托盤。以英業達、廣達、超微電腦為代表的系統整合商交付最終整機。
雲端廠商 SuperPOD 與 AI 工廠
Microsoft Azure、Oracle Cloud、AWS、CoreWeave 等大型 AI 雲端平台均依賴 NVSwitch 組建高頻寬域，再將多個域通過 InfiniBand/乙太網路組成萬卡叢集。NVSwitch 的域規模和拓撲直接影響雲端廠商的集合通訊策略、網路架構和 CapEx 規劃——域越大，跨域通訊佔比越低，訓練效率越高。
訓練架構與中介軟體
Megatron-LM、DeepSpeed 等分散式訓練架構針對 NVSwitch 域內拓撲進行通訊演算法最佳化（如針對全互聯的 Reduce-Scatter 與 AllGather 融合），NVIDIA NCCL 庫深度適配 NVSwitch 的路由與多路徑能力，向上暴露統一 API。
受益公司
以下僅梳理產業關聯，不作為任何投資建議。
- NVIDIA（直接驅動力）：NVSwitch 是資料中心 GPU 平台鎖定戰略的核心，整套連線 fabric 的溢價顯著高於裸 GPU 銷售，帶動 HGX/DGX/NVL 系統 ASP 持續攀升。FY2025（截至 2025 年 1 月 26 日）資料中心營收 1,152 億美元（來源：NVIDIA FY2025 年報），其中 NVSwitch 貢獻未單獨拆分，但其內含價值隨整機架交付比例提升而增加。
- 台積電：唯一負責 NVSwitch 晶片先進製造與先進封裝（CoWoS/InFO）的代工方，NVSwitch 與 H200/B200 GPU 的投片共同佔用大量先進製程與封裝產能。
- ODM 與聯結器廠商：鴻海（鴻佰）、緯創（緯穎）、廣達等獲得高價值整機架 NVL72 系統訂單，Molex、Amphenol 等受益於高速背板聯結器和銅纜元件需求。
- 測試裝置商：Advantest、Teradyne 因 NVLink 高速介面測試複雜度提高，單 GPU/NVSwitch 測試機時價值增加。
- 液冷基礎設施供應商：NVL72 標配液冷，帶旺 CoolIT Systems、Boyd Corp.，以及伺服器 OEM 內部液冷方案部門。
市場規模
NVSwitch 作為 NVIDIA 專屬封閉元件，不單獨零售，無直接第三方市場規模統計。行業通過以下代理指標間接衡量其市場體量：
- NVIDIA 資料中心計算營收：FY2025 全年資料中心總營收 1,152 億美元，計算產品（含 Hopper/Blackwell GPU + NVSwitch 等內嵌部件）佔比約八成以上（來源：NVIDIA 2025 財年年報及業績說明）。據此推算，2024 日曆年 NVLINK+NVSwitch 相關係統內含價值在數百億美元量級。
- GPU 出貨量與 NVSwitch 附帶比例：據 Omdia 估算（2024 年 10 月報告），2024 日曆年 NVIDIA Hopper 架構 GPU（H100/H200）出貨量約 150 萬～180 萬顆。按 DGX H100 標準 8 GPU 配 4 顆 NVSwitch 2 計算，NVSwitch 2 晶片出貨約 75 萬～90 萬顆。隨著 Blackwell 平台出貨爬坡，NVL72 機架（72 GPU 配 9 顆 NVSwitch 3）每 GPU 所搭載 NVSwitch 比例降至 0.125，但單顆 NVSwitch 3 交換容量和價值量大幅提升。
- 先進封裝與前端晶圓消耗：台積電 CoWoS 產能中，約 60%～70% 用於 NVIDIA GPU/HBM 及 NVSwitch 相關晶片（來源：TrendForce，2024 年底）。NVSwitch 晶片的晶圓消耗量雖小於 GPU，但仍構成先進製程需求增量。
（以上第三方出貨數字均為市場研究機構估計，可能與 NVIDA 實際資料存在偏差。）
玩家對比
專有交換織物路線
- NVIDIA NVSwitch：本文核心，提供硬體一致性、最低延遲和最大域規模，但完全封閉，僅與 NVIDIA GPU 協同工作。
- AMD Infinity Fabric：面向 MI300X 等 APU/GPU，片內/片間統一互連。MI300X 8 卡伺服器內部基於 Infinity Fabric 實現全互聯，節點內每顆 GPU 可與其他 7 顆達成約 896 GB/s 聚合頻寬。目前域規模限制在單節點 8 GPU，尚未跨節點擴展出類似 NVSwitch 的二層交換系統（截至 2024 年底公開產品）。
- Intel Gaudi 3：整合 21 個 200G 內部 RoCE 埠，通過內部全互聯交換器實現 8 GPU 無阻塞 all-to-all（3.84 Tb/s）。優勢在於完全基於標準乙太網路，但缺乏硬體記憶體一致性，全域共享地址需通過軟體支撐。
- Google TPU ICI：自研光學交換器 OCS 構成 3D 環面/對數拓撲，TPU v5p 可擴充套件至 8960 晶片，提供硬體一致性與極低延遲，但僅限內部使用，不對外銷售。
開放替代方案
- PCIe Switching（Broadcom / Microchip）：PCIe Gen6/Gen7 交換器可以連線多個 GPU，但拓撲受限於樹狀結構，延遲與有效頻寬遠不如專用交換織物，且缺少原生一致性協議。Broadcom 等正推動 PCIe 交換器結合 CXL 3.0 實現多級共享記憶體，但尚未在主流訓練叢集中看到規模部署。
- 超乙太網路聯盟（Ultra Ethernet）：試圖通過最佳化乙太網路傳輸層，在胖樹/蜻蜓拓撲上逼近 NVSwitch 域內的集合通訊效能，目前主要用在第二層跨域網路，尚未取代機內交換晶片。
總體而言，NVSwitch 在“單域內超低延遲硬體一致性”層面尚無同等替代者，開放方案試圖從更大規模的網路層蠶食其價值，但暫未撼動其在 AI 伺服器底座中的地位。
風險
- 技術替代風險：Ultra Ethernet 等標準化開放互連不斷演進，若未來“全網路交換”可將跨節點集合通訊延遲降至與域內相當的水平，部分客戶可能選擇減少對 NVSwitch 封閉織物的依賴，轉而擴充成本更低、生態更開放的層級。此外，CXL 3.0 記憶體共享方案可能在某些推論場景中替代 NVSwitch 的共享地址功能。
- 大客戶自研傾向：Google 已全自研 TPU ICI，AWS 在 Trainium2 中採用自研 NeuronLink 互連，幾大雲端巨頭均有降低對 NVIDIA 專有互連依賴的長線意圖。一旦第二梯隊雲端商聯合推出基於開放標準的替代 fabric，NVSwitch 的獨佔性將被削弱。
- 先進封裝與產能瓶頸：NVSwitch 依賴台積電 CoWoS 產能，若 CoW