Spectrum

3 秒看懂

NVIDIA Spectrum 是 NVIDIA 面向 AI 工廠和超大規模資料中心打造的高效能乙太網路硬體平台，涵蓋交換器 ASIC、智慧網絡卡（ConnectX）、資料處理單元（BlueField DPU）及整套加速軟體。它以低通訊抖動、自適應路由和納秒級時鐘同步為核心特性，最新一代 Spectrum‑X 已引入光電一體封裝（CPO）矽光技術，可在 1.6T/埠下將功耗削減至傳統可插拔方案的 1/5、訊號完整性顯著提高，為百萬 GPU 叢集提供高可靠、高能效的橫向/跨區域擴充套件網路。

3 分鐘產業解釋

AI 訓練與推論中，通訊開銷往往佔整體耗時 30% 以上，通用乙太網路因 PFC 風暴、高抖動和缺乏應用感知，常成為效能瓶頸。NVIDIA 自 2019 年宣佈收購、2020 年完成收購 Mellanox 後，持續推出 Spectrum 系列交換晶片，至今已演進至第六代。平台的核心思路是端到端最佳化：以 Spectrum 交換器為中樞，搭配 ConnectX 智慧網絡卡和 BlueField DPU 進行資料面解除安裝、動態路由和擁塞控制，再通過 DOCA 軟體架構實現網路虛擬化、安全隔離和遙測。
繼 2022 年推出 51.2Tb/s 的 Spectrum‑4 後，2025 年 GTC 上 NVIDIA 公佈了 Spectrum‑X 矽光網路交換器，採用 3D 光電聯合封裝，單晶片即提供 128 個 800G 埠、102.4Tb/s 的交換容量（可級聯至 409.6Tb/s），並將雷射器數量減少 4 倍、大規模組網可靠性提升 10 倍。這使得 AI 工廠可以將橫向擴充套件（scale‑out）與跨區域擴充套件（scale‑across）統一在乙太網路架構上，為萬億引數 MoE 模型訓練提供了高效、彈性的互聯基座。
在軟體生態側，IBM Spectrum（LSF 作業排程器與 MPI 通訊庫）雖隸屬於 IBM，但已深度適配 NVIDIA GPU，可為 AI 叢集提供策略驅動的資源管理和 GPU‑Direct RDMA 支援，常與 Spectrum 硬體平台共同組成 HPC/AI 基礎設施的全貌。

15 分鐘專家深入

Spectrum 平台的三大支柱

1. Spectrum 交換 ASIC
   作為資料中心網路的“大腦”，每一代 Spectrum 晶片都重構了包處理管線。從 Spectrum‑3 的 12.8Tb/s 到 Spectrum‑4 的 51.2Tb/s，再到 Spectrum‑6 的每一埠 800G/1.6T 能力，吞吐呈指數攀升。Spectrum‑4 的差異化在於內建納秒級計時器，可以精準同步各 GPU 節點的時鐘，降少分散式集合通訊的尾部延遲。¹
   自適應路由（Adaptive Routing）和全域性 VoQ（Virtual Output Queue）機制讓交換器能夠根據即時負載動態選擇路徑，徹底消除傳統 ECMP 雜湊不均導致的擁塞。同時，高階擁塞控制演算法與 NVIDIA 集合通訊庫（NCCL）聯動，可在 RDMA over Converged Ethernet（RoCEv2）流中預測並抑制 incast 風暴。

2. ConnectX 智慧網絡卡與 BlueField DPU
   ConnectX‑7/8 智慧網絡卡提供 200‑800Gb/s 或更高速率的連線，支援硬體級 RDMA、GPUDirect RDMA 儲存和網路線上加密。BlueField‑3 DPU 則承載儲存、安全、虛擬交換等基礎設施服務，將 CPU 從“資料中心稅”中釋放，併為多租戶環境提供硬體強隔離。¹
   Spectrum‑X 平台明確將這些元件捆綁驗證，形成一個經過端到端擁堵測試的“參考架構”，顯著縮短使用者從部署到穩定訓練的時間。

3. 軟體定義加速層
   DOCA（Data Center Infrastructure‑on‑a‑Chip Architecture）提供統一的程式設計模型，開發者可在 DPU 上部署虛擬交換器、5G vRAN 或分散式儲存協議棧。配合最新 Spectrum‑X 矽光交換器的硬體遙測（Telemetry），運營者可即時獲取納秒級的時間戳和鏈路質量資料，實現 AI 工廠的閉環最佳化。

IBM Spectrum 軟體的融合角色

在超算/AI 叢集中，IBM Spectrum LSF 作為歷經 28 年迭代的作業排程器，支援異構 GPU 感知排程，能夠將 MPI 或容器化訓練作業精準投放至具有 GPU‑Direct 能力的節點。²
IBM Spectrum MPI 則基於 Open MPI，優化了 GPU 親和性、動態介面選擇和 RDMA 網路，配合 Spectrum 交換器可實現高達 99% 以上的弱擴充套件效率。² 儘管歸屬於 IBM，但在 NVIDIA 的 HPC 開發者手冊中被列為推薦元件，其與 Spectrum 硬體的深度適配使得叢集可以實現從排程到通訊的全棧最佳化。

技術原理

交換器資料平面與擁塞控制

Spectrum 採用可程式設計包處理管線，每個埠的 MAC/PHY 均耦合一個大容量片上 Buffer（典型設計為幾十 MB 級別）。當一個埠的出口佇列深度超過閾值，交換器會發送顯式擁塞通知（ECN）或觸發優先順序流控（PFC），但傳統乙太網路中多個流同時暫停會導致“PFC 風暴”和死鎖。Spectrum 通過硬體輔助的流量隔離和動態水線調整來規避這一問題，同時結合 基於本地佇列深度和負載資訊的自適應路由，將流量打散到所有可用並行路徑，將網路利用率推至 95% 以上。¹

CPO 矽光引擎原理

Spectrum‑X 矽光交換器將交換晶片與矽光引擎通過 3D 封裝整合在同一基板上，取消了傳統可插拔光模組的電訊號長鏈路，代之以微米級的板上光學互聯。

交換ASIC
   │
   └─ 微凸塊 (μBump) ─ 矽光中介層
          ├─ 微環調變器 (MRM)
          ├─ 波長分波多工/解複用 (WDM)
          └─ 邊緣耦合 → 外部雷射源 (ELS) 
                         └→ 1.6T 光纖通道

外部雷射源（ELS）以可更換模組的形式提供光功率，雷射器數量比可插拔方案減少 4 倍，大幅降低單埠成本與故障率。由於電連線縮短，訊號完整性顯著提高，1.6T 埠的功耗僅約傳統方案的 1/5。同時，光電聯合封裝消除了鏈路熱插拔引起的閃斷，正常無閃斷執行時間延長 5 倍，直接提升大規模 MoE 訓練的穩定性。³⁴

納秒級計時精度

Spectrum‑4 交換器內建高精度溫度補償晶振，可向所有連線的 GPU/網絡卡廣播 PTP 或 SyncE 時鐘，實現全簇納秒級時間同步。這一能力讓分散式訓練中的引數更新、梯度 AllReduce 操作可以被精確編排在同一個“時間槽”內，大幅減少 GPU 端因等待而引入的 idle 開銷。¹

技術演進史

• 2016‑2020：收購與基座建設
  NVIDIA 收購 Mellanox，獲取 Spectrum 交換晶片、ConnectX 網絡卡技術和 LinkX 線纜產品線。隨 Spectrum‑2 (2018) 和 Spectrum‑3 (2020) 相繼釋出，網路頻寬從 10/25GbE 躍遷至 100/200GbE，並支援 RoCEv2，確立在乙太網路 HPC 市場的地位。

• 2022：Spectrum‑4 與端到端平台
  GTC 2022 釋出 51.2Tb/s 的 Spectrum‑4 交換器，率先引入納秒級計時功能和 BlueField‑3 DPU 的深度耦合，標誌著從單品到平台化策略的轉折。同時提出“3U 一體”（CPU/GPU/DPU）架構，網路被視為資料中心的新計算核心。¹

• 2025：光電一體化里程碑
  GTC 2025 推出 Spectrum‑X 矽光網路交換器，採用 Spectrum‑6 ASIC 與 MRM 矽光引擎。首次將 CPO 技術商用於 AI 乙太網路，且提供兩種密度：128×800G（102.4Tb/s）或 512×200G；以及 512×800G（409.6Tb/s）。此平台與 NVIDIA Rubin GPU 同步設計，面向萬億引數 MoE 和跨區域十萬卡叢集。³⁴

技術路線對比

對比維度	NVIDIA Spectrum‑4 / Spectrum‑X CPO	通用資料中心交換器（如 Broadcom Tomahawk）	NVIDIA Quantum‑2 InfiniBand
最高單晶片頻寬	51.2Tb/s (Spectrum‑4) / 102.4Tb/s (Spectrum‑6) (CPO)	51.2Tb/s (Tomahawk 5) (可插拔)	25.6Tb/s (Quantum‑2 NDR 單向)
埠形態	64×800G / 128×800G (CPO)	64×800G 光模組	64×400G NDR
網路協議	Ethernet（RoCEv2）	Ethernet（RoCEv2）	InfiniBand（原生 RDMA）
通訊抖動	極低（端到端微秒級尾延遲降低）	中等（需深度調優）	極低（確定性路由）
擁塞控制	自適應路由 + 動態水線 + NCCL 協同	ECN/PFC 需手動調優	信用基流控 + 自適應路由
功耗 (每 1.6T 埠)	約傳統方案的 1/5（CPO） 3	基準	低於傳統乙太網路可插拔，但高於 CPO
可靠性	CPO 鏈路無閃斷，可靠性提升 10 倍 3	外掛及光纖較高故障率	高，但成本也高
生態與可程式設計性	NVIDIA ConnectX/DPU 緊密整合，DOCA 全棧可程式設計	多供應商，松耦合	NVIDIA 專用，與 GPU 繫結緊密
適用場景	AI 工廠橫向/跨區域擴充套件，多租戶雲端	通用雲端運算、企業 IT	極大規模緊耦合訓練，專有 HPC

上下游

上游

• 交換 ASIC 設計：NVIDIA 內部網路晶片團隊。
• 矽光引擎與 MRM 設計：由 NVIDIA 光學團隊與代工廠（可能為 TSMC）共同實現。
• 外部雷射源：供應鏈合作伙伴（如 Lumentum、Coherent）提供可更換的 CW 雷射器模組。
• 網絡卡/DPU 晶片：自研 ConnectX‑8/BlueField‑4 晶片，由三星或台積電代工。
• 製程節點：交換 ASIC 推測基於先進製程（如 5nm/4nm 級別），但精確節點 [未充分揭露]。

下游

• AI 工廠及超大規模雲端服務商：用於建置數十萬卡 GPU 叢集的 Scale‑Out 網路，例如微軟 Azure、Meta、特斯拉 Dojo 等。
• 國家級超算中心：採用 Spectrum 交換器搭配 InfiniBand 建置混合架構，例如 NVIDIA Eos 系統。
• 企業 AI 平台：大型銀行、車企搭建私有 AI 訓練平台，Spectrum‑X 低抖動可保障多租戶 SLA。
• 儲存/軟體定義資料中心：通過 DPU 解除安裝 NVMe‑over‑Fabrics 儲存流量，Spectrum 交換器承載統一 fabric。

關鍵指標

• 埠速率與頻寬：單晶片支援 64×800G (51.2Tb/s) 至 128×800G (102.4Tb/s) ³；最高密度配置可達 512×800G (409.6Tb/s)。
• 超低延遲與抖動：Spectrum‑4 交換器具有納秒級計時精度 ¹；Spectrum‑X 乙太網路在 MoE 分散式路由下，通訊抖動可比通用乙太網路降低 30‑50%（[行業估算]）。
• 能效比：CPO 方案 1.6T 埠功耗僅為可插拔方案的 1/5，系統總功耗可降至傳統方案的約 1/3.5 或同等功耗下支援 3 倍 GPU 數量 ³⁴。
• 可靠性：CPO 鏈路無閃斷導致正常無故障執行時間延長 5 倍，大規模組網可靠性提升 10 倍 ³。
• 雷射器數量：外部雷射源方案較可插拔減少了 4 倍雷射器，顯著降低 BOM 與維護複雜度。
• 擁塞控制能力：支援動態多路徑、Global VoQ 和與 NCCL 聯動的擁塞控制，鏈路利用率達 95% 以上。

供需與市場資料

• 據產業測算，AI 叢集中網路裝置成本佔比已從幾年前的約 8‑10% 上升至 15‑20%，推動交換器市場進入高速增長週期。
• 預計 2025‑2028 年，800G/1.6T 乙太網路交換晶片市場規模 CAGR 有望超過 40%（[行業報告]）。NVIDIA 憑藉與 H100/B100/Rubin 的捆綁參考設計，有望在 AI 乙太網路交換器市場佔據 50% 以上份額（[供應鏈估算]）。
• CPO 技術滲透率：2025 年作為 CPO 商用元年，Spectrum‑X 矽光交換器率先面向頭部雲端客戶出貨，預計 2027 年後在 AI 工廠網路中的滲透率將超過 20%（[券商研究報告推算]）。

代表公司與資本對映

• NVIDIA：從晶片到交換器、智慧網絡卡、DPU、軟體的全棧供應商。Spectrum 平台貢獻可觀的資料中心營收，其與 GPU 的“搭售”模式強化了客戶粘性，連帶推高 EPS 預期。
• 光器件/Laser 供應商：Lumentum、Coherent、II‑VI 等有望成為 Spectrum‑X CPO 的外部雷射源二級供貨商。
• ODM/JDM 交換器廠商：廣達（Quanta）、智邦（Accton）等負責將交換 ASIC 和矽光引擎組裝成成品交換器，受益於代工量快速增長。
• 競爭格局：博通（Tomahawk 5/6）仍是通用資料中心交換器市場領導者，但在 AI 網路最佳化、DPU 一體化方面落後於 NVIDIA 的捆綁生態。
• 資本市場對映：NVIDIA（NVDA）為核心標的，其資料中心業務增速是核心觀察指標。交換器 ODM 廠商光環雖弱，但可通過營收增長獲益。

投資邏輯

1. AI 工廠擴張驅動高速乙太網路換代：百萬 GPU 叢集需要數萬個交換器埠，Spectrum‑X 的 CPO 方案在功耗、可靠性上的代差優勢，使其極有可能成為下一輪 AI 資本支出的最大贏家之一。
2. 全棧鎖定效應：Spectrum 交換器與 ConnectX/BlueField 形成“網路 OS+算力”閉環，客戶一旦採用 NVIDIA GPU，幾乎必然採納其推薦網路架構，帶來持續性經常營收。
3. 成本下降加速滲透：CPO 方案減少雷射器數量 4 倍，功耗 3.5 倍，可在相同電力預算下支援更多 GPU，直接降低 AI 工廠 TCO，刺激更多企業自建 AI 叢集。
4. 風險關注：博通等競爭對手也在推進 CPO 及 AI‑Ethernet 解決方案；超大規模客戶可能要求開源白盒方案以分散供應鏈，NVIDIA 的鎖進策略可能面臨反壟斷壓力；矽光供應鏈成熟度與良率仍有待觀察。

常見誤讀糾偏

1. “Spectrum 是指 IBM Spectrum LSF/MPI 這些軟體嗎？”
   IBM Spectrum 是 IBM 的軟體產品線（LSF 作業排程、MPI 通訊庫等），與 NVIDIA Spectrum 硬體平台分屬兩家獨立公司。雖然兩者常共同部署於 AI 叢集，但 NVIDIA Spectrum 特指 NVIDIA 的乙太網路交換晶片、交換器組以及 Spectrum‑X 平台，不可混淆。²

2. “Spectrum 交換器不過就是白盒交換器，裝上 SONiC 就能跑。”
   實際上，Spectrum 的差異化在於與 ConnectX、BlueField、DOCA 的垂直整合，以及針對 NCCL 集合通訊的深度最佳化。裸裝通用 NOS（如 SONiC）無法獲得自適應路由、納秒級同步等特性，AI 訓練效能會大幅下降，因此官方設計均捆綁 NVIDIA Cumulus Linux 或 Onyx，建議使用全套驗證方案。

3. “CPO 交換器就沒有光模組了。”
   CPO 交換器仍然需要光源和光纖連線。只是將電‑光轉換部分（矽光引擎）與交換晶片共同封裝，外部雷射源以可更換 ELS 模組形式存在，並非取消了所有光學元件。因此光纖跳線、聯結器依然存在，但部署和替換模型發生了變化。³

學習路徑

• 官方資料：NVIDIA Developer Zone 中《NVIDIA Spectrum‑X Network Platform Architecture》白皮書。
• 技術深入：GTC 2025 技術分會演講“Scaling Next‑Gen AI Factories with Spectrum‑X Photonics”；NVIDIA 網路部落格的“Adaptive Routing & Load Balancing”系列。
• 動手實驗：NVIDIA Air（網路模擬平台）提供虛擬 Spectrum 交換器實驗室，可測試 RoCE 配置和擁塞控制。
• 產業視角：650 Group、Dell’Oro 的資料中心交換器季度報告，關注 CPO 滲透率及埠速率演進。
• 軟體排程：IBM Spectrum LSF 官方文件中“GPU Scheduling with NVIDIA GPUs”章節，理解如何與 Spectrum 硬體協同。²

一句話總結

NVIDIA Spectrum 乙太網路平台通過從交換晶片到光電一體封裝的系統性創新，解決了 AI 工廠中信令抖動大、功耗高、大規模組網不可靠的難題，成為百萬級 GPU 叢集橫向/跨區域擴充套件的“中樞神經”。

延伸閱讀與來源

Footnotes

1. 《全新 Spectrum‑4 乙太網路平台和互連技術 NVIDIA 多管齊下加速互聯互通》，至頂網，2022‑04‑14. https://server.zhiding.cn/server/2022/0414/3139930.shtml ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

2. IBM Spectrum LSF / MPI 概述，NVIDIA Developer. https://developer.nvidia.com/ibm-spectrum-lsf & https://developer.nvidia.com/ibm-spectrum-mpi ↩ ↩² ↩³ ↩⁴

3. 《NVIDIA 矽光網路交換開啟資料中心網路新時代》，中華網，2025‑05‑30. https://m.tech.china.com/articles/20250530/202505301679844.html ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸

4. 《NVIDIA Spectrum‑X 乙太網路矽光技術助力擴充套件節能高效的 AI 工廠》，新浪科技，2025‑(釋出時間估計). https://k.sina.com.cn/article_7857201856_1d45362c0019047306.html ↩ ↩² ↩³