交換托盤
3 秒看懂
交換托盤是專為大規模AI資料中心設計的高密度網路交換裝置物理形態。它不是一個獨立的機箱,而是像硬碟或伺服器刀片一樣,可以被插入標準化機櫃(機架)中,實現網路交換功能的高密度、模組化部署。它的核心價值在於,以遠高於傳統盒式交換器的埠密度和頻寬,支撐AI訓練與推論所需的海量GPU間通訊。
3 分鐘產業解釋
在AI大型模型時代,單個GPU算力有限,必須將成千上萬的GPU(如NVIDIA的H100、B100)連線成一個協同工作的“超級計算機”。這個連線網路被稱為“後端網路”或“AI後端網路”。交換托盤就是這個網路的“交通樞紐”和“高速公路立交橋”。
- 形態:它通常是一個符合標準機架單元(如4U或更薄)的平板式裝置,內部集成了多個高速交換晶片(ASIC)和配套的電源、散熱模組。
- 關鍵作用:將數千個GPU通過高速光模組和光纖連線起來,確保資料(如模型引數、梯度)能在它們之間低延遲、高頻寬地傳輸。沒有它,GPU叢集就是一堆孤立的計算單元。
- 產業位置:它是AI算力硬體基礎設施的網路層核心,上承AI伺服器/叢集,下接光模組與光纖佈線。其技術演進直接決定了AI叢集的規模和效率上限。
15 分鐘專家深入
交換托盤的興起源於AI訓練網路對頻寬、密度和成本的極致追求。傳統資料中心採用盒式交換器(如思科的Nexus系列)通過機櫃頂部的交換器(ToR)連線伺服器,層級較多,延遲和成本在萬卡叢集中變得不可接受。
- 技術路線:當前主流路線是基於Clos(或Fat-Tree)的扁平化網路架構。交換托盤在此架構中,常作為“Spine”(骨幹層)交換器使用。它擁有極高的下行埠密度(連線伺服器或下層交換器)和上行埠密度(連線其他Spine交換器),以支援無阻塞或接近無阻塞的網路。
- 市場格局:這是一個由少數幾家主導的利基市場。
- 自研派:以Google(TPU網路)為代表的超大規模雲端廠商,傾向於自研交換晶片和交換托盤,以深度最佳化軟硬體協同。微軟等廠商則自研交換系統,但依賴商用交換晶片。
- 商用市場:主要被NVIDIA(Spectrum-X系列)、Arista Networks等公司佔據。NVIDIA提供從交換晶片到完整交換托盤的全棧解決方案,Arista Networks等系統整合商則基於商用晶片提供交換托盤。博通作為核心交換晶片供應商,提供晶片及參考設計,不直接銷售整機。
- 供應鏈關鍵:其核心是高速交換晶片(ASIC),主要由博通和NVIDIA(通過收購Mellanox獲得)供應。國內廠商如盛科網路也在努力追趕。
- 技術挑戰:
- 訊號完整性:在極小的PCB面積上實現超過100G/lane甚至更高(向400G/lane演進)的訊號傳輸,對PCB材料、聯結器和物理設計是巨大挑戰。
- 功耗與散熱:單個交換托盤功耗可達數千瓦,必須採用高效的液冷或高階風冷方案。
- 軟體與協議:需要支援RoCEv2、擁塞控制、自適應路由等針對AI流量最佳化的無損網路協議。
技術原理
交換托盤的內部架構可簡化為一個“多層交換矩陣”。
+-------------------------------------------------------------------+
| 交換托盤 (Switch Tray) |
| +-----------+ +-----------+ +-----------+ +-----------+ |
| | 交換晶片 | | 交換晶片 | | 交換晶片 | | 交換晶片 | ... |
| | ASIC | | ASIC | | ASIC | | ASIC | |
| +-----+-----+ +-----+-----+ +-----+-----+ +-----+-----+ |
| | | | | |
| +-----v--------------v--------------v--------------v-----+ |
| | 高速背板 / 中板 (Backplane/Midplane) | |
| +-----+--------------+--------------+--------------+-----+ |
| | | | | |
| +-----v-----+ +-----v-----+ +-----v-----+ +-----v-----+ |
| | 前面板 | | 前面板 | | 前面板 | | 前面板 | ... |
| | 高速光口 | | 高速光口 | | 高速光口 | | 高速光口 | |
| | (QSFP-DD, OSFP) | | | | | |
| +-----------+ +-----------+ +-----------+ +-----------+ |
| |
| +----------------+ +----------------+ |
| | 電源模組 | | 散熱風扇 | |
| +----------------+ +----------------+ |
+-------------------------------------------------------------------+
關鍵機制與引數(基於行業通用架構推斷):
- 交換晶片互聯:多個交換晶片(ASIC)通過高速SerDes(序列器/解串器)鏈路連線到背板/中板上的高速匯流排或交叉開關(Crossbar),形成一個大的邏輯交換晶片。這是一種分散式轉發架構。
- 埠配置:一個典型的交換托盤可能提供數十個 400G或800G的QSFP-DD/OSFP光模組插槽。具體埠數量取決於交換晶片的容量和托盤的物理尺寸。
- 轉發能力:整個托盤的總交換容量通常在數Tbps到數十Tbps量級([行業估算])。這個數字是衡量其效能的核心指標之一。
- 關鍵元件:
- 交換晶片:決定托盤容量、功能(如對無損網路的支援)的核心。典型廠商如博通的Tomahawk/Jericho系列、NVIDIA的Spectrum-4等。
- 光模組:400G/800G OSFP/QSFP-DD光模組是主要成本和功耗來源之一。
- 電源與散熱:採用高效率的開關電源和強力風扇或液冷方案。
技術演進史
- 前AI時代(~2016):資料中心主流是傳統三層架構和盒式交換器,交換托盤形態多用於運營商核心路由,非資料中心主流。
- AI訓練興起(2016-2020):隨著GPU叢集規模擴大,扁平化Leaf-Spine架構成為標準。高密度、模組化的交換裝置需求開始出現,“白盒交換器” 概念興起,推動了基於博通晶片的交換托盤在超大規模資料中心的部署。
- AI大爆發(2021-至今):萬億引數模型訓練需要萬卡甚至十萬卡互聯。交換托盤成為AI資料中心後端網路的“脊樑骨”。技術焦點轉向:
- 速率升級:從100G/400G向800G、1.6T演進。
- 協議最佳化:深度整合無損網路(RDMA over Converged Ethernet)、智慧擁塞控制。
- 深度整合:與液冷系統、AI排程軟體深度耦合,成為AI基礎設施的有機組成部分。
技術路線對比
| 特性維度 | 傳統盒式交換器 (ToR/Leaf) | 交換托盤 (AI Spine/Core) | 自研專用網路裝置 (如Google TPU) |
|---|---|---|---|
| 物理形態 | 獨立機箱,通常1U-2U | 標準化托盤,可插入機櫃,通常4U+ | 定製化機櫃或托盤 |
| 埠密度 | 中等,通常48x 25G/100G + 8x 100G/400G | 極高,數十個400G/800G埠 | 極高,定製化介面 |
| 部署規模 | 每伺服器機櫃1-2臺 | 用於匯聚層,數量遠少於伺服器 | 規模與自研晶片叢集匹配 |
| 主要目標 | 連線伺服器,提供基礎二層/三層功能 | 實現超大規模、低延遲、無阻塞AI後端網路 | 極致最佳化特定工作負載(如LLM訓練)的通訊效率 |
| 成本考量 | 單機成本相對較低,但總擁有成本(TCO)在AI場景下可能不優 | 單機成本高,但能降低每Gbps頻寬成本和網路層級複雜度 | 鉅額研發投入,但長期可能降低TCO |
| 典型廠商 | Arista, Cisco, HPE | NVIDIA, Arista, 博通 (晶片+設計) | Google, Microsoft |
| 技術來源 | 成熟商用方案 | 商用晶片+最佳化系統設計 | 全棧自研(晶片、軟體、系統) |
上下游
- 上游:
- 核心晶片:交換晶片ASIC(博通、NVIDIA、中興微電子、盛科)、CPU(用於管理面,如Intel、AMD)。
- 關鍵器件:高速光模組/光引擎(II-VI/Coherent、Lumentum、中際旭創、新易盛)、PCB板材(深南電路、生益科技)、高速聯結器(Amphenol、泰科電子)。
- 基礎部件:電源模組、散熱元件、結構件。
- 中游:交換托盤/系統製造商(NVIDIA、Arista、銳捷網路、新華三、華為、中興通訊,以及ODM廠商如Celestica、Edgecore)。
- 下游:
- 終端使用者:雲端運算廠商(AWS, Azure, GCP)、網際網路公司(Meta, 字節跳動)、電信運營商、AI企業(如智譜、百川)。
- 應用:AI大型模型訓練叢集、高效能運算(HPC)叢集、大規模分散式儲存網路。
關鍵指標
- 總交換容量:整個托盤的吞吐能力,單位Tbps。是規模能力的直接體現。
- 埠密度與速率:支援的400G/800G/1.6T埠數量。
- 轉發延遲:資料包從入口到出口的延遲,在AI訓練中至關重要(通常要求<1μs)。
- 無損網路特性:是否支援RDMA、優先順序流控(PFC)、顯式擁塞通知(ECN)等。
- 功耗效率:每Tbps交換容量的功耗(W/Tbps),影響資料中心運營成本。
- 可靠性:電源、風扇、關鍵晶片的冗餘設計,平均無故障時間(MTBF)。
- 可管理性:支援的網路作業系統(NOS)、自動化、遙測功能。
供需與市場資料
- 需求驅動:全球AI算力資本支出是核心驅動力。每一個超大規模AI訓練叢集(萬卡以上)都需要大量交換托盤作為Spine層裝置。隨著模型引數規模從千億向萬億演進,以及多模態模型發展,叢集規模仍在擴大。
- 供應格局:市場高度集中。交換晶片供應(博通、NVIDIA)是瓶頸,其產能和交付節奏直接影響交換托盤整機產出。光模組供應鏈同樣關鍵。
- 市場規模:缺乏公開的、針對“交換托盤”這一細分品類的精確市場資料。它被包含在“資料中心交換器”市場中。根據多家行業分析機構(如Dell‘Oro Group, IDC)的報告,AI相關網路基礎設施是資料中心交換市場中增長最快的子領域,年增速可能遠超行業平均水平。(注:此為行業趨勢定性判斷,具體數字未充分揭露)
- 價格:一個高階交換托盤(含晶片、光模組等)的整機價格可能高達數十萬至上百萬人民幣,具體取決於配置和廠商。[供應鏈估算]
代表公司與資本對映
- 裝置與系統商:
- NVIDIA (NVDA):通過Spectrum-X系列提供從交換晶片到完整交換托盤的全棧方案,是AI網路領域的領導者。
- Arista Networks (ANET):在大型雲端廠商和AI網路中佔據重要份額,提供高階資料中心交換平台。
- 銳捷網路 (301165.SZ) / 新華三 (母公司紫光股份 000938.SZ) / 中興通訊 (000063.SZ):國內主要廠商,在政企及部分網際網路市場有版面配置,正向AI網路領域拓展。
- 核心晶片商:
- 博通 (AVGO):全球資料中心交換晶片霸主,其晶片被大量交換托盤採用。
- 盛科網路 (688702.SH):國內商用交換晶片領軍企業,產品正向更高速率迭代。
- 關鍵部件商:
- 中際旭創 (300308.SZ) / 新易盛 (300502.SZ):全球領先的高速光模組供應商,是交換托盤上游供應鏈的關鍵一環。
- 深南電路 (002916.SZ) / 生益科技 (600183.SH):高階PCB供應商,受益於交換托盤等高效能網路裝置的需求。
投資邏輯
- AI基礎設施的“賣水人”邏輯:無論AI應用如何發展,建置底層算力基礎設施是確定性最高的環節。交換托盤作為網路層核心元件,受益於全球AI算力投資的浪潮。
- 技術壁壘與格局優勢:交換晶片設計和高階網路系統整合具有高技術壁壘,市場格局清晰,龍頭企業護城河深。
- 供應鏈瓶頸機會:交換晶片、高階光模組等關鍵環節可能因供不應求而擁有更強的定價權和獲利空間。
- 關注國產替代:在複雜地緣政治環境下,國內AI算力自主可控需求迫切,為國內交換晶片(盛科)、網路裝置(銳捷、新華三、中興)及光模組廠商提供了長期成長視窗。
常見誤讀糾偏
- 誤讀1:交換托盤就是一種高速交換器。
- 糾偏:更準確地說,它是專為AI/HPC場景最佳化的、高密度模組化交換器的一種物理形態。其設計重點在於超高階口密度、低延遲和無損網路支援,與傳統企業交換器在目標和架構上有顯著區別。把它理解為“AI網路的脊柱裝置”更貼切。
- 誤讀2:有了交換托盤,網路延遲問題就徹底解決了。
- 糾偏:交換托盤是降低網路裝置轉發延遲的關鍵,但整個AI訓練的網路延遲還包括光傳輸延遲、協議棧處理延遲、軟體排程延遲等。需要從網路架構、協議、硬體、軟體進行全棧最佳化,交換托盤只是其中一環。
- 誤讀3:交換托盤市場完全由終端裝置廠商主導。
- 糾偏:核心交換晶片的供應才是真正的制高點。博通、NVIDIA等晶片廠商通過定義晶片能力(頻寬、特性),深刻影響著交換托盤整機的功能和演進路線。整機廠商更多是在晶片基礎上進行系統整合和軟體最佳化。
學習路徑
- 基礎:瞭解計算機網路基礎,特別是乙太網路協議、IP網路、資料中心網路架構(如Leaf-Spine)。
- 進階:學習RDMA、RoCE、無損網路技術,理解AI訓練對網路的特殊需求(All-Reduce通訊模式等)。
- 深入:
- 研究主流交換晶片廠商(博通、NVIDIA)的技術文件(如晶片資料手冊)。
- 關注IEEE 802.3乙太網路標準、OIF(光互聯論壇)的CEI(通用電氣介面)標準,瞭解速率演進路線圖(如200G/lane, 400G/lane)。
- 閱讀頭部雲端廠商和裝置商釋出的技術部落格、白皮書(如NVIDIA關於Spectrum-X的文件)。
- 產業視角:追蹤Dell‘Oro Group、IDC等分析機構關於資料中心網路市場的報告,以及主要公司的財報電話會,理解市場趨勢和競爭動態。
一句話總結
交換托盤是建置萬卡AI算力叢集不可或缺的“網路中樞”,其技術演進與市場格局直接關係到AI大型模型發展的速度和成本,是當前AI硬體產業鏈中一個關鍵且高價值的環節。
延伸閱讀與來源
- 技術白皮書:NVIDIA《Spectrum-X: An Ethernet Networking Platform for AI》;Arista《AI Networking for Large Language Models》。
- 行業報告:Dell‘Oro Group《Data Center Optics & Interconnects Advanced Research Report》;IDC《Worldwide Datacenter Network Tracker》。
- 技術標準:IEEE 802.3 Ethernet Working Group;OIF CEI-112G/224G Implementation Agreement。
- 公司資料:博通、NVIDIA、Arista等公司的投資者關係網站及產品頁面。
- 供應鏈調研:光模組、PCB等領域的行業分析報告(需謹慎甄別資訊來源)。