機櫃內互聯

3 秒看懂

機櫃內互聯（Scale-up Interconnect），指在單個機櫃或機架範圍內，通過超高頻寬、超低延遲的專用網路把多個計算加速器（GPU/NPU/TPU）緊耦合成一個邏輯上的巨型處理器，以支撐萬億引數模型訓練與即時推論。它是AI算力密度競賽的核心物理瓶頸。

一句話理解：如果單顆晶片是“工廠”，機櫃內互聯就是把這些工廠整合成一座“超級流水線”的傳送帶系統——傳送帶的速度、寬度和版面配置，直接決定了這座算力工廠的有效產能。

3 分鐘產業解釋

當模型大到單顆加速器無法容納，就必須把模型切分到多個晶片協同計算。切得越細，晶片間通訊越頻繁，對互連的要求呈指數級攀升。此時通常採用“兩級網路”架構：

Scale-up：機櫃內的“緊耦合神經束”

承載內容：張量並行（Tensor Parallelism）、專家並行（Expert Parallelism）等最密集的通訊模式
核心指標：亞微秒級延遲、TB/s級總頻寬
典型形態：GPU通過私有協議（如NVLink）直連，或經由高速交換晶片（如NVSwitch）構成全互連域
類比：相當於工廠內部不同車間之間的高速傳送帶，要求每件半成品在毫釐之間完成傳遞

Scale-out：機櫃間的“松耦合高速公路”

承載內容：資料並行等相對稀疏的通訊
技術選擇：乙太網路/InfiniBand等標準協議
頻寬量級：通常比Scale-up低一個數量級
類比：相當於不同工廠之間的物流網路，允許分鐘級的運輸延遲

物理實現的系統工程

機櫃內互聯的物理層大量依賴PAM4高速序列鏈路、密集銅纜/光纜以及高階封裝（CoWoS等）將互連的能量效率推向極限。機櫃內距離通常在數米以內，銅纜（DAC/ACC/AEC）因其低成本、低功耗而佔主導；更高速率或需更長距離時會切換到板載光互聯或共封裝光學（CPO）。它直接決定了AI叢集的有效算力利用率（MFU，Model FLOPS Utilization），是超大規模訓練系統成本與交付週期的關鍵因子。

產業痛點：互連決定了“算力天花板”

傳統認知中，買更多GPU就能獲得更強算力。但在萬億引數時代，如果機櫃內互連頻寬不足，增加GPU的邊際收益將急劇遞減——大量算力浪費在等待資料傳輸上。2023年Meta公開的研究表明，在特定大型模型訓練場景中，Scale-up互連頻寬若從900 GB/s降至450 GB/s，MFU可能從50%以上驟降至30%左右（來源：Meta AI開放研究，2023年）。這使得機櫃內互聯成為AI基礎設施投資中與實際產出最直接相關的環節。

技術原理（最深 · 三層架構與關鍵機制）

機櫃內互連的效能由物理層、交換層和協議層三層共同決定，每一層的設計選擇都會在延遲、頻寬、功耗三者之間形成明確取捨。

物理層：PAM4調變的訊號完整性之戰

         發射端                       通道                       接收端
TX ──→ 預加重/FFE ──→ 封裝 ──→ 銅纜/背板走線 ──→ 封裝 ──→ CTLE/DFE ──→ 時鐘恢復 CDR ──→ 判決/FEC → RX

調變與速率演進

當前主流：112 Gbps PAM4（四級脈衝幅度調變），採用格雷碼對映減小誤碼，波特率56/112 Gbaud
下一代方向：224 Gbps PAM4，波特率翻倍至112 Gbaud，對通道和SerDes設計提出極高要求
訊號特性：PAM4在相同頻寬下承載兩倍於NRZ的資料量，但訊雜比損失約9.5 dB，需更復雜的均衡與糾錯

通道介質對比

介質型別	典型距離	功耗/pJ/bit	成本	當前最大速率
DAC無源銅纜	≤3米	~2 pJ/bit	極低	112 Gbps PAM4
ACC/AEC有源銅纜	3-7米	~6 pJ/bit	中等	112 Gbps PAM4
板載光互聯（OBO）	0.1-1米（板內）	~10 pJ/bit	較高	112 Gbps PAM4
共封裝光學（CPO）	機櫃內≤50米	~7 pJ/bit（目標）	高（初期）	112/224 Gbps 研發中

資料來源：LightCounting高速互連報告（2024年趨勢估算），部分為行業常見表述，未繫結特定廠商型號

誤位元速率與FEC的權衡

原始BER：典型銅纜通道約10^-6量級（無FEC下）
FEC技術：RS(544,514)等前向糾錯碼，可將淨BER壓低至10^-15以下
代價明確：約5%的頻寬冗餘 + 額外延遲（通常數十納秒）
關鍵取捨：部分機櫃內極短距高質量銅纜可關閉FEC，以換取極致低延遲（減少約50-100 ns），適用於對延遲敏感的張量並行通訊

交換層：無阻塞Crossbar與VOQ排程

交換器構核心

典型架構：多級輸入排隊crossbar + 虛擬輸出佇列（VOQ），避免頭阻塞（HOL blocking）問題
排程策略：中央仲裁器按優先順序/輪詢方式分配crossbar輸出埠，支援單播、多播、廣播操作
片上快取：共享記憶體架構用於吸收突發流量，典型容量為數MB級別

端到端延遲精確分解（以NVSwitch典型代際為例，基於Hot Chips公開演講推算）

延遲組成	典型值	說明
鏈路飛行時間	~5 ns/米 × 2米 = 10 ns	銅纜內訊號傳播速度約光速70%
FEC解碼	40-100 ns（可關閉）	RS FEC編解碼流水線延遲
交換查表/仲裁	20-40 ns	路由表查詢+VOQ排程仲裁
Crossbar轉發	10-20 ns	交叉開關傳輸+輸出均衡
單hop總計	100-200 ns	含FEC，不含FEC約50-120 ns

注：上述數字為基於行業公開架構的估算值，不同廠商、代際存在差異，確切數值未見公開精確揭露

GPUDirect RDMA的加速路徑 傳統路徑：GPU視訊記憶體 → CPU記憶體 → 網絡卡 → 網路 → 對端網絡卡 → CPU記憶體 → GPU視訊記憶體（多次複製，微秒級延遲） GPUDirect RDMA：GPU視訊記憶體 → 網絡卡 → 網路 → 對端網絡卡 → GPU視訊記憶體（繞過CPU，百納秒級應用延遲）這一機制幾乎消除了CPU在資料路徑上的瓶頸，使得應用層感知的通訊延遲接近硬體極限。

協議層：記憶體語義互連的革命

這是機櫃內互聯區別於傳統PCIe/DMA模型的根本性差異。

Load/Store記憶體語義支援

傳統PCIe：基於DMA的顯式資料搬移模型，需CPU協調，多次複製，延遲高
NVLink級互連：GPU可直接對遠端HBM地址執行load/store指令，無需CPU參與
關鍵限制：跨GPU通常不維護硬體級快取一致性（遠端訪問視為非快取直接訪存），軟體需通過flushing指令（如cuMemFlush）或程式設計模型（如CUDA stream）顯式管理資料可見性
實際收益：在張量並行的AllReduce通訊中，load/store語義可將各GPU“分片寫入、多個讀取”的通訊原語直接對映為硬體操作，避免多層軟體協議棧

集合通訊硬體解除安裝（In-Network Computing）

核心思想：在交換晶片/網絡卡內嵌歸約計算單元，資料在傳輸路徑上即完成求和等歸約操作
技術代表：NVIDIA SHARP（在InfiniBand/RoCE交換器中實現）、Google TPU ICI中的環面歸約
效能收益：舉例說明，8個GPU的AllReduce操作，傳統方式需7次收發；SHARP下僅需每個GPU傳送一次到交換器，交換器計算後多播返回，流量減少約50%以上（來源：NVIDIA Mellanox SHARP技術概述，2022年）

拓撲與並行策略的精確對映

並行模式	通訊模式	拓撲需求	典型實現
張量並行（TP）	緊耦合AllReduce，通訊量≈計算量	全互連/環面/高對分頻寬	NVSwitch域內8-GPU全互連
專家並行（MoE）	All-to-All高突發流量	全交換架構，高bisection頻寬	NVSwitch + 專門路由
流水線並行	點對點順序傳遞，低頻寬需求	最簡單，甚至PCIe可滿足	任意
資料並行	梯度AllReduce，頻率低但資料量大	胖樹/Dragonfly+	Scale-out InfiniBand

關鍵引數（量化評估機櫃內互聯能力的指標體系）

引數的選擇直接決定了AI叢集的MFU上限、可支援的模型規模以及系統的總擁有成本（TCO）。以下為核心引數及技術內涵：

1. 對分頻寬（Bisection Bandwidth）

定義：將機櫃內所有節點均分為兩半時，跨分介面的最大總通訊頻寬
意義：定義了All-to-All通訊場景下無阻塞域的實際規模
典型數字：NVIDIA DGX H100單節點（8 GPU）全互連對分頻寬約3.6 TB/s（來源：NVIDIA DGX H100技術規格，2022年）；擴充套件至GH200 72-GPU機櫃級，對分頻寬提升至數十TB/s級別（來源：NVIDIA GH200架構白皮書，2023年，精確數字未見公開）

2. 每位元功耗（pJ/bit）—— 運營成本的核心因子

機櫃內典型範圍：2-10 pJ/bit（銅纜DAC約2 pJ/bit，交換器約5-10 pJ/bit）
對比參考：光模組通常15-30 pJ/bit，顯著高於銅纜
實際含義：單個機櫃內互連總功耗可達數千瓦級別——假設500根112 Gbps鏈路，每鏈路平均功耗約1W，則僅互連即消耗500W+；交換器晶片本身功耗另計（通常百瓦級）
趨勢：每代SerDes速率翻倍，pJ/bit目標需壓降20-30%以控制總功耗（來源：IEEE ISSCC高速互聯論文綜述，2023年）

3. 延遲（End-to-End Latency）

測量口徑：應用層AllReduce操作的端到端延遲（從發起方發出到結果返回）
典型量級：NVSwitch域內8路AllReduce約數微秒（來源：NVIDIA NCCL基準測試公開討論，精確數字未見逐代次官方揭露）
關鍵分解：網路分擔部分通常佔應用延遲的60-80%，剩餘為GPU核心計算與同步開銷

4. 位元誤位元速率與FEC可選性

無FEC執行條件：原始BER < 10^-12量級（需極高質量銅纜，距離通常≤2米）
收益量化：關閉FEC可節省約50-100 ns延遲，對數百微秒的張量並行通訊而言提升約10-20%，在千億引數以上模型訓練中有實際意義

5. 埠密度與拓撲擴充套件性

單晶片埠數：NVSwitch典型代際支援32-64個高速埠（來源：Hot Chips公開演講，各代次數字不同）；博通Tomahawk系列交換晶片埠數144-256（資料中心級，非機櫃內專用）
級聯能力：通過多級交換晶片級聯擴充套件節點數，但會增加延遲和成本，需平衡

6. 可靠性——訓練長跑的關鍵保障

鏈路重新訓練時間：高速SerDes鏈路在丟失同步後重新建立連線的時間，需在毫秒級以下
實際要求：萬卡訓練叢集中，單個鏈路故障若引發分鐘級恢復，可能拖慢整體訓練進度數小時。NVIDIA等廠商在DGX系統中設定冗餘鏈路和快速故障切換機制（來源：NVIDIA DGX可靠性設計文件，2021年）

技術路線對比（關鍵玩家方案量化評估）

以下基於公開技術路線和估算量級進行對比，具體代際精確數字因廠商未公開而無法精確核准，表中標註“估算”條目為基於行業趨勢的合理推估。

對比維度	NVLink/NVSwitch（NVIDIA）	Infinity Fabric（AMD）	CXL 3.0 （開放聯盟）	PCIe 5.0/6.0（通用標準）
單鏈路速率	~200 Gbps/差分對（NVLink 4.0，估算）	~100 Gbps級別（估算）	32-64 GT/s（基於PCIe 5.0/6.0物理層）	32-64 GT/s
每鏈路總頻寬	900 GB/s（8卡全互連總頻寬，DGX H100規格）	數百GB/s（MI300X平台，來源：AMD官方2023年）	數十GB/s（x16鏈路）	64 GB/s（PCIe 5.0 x16）
端到端延遲	亞微秒級（load/store，NVLink）	百納秒級（AMD公開聲稱，來源：Hot Chips 2023演講）	次微秒級（.cache/.mem協議）	微秒級（DMA方式）
記憶體語義	遠端load/store（通常無自動快取一致性）	支援（Infinity Architecture快取一致性）	核心設計目標（.cache協議實現一致性）	不原生支援，需軟體協議棧
拓撲靈活性	通過NVSwitch構成全互連/非阻塞	可擴充套件網格、環形	樹狀/多層交換器	樹狀、點對點（原設計）
最大單域節點數	72 GPU（GH200 NVL32機櫃，2023年）	8 GPU（MI300X當前公開配置）	理論上數千節點（CXL 3.0支援多級交換）	數百節點（PCIe交換器擴充套件）
開放性	封閉，僅NVIDIA	封閉，僅AMD	開放聯盟，多廠商（Intel/Arm/AMD/雲端商）	開放標準，全行業
主要場景	GPU-GPU緊耦合訓練	GPU-GPU、CPU-GPU（HPC+AI）	異構記憶體池化、加速器互聯、AI擴充套件	通用外設、傳統多GPU擴充套件

競爭格局關鍵解讀

NVIDIA封閉體系的戰略意圖：通過NVLink/NVSwitch建置的硬體+軟體（CUDA/NCCL）深度繫結，使得機櫃內互連不只是通訊通道，而是實現特定並行策略最優效能的護城河。第三方GPU即使單卡算力相當，若無法進入NVLink域，在張量並行場景下MFU將大幅落後。
CXL的開放野心與AI機遇：CXL 3.0基於PCIe 6.0物理層（64 GT/s），新增了支援多級交換和快取一致性的.cache/.mem協議，理論上可建置開放的、類似NVLink的記憶體語義互連。但成熟商用在2025年後（來源：CXL聯盟路線圖，2023年），在此之前NVIDIA封閉方案視窗期持續。
AMD的差異化路徑：Infinity Fabric強調CPU-GPU-GPU間的一致性互連，在HPC領域有深厚積累。MI300X將互連作為核心賣點之一（公開聲稱192 GB HBM3統一記憶體），但GPU-GPU緊耦合生態（對應CUDA/NCCL的ROCm）仍有差距。

上游產業（供應鏈關鍵環節與集中度）

機櫃內互聯的上游產業鏈高度集中，多個細分領域呈現寡頭格局。以下基於2023-2024年公開市場資料梳理。

高速SerDes IP與交換晶片

博通（Broadcom）：SerDes IP和交換晶片雙料龍頭，Tomahawk/Trident系列在資料中心市場佔比超60%（來源：650 Group資料中心交換市場報告，2023年）。AI機櫃內專用交換晶片領域，博通正與領先GPU廠商合作定製。
Marvell：高速DSP/SerDes技術領先，112 Gbps PAM4方案在銅纜、光模組均有部署。2023年AI相關營收快速增長，來自定製ASIC和互連晶片（來源：Marvell FY24財報電話會，2024年3月）。
NVIDIA：自研NVSwitch交換晶片，僅用於自身系統，不對外銷售。但代際迭代帶來的設計需求拉動其內部晶片團隊擴張。
Astera Labs：專注PCIe/CXL重定時器和智慧交換晶片，2024年3月納斯達克IPO。因AI機櫃內GPU-PCIe鏈路大幅增加（每GPU多路PCIe連線NVMe/網絡卡），其重定時器出貨量2023年年增率增長數倍（來源：Astera Labs S-1檔案，2024年2月）。
聯發科（MediaTek）：與NVIDIA合作開發AI PC互連方案，進入SerDes/交換晶片領域的意圖初現（來源：公開合作公告，2023年）。

聯結器與線纜元件

安費諾（Amphenol）：全球高密度聯結器份額第一（約20%，來源：Bishop & Associates聯結器市場報告，2022年），在機櫃內背板聯結器、高速銅纜元件中佔據核心供應鏈位。
莫仕（Molex）：高密度I/O聯結器頭部，與NVIDIA/AMD等有長期定製供應關係。
泰科電子（TE Connectivity）：機櫃內背板/電源/訊號聯結器齊全，受益於AI機櫃整合度的提升。
銅纜元件廠商：ACC/AEC有源銅纜供應商包括Credo（Fabless晶片公司，美股CRDO）、Astera Labs（通過重定時器生態切入）、以及眾多銅纜組裝代工廠。市場集中度相對分散，但高階產品（224 Gbps）集中在少數具備訊號完整性模擬能力的企業。

封裝與基板——互連密度的物理基礎

台積電CoWoS：AI加速器封裝互連的核心技術，2023-2024年產能翻倍擴產（來源：台積電2023年Q4法說會，2024年1月）。CoWoS將GPU與HBM整合在矽中介層（interposer）上，實現晶片內短距高頻寬互連（~數TB/s），是機櫃內互連外延的物理基礎。
封裝基板與覆銅板：Ibiden、欣興電子（Unimicron）等ABF基板廠受益於更大面積GPU封裝；覆銅板材料（松下Megtron系列、Isola等）向超低損耗演進以支援224 Gbps訊號完整性。

散熱與電源管理

冷板液冷：Coolit、Asetek等專業冷板液冷供應商，因機櫃內互連功耗數千瓦+GPU功耗數萬瓦的散熱需求而成為必備配套。部分系統整合商（超微、緯穎）也自主開發機櫃級液冷方案。
機櫃內電源：集中式48V背板供電取代傳統12V，減少I2R損耗。電源模組由臺達（Delta）、艾默生（Vertiv）等企業提供，2023年AI機櫃需求拉動高功率PSU訂單（來源：Delta 2023年報）。

下游需求（應用場景與採購方結構）

雲端服務商：自研互連的崛起

Google TPU Pod：通過內部ICI（Inter-Chip Interconnect）環面拓撲連線數千TPU，互連架構完全自定，不依賴NVIDIA。TPU v4的ICI採用3D Toroidal網格，對分頻寬設計經過深度最佳化（來源：Google TPUv4論文，ISCA 2023）。
Amazon Trainium：NeuronLink互連支援Trainium晶片間高速通訊，同樣走自研路線。AWS在2023年re：Invent上揭露，Trainium2在特定模型訓練中價效比較同類GPU例項提升（來源：AWS re：Invent 2023主題演講）。
微軟Azure、Meta：兩者均公開採購NVIDIA DGX系統，但同時投入到開放互連。微軟與AMD在MI300X上緊密合作；Meta在OCP Summit上公開其Grand Teton平台設計，探索解耦式互連。

伺服器整合商：誰掌握Scale-up設計權

NVIDIA：以DGX系列和MGX模組化參考設計直接提供整櫃方案，鎖定最高價值環節。2024財年Datacenter營收475億美元（來源：NVIDIA FY24年報，2024年2月），其中DGX系統及網路互連貢獻顯著。
超微（Supermicro）：NVIDIA重要合作伙伴，機櫃級液冷系統出貨領先。2023年AI伺服器營收年增率大幅增長（來源：超微FY24 Q2財報，2024年1月，精確數字需查閱）。
慧與（HPE）、戴爾（Dell）：傳統企業級伺服器廠商，在AI伺服器領域相對NVIDIA話語權較弱，更多承擔整合和售後服務角色。
ODM直接供貨：廣達（Quanta）、緯穎（Wiwynn）等白牌ODM向雲端服務商直接出貨，繞過品牌伺服器廠商。緯穎2023年為Meta等客戶提供液冷AI機櫃（來源：緯穎2023年公開新聞）。

行業需求結構（基於IDC全球AI伺服器追蹤，2023年）

雲端服務商（CSP）：佔AI伺服器採購量約60%+，是NVIDIA DGX及自研系統最大買家
企業級/金融/醫療：佔比約20%，通過OEM渠道採購，增長快速但基數較小
政府/科研超算：佔比約15%，典型案例如美國Oak Ridge國家實驗室的Frontier（AMD MI250X）、歐盟的LUMI等
其他：約5%（包括未分類的初創AI公司直採等）

受益公司（各環節核心玩家與產品版面配置）

注意：以下僅從產業定位角度梳理各公司參與機櫃內互聯產業鏈的方式，不構成任何投資建議或買賣推薦。

系統級主導者

NVIDIA（NVDA）：通過NVLink/NVSwitch/CUDA三位一體在Scale-up領域處於主導地位。2023年DGX GB200系統將機櫃內scale-up域擴大至72 GPU，互連技術迭代速度遠超競爭對手。網路互連（含InfiniBand）FY24營收約為100億美元級別（來源：NVIDIA FY24業務拆分，2024年2月）。
AMD（AMD）：MI300X是其在scale-up互連上的重要版面配置，8 GPU Infinity Fabric全互連提供192 GB統一記憶體。ROCm 6.0配套軟體正在縮小與CUDA生態差距（來源：AMD 2023年Advancing AI釋出會）。2024年MI300X預期銷售額數十億美元級別（來源：AMD Q4 2023 Earnings Call展望）。
Google（GOOGL）：TPU v4/v5的自研ICI互連使其在特定場景（推薦系統、搜尋推論、自家大型模型訓練）上高度最佳化，對外以Cloud TPU服務形式變現。不直接出售晶片，但與NVIDIA路線形成差異化競爭。

互連晶片/IP核心供應商

博通（AVGO）：高速SerDes IP授權+交換晶片出售，受益於所有AI系統廠商的技術迭代。AI相關營收FY23快速增長（來源：Broadcom FY23財報）。同時也為Google定製TPU互連晶片（來源：公開報道，早年資訊）。
Marvell（MRVL）：DSP/PAM4 SerDes泛用性強，銅纜/光模組市場均覆蓋；也在為雲端服務商定製AI加速器及互連。
Astera Labs（ALAB）：純PCIe/CXL重定時器玩家，2024年IPO後成為該細分最純正的標的。其Aries系列智慧重定時器在DGX/HGX系統中滲透率極高（來源：Astera Labs投資者演示資料，2024年3月，具體份額未透露）。
Credo（CRDO）：高速連線SerDes與有源電纜（AEC）方案商，受益於AI機櫃內銅纜速率升級。2024財年營收展望顯示資料中心業務大幅增長（來源：Credo FY24 Q3財報，2024年3月）。

連線與封裝受益企業

安費諾（APH）：互連聯結器與背板方案全球龍頭，2023年訂單book中AI相關增速顯著（來源：Amphenol 2023 Q4 Earnings Call）。高密度背板聯結器是其獲利最高的產品線之一。
台積電（TSM）：CoWoS產能是AI晶片交付的核心瓶頸，2023-2024年持續大幅擴產（來源：台積電2023年Q3法說會）。先進封裝營收佔比提升，帶動ASP和毛利率改善。
液冷/散熱：Cooler Master（非上市）、Coolit（非上市）、Asetek（ASTK）等專業冷板液冷供應商訂單可見度因AI機櫃出貨提升而明顯增強。Envicool（中國A股上市）、曙光數創等在國產算力液冷配套中受益。

需關注動向的企業

Intel（INTC）：在AI加速器（Gaudi 3）和開放互連（CXL/PCIe 6.0）均有版面配置，但加速器競爭力與NVIDIA差距仍大。互連IP與重定時器業務相對紮實，Astera Labs的競爭對手之一。
聯想（0992.HK）、浪潮資訊、**紫光股份（新華三）**等國產伺服器整合商，在中國AI算力建設浪潮中承擔機櫃級系統整合，但互連核心技術依賴上游（NVLink授權或國產替代方案）。

市場規模（量化估算與增長驅動）

宣告：機櫃內互聯作為一個技術子系統，缺乏獨立的、來自單一權威機構的細分市場規模資料。以下綜合多個來源進行估算和交叉驗證，口徑差異可能導致數字不同，優先標註來源。

市場定義與規模估算

“機櫃內互連”市場可拆解為：

高速交換晶片：用於Scale-up域的交換矽（如NVSwitch、自研ASIC）
銅纜/光纜元件：DAC/ACC/AEC及板載光互聯
聯結器：高密度背板/I/O聯結器
重定時器/SerDes矽：PCIe/CXL鏈路訊號完整性晶片

從AI伺服器出貨量反推（2024年估算）

專案	數值	來源
2024年AI伺服器出貨量	18-20萬臺（廣義含訓練+推論）	TrendForce，2024年1月
其中高階訓練伺服器（≥8 GPU）	約6-8萬臺（估算）	基於IDC GPU出貨推論
單臺8 GPU伺服器板內互連（NVSwitch+線纜）價值量	$8,000-$15,000（估算，基於NVIDIA DGX BOM分析）	第三方拆解估算（如Fomalhaut/IHK），不完全精確
單臺伺服器互連線口矽（重定時器等）價值量	$2,000-$4,000（估算）	Astera Labs等展望交叉驗證
小計：機櫃內互連TAM（2024年）	$80-150億美元（估算）	基於上述假設的粗略估算

從互連晶片廠商營收交叉驗證

NVIDIA網路/互連營收（含InfiniBand Scale-out）：FY24約$100億級別；其中Scale-up專屬（NVSwitch）佔比估算約20-30%
博通AI定製晶片+交換營收：FY23約$30-40億（來源：Broadcom FY23業務拆分，含非AI部分，需謹慎解讀）
Astera Labs FY24預期營收約數億美元（來源：其S-1檔案中的營收資料及分析師預期）
上述三家公司互連相關營收合計（2023/2024財年）約$50-80億，與上述TAM估算的供給側規模大致吻合

市場增長驅動

算力叢集規模擴大：機櫃內GPU數量從8卡→72卡→未來可能上百卡（NVIDIA路線圖推斷），每卡互連需求線性增長
速率代際升級：從112 Gbps→224 Gbps，單通道價值量提升，但數量可能壓縮
CXL生態商業化：若2025年後CXL 3.0成熟，可能催生新的機櫃記憶體池化互連市場（增量而非替代）
年均複合增速（CAGR）：基於上述驅動，行業第三方機構給出了2023-2028年AI互連市場CAGR在25-35%的估算範圍（來源：LightCounting“AI叢集光互連與電互連”報告摘要，2024年2月。注：該報告包含Scale-out，Scale-up單獨資料未拆離，此為合理推斷。）

價格趨勢觀察

銅纜元件：成熟產品價格隨速率翻倍而上升，但單位頻寬成本（$/Gbps）持續下降約20-30%/代（行業一般規律，來源：SerDes路線圖論文，ISSCC 2023）
專用交換晶片：NVIDIA NVSwitch因封閉供應無市場定價；若CXL交換晶片成熟並形成多供應商格局，價格有望以每年15-20%速度下降（參考PCIe交換器價格歷程）
封裝CoWoS：2023-2024年因產能極度緊張，單價可能高位維持；2025年後隨產能擴張有所回落（來源：台積電法說會展望）

玩家對比（NVIDIA vs 追趕者 + 雲端廠商自研）

NVIDIA的Scale-up護城河深度分析

技術壁壘

代際領先：NVLink從2016年至今經歷4代，積累了大量SerDes/協議/訊號完整性工程經驗。NVSwitch自2018年DGX-2引入，至2023年GH200已達第三代。
軟硬耦合：NCCL集合通訊庫是唯一深度最佳化NVLink拓撲的軟體棧，其他GPU即使物理連線，呼叫NCCL時的通訊模式最佳化也遠不及NVIDIA GPU。
供應鏈鎖定：台積電CoWoS、安費諾/莫仕聯結器均為NVIDIA定製設計，短期內其他廠商難以批次獲得同樣最佳化的配套元件。

生態壁壘

CUDA對NVLink程式設計模型的封裝使ISV（獨立軟體供應商）無需瞭解底層互連細節即可最佳化並行策略。競爭對手（AMD ROCm、Intel oneAPI）要達到同等成熟度仍需數年。
超大規模訓練架構（Megatron-LM、DeepSpeed等）的並行策略預設針對NVIDIA拓撲最佳化，切換成本高。

商業策略

NVIDIA通過DGX/MGX整櫃方案，將互連繫結銷售，最大化單系統ASP（平均售價）。
NVIDIA網路（InfiniBand+NVSwitch）已成為公司第二大業務板塊，營收結構向互連傾斜。

追趕者：AMD的差異化與侷限

維度	NVIDIA	AMD	差距評估
互連代際	NVLink 4.0 (2023)	Infinity Fabric 3.0 (2023)	單鏈路速率NVLink可能領先1代（估）
最大單域GPU數	72 (GH200)	8 (MI300X)	差距顯著，AMD或於2025年擴大
軟體生態成熟度	CUDA/NCCL 15年沉澱	ROCm/RCCL 5年+	生態差距是最大短板
開放策略	封閉鎖定	部分開放（與開源社群合作）	AMD借開放吸引雲端商二次開發
AI訓練市場份額	>80%（估算，來源：各路GPU出貨資料）	<10%（估算）	巨大（2023年）

AMD的路徑：不與NVIDIA全面對標，而是通過CPU-GPU統一互連（Infinity Architecture）在HPC和記憶體密集型場景建立差異化。MI300X的192 GB HBM3統一記憶體是這一思路的體現。AI訓練市場份額的突破需看ROCm 6.0生態和雲端廠商的支援力度。

雲端廠商自研互連：TPU ICI vs Trainium NeuronLink

Google TPU的ICI優勢

深度繫結自身大型模型（Gemini）和搜尋/推薦業務，可針對自家模型結構（如MoE路由模式、Transformer層大小）最佳化拓撲和對分頻寬設計
TPU v4論文（ISCA 2023）揭露的ICI環面拓撲和光學互連（OCS）實現了在4096 TPU規模下優秀的MFU（約50-60%），與同等規模GPU叢集可比
侷限：自研晶片僅自用（Cloud TPU對外），無法盈利於external chip sales；軟體生態封閉，ISV遷移困難

Amazon Trainium的路標

Trainium2（2023年re：Invent釋出）互連效能翻倍，但與NVIDIA最先進代際仍有差距（具體數字未公開）
優勢在於與AWS生態（SageMaker、Bedrock）深度整合，有現成客戶群遷移路徑

雲端廠商自研對NVIDIA的影響

短期（2024-2026）：自研晶片份額提升，但仍以部分替代推論和特定訓練工作負載為主，NVIDIA在通用AI訓練平台的份額可能從90%+降至60-70%
長期（2027+）：若CXL 3.0成熟，雲端廠商可能基於CXL建置開放的、可替換的Scale-up互連，削弱NVIDIA互連鎖定效應

風險提示

技術路徑風險

銅纜壽命遭遇224 Gbps瓶頸：部分研究指出，在2米以上距離、224 Gbps速率下，銅纜的訊號衰減可能導致誤位元速率不可接受，必須轉向光互聯（CPO/板載光）。若銅纜方案被提前替代，當前銅纜供應鏈相關公司的技術壁壘可能弱化。（來源：IEEE 802.3df工作組討論，2023年；尚在研究中，未形成定論）
CXL 3.0對NVIDIA封閉生態的衝擊：若CXL 3.0生態在2026年前後初步成熟，開源記憶體語義互連可能降低scale-up門檻。博通、Marvell等可能推出CXL交換晶片白牌方案，雲端廠商可基於CXL自建互連，削弱NVLink溢價。
演算法革新降低對互連依賴：新並行策略（如高效流水線並行+資料並行組合）、模型結構最佳化（如對通訊更友好的稀疏MoE設計）可能降低單位算力對機櫃內對分頻寬的需求，減緩互連升級的迫切性。但目前尚未出現可替代緊耦合張量並行的通用方案。

商業與供應鏈風險

CoWoS產能風險：2023-2024年臺積電CoWoS產能緊缺已導致部分GPU/互連繫統出貨延遲。2025年雖計劃大幅擴產，但若擴產不及預期或需求超預期，供應鏈瓶頸可能從晶片蔓延至封裝互連。
對單一客戶的過度依賴（對上游供應商而言）：安費諾、Astera Labs等若過度依賴NVIDIA單客戶訂單，一旦NVIDIA調整設計或引入二供，可能帶來營收波動。Astera Labs在其S-1中將NVIDIA列為重要間接客戶（通過ODM渠道），具體佔比未揭露但市場擔憂集中度風險。
雲端廠商Capex週期的不可預測性：若AI大規模訓練需求增速放緩，雲端廠商可能削減AI基礎設施資本支出，上游互連供應鏈訂單將直接承壓。2023-2024年的投資熱潮存在週期性回撥可能。

地緣政治與出口管制風險

高階互連晶片可能被納入管制清單：目前限制集中於GPU計算晶片，但若管制範圍擴大至高速互連交換晶片（如NVSwitch），相關供應鏈將受衝擊。2023年10月美國BIS新規已加強域外管轄權，未來演化需持續追蹤。（來源：BIS 2023年10月17日規則）
國產替代的供應鏈成熟度風險：中國國產AI晶片（華為昇騰、寒武紀等）在互連技術上與NVIDIA差距數年，若無法獲得先進SerDes IP或交換晶片，機櫃內scale-up能力可能形成長期瓶頸。

常見誤讀糾偏

誤讀1：“機櫃內互聯就是更快的PCIe”

實際情況：PCIe主要面向主機與裝置的分層DMA模型，資料傳輸需經過多層軟體棧和CPU中轉。而現代scale-up互連如NVLink、CXL 3.0支援快取一致性的記憶體語義，可實現GPU直接對遠端HBM的load/store訪問及原子操作。兩者在協議層的根本差異決定了：PCIe在多GPU張量並行場景下，通訊延遲可能高出數倍至一個數量級，導致MFU大幅縮水。用“快慢”描述混淆了質變與量變的差異。

誤讀2：“Scale-up頻寬夠用就好，主要靠Scale-out補齊”

實際情況：在萬億引數模型的張量並行（TP）中，每個Transformer層都需跨裝置AllReduce，通訊量與計算量幾乎同級同量級。Scale-up頻寬不足將直接限制TP並行度的可擴充套件性——舉個例子，若機櫃內TP度從8降到4，單GPU的視訊記憶體壓力驟增，可能需要啟用重計算或offload，相關通訊開銷反而更大。業界先決案例如NVIDIA推薦8卡全互連域內使用NVLink專屬的高頻寬（>900 GB/s總量，DGX H100規格），而機櫃間InfiniBand則可能僅在50-400 GB/s量級（含多鏈路聚合）。兩者分層不可替代，Scale-up定義了緊耦合域的大小，Scale-out定義了松耦合域的大小。

誤讀3：“光互連很快會全面取代銅纜機櫃內互聯”

實際情況：在機櫃內2-5米距離下，銅纜在成本、功耗、可靠性上仍有顯著優勢：

成本：銅纜元件成本約為同等速率光模組的1/5-1/10（來源：LightCounting 2023年報告，行業常規估算）
功耗：DAC約2 pJ/bit vs 光模組約15-30 pJ/bit，差距近一個數量級
可靠性：銅纜無雷射器老化/汙染問題，FIT（故障率）通常更低未來224 Gbps速率下銅纜距離可能縮短至2米以內，但機櫃內多數場景仍在銅纜覆蓋範圍內。光學互聯將率先滲透的是機櫃間較長距離（>10米）的Scale-out網路及跨機架連線。機櫃內scale-up短期內仍以銅纜為主，共封裝光學（CPO）的成熟和大規模商用可能在2027年之後。（來源：CPO路線圖，OFC 2024會議專題討論）

誤讀4：“機櫃內互聯技術的投資機會僅在NVIDIA”

實際情況：NVIDIA是Scale-up的最大受益者，但產業鏈各環節均有受益者：

交換晶片IP（博通、Marvell）受益於所有玩家互連升級
聯結器（安費諾、莫仕）受益於密度提升而非路線選邊
液冷散熱受益於機櫃功耗密度，與互連技術路線無關
CXL生態（Astera Labs等）若成熟，可能是NVIDIA封閉生態的最直接挑戰者之一，形成獨立投資邏輯單一壓注NVIDIA面臨估值和集中度風險，產業鏈多環節版面配置可能更均衡。