PCIe Switch

1. 3 秒看懂

PCIe Switch 是伺服器與資料中心內部的“高速立交橋”與“頻寬複用樞紐”。其本質功能是把主機 CPU 數量有限的 PCIe 通道，擴張為數十條、甚至上百條下行通道，在 GPU、NVMe SSD、智慧網絡卡與 CPU 之間建置無阻塞、低延遲的資料交換平面。對於 2025 年主流的 4-16 GPU AI 訓練節點而言，沒有 PCIe Switch，單靠 CPU 直連根本無法掛載全部裝置，它是 AI 算力節點內部不可或缺的連線中樞。

2. 3 分鐘產業解釋

若將一顆伺服器 CPU 的 PCIe 通道想像成一座城市僅有的幾條高速公路入口，每個 GPU、SSD、網絡卡都是散佈在周邊的大型工業園區。若所有園區的貨運車輛都必須擠進中央收費站（CPU），城市會在入口處癱瘓。PCIe Switch 相當於在高速入口和多個工業園區之間建設了一座多層立體交通樞紐。它允許不同園區之間的貨車（資料）通過樞紐內部的高架匝道直通，無需再進入市中心繞行；同時通過智慧排程，將有限的上行高速入口資源，動態分配給最需要對外運輸的園區。

在 2025 年大型模型訓練叢集中，一臺 8 GPU 的 AI 伺服器需要同時連線 GPU、高速網絡卡、NVMe 儲存盤。CPU 提供的 96 條 PCIe 5.0 通道根本不夠用。PCIe Switch 通過 少量上行埠連線 CPU，擴展出幾十條下行埠連線外設，同時允許 GPU 之間直接通過 Switch 做 P2P 通訊，避開 CPU 瓶頸。沒有這個樞紐，大規模 GPU 叢集內部的高速通訊將無法高效執行。

3. 技術原理

PCIe Switch 的本質是一個在 PCIe 事務層執行的智慧交叉開關矩陣，它不是簡單的分線器，而是一套完整的片上網路。

• 交叉開關矩陣：Switch 核心為 N×N 的 Crossbar 結構。當一個下行 GPU 埠需要向另一個 GPU 傳送梯度資料時，資料包進入 Switch 後，矩陣可為這兩個埠建立直連路徑，與其它埠間的通訊並行不悖。理論上所有埠對之間可同時建立連線。
• 事務層路由：每個 PCIe TLP 事務包中攜帶目標裝置的 Bus/Device/Function 地址。Switch 內部維護一張路由表，通過查詢目標地址決定資料包從哪個下行埠發出。對於 P2P 傳輸，資料包無需上傳至 CPU 根複合體，而是直接在 Switch 內部轉發至目標下行埠。
• 虛擬通道與 QoS：PCIe 協議在原鏈路中定義多個虛擬通道，各通道有獨立緩衝區與優先順序。Switch 為每個 VC 維持獨立的佇列和仲裁邏輯。當 GPU 間 All-Reduce 通訊與 SSD 讀寫請求同時競爭上行頻寬時，高優先順序的 GPU 通訊 VC 可獲得優先排程，使關鍵訓練流量不被普通 I/O 阻塞。
• 非透明橋接：在雙主機或多主機場景，NTB 埠對兩端主機分別呈現為一個標準的 PCIe 端點。兩個獨立的 PCIe 域各自列舉到這個端點，通過該端點中轉完成跨主機的資料交換，實現多主機共享下游儲存資源，這是高可用儲存叢集與 NVMe-oF 目標端的硬體基礎。
• 直通與廣播：Switch 還支援多播與廣播功能，可將同一份資料同時傳送給多個下游裝置，對分散式訓練中的資料同步操作具有實際價值。

graph TB
    subgraph “PCIe Switch 內部架構”
        A[Upstream Port 上行埠
連線 CPU Root Complex] --> B[Central Crossbar Matrix
中心交叉開關矩陣]
        B --> C[Downstream Port 1
GPU 0]
        B --> D[Downstream Port 2
GPU 1]
        B --> E[Downstream Port 3
NVMe SSD]
        B --> F[Downstream Port 4
網絡卡]
        B --> G[Downstream Port 5
NTB 連線第二主機]
    end

4. 關鍵引數

PCIe Switch 的核心引數直接影響伺服器系統設計的可行性與叢集效率。以下為 2025 年資料中心級產品的主要參考指標。

• 埠數量與可配置性：產品通常標示為 “總 lane 數 + 可配置埠寬度”，如 100 lanes、可拆分為 x16/x8/x4 組合。AI 伺服器常見要求為：2 個上行 x16 埠，8-16 個下行 x8 埠。Broadcom PEX89000 系列（PCIe 5.0）最大支援約 144 lanes（公開資料未見官方完整 datasheet 確認，該數字來自行業引用，可能存在型號差異）。
• 聚合頻寬：以 PCIe 5.0 每 lane 約 4 GB/s（雙向，128b/130b 編碼扣除後）計，144 lanes 的 Switch 理論聚合頻寬可超過 500 GB/s。實際可用頻寬受內部阻塞與目標裝置吞吐限制。
• 轉發延遲：這是區分高階與中低端 Switch 的核心指標。主流 AI 用 PCIe 5.0 Switch 的埠至埠最小轉發延遲約在 100-150 ns 量級（公開資料未見 Broadcom 與 Microchip 對最新型號的明確數值揭露，此為行業共識區間）。延遲會隨虛擬通道數、擁塞程度而變化。
• P2P 頻寬：理論上同 Switch 下游兩張 GPU 間 P2P 雙向頻寬可達單埠線速（PCIe 5.0 x16 約 128 GB/s），實際受 GPU 內部介面能力與驅動棧影響。Broadcom 與 Microchip 在宣傳材料中均強調線速 P2P 能力，但未見公開第三方獨立評測。
• 虛擬通道與流量類別數：PCIe 5.0 Switch 一般支援 8 條以上 VC，可對映多個 TC，用於 GPU 通訊、儲存、網路管理等流量隔離。VC 越多，排程邏輯越複雜，晶片面積越大。
• 功耗：高階 PCIe 5.0 Switch 晶片 TDP 通常在 20-40 W 級別（基於行業推演，具體型號未獲官方 TDP 公開資料）。16 GPU 節點若部署 4 顆 Switch，合計約 80-160 W，需在系統散熱預算中預留。
• PCIe 代際與 FEC：PCIe 4.0/5.0/6.0 的編碼方式分別為 128b/130b、128b/130b、PAM4+FEC。PCIe 6.0 引入前向糾錯導致延遲增加，Switch 設計需權衡頻寬提升與延遲惡化。

5. 技術路線

• PCIe 2.0/3.0 時代：核心任務為埠擴充套件。代表產品為 Microchip Switchtec 與 Broadcom（原 PLX）PEX8700/PEX9700 系列。主要應用場景為儲存陣列與通訊裝置。P2P 效能未作為首要設計目標，NTB 功能開始實用化。
• PCIe 4.0/5.0 時代（當前主流）：AI 訓練需求驅動 P2P 效能成為核心賣點。Broadcom PEX88000（PCIe 4.0）與 PEX89000（PCIe 5.0）、Microchip Switchtec PFX/PAX 系列各自代表了產品方向。內部交叉矩陣進一步最佳化，延遲降低，增加硬體 QoS 與遙測功能，支援 SR-IOV、ACS 等虛擬化特性。2025 年 AI 伺服器的大規模出貨均基於此代 Switch。
• PCIe 6.0 與 CXL 融合（2025-2028）：PCIe 6.0 物理層採用 PAM4 調變和 FEC，單 lane 頻寬翻倍至 8 GB/s，但信令複雜度劇增。同時，CXL.io 協議基於 PCIe 5.0/6.0 物理層執行，CXL.cache 與 CXL.mem 需要 Switch 內部對快取一致性和記憶體訪問語義進行額外處理。未來產品將是 “PCIe 6.0 + CXL 3.x Switch”，向下相容 PCIe 裝置，向上支援記憶體池化。博通在 2023-2024 年已展示 CXL Switch 原型，Microchip 也在推進相關產品線（公開資料未見 2025 年量產具體型號與時間表）。
• 晶片製程路線：PCIe 3.0 Switch 多在 40-28 nm 工藝製造；PCIe 5.0 高階型號向 16 nm/7 nm 遷移以控制功耗和提升 SerDes 效能；PCIe 6.0/CXL Switch 預計將主流採用 5 nm/4 nm 製程，以獲得能效比優勢。不過成熟製程仍在部分中低端型號中沿用，先進製程並非全品類的必要條件。

6. 上游

• PCIe SerDes PHY IP：高階 Switch 廠商幾乎全部自研 SerDes。Broadcom 與 Microchip 擁有數十年的模擬混合訊號設計積累，其 SerDes IP 是核心護城河。獨立 IP 供應商如 Synopsys、Cadence 可提供 PCIe PHY IP，但主要面向 ASIC 或中小型晶片公司，不具備與自研方案在高效能場景中競爭的能力。
• 晶圓代工：2025 年，PCIe 5.0 Switch 主流代工節點為 16 nm/14 nm FinFET，主要流片於台積電的成熟製程。先進 PCIe 6.0/CXL Switch 開始進入 5 nm/4 nm 平台。台積電是該領域的主導代工廠，部分產品可能出現於三星 Foundry，但公開資料未見明確份額資料。
• 先進封裝：高階 Switch 晶片對封裝基板層數和訊號完整性要求極高。FC-BGA 是標準封裝形式。隨著 SerDes 速率從 32 GT/s（PCIe 5.0）提升至 64 GT/s（PCIe 6.0），基板材料與設計成為影響量產良率和訊號質量的關鍵環節。先進封裝（如 CoWoS）並非 Switch 晶片的主流方案，但未來 CXL Switch 若整合高頻寬記憶體控制器，可能引入 2.5D 封裝，目前公開資料未見量產例項。
• 測試與驗證裝置：PCIe 5.0/6.0 高速訊號測試依賴高階示波器、誤碼儀與協議分析儀，主要供應商為是德科技、泰克、安立。這是確保 Switch 晶片符合 PCI-SIG 認證的必要條件。

7. 下游

• AI 伺服器廠商：主要客戶。單臺 8 GPU 的 HGX 系統通常配置 4 顆 PCIe 5.0 Switch，16 GPU 系統可能更高。2025 年主要採購方包括 Dell、HPE、Supermicro、聯想、浪潮資訊、新華三等，直接向 Broadcom 或 Microchip 採購晶片或通過 ODM/合同製造商整合到主機板/PCIe 背板。
• 超大規模雲端廠商白盒設計：AWS、Microsoft Azure、Google Cloud、Meta 等廠商大量採用自研白盒伺服器。它們通過 ODM（廣達、緯創、英業達等）指定使用特定型號的 PCIe Switch，作為板上互聯的標準件。該類需求量大、型號集中，對 Switch 廠商而言是頭部訂單來源。
• GPU 平台廠商：NVIDIA 的 HGX/OEM 參考設計中明確規定了 PCIe Switch 的型號與拓撲，Switch 廠商的產品一旦進入 NV 認證物料清單，即可鎖定大量訂單。AMD Instinct 的類似參考設計也遵循這一模式。
• 高效能儲存陣列廠商：Pure Storage、NetApp、Dell EMC 的全快閃記憶體陣列中，控制器與 NVMe 盤櫃之間的互聯依賴 PCIe Switch 實現扇出與多路徑。這個市場需求相對穩定，但總量遠小於 AI 伺服器。
• 網路與 DPU 廠商：NVIDIA BlueField DPU、AMD Pensando、Intel IPU 及各種智慧網絡卡常通過 PCIe Switch 連線多個加速器或 NVMe 盤，構成可組合的 SmartNIC 系統。

8. 受益公司

• Broadcom（博通，AVGO）：目前全球 PCIe Switch 市場的絕對龍頭。PEX 系列是 AI 伺服器參考設計中的主導選擇，市場份額據 Mercury Research 與行業供應鏈估計約 70-80%（具體精確份額每年波動，此為 2024 年行業共識區間）。該業務隸屬於博通半導體解決方案部門下的交換晶片產品線，屬於高毛利、高壁壘的利基市場。博通同時版面配置 PCIe 6.0 與 CXL Switch，具有從連線層到協議層全面覆蓋的優勢。
• Microchip Technology（微芯科技，MCHP）：通過收購 Microsemi（前身為 PMC-Sierra）獲得 Switchtec 產品線，是第二大廠商，份額估計約 15-25%（2024 年行業估算）。Switchtec 在儲存、工業、通訊等非AI領域根基深厚，在 AI 伺服器市場處於追趕地位。其優勢在於可程式設計性和配套軟體生態，但在 AI 超大規模客戶中的 Design Win 少於 Broadcom。
• 其他潛在進入者：部分國內晶片公司已公開或半公開地版面配置 PCIe Switch 研發，部分完成 PCIe 4.0/5.0 原型的流片。杭州、上海等地多家公司在該領域進行長期探索，但截至 2025 年上半年，公開資料未見在大型 AI 伺服器中有規模商業化部署的明確量產證據。瀾起科技擁有 PCIe/CXL Retimer 產品線，其為訊號調理晶片而非 Switch，但揭示了國內公司在 PCIe 高速互聯領域的技術積累正在積累。未來是否能向上演進至 Switch，存在技術可能但面臨專利、生態與客戶認證門檻。

9. 市場規模

• 全球出貨量：資料中心用 PCIe Switch 晶片年出貨量估計在 1,500 萬 - 2,500 萬顆區間（2024 年行業估算，來自 Mercury Research、LightCounting 等機構對伺服器互聯晶片的總量推算，結合 AI 伺服器滲透率校正，未獲得精確官方數字）。其中 AI 伺服器約佔 30-40%，且佔比提升速度較快。
• 平均單價：PCIe 4.0/5.0 Switch 單價在 30-150 美元區間，高階多埠型號單價更高。按加權均價約 60 美元估算，全球 PCIe Switch 晶片市場規模約 9-15 億美元（2024 年估算，口徑為晶片級銷售，不包含板卡或系統整合價值）。面向 PCIe 6.0/CXL 的下一代 Switch 單價有望增至 150-300 美元。
• 市場總空間展望：考慮 AI 伺服器出貨持續增長、PCIe 代際升級和 CXL 融合趨勢，2027-2028 年全球 PCIe/CXL Switch 晶片市場有望觸及 25-35 億美元（行業願景級推算，公開資料未見權威機構的精確預測報告），但路徑依賴於 CXL 記憶體池化等場景的商業化進度。
• 量價拆分：量的驅動力來自 GPU 數量增長與單伺服器 Switch 用量提升（8 GPU → 16 GPU）；價的驅動力來自 PCIe 6.0/CXL 的晶片複雜度上升和單價提高。

10. 玩家對比

維度	Broadcom PEX 系列	Microchip Switchtec 系列	國內潛在廠商
市場份額（2024 年估）	70-80%	15-25%	小於 1%
PCIe 5.0 產品成熟度	高，已大規模量產並在 HGX 等平台使用	中高，部分型號量產，儲存領域份額穩固	研發/流片階段，未見規模商用量產公開資訊
AI 伺服器 Design Win	主導，進入 NVIDIA HGX 等主要參考設計	較少，主要出現在非 NV 平台或定製系統	暫無公開主流 AI 平台 Design Win
軟體與工具鏈	較封閉，依賴 Broadcom 內部工具	相對開放，提供 SDK 與可程式設計介面	公開資料不充分
P2P 延遲（相對水平）	行業最低一檔	同一水平區間，具體數字未公開	公開資料未見
CXL 版面配置	已展示 CXL Switch 原型，研發領先	進行中，公開進展較少	部分公司已釋出 PCIe/CXL Retimer，Switch 尚處早期

雷達圖示意（定性）：

graph LR
    subgraph 市場地位與能力對比
        direction TB
        A[市場佔有率] --> B[Broadcom: 極高]
        A --> C[Microchip: 中]
        A --> D[國內廠商: 暫低]
        E[AI伺服器滲透] --> F[Broadcom: 極高]
        E --> G[Microchip: 低]
        E --> H[國內廠商: 暫無]
        I[軟體生態] --> J[Broadcom: 中]
        I --> K[Microchip: 較高]
        I --> L[國內廠商: 公開不詳]
    end

11. 風險

• 技術融合風險：NVLink-NVSwitch 是 NVIDIA 專有的 GPU 間互聯絡統，與 PCIe Switch 在功能上部分重疊。如果 NVIDIA 未來在更多型號和場景中強化 NVLink-NVSwitch 的板級與機架級能力，可能在一定程度上降低系統對通用 PCIe Switch 的依賴。但目前的產業共識是兩者為分層互補關係，而非完全替代。該風險的大小取決於 NVLink 生態的開放程度與行業擴散範圍。
• 供應鏈單一性風險：博通在 PCIe Switch 市場的高份額，使得大型 AI 伺服器廠商的供應鏈存在集中度風險。若出現工藝交付問題或突發產能瓶頸，部分 AI 伺服器出貨可能受晶片供應約束。Microchip 作為第二供應商提供了一定對沖，但其產能與客戶驗證速度未必能快速填補缺口。
• CXL 商業化不及預期：CXL Switch 被行業視為下一代增長點，但 CXL 記憶體池化、CXL 儲存等場景目前仍處於早期商用驗證階段。如果 CXL 生態搭建緩慢，則 Switch 廠商在 PCIe 6.0/CXL 產品上的研發投入可能會延遲變現。
• 國產替代週期風險：國內公司進入該領域面臨著 PCIe 協議專利池、SerDes IP 自研難度、客戶認證週期長等壁壘。從 Retimer 到 Switch 並非線性升級，Switch 在事務層、路由、虛擬化等方面的複雜度顯著更高，商業化時間表存在高度不確定性。
• PCIe 6.0 訊號完整性挑戰：新一代 PAM4 信令在 PCB、聯結器和背板上的訊號衰減顯著加劇，Switch 晶片自身的設計容限變窄，可能推高系統整合難度和整體成本，從而影響客戶升級意願。

12. 誤讀糾偏

• 誤讀一：“PCIe Switch 就是伺服器裡面的網路交換器。” 糾偏：兩者的本質區別在於協議棧層次與應用位置。乙太網路交換器工作在 L2 及以上，處理乙太網路幀，用於跨機架、跨資料中心的遠距離網路互聯。PCIe Switch 在事務層處理 TLP 資料包，用於同一臺伺服器內部主機板或背板上 CPU 與 GPU、SSD 之間的板級互聯，距離僅為數十釐米，延遲要求極低。不恰當的類比會模糊兩者的技術門檻與設計目標。

• 誤讀二：“輝達的 NVLink 淘汰了 PCIe Switch。” 糾偏：NVLink 解決的是 GPU-GPU 間超高頻寬、超低延遲的專屬通訊需求，其協議並非 PCIe 標準，且不連線 CPU、NVMe SSD 或標準網絡卡。PCIe Switch 仍然是 GPU 與 CPU 之間、GPU 與 NVMe 儲存之間、GPU 與網路介面之間的通用基礎互聯中樞。實際 GPU 伺服器中，兩種互聯技術是並存的：GPU 之間用 NVLink 搬運權重/梯度，GPU 與其餘外設及 CPU 之間的控制資訊、儲存 I/O 等，大量依賴 PCIe Switch 轉發。

• 誤讀三：“CXL 出來以後 PCIe Switch 會被 CXL Switch 完全替代。” 糾偏：CXL 本身複用 PCIe 物理層，CXL Switch 的底層仍然是高速 PCIe SerDes 與物理鏈路。CXL Switch 更像是在 PCIe Switch 基礎上增加了對 CXL.cache 與 CXL.mem 協議的處理能力，可以視為 PCIe Switch 的功能超集。對於不需要記憶體池化和快取一致性的通用 PCIe 裝置來說，純 PCIe Switch 依然是最經濟高效的選擇。二者將在未來較長時間內共存，而非替代。

13. 最新事件

• Broadcom 釋出 PCIe 6.0/CXL Switch 樣品（2024 年 - 2025 年初）：Broadcom 在 2024 年多場行業會議上展示基於 5 nm 工藝的 PCIe 6.0 交換晶片及 CXL 功能原型，強調向下相容 PCIe 5.0/4.0 裝置。公開資料未見 2025 年上半年確切量產出貨公告。
• Microchip 推出新一代 Switchtec PCIe 5.0 產品（2023 年 - 2024 年）：Microchip 釋出了支援更高階口數和更低功耗的新款 Switchtec PFX/PAX 系列，目標瞄準 AI/ML 伺服器與儲存，但未揭露具體頭部客戶的採用情況。
• CXL 3.1 規範釋出（2024 年底）：CXL 聯盟更新至 3.1 版本，增強了對記憶體共享、安全與多級交換拓撲的支援，為 CXL Switch 在 2025-2026 年的商用鋪平規範基礎。
• 輝達在 GTC 2025 展示 PCIe 6.0 互聯方案（2025 年 3 月）：輝達最新一代 GPU 平台開始引入 PCIe 6.0 物理連線，並公開提及與 Switch 供應商的合作，進一步明確 PCIe 交換晶片在未來幾代 DGX/HGX 系統中的持續關鍵地位。公開報道未揭露具體供應商份額分配。
• OCP 標準組織推動 PCIe/CXL 交換模組標準化（2024-2025 年）：開放計算專案開始制定模組化 PCIe Switch 卡與背板的形狀規格，以降低白盒設計中的驗證成本，中長期有望使第二供應商更容易進入生態系統。

14. 追蹤指標

• 博通季度交換晶片營收：可通過博通財報中半導體業務下相關產品線的揭露，推算 PCIe 交換晶片的大致增長趨勢。注意區分資料中心交換晶片（乙太網路）與 PCIe 交換晶片的不同營收流（公開財報通常不單獨拆分 PCIe Switch 的具體營收，只能通過管理層陳述推測）。
• AI 伺服器出貨量：以季度 GPU 伺服器出貨數量（來自 IDC、TrendForce 等機構資料）結合單臺伺服器 PCIe Switch 搭載量（通常 4 顆為主流），自下而上推算需求規模。2025 年主要關注的變數是 8 GPU/16 GPU 系統各自佔比。
• PCIe 5.0 Switch 的 Design Win 與認證：關注主要雲端廠商和伺服器 ODM 的物料清單更新，以及 NVIDIA HGX 參考設計的最新版本，確認 Broadcom 與 Microchip 的份額變化及國內廠商是否有實質性進入。
• CXL 交換晶片商用時間表：追蹤博通與 Microchip 的 CXL Switch 量產公告，以及 AWS、Azure、Google 在 CXL 記憶體池化方案上的落地進度，這是判斷行業第二增長曲線是否啟動的核心訊號。
• 第二代供應商進展：觀察國內相關公司的流片、送樣與客戶測試資訊，區分 PCIe Retimer、PCIe Switch、CXL Switch 的不同產品階段，避免概念混淆。
• NVIDIA 下一代平台內部互聯拓撲：Blackwell Ultra、Rubin 等後續平台的公開內部框圖，揭示 NVLink 與 PCIe Switch 的數量配比是否發生重大變化，將是判斷 PCIe Switch 長期需求結構的關鍵線索。
• 貿易政策與晶片合規動態：部分高效能交換晶片可能受到特定國家出口管制政策的影響，需持續追蹤法規更新及其對供給格局的潛在擾動。

15. 信源

• PCI-SIG 官方規範：PCIe Base Specification 各版本，是理解 Switch 事務層行為、虛擬通道、ACS、SR-IOV 等技術細節的權威文本。
• 博通 PCIe Switch 產品線頁面：Broadcom 官方網站對 PEX 系列的公開介紹，提供功能亮點與目標應用概述，具體資料手冊通常未公開。
• Microchip Switchtec 產品資料：Switchtec 系列的公開技術文件與軟體 SDK，包含部分架構說明和配置示例。
• 行業分析報告：Mercury Research、LightCounting、650 Group 等關於資料中心互聯晶片的市場報告，提供 TAM、份額等估算資料（費用較高，多為摘要公開）。
• Hot Chips / OCP / PCI-SIG DevCon 會議論文與演講：博通、Microchip、輝達等廠商的技術演講，是獲取 PCIe Switch 與 CXL Switch 前沿進展的重要渠道。
• 伺服器 ODM 與雲端廠商公開硬體設計：OCP 開放硬體規格、部分雲端廠商開源的白盒伺服器設計文件，可從中解析 PCIe Switch 的拓撲與選型。
• 注：本文中涉及的市場規模、份額、單價、延遲等具體數值，部分基於行業公認的估算區間與原理推演，並已標註來源類別與不確定性。所有未標註精確出處的財務/市場數字，在引用時需注意其屬於行業估算而包含誤差。