PCIe
3 秒看懂
PCIe（Peripheral Component Interconnect Express）是計算機內部連線 CPU 與各類高速外設（GPU、NVMe SSD、網絡卡等）的序列匯流排標準，扮演著“資料高速公路”的角色。在 AI 算力叢集中，它既是 GPU 與系統記憶體/儲存之間的橋樑，也是多卡互連的主要路徑，其每一代頻寬倍增直接制約著大規模模型訓練的資料搬運效率。當前主流 AI 伺服器已從 PCIe 4.0 向 PCIe 5.0 快速切換。
3 分鐘產業解釋
PCIe 由 PCI-SIG 組織制定，採用點對點、全雙工、多通道（Lane）可聚合的封裝格式，天然具備高吞吐、低延遲、可擴充套件特性。在 AI 產業鏈中，它的作用分佈在三個層級：
- CPU ↔ GPU：訓練節點內，CPU 通過一組 PCIe x16 鏈路（或經 Switch 擴充套件）連線多塊加速卡，負責下發指令、搬運已處理的資料。
- GPU ↔ 儲存：本地 NVMe SSD 通過 PCIe 掛載，承載訓練集的快速讀取與檢查點儲存。
- GPU ↔ 網路：SmartNIC/DPU 通過 PCIe 將多節點 ROCE/RDMA 的資料流注入 GPU 視訊記憶體，實現跨機通訊。
與輝達 NVLink 形成鮮明對比：前者是通用生態匯流排，走向更高速的 PCIe 6.0/7.0，並衍生出 CXL（Compute Express Link）以在記憶體相干互連層面挑戰 NVLink；後者是 GPU 點對點的私有高速通路，頻寬通常是同代 PCIe 的 2× 以上。因此，PCIe 的演進節奏，很大程度上決定了 AI 伺服器架構設計、SSD 介面形態、以及單機多卡“叢集”效能上限。
15 分鐘專家深入
PCIe 並非單一速率實體，而是一套分版本、分通道寬度、分拓撲的複雜技術體系。理解其細節需要掌握三類引數：
- 訊號速率（Raw bit rate）：每 lane 每秒傳輸的原始位元數，單位為 GT/s（十億次傳輸每秒）。由於編碼開銷，實際有效資料頻寬約打 80%–100% 折扣（PCIe 1.0/2.0 使用 8b/10b 編碼，1000 MT/s 僅供 800 MB/s 有效；3.0 起改用 128b/130b 編碼，編碼損失極低）。
- 通道寬度：單 lane 可組成 x1、x4、x8、x16 鏈路，效能線性累積。
- 拓撲靈活性：PCIe 交換晶片可將一個上游埠擴充套件為多個下游埠，形成樹狀結構，這是單機多 GPU 常見的連線方式。
在 AI 訓練伺服器中，典型的 PCIe 拓撲為一顆 CPU（如 AMD EPYC 或 Intel Xeon）提供 128 條 PCIe lane，分別連線 8 個 GPU（每卡通常佔用 x16），剩餘 lane 分配給 NVMe SSD、網絡卡以及晶片間互連。此時，CPU 和 GPU 之間需要經過 PCIe 鏈路和根複合體（Root Complex）進行記憶體讀寫。然而，PCIe 通訊需由 CPU 參與發起，即使採用 GPUDirect RDMA 繞過系統記憶體複製，其路徑也依賴 PCIe 的事務層和 CPU 的地址翻譯。這一點與 NVLink 不經過根複合體的直接記憶體訪問有本質差異，造成了額外的延遲和協議棧開銷。
進一步看，PCIe 在現代 GPU 叢集中的角色正在被重新定義。輝達 DGX 類系統雖然內部使用 NVSwitch + NVLink 構成 GPU 高速域，但仍保留 PCIe 通道用於連線 InfiniBand/乙太網路網絡卡和儲存，甚至在 NVIDIA Grace Hopper 架構中採用 NVLink‑C2C（基於 PCIe 物理層的定製晶片間互連）將 CPU 和 GPU 的高頻寬記憶體進行相干共享。這表明 PCIe 物理層已成為資料中心內部互連的“普通話”，在其之上生長出不同的事務層協議（PCIe 原生、CXL、甚至可能的 UCIe 小晶片互連）。
對投資分析而言，PCIe 的升級意味著介面晶片（Retimer、Redriver、Switch）、IP 核、PCB 板材、聯結器的量價齊升，這一產業鏈動向已在 2023–2024 年 AI 伺服器出貨放量中得到充分驗證。
技術原理（最深）
PCIe 是一種分層協議，自上而下為：事務層（Transaction Layer）、資料鏈路層（Data Link Layer）、物理層（Physical Layer）。
物理層
採用全雙工差分訊號傳輸，每 lane 由兩對差分對（TX+/TX-、RX+/RX-）構成，支援 2.5 GT/s 起步的序列速率。為克服高頻訊號衰減，物理層包含多種訊號調理手段：
- 預加重（Pre-emphasis）/去加重（De-emphasis）：傳送端人為增強高頻分量，以補償傳輸線低通效應。
- 接收端均衡（CTLE/DFE）：接收器主動恢復訊號。
- Retimer/Redriver：在長鏈路或通道擴充套件時，需加入中繼晶片。Redriver 僅模擬放大，Retimer 則重新生成時鐘和資料（進至 PCIe 4.0/5.0，Retimer 已成必需品）。
物理層邏輯子層負責 8b/10b、128b/130b 編碼和擾碼，確保直流平衡和時鐘恢復。通道繫結（x4、x8、x16）時，多 Lane 需保持確定性的偏斜補償（De-skew），使所有 Lane 上的符號符號對齊到同一時鐘域。
資料鏈路層
負責包排序、錯誤檢測（LCRC，鏈路迴圈冗餘校驗）、重傳機制（Ack/Nak）。它確保不可靠的物理鏈路上提供可靠通訊。同時，還承擔鏈路級電源管理（L0、L0s、L1、L1 sub-states 等休眠狀態）和流控協商。
事務層
向上層提供地址空間抽象：記憶體讀/寫、配置、訊息、I/O。TLP（事務層包）封裝實際負載，含 Header（含 Requester ID、Tag、地址、長度等）和 Data。NVMe 命令即通過記憶體寫 TLP 提交 SQ（Submission Queue）。對於大吞吐場景，利用 Max Payload Size（MPS，最大 4 KB）和 Read Completion Boundary 引數最佳化效率。TLP 還能標記 Relaxed Ordering、ID-based Ordering（PCIe 6.0 引入）以改善並行度，這在多 GPU 收發大量 RDMA 請求時至關重要。
AI 場景下的傳輸模式
GPU 視訊記憶體間大規模資料搬移大量依賴 PCIe 的 Peer-to-Peer（P2P） 傳輸。在同一 PCIe 域下，GPU 可直接通過 TLP 互訪對方 BAR 空間。配合 GPUDirect RDMA，網絡卡可通過 PCIe 直接讀寫 GPU 視訊記憶體，無需 CPU 參與，但其控制路徑依舊通過 CPU 提交門鈴（Doorbell）。因此，PCIe 頻寬和延遲仍成為制約單機 8 卡以上規模 AllReduce 操作的瓶頸。常採用 PCIe Switch 建置 GPU 互連的拓撲，以嘗試替代昂貴的 NVSwitch。
[CPU] ---- [Root Complex] ---- [PCIe Switch]
| |
GPU0..3 GPU4..7
(P2P 訪問須經過 Switch，頻寬共享 upsream 埠) 在此拓撲下，GPU 間 P2P 通訊均需佔用 Switch 上行埠與 CPU 相連的匯流排，有效頻寬除以併發數。這正是許多訓練架構讓 GPU 之間資料流通繞道 NVLink 而避開 PCIe 的主要原因。
技術演進史
- PCI 時代（1992–2004）：並行匯流排，133 MB/s（32‑bit/33 MHz），共享頻寬架構，已無法滿足千兆網路和圖形需求。
- PCIe 1.0a（2003）：2.5 GT/s，x16 單向約 4 GB/s（包含編碼），全面轉向序列點到點，取代 AGP。
- PCIe 2.0（2007）：5 GT/s，引入動態電源管理，初代 NVMe 裝置的載體。
- PCIe 3.0（2010）：8 GT/s，改用 128b/130b 編碼，有效頻寬大幅提升，成為伺服器主機板最長壽標準，也是首個廣泛承載 GPU 計算的代際（NVIDIA Kepler/Maxwell）。AI 訓練早期多卡系統主要跑在 PCIe 3.0 x16 上。
- PCIe 4.0（2017）：16 GT/s，頻寬翻倍，引發 Retimer 產業擴張。2019 年以後，AMD EPYC 率先全面支援，AI 訓練用 GPU 如 A100 即支援 PCIe 4.0。儲存端 NVMe SSD 讀速破 7 GB/s。
- PCIe 5.0（2019）：32 GT/s，x16 單向約 63 GB/s（雙工約 126 GB/s）。2022 年後釋出的 H100 等新一代 AI 晶片原生支援 PCIe 5.0。CXL 1.1/2.0 基於 PCIe 5.0 物理層問世，使得記憶體池化、相干加速成為可能。
- PCIe 6.0（2022 規範釋出）：64 GT/s，x16 單向約 121 GB/s。核心技術鉅變：訊號調變從 NRZ 轉向 PAM4（四階脈衝幅度調變），每 Unit Interval（UI）承載 2 位元，同時引入 FEC（前向糾錯）和 FLIT（固定長度傳輸單元）模式，徹底改變事務層/鏈路層互動範式。AI 伺服器預計在 2025–2026 年匯入量產。
- PCIe 7.0（計劃 2025 規範）：128 GT/s，繼續 PAM4，引入新材料與聯結器設計以應對百 GB 級每秒的傳輸。
從演進中可見兩條主線：速率每三年翻一番，以及**基本訊號範式改變（NRZ→PAM4）**帶來的成本/功耗拐點。這直接影響了 AI 伺服器互連的經濟性。
技術路線對比（量化表）
| 專案 | PCIe 4.0 | PCIe 5.0 | PCIe 6.0（工程樣片/早期） | NVLink 3.0/4.0（輝達） | CXL 2.0（基於 PCIe 5.0） |
|---|---|---|---|---|---|
| 單 Lane 原始速率 | 16 GT/s | 32 GT/s | 64 GT/s | — | 32 GT/s（同 PCIe 5.0） |
| x16 單向有效頻寬 | ~31.5 GB/s* | ~63.0 GB/s* | ~121 GB/s* | 600 GB/s 雙向（NVLink 3.0） / 900 GB/s 雙向（NVLink 4.0） | — |
| 編碼方式 | 128b/130b | 128b/130b | PAM4+1b/1b FLIT + FEC | 定製 | 128b/130b（複用 PCIe 物理層） |
| 典型鏈路範圍 | ~20 inch PCB | ~12–15 inch PCB（須 Retimer） | Retimer 強依賴 | 背板/電纜 ≤ 60 cm 常見 | 同 PCIe 5.0 |
| 事務協議 | 原生 PCIe TLP | 原生 + 可選 CXL | FLIT 模式（相容 TLP） | 私有高頻寬記憶體訪問 | CXL.cache / CXL.mem / CXL.io |
| AI 內互連角色 | CPU↔GPU 資料搬運 | 高速 NIC、SSD、GPU 互連基礎 | 下一代統一基礎設施 | 高密度 GPU 全互聯（DGX） | 記憶體池化與低延遲共享 |
| *注：有效頻寬基於 128b/130b 編碼效率、PCIe 包開銷估算，實際可實現吞吐視平台實現而定。 |
上下游
上游：
- PCIe 控制器 IP：Synopsys、Cadence 提供各版本控制器與 PHY IP，晶片設計公司的關鍵採購物件。
- Retimer/Redriver 晶片：Astera Labs、Renesas、TI、Microchip。AI 伺服器裡一個 8‑GPU 平台可能用上十餘顆 PCIe 5.0 Retimer，單價 15–30 美元。
- Switch 晶片：Broadcom、Microchip（原 Microsemi）主導，提供高密度 PCIe 交換方案，用於建置多 GPU 或 NVMe JBOF。
- 聯結器與電纜：Molex、Amphenol、TE Connectivity 供應高速背板聯結器、SlimSAS、M.2 等物理介面。
- PCB 板材與驗證：PCIe 5.0/6.0 對低損耗板材（如 M6、MEGTRON）需求激增，生益科技等材料商受益。
下游：
- 伺服器 OEM/ODM（Dell、HPE、浪潮、超微）將 PCIe 通道版面配置到主機板與 Riser 卡。
- GPU/AI 加速卡廠商：NVIDIA、AMD、Intel 等在其產品上實現 PCIe 介面。
- 儲存系統：PCIe retimer 應用於 E1.S / E3.S / U.2 SSD 以及儲存陣列。
- 網絡卡：NVIDIA ConnectX-7 等使用 PCIe 5.0 x16 承載 400GbE 資料；Intel E810 系列使用 PCIe 4.0 x16，主要支援 100GbE。
關鍵指標
- 每 Lane 原始速率（GT/s）：直接決定總頻寬天花板。
- 通道寬度和配置靈活性（Bifurcation）：能否將 x16 拆成 2×x8 或 4×x4，影響單 CPU 掛載多裝置的能力。
- 有效頻寬（Payload throughput）：由於 TLP 頭、編碼、流控更新等開銷，滿速壓力測試下有效頻寬約 90% 理論值。
- 端到端延遲：CPU 發起到 GPU BAR 寫完成的延遲（通常亞微秒級），體現為 TLP 往返開銷。越小對通訊密集的 HPC/AI 越有利。
- 誤位元速率（BER）：目標 <10⁻¹²（無 FEC），引入 FEC（PCIe 6.0）後改善至 <10⁻¹⁵，避免重傳引起尾部延遲。
- 訊號完整度眼圖（Eye height/width）：鏈路訓練時確定的訊號視窗，裕量不足將降速（如 PCIe 5.0 降級 4.0 執行）。
供需與市場資料
根據多家第三方市場研究機構（Yole、Gartner）的估算，2023 年全球 PCIe Retimer 市場規模約 3–5 億美元，隨著 AI 伺服器出貨量暴增以及 PCIe 5.0 滲透率從 2023 年約 20% 提升到 2025 年超過 60%，這一數字將在 2025–2026 年翻倍。PCIe Switch 市場約 10 億美元，受限於 GPU 內部 NVSwitch 替代效應，但來自智慧網絡卡、CXL 交換器與儲存分解的需求將保持高增長。
從 AI 伺服器看，每臺配置 8 顆高效能 GPU 的伺服器大約需要 8–12 顆 PCIe 5.0 Retimer（用於 GPU‑to‑CPU、NVMe 籠以及 Riser 卡）。2024 年全球 AI 伺服器出貨量近 200 萬臺（多數為 4–8 GPU 配置），對 PCIe 5.0 晶片形成強勁需求，一度出現 Retimer 交期拉長至 20 周以上的緊張狀況。
PCB 與聯結器方面，PCIe 5.0/6.0 推動高階材料需求，超低損耗材料用量增加，相關供應商營收因 AI 伺服器增厚顯著（據估算，AI 伺服器單機 PCB 價值量可達傳統伺服器的 5–8 倍，其中 PCIe 相關走線佔比貢獻可觀）。
（資料來源：多份投行研究報告及供應鏈調查，具體數字為行業估算。）
代表公司與資本對映
晶片/IP 層
- Astera Labs (ALAB)：PCIe Retimer 龍頭，率先量產 PCIe 5.0 Retimer，深度繫結 AI 伺服器平台，被視作“AI 互連的賣鏟人”，上市後市值大幅攀升。
- Synopsys (SNPS)、Cadence (CDNS)：提供 PCIe 6.0 控制器與 PHY 的 IP，從 AI 晶片設計潮中直接受益。
- Broadcom (AVGO)：PCIe Switch 全球第一，同時推出 PCIe/CXL Retimer。
- Renesas、Montage Technology（瀾起科技）：切入 PCIe 5.0 Retimer 市場。
元器件與製造
- 生益科技、臺耀、聯茂：高速 CCL（覆銅板）供應商，AI 伺服器 PCIe 走線需超低損耗材料，獲利率表現突出。
- 滬電股份、勝宏科技、景旺電子：高階 HDI、背板 PCB 製造商，直接受益於 AI 伺服器高價值 PCB 訂單。
- 安費諾、Molex、泰科：高速聯結器龍頭，單機 PCIe 聯結器價值量隨通道數增加而上升。
終端與生態
- NVIDIA (NVDA)：雖優先推薦 NVLink，但其 GPU 均整合最新 PCIe 控制器，並帶動上游 Retimer 需求。
- Intel (INTC)、AMD (AMD)：CPU 平台提供 PCIe lane 數量與代際決定了整體生態節奏。
- Dell、HPE、浪潮、超微：AI 伺服器製造商，下游整合方，供應鏈配置直接受 PCIe 升級週期驅動。
投資邏輯
1. 代際升級帶來的價值增量
從 4.0 到 5.0，再從 5.0 到 6.0，每一個節點都伴隨 Retimer 用量激增或單價提升。PCIe 6.0 引入 PAM4 和 FEC，Retimer 複雜度上升，單顆價值量可能進一步抬升，且 Switch 晶片因 CXL 需求有望迎來第二增長曲線。
2. AI 伺服器出貨量與單機價值共振
單臺 GPU 伺服器 PCIe 相關晶片 + 聯結器 + PCB 增值總和可達數百美元。當 AI 伺服器出貨量年增 40–50%，該細分市場即具有高彈性。
3. CXL 開啟第二市場空間
CXL 基於 PCIe 5.0/6.0 物理層，可連線 CPU 與加速器、記憶體控制器，實現解耦資源池。一旦資料中心記憶體池化成為主流，PCIe Switch/Retimer 將在結構內扮演核心互連角色，需求可從現有伺服器擴充套件至整個機櫃級解耦網路。
風險提示：競爭風險（部分 GPU 間通訊完全轉向私有 NVLink 而減少對高頻寬 PCIe 的依賴）、技術替代風險（UCIe 等小晶片互連可能會繞過板級 PCIe）、價格競爭風險（Retimer 供應商增多導致毛利率下滑）。
常見誤讀糾偏
誤讀 1：PCIe x16 的實際資料率就是 128 GT/s（PCIe 5.0 為例）
事實：PCIe 5.0 單 lane 原始速率是 32 GT/s，x16 鏈路總原始速率為 512 GT/s（雙工合計 1024 GT/s）。每個方向原始速率為 32 GT/s × 16 = 512 GT/s。經 128b/130b 編碼，有效載荷率約為 128/130，但還要扣除 TLP 包 Header、鏈路流控包等開銷，最終應用層能獲得的單向頻寬一般不超過 60 GB/s。使用者常把“雙向總頻寬”與“單向可用頻寬”混淆。
誤讀 2：有 NVLink 的 GPU 系統不需要操心 PCIe
事實：即使所有 GPU 都通過 NVLink 全互連，它仍需 PCIe 來連線系統記憶體（CPU 端）、NIC 和儲存。CPU 與 GPU 之間的控制通路、視訊記憶體頁遷移等依然依賴 PCIe。在 Grace Hopper 這類緊耦合系統中，NVLink‑C2C 成為相干連線的核心，NVLink 僅負責 GPU 間頻寬，兩者角色迥異，不可替代。
誤讀 3：PCIe 6.0 只是速度更快，沒有本質變化
從 NRZ 變 PAM4 是物理層訊號範式的改變，意味著過去積累的通道設計經驗幾乎需要重來。引入 FLIT 和 FEC 徹底打亂了傳統的 TLP 交付和重傳模型，對交換晶片、端點控制器的設計複雜度影響深遠。這會重置部分廠商的競爭格局。
學習路徑
- 基礎規範：閱讀 PCI-SIG 官方基礎白皮書，理解 3 層結構和通道初始化流程。
- 訊號完整性：學習 NRZ 與 PAM4 眼圖、誤位元速率、均衡技術（CTLE, DFE）。
- 系統架構：剖析一款 GPU 伺服器（如 NVIDIA DGX 或 HGX）的 PCIe 樹狀拓撲，匯出 lspci -t 對比理解。
- 抓包分析：使用 PCIe 協議分析儀捕獲 TLP，觀察記憶體讀/寫、完成報文。
- 演進追蹤：精讀 PCIe 6.0/7.0 規範更新（尤其 FLIT 與 FEC），同步追蹤 CXL 3.0 規範。
- 產業追蹤：關注 Retimer 廠商（Astera Labs, Renesas）和 Switch 廠商（Broadcom）的財報與設計 win 公告，把握滲透節奏。
一句話總結
PCIe 是 AI 基礎設施的“資料大動脈”——它定義了 CPU 與加速器、儲存、網路之間的頻寬邊界，每一次代際升級都重新劃分了資料中心互連的價值版圖。
延伸閱讀與來源
- PCI-SIG 官網：PCIe Base Specification 各版本
- Astera Labs 上市招股書（S‑1），詳細揭露 Retimer 市場規模與公司份額
- Synopsys “PCIe 6.0 – The Next Generation” 技術白皮書
- NVIDIA “NVIDIA AI Enterprise Platform Architecture” 白皮書（瞭解 PCIe 在 DGX 平台的角色）
- CXL Consortium：CXL 3.0 規範，展示基於 PCIe 物理層的未來
- 行業第三方報告：Yole “PCIe Retimer Market Tracker”，Gartner “Server Interconnect Forecast”
- 國內券商深度報告（如中信建投、國信證券關於伺服器互連晶片的專題研究報告）