階梯結構
1. 3 秒看懂
階梯結構 (Staircase Structure) 是面向萬億引數規模 AI 的系統工程學核心範式，它徹底摒棄了傳統“單點堆料”的晶片設計思維，將 AI 算力基礎設施抽象為一個從奈米級矽片延伸到百公里級資料中心的分層、異構、協同的計算與通訊體系。
這架階梯的每一級，都精準解決一個特定的物理瓶頸：第一階在晶片封裝內實現計算與快取的極致緊湊，第二階在單節點內打破“記憶體牆”並實現 TB/s 級資料吞吐，第三階在叢集內通過最優拓撲實現數千加速器的近線性擴充套件，第四階在資料中心間建置超大細胞規模的非同步訓練網路。其終極目標不是單一指標的最優，而是通過分層解耦、逐級最佳化、全域性協同的系統工程設計，將有限的物理資源最高效地轉化為智慧生產力，從而定義下一代 AI 的 TCO（總擁有成本）與規模化邊界。
2. 3 分鐘產業解釋
當前，AI 產業正集體撞向“矽基範式的失效牆”。單純依靠半導體工藝微縮和晶片面積擴大來提升算力（即“黃氏定律”）已無法掩蓋系統級效能的坍塌。SOTA 模型引數量正以年均 3-5 倍的速度爆炸，遠超單晶片算力約 2 年翻倍的演進節奏，迫使系統架構必須從“單點天花板”轉向“系統全域性最優”。
- 產業痛點：從“算力飢渴”到“通訊與記憶體瓶頸”的範式轉移。訓練一個萬億引數、十萬 token 上下文的多模態世界模型，本質上是在同一時間、以極高吞吐率完成三種異構操作：密集矩陣乘法（計算）、大規模張量搬運（記憶體頻寬）以及引數/梯度的全域性同步（通訊）。單一晶片或同構架構在任一維度上的短板，都會造成木桶效應——算力閒置（氣泡），通訊堵塞，以及驚人的能源浪費（無效傳輸）。這正是“階梯結構”誕生的工業基礎。
- 核心解法：“分而治之”與“時空對映”的工程學。階梯結構將極大規模的 AI 工作負載，沿空間維度（晶片內→節點內→叢集內→資料中心間）和時間維度（預處理→前向傳播→反向傳播→引數更新）同時進行精細拆解。為每一“階”精確匹配最適宜的技術族群：近存計算、超高頻寬記憶體（HBM）、CXL 記憶體語義互聯、定製化 All-to-All 網路、液冷與高密度電源，以及對應的並行策略對映。這建置了一條無縫銜接的“數字-物理流水線”，讓計算在正確的時間、以正確的格式、出現在正確的位置。
- 產業價值：重新定義 AI 競爭力的標尺。階梯結構不再是單純的技術描述，而是衡量一家公司乃至一個國家 AI 基礎設施競爭力的核心維度。它直接決定了下一代模型能否被成功訓練（可行性）、需要耗費多少金錢與電力（成本）、以及模型的迭代速度（上市時間）。掌握階梯架構的公司，將獲得定義千行百業智慧基座的話語權。
3. 技術原理
階梯結構的實施並非依賴某一項黑科技，而是一整套相互咬合、硬軟結合的技術棧。其根本機制可凝練為一句話：“以分層抽象遮蔽複雜度，以逐級最佳化逼近物理極限”。
[應用層/演算法層] → 目標：定義計算圖，最小化有效計算量，感知硬體親和性
(稀疏化/混合專家(MoE)路由策略/訓練-推論協同設計/混合精度)
|
| (演算法感知的系統拓撲，將邏輯計算圖下傳)
v
[編譯與架構層] → 目標：計算圖級圖切分、運算元融合與並行策略的自動或半自動對映
(XLA/TVM/Triton編譯器, Megatron-LM, DeepSpeed, PyTorch FSDP)
|
| (將邏輯並行對映到物理計算與通訊資源上)
v
[執行時與排程層] → 目標：異構資源池化、透明通訊排程、大規模叢集健康監控
(Kubernetes + Volcano/Slurm, NCCL/RCCL通訊庫, NVSwitch排程)
|
| (對海量異構硬體進行虛擬化、邏輯抽象與故障域隔離)
v
[硬體與互聯層] → 目標：提供多層次、低延遲、高頻寬的物理計算與資料搬運能力
(GPU/NPU/CPU, HBM3e, CXL 3.0 Switch, NVLink Switch,
InfiniBand NDR/XDR, 光互連, 液冷散熱)在實踐中，這套技術棧需要在連續且多變的約束中進行精密的權衡：
- 通訊-計算比的最優掩蔽：理想條件下，系統應在計算單元忙碌時，將通訊耗時完全隱藏（掩蔽）。因此，在晶片內，需實現 5 TB/s 以上的片上頻寬；在節點內，通過 NVLink 或 Infinity Fabric 實現 900 GB/s 的 GPU 間頻寬；而在跨節點叢集，則需用 400/800 GbE 或 InfiniBand 建置無阻塞收斂比網路，並配合計算-通訊重疊（Overlap）技術。
- 資料區域性性的最大化：“資料不動，計算動”是金科玉律。必須儘可能將啟用值、引數、梯度暫留或快取在最低階的儲存裝置上（如 SRAM、HBM），只有當跨階必須搬運時才啟動高階、高延遲傳送，以此極大壓縮資料搬運的能效開銷。
- 同步範式的分層適應：在晶片和節點內，追求納秒級、強一致性的同步以保障矩陣計算的正確性。而在跨資料中心這種延遲高達數十毫秒的場景，則廣泛採用非同步或半同步的並行模式（如 Stale-Synchronous Parallel, SSP），容忍一定的梯度延遲，換取叢集規模的無限擴充套件能力。
4. 關鍵引數
評價一套階梯結構的設計優劣，不能僅憑標稱峰值算力，必須關注一系列反映系統真實效率、瓶頸和TCO的核心引數。所有資料限2024-2025年公開產品與論文口徑。
| 引數類別 | 核心指標 | 定義與內涵 | 階梯架構目標 (2025典型值) | 衡量方式與來源 |
|---|---|---|---|---|
| 系統利用效率 | 系統級 MFU (Model FLOPs Utilization) | 模型有效計算量佔總硬體峰值算力的比例。直接反映軟硬體協同、通訊開銷、重計算等合併效應。 | 訓練: > 50%（萬卡叢集 MoE），推論: 可測 Token/秒/$ | NVIDIA Nsight, 各雲端廠商白皮書（如Google PaLM, Meta Llama3訓練日誌） |
| MBFU (Memory Bandwidth Utilization) | 記憶體子系統的實際利用頻寬佔峰值頻寬的百分比，是“記憶體牆”的直接量度。 | > 85%（HBM3e），CXL 遠端記憶體更注重延遲中位值 | 流基準測試，實際訓練/推論Profile資料 | |
| 通訊可擴充套件性 | 跨節點縮放效率 (Scale-up/out Efficiency) | 當參與訓練的加速器數量翻倍時，有效吞吐的翻倍比例。理想值為100%。 | Scale-out: 80̃-90% （數千卡），Scale-up: >95% （8卡域內） | MLPerf Training, 廠商的公開 Scaling 曲線（如 NVIDIA Selene 叢集結果） |
| 通訊開銷佔比 (Communication vs Compute Time) | 在一次完整訓練迭代中，通訊所花費的牆鍾時間佔比。 | 前向傳播 5%，反向傳播梯度 All-Reduce 掩蔽度90% | NCCL 時序分析、PyTorch Profiler | |
| 能效與TCO | 每百萬億次運算能耗 (TDP/TOPS) | 系統達到單位標稱算力所需消耗的功率（瓦）。更能反映真實負載下功耗的是作業級 PPA。 | < 0.3 W/TOPS (系統整體，含散熱) | 晶片 TDP，標準MLPerf能源測試套件，施耐德/英業達等白皮書 |
| TCO/有效PetaFLOP/s | 衡產生命週期內，獲取單位有效算力所付出的總擁有成本（含硬體、網路、能源、冷卻、運維）。 | 比上一代同等有效算力降低 40-50% | 雲端廠商內部測算，摩根士丹利/國金證券行業研究報告 | |
| 拓撲健康度 | 網路重構時間 (Re-routing time) | 當叢集中某顆晶片或某一跳網路失效時，全系統恢復穩定通訊所需的時間。 | < 100ms 自動路由收斂 | RDMA/RoCE 網路故障模擬測試 |
| 端到端延遲尾延遲 (P99.9 Latency) | 在跨資料中心的非同步訓練中，最慢那部分梯度（拖後腿者）的到達延遲。 | < 10ms (同區域多DC), < 50ms (跨區域) | 廠商實測，光互聯延遲地圖 |
5. 第一階梯：晶片內與封裝級計算架構
這是物理上最小、最關鍵的一階，解決的是“電晶體近旁的資料搬運”問題。隨著電晶體尺寸接近物理極限，提升算力密度的核心手段從器件縮小轉向先進封裝與近存計算。
在單顆加速器內部，算力陣列（如 NVIDIA 的 Tensor Core、AMD 的 Matrix Core）被數十兆位元組的超高速靜態隨機儲存器（SRAM）構成的暫存器、共享記憶體所環繞，形成第一層“計算-快取”單元。向外延伸，是通過矽中介層（Interposer）緊密連線的 3D 堆疊高頻寬記憶體（HBM3e/HBM4）。當前已能實現 8-Hi 或 12-Hi 堆疊，每堆提供 1 TB/s 以上頻寬，將關鍵資料（權重、KV 快取）放置在離計算單元十幾微米的地方，極大緩解了資料搬運瓶頸。
這一階的架構創新還包括：計算單元與儲存體的混合鍵合（Hybrid Bonding），實現更高密度、更低功耗的垂直互聯；以及基於 Chiplet 的模組化設計，允許不同功能的芯粒（計算、記憶體、I/O）用 UCIe 等標準協議在封裝內拼裝。這使異構整合成為可能，可以針對 Transformer 的注意力機制定製特定計算的芯粒，實現架構層面的專用化。
6. 第二階梯：節點內互聯與記憶體池化
突破單晶片的封裝尺寸限制，第二階定義了單臺伺服器或多模組超級晶片內部的高速域。這一階的核心是打破“記憶體牆”並實現 GPU-to-GPU 直連通訊，形成一臺“邏輯上單一的巨大加速器”。
NVIDIA 的 NVSwitch 和 AMD 的 Infinity Fabric 是該階梯的標誌性技術。以 DGX H100 為例，8 張 GPU 通過 4 個 NVSwitch 晶片全互聯，每對 GPU 之間享有 900 GB/s 的頻寬，所有 GPU 可同時以全速訪問交換器的共享埠。這使得在一個節點內，可以高效施行張量並行這類對通訊頻寬要求極高的策略，將單層模型切分到 8 張卡上而幾乎不產生通訊瓶頸。
更進一步的突破是記憶體池化與分解。基於 CXL 3.0 協議，可將系統記憶體、GPU 的 HBM 甚至 SSD 在連線層面上融合為一個統一的、具備快取一致性的記憶體池。這意味著 GPU 可以透明地訪問遠端的大容量記憶體，以容納超出 HBM 容量的龐大 KV 快取或嵌入表，將“記憶體牆”再向外推一個層次。這一階的設計目標是讓節點內的所有矽片像一個有機整體那樣工作。
7. 第三階梯：叢集內網路與拓撲最佳化
當單個節點的算力擴充套件到數千甚至上萬張加速器時，跨節點的網路便成為整個系統的主動脈。第三階梯正是面向資料中心內（或同一 PFC 域內）的 Scale-out 互聯。
這一階的核心是高頻寬、低延遲、無阻塞（或低收斂）的 Fabric。目前業界主流採用 InfiniBand NDR（400 GB/s）或 NDR200（2×200G）乃至 XDR（800 GB/s），或基於 RoCE v2 的 800G Ethernet。但遠比埠速率重要的是物理拓撲和路由演算法。為了達成 1:1 理想收斂比，必須在 Spine-Leaf 基礎上，引入 DragonFly+ 或多平面拓撲，甚至根據模型並行模式（如 All-to-All 通訊）定製光路交換（OCS） 重新配置拓撲。Google TPU v4/v5 叢集大規模採用 OCS，證明了動態拓撲重構對於 MoE 專家通訊的巨大收益。
在軟體棧層面，NCCL 通訊庫的樹形與環形演算法選擇、自適應路由（Adaptive Routing）以及對胖樹（Fat-Tree）SHARP 網路內計算加速的利用，共同將 All-Reduce、All-Gather 等集體通訊操作的延遲降到最低。這一階梯的目標是，即使在 10,000 卡規模下，通訊側的開銷佔比也不超過訓練總時間的 15%。
8. 第四階梯：跨資料中心融合與聯邦訓練
第四階是階梯結構的最高層，它跨越地理邊界，將多個物理距離數十公里甚至上百公里的資料中心凝結為一個虛擬的超級計算叢集，用於訓練超越單個機房電力上限的終極模型。
這一階的物理基礎是高頻寬、高確定性的資料中心互聯（DCI），通常利用 DWDM 密集波長分波多工和相干光通訊技術，可實現每對纖 400G/800G，總容量達數十 Tb/s。但由於光在光纖中的傳播延遲約 5μs/km，穿越 100 公里將帶來約 1.6ms 的往返時延，這對同步並行是災難性的。
因此，第四階梯必須採用非同步或半同步的分散式訓練範式。例如，基於 Gossip 協議的引數平均，或利用延遲梯度補償（Stale Gradient Compensation） 的 SSP 模型。此外，Data Center 之間通常施行區域專家隔離（Expert Sharding across DCs），將 MoE 的不同專家部署在不同資料中心。由於不同專家處理的 token 分佈通常符合某種區域性性，可以通過預取和智慧路由將跨 DC 通訊量最小化。該階梯解決的已不僅是工程問題，而是政治經濟學問題：將碳約束、電力配額、政策法規統籌進計算流體中。
9. 第五階梯：編譯棧與自動並行策略對映
硬體階梯的物理架構必須與軟體棧的“邏輯階梯”精準耦合。第五階梯看不見，卻直接決定了硬體利用率的天花板，即編譯器與架構的協同設計。
當用戶用 PyTorch 或 JAX 寫下一個 Attention 層時，系統必須自動完成一系列降維對映：計算圖被 XLA、TVM 或 Triton 等編譯架構捕捉，進行運算元融合（如將 QKV 線性層與後續 Attention 計算熔成一個 Kernel）、記憶體對齊、張量重排，並生成針對特定架構（如 Hopper 的 wgmma 指令）的高度最佳化機器碼。
更為重要的是並行策略的自動決策。訓練一個萬億模型，需同時使用資料並行、張量並行、流水線並行、序列並行、專家並行等多維策略。這構成了一個巨大的搜尋空間。Alpa、FlexFlow、MindSpore 等自動並行與搜尋系統通過整數線性規劃或動態規劃，根據叢集階梯的頻寬、延遲、記憶體容量，自動探查出最佳切分方案，並以最小的重排開銷注入到執行圖中。這種“演算法-系統協同設計”是榨乾硬體階梯每一分效能的最後一公里。
10. 第六階梯：記憶體與儲存層次的資料流
階梯結構不僅是關於計算和網路，儲存層級同樣是關鍵一維。從計算晶片內的 SRAM，到封裝上的 HBM，節點內的 DRAM（通過 NVLink-CXL 擴充套件），再到本地 NVMe SSD 陣列，最後到分散式物件儲存，構成了一個金字塔形的資料訪問延遲與容量梯度。
訓練萬億 Token 級資料時，資料預處理和載入管道是極易成為隱藏瓶頸的第六階梯。理想設計是建置一條零複製、非同步預取的資料流水線。資料從遠端儲存被網路直接搬運到節點內的 GPU 記憶體（通過 GDS/GPUDirect Storage），繞過 CPU 和系統記憶體的多次複製。配合高精度的資料混洗、去重與課程學習策略，確保每個訓練步驟，計算單元眼前的資料總是及時就緒，從不停歇。
這對 MoE 推論引擎尤為關鍵：龐大的專家權重和 KV 快取構成異構記憶體訪問模式，需要跨第六階梯設計智慧快取策略，如根據 token 的路測熱度動態將部分專家權重駐留在 HBM，將冷專家的權重解除安裝至大容量 DRAM 甚至固態儲存，以此應對推論時的突發流量。
11. 能效與TCO模型深度解析
階梯結構的最終裁決官是總擁有成本（TCO）和總擁有能源（TOE）。設計階梯，實質上是在繪製一張“每瓦特智慧產出”的等值圖。
每瓦特效能（Performance per Watt）必須剖析到每一階梯：晶片內，近存計算節省了資料傳輸的皮焦耳開銷；節點內，NVSwitch 的直接 GPU 間連線相比通過 PCIe 再轉網絡卡，能將每個位元能耗降低一個數量級；叢集層面，液冷方案（直接晶片液冷或浸泡式）能將 PUE （能源使用效率）從傳統 1.4 壓至 1.1 以下，直接影響數兆瓦級叢集的真正執行成本。
更為進階的模型是 “碳感知階梯”：根據電網中可再生能源的即時可用性，動態地將訓練負載在第四階梯的資料中心間進行遷移或排程。例如，白天使用太陽能充沛地區的叢集，夜間遷移到風電峰區。階梯結構賦予了這種時空排程以物理支撐，使 AI 計算成為電網負荷平衡的工具，而非單純的耗能巨獸。
12. 產業實踐：訓練與推論的一體兩面
同一硬體階梯，針對訓練和推論這兩個本質不同的負載，必須有完全不同的架構側重與軟體策略。
- 訓練階梯：高同步、大頻寬、全域性生態。訓練強調 All-Reduce 的密度和收斂性。因此第三階的叢集網路傾向於胖樹無阻塞，第四階的同步演算法要求嚴格，儲存端需要高聚合頻寬的並行檔案系統以供給海量訓練語料。且訓練叢集的功耗與散熱是一項超級工程，單機櫃動輒上百 kW，需要液冷與中壓電源直供。
- 推論階梯：低延遲、高批次、成本敏感。推論負載呈波動、對尾延遲極度敏感。因此，階梯的重點下移：第一階更需要 HBM、大容量 KVCache 管理單元以及低精度的量化引擎；第二階可能僅需 2 卡或 4 卡之間的低延遲互聯以承載大型模型；甚至在第三階，採用基於 SmartNIC/DPU 的分散式推論，將請求路由和微批處理解除安裝。階梯結構需能靈活“降階”使用，實現算力資源的碎片化切分與極致利用率，因為推論的計價單位是每個 Token 的毫釐之差。
13. 主流產業生態與路徑對比
不同廠商圍繞階梯結構展開了完全不同的生態建置，核心差異在於“階梯邊界”的劃定權。
- NVIDIA 全棧垂直整合：定義了最清晰的階梯邊界和內部協議族（NVLink、NVSwitch、InfiniBand、DPU、CUDA）。這種一體化體驗極大降低了開發複雜度，使用者看到的是一臺邏輯一致的大計算機（如 GB200 NVL72）。但代價是較高的採購成本和供給鎖定。
- AMD 開放生態與聯盟：依託 Infinity Fabric 和開源 ROCm 軟體棧，並積極擁抱 CXL 與 UALink 等開放標準，聯合博通、思科等網路巨頭建置開放式階梯。其戰略在於通過行業聯盟，打破私有協議壁壘，提供更多階梯元件的可選供應商。
- 自研ASIC與超大規模者定製：Google TPU、AWS Trainium、自研構架等則完全根據自身業務 Workload 裁剪階梯。Google 將第三階重塑為基於 OCS 的動態光網路，華為 Ascend 叢集則在大規模板級液冷與專屬 HCCS 互聯上深入。這條路雖然前期投入巨大，但能在特定場景（如內部搜尋、推薦）實現無法比擬的 TCO 優勢。
14. 挑戰、瓶頸與未來技術瞭望
儘管階梯結構已指明方向，但幾大核心挑戰正迫使其持續演進：
- 跨階梯斷層的矛盾：晶片內頻寬與跨節點網路頻寬仍存在千倍級“落差”，導致資料跨階移動時必然造成處理延遲或被迫降速。光電共封裝（CPO）、矽光子中介層等前沿技術試圖將光學互聯引入第一、二階梯，消除這一斷層。
- 可靠性疊加與“爆炸半徑”：萬卡以上叢集，硬體與網路元件失效率大增。如何通過故障感知、快速恢復、彈性拓撲設計，將單點失效的“爆炸半徑”控制在可接受範圍之內，是系統工程的頭號難題。
- 異構整合與程式設計複雜性：階梯由多種計算、網儲晶片構成。儘管編譯器在演進，但讓廣大演算法工程師能夠無痛利用這架複雜機器，仍然依賴程式設計模型的根本性革命。
- 下一代數理：當模型邁向 100T 引數，且包含長時互動與強化學習迴圈時，單純的空間-時間並行將不夠。生成式流、主動計算等顛覆性範式可能會讓當前的階梯結構再次解構。
15. 總結與未來展望
階梯結構是 AI 計算從“工藝紅利”邁入“系統工程紅利”時代的必然產物，它是人類工程師為馴服指數增長模型複雜度而鋪設的理性之路。它不像某個發明般有單一的誕生時刻，而是整個產業在撞牆、權衡、協同中逐步浮出的最最佳化共識。
展望未來，階梯的邊界將愈發模糊：光學互聯將把第三階的頻寬引入封裝內，使 CXL 記憶體池化使第二階的容量向外延伸至整機櫃，而大型模型本身的行為也開始反哺拓撲設計——根據專家啟用模式自我調整階梯。階梯不再僅僅是一套靜態的硬體配置，而會演進為一種可以通過軟體定義、隨負載而呼吸的有機計算體。
最終，掌握這套架構哲學的公司，將能夠像排程電網一樣排程算力，像設計城市管網一樣設計資料流，在矽基與光子編織的階梯上，架起通向通用人工智慧的實體橋樑。階梯結構，本質上，就是未來算力文明的基礎設施語法。