機架級系統
3 秒看懂
機架級系統（Rack-scale System）不是一臺伺服器，而是以整個機櫃（甚至多機櫃）為最小部署單元，將計算、儲存、網路、供電與散熱深度整合，作為一個巨型計算機整體進行設計、排程和管理。在 AI 大型模型訓練推論中，它把成百上千顆 GPU/TPU 通過高速互聯聚合並統一資源池化，讓開發者就像操作一臺機器一樣使用整個機架叢集，從而支撐萬億級引數模型的並行訓練與高吞吐推論。
3 分鐘產業解釋
傳統資料中心以單臺伺服器為原子單位，堆疊伺服器再通過架頂交換器連線，存在資源孤島、跨節點通訊延遲高、供電與散熱效率受限等痛點。機架級系統則把“機櫃”或“一組機櫃”重構為可程式設計的基礎設施單元：
- 硬體形態：計算節點（如 GPU 模組）、記憶體/儲存池、交換單元可能採用刀片或模組化設計，直接插入背板或通過中板互聯，甚至取消單獨節點的機箱，形成整機架的液冷一體化架構。
- 互連骨幹：架內通過 NVLink、Infinity Fabric 或專用光纖背板實現極低延遲、超高頻寬的全互聯，跨機架再通過 InfiniBand/乙太網路建置第二層網路，追求“機架為計算機”的效果。
- 統一管理與排程：整機架被抽象為單一資源池，由排程器（如 Kubernetes 的擴充套件、Slurm 或專用 AI 平台）統一分配 GPU、視訊記憶體、網路切片，可動態重組硬體拓撲以適應不同並行策略（資料並行、張量並行、流水線並行、專家並行）。
- 能效與散熱：機架級系統普遍採用集中式電源（如 48V 供電、機架級電源架）和液冷（冷板式或浸沒式），使電源使用效率（PUE）逼近 1.0，支撐單機櫃 50kW 甚至更高功率密度的 AI 算力叢集。
在生成式 AI 浪潮下，機架級系統已成為萬卡級 GPU 叢集的預設交付形態，代表性產品如 NVIDIA DGX SuperPOD、Google TPU v5p 機架、Meta 的 Grand Teton 平台等，其核心理念是把網路、散熱和供電約束在機架物理邊界內做到極致最佳化，再通過橫向擴充套件機架數實現超大規模叢集。
15 分鐘專家深入
機架級系統並非單純硬體拼裝，而是跨層協同設計（硬體、網路、系統軟體、供電、散熱）的產物。關鍵在於解決三個瓶頸：記憶體/視訊記憶體牆、通訊牆和供電散熱牆。
- 資源池化與分解：部分機架級架構將計算、記憶體、加速器、儲存物理分離，通過 CXL（Compute Express Link）等快取一致性互連在機架內組成解耦資源池。例如，GPU 節點可動態借用遠端記憶體節點擴充套件定址空間，甚至通過 CXL 等互連使多個 GPU 共享遠端記憶體池（如 DRAM），但這要求極低延遲的機架級交換結構。
- 拓撲感知排程：訓練千億引數模型時，張量並行需要超高頻寬（幾百 GB/s 級別）的近距離互聯，因此架內 NVLink 網路通常採用非阻塞全互聯拓撲，或分層次結構（如 HGX 基板內部 NVLink 密網，再通過 NVSwitch 匯聚）。機架級系統軟體棧需感知物理拓撲，將並行策略的通訊密集部分（如 AllReduce）儘量限制在架內低延遲域，弱化跨架通訊的擁塞。
- 故障域與彈性：龐大 GPU 數量帶來故障機率指數上升。機架級系統會以“機架”作為故障域，電源、散熱和網路關鍵元件採用冗餘設計。訓練架構須結合機架層面硬體健康監測，在 GPU 節點失效時線上遷移任務或重組通訊組，無需整叢集停機。
- 液冷架構：單機架功耗突破 40–80kW 已無法用傳統風冷解決。機架級液冷通常以冷板冷卻 CPU/GPU，環路延至整機櫃，需配套機架級冷卻液分配單元（CDU），並與資料中心一次側冷卻系統整合。這種集中散熱架構提升了散熱效率，但也增加系統複雜性和漏液風險管控。
技術原理
核心理念：將機架內所有硬體資源（計算、記憶體、網路、儲存）通過高頻寬、低延遲的背板或線纜互連，向作業系統和使用者呈現為單一、可分割的邏輯主機。該抽象層實現了硬體資源的彈性組合與高效利用。
關鍵架構機制及引數特徵（以下為行業典型實現方向，具體引數因方案而異，無法引用特定型號）：
+------------------------------------------------------------------+
| 機架級資源管理與排程層 |
| (統一資源抽象、拓撲感知排程、健康管理、遙測) |
+------------------------------------------------------------------+
| | | |
+-------+ +------------+ +-----------+ +----------+
| 計算池 | | 記憶體/視訊記憶體池 | | 高速交換網 | | 儲存池 |
| (GPU/ | | (HBM + 遠 | | (NVSwitch/ | | (NVMe |
| TPU/ | | 端記憶體) | | InfiniBand | | JBOF) |
| CPU) | | | | 背板/交換器) | | |
+-------+ +------------+ +-----------+ +----------+
^ ^ ^ ^
| | | |
+------------+-------+-------+-------------+
| 統一互聯底板 |
| (PCIe/CXL/專屬協議) |
+-----------------+計算子系統：
- 典型 AI 訓練機架級系統以 GPU 加速器為核心。一個計算基板（如 OAM 模組）整合 8 顆 GPU，通過 NVLink 或類似高速鏈路組成全互聯 mesh，提供每顆 GPU 至其他 GPU 的雙向頻寬可達 600–900 GB/s（單向聚合頻寬通常在 300–450 GB/s 量級，視代際不同）。基板間通過 NVSwitch 或無阻塞交換矩陣擴充套件，建置跨數十乃至數百 GPU 的低延遲域，實現機架內準非阻塞。
- 為了支撐 MoE 等模型，機架級系統可能需要將 GPU 分組，一部分用作密集計算，一部分用作稀疏專家路由，架內交換矩陣需支援 All-to-All 通訊模式的高效轉發。
記憶體子系統：
- 單顆 GPU 整合 HBM 堆疊，提供數 TB/s 的片上頻寬，但容量有限（常見幾十 GB）。機架級系統通過 CXL 等，可將 GPU 與遠處的快取一致記憶體相連，擴充套件有效容量。某些機架架構甚至試圖實現跨 GPU 的統一記憶體池，但受限於延遲與頻寬乘積，目前仍以近端 HBM 為主，遠端記憶體主要用於容量緩衝或檢查點暫存。
網路子系統：
- 架內：通訊庫（如 NCCL）在執行 AllReduce 時，會在 NVLink 全域或 NVSwitch 全域內使用 Ring 或 Tree 演算法，頻寬利用率需達到物理頻寬的 85% 以上（來自效能工程實踐）。
- 跨架：使用 InfiniBand 或 RoCE 乙太網路，典型單埠速率 200–400 Gb/s，用多平面、多軌拓撲聚合頻寬，跨機架理想總頻寬需與架內頻寬維持合理比例（一般至少 1:10 到 1:20，以避免跨架成為嚴重瓶頸）。對於 MoE 模型的 All-to-All 通訊，跨架頻寬需求顯著增高，機架級設計需仔細規劃超額訂閱比。
機架級供電與散熱：
- 機架電源常採用 48V 直流或 380V 高壓直流（HVDC）集中分配，在計算節點處降壓，以減少銅損和線纜體積。配電策略可從機架級 UPS（不間斷電源）到備用電池架。
- 液冷迴路將冷卻液送入各計算模組，帶走 80% 以上熱量（估算），冷板管道和快速接頭標準化是規模部署的關鍵。整機架冷卻液分配單元（CDU）控制流量、溫度和二次側壓力。
並行訓練對映（基於 Megatron-LM 等架構的思路）：
- 張量並行（TP）限制在單個計算基板甚至同一 NVSwitch 域內（因為需要極低延遲的全歸約）；流水線並行（PP）跨機架內基板或單元；資料並行（DP）跨機架；專家並行（MoE）的 All-to-All 通訊則在架內和跨架按層次路由，並期望在架內獲得更高頻寬。
- 通訊公式定性描述：對於標準 Transformer 模型，一次張量並行的 AllReduce 通訊量正比於
batch_size * 序列長度 * 隱藏維度，將跨節點通訊轉化為架內頻寬，其耗時需遠小於計算時間，否則會成為瓶頸。
技術演進史
- 2010 年前後：以 Open Compute Project（OCP）為代表，推動機架級去中心化供電與簡化伺服器設計，開啟“機架即單元”的工程思維，但主要針對通用伺服器。
- 2015–2018 年：AI 加速器叢集開始出現，如 NVIDIA DGX-1 以單機箱整合 8 個 GPU，後續擴充套件為機架級 NVSwitch 架構。Google 推出 TPU v2/v3 Pod，採用專屬高速互連在機架級別建置 4x4 矩陣拓撲，展示“機架級 AI 超級計算機”雛形。
- 2019–2022 年：NVIDIA 推出 DGX SuperPOD，將多個 HGX 基板通過 NVSwitch 網路擴充套件到整機櫃，再通過 InfiniBand 橫向擴充套件到數百節點，固化以機架為最小部署單元的設計模式。同期，CXL 聯盟成立，推動機架內解耦資源池化。
- 2023–至今：機架級系統成為大型模型訓練的標準配置。功耗密度爆炸驅動機架級液冷方案成為主流。Google TPU v5p 單機架整合更多晶片並嵌入光交換，Meta 釋出 Grand Teton 平台在機架內整合 GPU 與 CPU 池。機架級系統開始整合光互聯、In-Network Computing 等下一代技術。
技術路線對比（量化表）
| 維度 | 傳統伺服器堆疊叢集 | 機架級緊耦合系統 | 完全解耦機架級系統 |
|---|---|---|---|
| 最小部署單元 | 單臺伺服器 | 一個整機櫃（如 4–8 組 GPU 基板） | 資源池模組化組合 |
| 架內互連 | 乙太網路交換器（Top-of-Rack） | NVSwitch/專屬背板，準非阻塞 | 統一光纖背板/CXL 交換 |
| GPU-GPU 頻寬（架內） | 取決於 PCIe/伺服器間乙太網路 | 數百 GB/s，極低延遲 | 類似緊耦合，但可跨越記憶體節點 |
| 記憶體模型 | 每個伺服器獨佔本地記憶體 | 近端 HBM + 有限記憶體共享 | 統一快取一致記憶體池 |
| 供電/散熱 | 分散式電源，風冷為主 | 集中 48V/液冷，機架級電源架 | 集中供電、液冷、模組化配電 |
| 故障隔離 | 單伺服器故障影響小 | 機架內資源耦合，需彈性設計 | 池化資源可熱替換，故障恢復更快 |
| 資源效率提升 | — | GPU 利用率可達 70–90%（基於公開最佳化實踐） | 理論可接近 95%，但需複雜排程 |
| 典型功耗密度 | 10–20 kW/機架 | 30–80 kW/機架（估算） | 可擴充套件至 100+ kW/機架 |
| 軟體複雜度 | 成熟叢集管理 | 需拓撲感知排程、集合通訊庫最佳化 | 需資源分解下的記憶體和儲存分層管理 |
| （注：具體數值因代際和配置而異，本表為方向性估算。） |
上下游
上游：
- 晶片/加速器：GPU、TPU、AI ASIC 提供商，決定計算模組的算力、HBM 容量和互聯協議。
- 互連與交換：NVSwitch、PCIe/CXL 交換器、InfiniBand/乙太網路交換晶片和光模組供應商，其頻寬和延遲直接制約機架級效能天花板。
- 液冷與電源：冷板、CDU、機架級電源架、HVDC 轉換模組製造商，需滿足高功率密度下的長期可靠性。
- 機架整合與測試：ODM/OEM 將上述元件整合為經過預測試的整機架系統交付（L6–L10 整合）。
下游：
- 雲端運算與基礎設施運營商（CSP/IDC）：部署超大規模 AI 訓練叢集，需要改造資料中心以適應液冷和更高電容量。
- AI Lab 與大型企業：直接採購或租賃機架級系統用於自研大型模型。
- 軟體與架構：PyTorch/JAX 等訓練架構、FSDP/DeepSpeed 等並行庫需針對機架規模通訊進行最佳化；叢集排程系統（Kubernetes 擴充套件、SLURM）需全面協管機架級資源池。
- 運維與安全：液冷迴圈監測、漏液檢測、消防新方案催生專業維保和監控服務。
關鍵指標
（注：以下為定性或行業常見範圍，非特定產品實測值。）
- 機架內 GPU 全互聯雙向頻寬：每對 GPU 之間的可用頻寬，數百 GB/s 級別；全互聯聚合通常超過架內所有 GPU 出埠總和。
- 跨機架網路超額訂閱比：架內總頻寬與跨架上行頻寬之比，理想狀態下設計為 10:1 到 20:1（估算），避免明顯瓶頸。
- 單機架總算力：FP8/FP16 效能，可達數十至上百 PetaFLOPS（估算），視 GPU 數量與架構而定。
- PUE（電源使用效率）：機架級液冷常可使 PUE 達到 1.05–1.1（冷板方案預估），優於傳統風冷 1.3–1.5。
- 訓練效率（MFU）：模型 FLOPS 利用率（MFU），在精心最佳化的機架級系統上可達 50–70%（基於公開大型模型訓練報告），取決於並行策略適配度。
- 故障恢復時間：從節點失效到訓練繼續的機架級恢復時間，藉助健康監控和熱遷移，目標在分鐘級以內。
供需與市場資料
（注：以下基於行業趨勢定性描述，無精確財報資料支撐。）
- 需求端：大型模型軍備競賽使得萬卡甚至十萬卡叢集成為 AI 龍頭企業和雲端服務商的必選項，機架級系統的需求呈爆發式增長。訓練 GPT-4 計算量級（據公共報道估算）已需數千 GPU 協同數月，推論的持續服務也需要部署大量機架級系統以滿足低延遲和高吞吐。
- 供應端：供應瓶頸集中在先進 CoWoS 封裝 GPU、HBM 記憶體和高速交換器。液冷供應鏈（CDU、冷板）也在快速擴產，但交付週期仍長。ODM 廠商如廣達、富士康等已推出標準化 AI 機櫃設計方案，但產能爬坡需要時間。整體市場處於供不應求狀態，等待週期可達數週至數月（估算）。
- 市場結構：NVIDIA 通過 HGX 和 SuperPOD 定義了大量機架級參考架構，是事實標準建置者。Google 自研 TPU 機架形成閉環生態。其他雲端廠商和晶片創企（如 AMD、Intel、Cerebras、SambaNova）也在各自的生態中推出機架級方案。市場向集中化、整合化演進。
代表公司與資本對映
（無法引用即時股價或具體估值，僅作方向性呈現。）
- NVIDIA：機架級系統的核心定義者與晶片供應商。從 HGX 基板到 Quantum InfiniBand 交換到 BlueField DPU，建置了端到端機架級方案。其 SuperPOD 認證體系吸引大量系統整合商。資本市場關注其資料中心業務營收增長及下一代 Blackwell 架構對機架級密度推動。
- 超大規模雲端廠商（Google、Microsoft、Meta、Amazon）：既是最大使用者也是自研技術的推動者。Google 的 TPU 機架專為內部訓練和雲端服務設計；Meta 的 Grand Teton 開源機架標準推動 OCP 生態；微軟與 OpenAI 合作部署專用機架系統。資本支出（CapEx）大部分流向 AI 基礎設施，機架級採購佔主體。
- ODM/系統整合商（廣達、富士康、Supermicro、緯穎等）：承接雲端廠商和企業的定製機架級系統訂單，從 L6（主機板）提升到 L10（整機櫃液冷）交付，價值量提升明顯。
- 液冷與電源（Vertiv、臺達、雙鴻、Aavid 等）：受益於機架級液冷滲透率上升，提供 CDU、冷板、機架電源架，成為 AI 基礎設施供應鏈關鍵環節。
- 互連與網路（Arista、Cisco、NVIDIA 自家交換；光模組廠）負責機架級系統內部的第二層網路和跨機架互聯，需求跟隨 GPU 數量線性增長。
產業觀察變數
- 整合深度與毛利率：從 GPU 晶片到整機架，整合商和解決方案提供商的營收體量可能變化；是否帶來毛利率改善，需要用揭露的業務 mix、良率和售後成本驗證。
- 技術代際升級週期：每次 GPU 架構換代（如 Hopper → Blackwell）都帶來機架級設計方案更新，可能改變互連、電源和散熱配套需求。
- 標準化與生態鎖定：掌握機架級互聯協議和認證體系（如 NVIDIA 的 NVSwitch/CUDA 生態）的公司更容易繫結客戶，其餘硬體廠商更多扮演代工角色；具體壁壘需以客戶認證和訂單穩定性驗證。
- 落地挑戰：資料中心改造液冷管道和供電的資本支出巨大，可能延緩機架級系統的整體部署節奏；機架級的複雜性也帶來前期測試和驗證成本高企。
- 技術分化風險：機架內解耦和統一記憶體池化進度慢於預期，導致機架級無法充分展現資源效率優勢，重回伺服器堆疊老路。需要追蹤 CXL 標準成熟度和產業採納情況。
常見誤讀糾偏
誤讀1：“機架級系統就是很多 GPU 伺服器堆在一個機櫃裡”
糾偏：傳統堆疊是每個伺服器擁有獨立的管理控制器、交換和電源，機架級系統則在設計之初就把這些子系統集中化和池化。例如，取消單獨伺服器的網路介面卡，將網路交換直接通過背板融入機架層面，減少多跳延遲；電源採用機架級集中整流，省去每個節點的 AC-DC 轉換器。兩者尤其在互聯頻寬均勻性、管理單一性和散熱效率上有根本差距。
誤讀2：“機架級系統讓單機櫃內的所有 GPU 共享一個統一的記憶體池，容量等於所有 HBM 之和”
糾偏：當前主流機架級系統並未實現完全的物理統一記憶體池。每顆 GPU 的 HBM 仍是其近端私有儲存器。雖然通過 NVLink 或 CXL 可以在一定延遲下訪問遠端 GPU 記憶體甚至直連外部記憶體，但該遠端訪問的延遲和頻寬與本地 HBM 存在顯著差距（數倍至一個數量級內）（本地 HBM 頻寬達數 TB/s，遠端訪問頻寬可達數百 GB/s 且延遲更高）。因此，軟體仍需精心管理資料位置，難以將整個機架的 HBM 視為一個平坦的大容量高頻寬記憶體池。完全透明的統一記憶體是機架級系統的長期願景，目前尚處技術探索階段。
學習路徑
- 基礎層：理解 GPU 平行計算原理、CUDA 程式設計、NVLink 和 PCIe 協議概念；閱讀經典並行訓練論文（如 Megatron-LM 系列）瞭解通訊模式。
- 網路層：學習 InfiniBand 體系、RDMA、集合通訊（MPI 概念、NCCL 演算法）；理解拓撲感知排程。
- 系統層：研究大規模 AI 叢集架構白皮書（如 NVIDIA SuperPOD 參考架構、Google TPU 系統描述）；關注 OCP 的 AI 硬體專案和相關規範。
- 供電散熱層：瞭解資料中心液冷基礎（冷板、浸沒式）、48V 機架供電標準，可結合 OCP 對供電架構的討論。
- 上手實踐：在雲端平台租用多節點 GPU 例項，配置分散式訓練並分析跨節點通訊瓶頸；閱讀開源叢集部署工具（如 Ansible 指令碼）搭建小規模感受硬體拓撲限制。
一句話總結
機架級系統是把“機架變為計算機”的全棧工程實踐，它通過深度整合計算、網路、電源與散熱，打破伺服器界限，為千億引數大型模型提供高效、可擴充套件且更易管理的基石硬體平台。
延伸閱讀與來源
- 公開的白皮書與架構文件：NVIDIA DGX SuperPOD 參考架構指南；Google Cloud TPU 系統描述；Meta Grand Teton 開源硬體設計。
- 學術界關於資料中心資源解耦與機架級計算的論文，如“Disaggregated Data Centers”相關研究。
- 行業標準：OCP（Open Compute Project）在 High-Performance Computing 和 Advanced Cooling 子專案的規範。
- 供應鏈與市場資料：各季度主要 GPU 和 HBM 廠商財報；第三方分析機構（如 Lightcounting）關於 AI 網路和互連的市場報告。
（以上均為可公開獲取的資料方向，具體連結因搜尋失效未列出，建議以關鍵詞檢索獲取。）