機櫃列
3秒看懂
機櫃列是AI算力叢集中，將成排伺服器機櫃按照電力、網路、冷卻一體化規劃進行緊密排列的最小擴充套件單元。它不是簡單的物理排列，而是一個由高密度電源、高頻寬互聯和先進散熱深度耦合的系統工程。一條設計優良的機櫃列，其內部任意兩塊AI加速卡之間的通訊延遲能做到微秒級，整列功率可達數百千瓦。它既是算力的“拼裝樂高”，也是能耗、熱管理和網路拓撲的“硬約束容器”。理解機櫃列，是把控超大規模AI基礎設施總擁有成本（TCO）和穩定性的核心環節。
核心洞察：每瓦電力進入機櫃列後，有多少能轉化為有效FLOPs，有多少被網路、散熱吃掉，決定了這條列的經濟價值。
3分鐘產業解釋
在傳統資料中心，機櫃列通常只是整排的伺服器機架，配電和製冷相對獨立。但進入AI大型模型時代後，數千甚至上萬張GPU卡必須緊密協作，這對機櫃列提出了三個嚴苛要求：
- 供電密度跳變：單機櫃從5-8 kW躍升至30 kW以上，一條列輕鬆突破200-300 kW，逼迫供電架構從傳統雙路UPS向市電直供+巴拿馬電源或固態變壓器演進。
- 網路拓撲重塑：機櫃列內的GPU通常是同一個高頻寬域（例如NVLink域或400G/800G RDMA網域）。列內交換器構築無阻塞Spine-Leaf結構，列間通過更高層級交換器匯聚。錯誤的設計會把頻寬瓶頸種在列內。
- 散熱革命：風冷無法有效帶走單櫃20 kW+的熱量，列級冷板液冷甚至浸沒液冷成為標配。冷卻量分配單元（CDU）直接部署在列中，形成一次側/二次側解耦的液冷環網。
因此，AI時代的機櫃列已成為“供電-網路-散熱-算力”四維一體的系統交付單元，是衡量AI基礎設施交付效率與彈性的基本刻度。伺服器廠商、雲端廠商和大型科技企業圍繞機櫃列的形態展開了激烈的規格爭奪，從Open Rack V3到OCP標準，從21英寸整機櫃到MGX規格，本質上都是在對機櫃列的功率、頻寬和冷卻能力進行標準化。
15分鐘專家深入
一般的機櫃列在AI語境下，其工程複雜度可拆解為五個子系統協同：電力分配與保護、算力網與儲存網互聯、列級熱管理、結構化佈線以及整列管理與監測。在超大規模GPU叢集（如數千卡以上）中，機櫃列往往是並行訓練的故障域：一條列可能對應一個IB子網故障域或一個GPU SuperPod的一部分。
電力拓撲的隱秘代價：當一條機櫃列配置20個機櫃，每個機櫃30kW時，整列總功率高達600kW。傳統的列頭櫃加母線槽方案，需要在列頭處理巨大的進線電流，銅排損耗和發熱不可忽略。業界開始採用“全母線+插接箱”或“Power Shelf集中供電+48V/54V直流輸出”的方式，將變換環節後移到機櫃後部，縮短低壓大電流傳輸距離。高電壓直流（如240V/336V HVDC）或巴拿馬電源（效率可達98%以上）取代傳統UPS，成為列級供電的主流演進方向。
網路層：機櫃列是流量工程的畫布。以千卡叢集為例，每個機櫃放置4-8臺GPU伺服器，每條列可容納32-64個節點。按照1:1收斂比的Rail-Only設計，列內必須部署足夠數量的葉子交換器，連線所有GPU的8個高速網口（典型如400Gbps）。列內的所有GPU-to-GPU通訊若侷限在同一列，頻寬由列內交換器背板容量保證；一旦跨列，就必須依賴骨幹交換器，此時機櫃列的數量和位置直接決定了全網通訊跳數與有效頻寬。因此，大型訓練叢集會嚴格控制每條列內節點數，使得模型並行（張量並行）的通訊儘可能發生在列內甚至同一機櫃內，以減少跨列流量。AllReduce的環結構往往也圍繞列來建置。
散熱設計的強制耦和：現代AI機櫃列的冷卻管網從列頭CDU開始，二次側冷卻液（如丙二醇水溶液或去離子水）通過列內主管道分配至每個機櫃的液冷歧管，最終流經GPU冷板。列級CDU的換熱能力、冗餘設計和控制策略，直接決定了列內GPU能否維持穩定的結溫與頻率。若CDU設計餘量不足或單點故障，整列算力可能因過熱而強制降頻（throttling）。液冷列還涉及漏液檢測、管路傾斜放氣、水質長期維護等大量運維細節，不再是簡單的機房空調概念。
結構化佈線的物理限制：400G/800G有源光纜（AOC）或直連銅纜（DAC）的彎曲半徑、重量和長度限制，迫使機櫃列內伺服器位置和交換器埠排布必須精密計算。一條列內，從最底層機櫃到列中交換器匯聚點的距離差，可能導致訊號完整性問題，要求採用等長設計或重定時器。此外，AI訓練叢集往往要求“銅纜優先”，因為DAC的功耗和成本遠低於光模組，但其長度受限（通常≤3米），這意味著機櫃列內的GPU節點必須物理鄰近，一條列通常不超過16-20個機櫃（取決於佈線規劃）。
管理平面：列級帶外管理網路、智慧PDU、資產與功耗即時採集，將整列作為一個統一的“功耗-算力”管理單元。當檢測到某個機櫃功耗異常攀升或有冷卻液微漏，管理系統可在秒級內對受影響任務進行遷移或暫停，從而將故障域儘量限制在單列甚至單櫃。
整體來看，AI機櫃列的設計目標是在物理限制下最大化單列FLOPs，同時將通訊和散熱的開銷降至最低。這是一個多目標最佳化問題，約束條件包括建築層高、承重、冷量、電力容量和光纖佈線距離等。
技術原理
本節從物理層到邏輯層解剖機櫃列的工作機制，重點闡述供電、互聯、冷卻如何相互制約並影響算力輸出。
機櫃列典型物理版面配置（側視示意，一個機櫃列包含約20個標準機櫃）
列頭 列尾
+-----+-----+-----+ ... +-----+-----+
|櫃01 |櫃02 |櫃03 | |櫃18 |櫃19 |櫃20 |
+-----+-----+-----+ +-----+-----+-----+
| | | | | |
=========================================== <- 電力母線槽 / 冷卻供回液主管道
| |
[列頭CDU+電源櫃] [列尾網路匯聚櫃]
一次側冷凍水進出 Spine交換器/列間光纜出入口
市電10kV輸入
變壓器/巴拿馬電源供電鏈路細節
市電10kV可直接接入巴拿馬電源，由其內部完成隔離降壓與整流，輸出240V/336V HVDC；或經變壓器降壓至400V/480V後，由整流模組轉換為48V DC。電力通過懸掛式母線槽沿列頂或列底貫穿，每個機櫃通過插接箱取電。內部電源模組（PSU）進一步將高壓直流轉換為12V或54V供GPU板卡。關鍵引數：
- 母線額定電流（安培）決定了整列最大可支援功率。
- 供電效率曲線：在30%-60%負載區間，巴拿馬電源效率可達97%-98.5%。
- 列級冗餘：傳統2N UPS方案會損失大量效率和空間，新一代AI機櫃列多采用N+1市電直供加電池備份（BBU）的“後備式”架構，列級BBU可提供數分鐘級續航，將失效率降低一個數量級。
互聯架構
下圖展示一列內8個GPU伺服器（每個伺服器8 GPU）與葉子交換器的連線邏輯（非阻塞Rail-Optimized網路）：
機櫃列內NVLink網路（同-櫃內）：
Server 1: GPU0 <--> GPUn via NVSwitch（銅纜背板或PCB）
機櫃列內RDMA網路（InfiniBand/RoCE）：
[列中 Leaf Switch 1..M] (每個埠400Gbps)
| | |
+----------+ | +----------+
| | |
[Server 1] [Server 2] ... [Server N]
(8 x 400G NIC) (8 x 400G) (8 x 400G)
每個GPU的專用網絡卡（NIC）通過DAC/AOC上聯到葉子交換器列內通訊時，所有GPU之間可通過Leaf交換器一次性完成全互聯，避免跨脊交換器轉發。跨列通訊則需要經過列尾匯聚交換器（Spine）轉發，此時網路跳數和擁塞點增加。因此，大型模型訓練中的張量並行（TP）傾向於限制在同一列甚至同一個機櫃內，以減少通訊代價。資料並行（DP）可以跨列，但梯度AllReduce的通訊模式要求機櫃列的網路拓撲支援大的Bisection頻寬。
冷卻原理
冷板液冷的一次側迴路從園區冷源獲取冷凍水，進入列頭CDU進行熱交換。CDU內部的板式換熱器和泵組，將二次側液體迴圈至每一臺伺服器。關鍵引數：
- 單櫃液冷能力（kW級）：典型的GPU冷板可帶走約80%的晶片熱量，剩餘約20%仍需風冷輔助，形成“液冷為主、風冷為輔”的模式。
- CDU換熱容量冗餘：N+1配置，單臺CDU失效時，備機需在分鐘級內接管，防止晶片溫度斜坡上升。
- 漏液檢測：列內佈置漏液感測器與自動關斷閥，一旦檢測到洩漏，立即切斷該列二次側供液，避免大面積液體損傷。
機櫃列的並行訓練時延模型（定性）
設一條列內有 G 塊GPU，進行AllReduce操作時，如果採用Ring演算法，資料需要繞環傳輸 (G-1) 次。若所有GPU在同一列，環內跳數少，時延主要由DAC傳播延遲和交換器轉發延遲構成，通常列內最大延遲在幾微秒內。而跨列時，由於需要經過Spine，可能增加數百納秒至數微秒的額外延遲，同時競爭Spine上行頻寬。因此，訓練架構在分配GPU拓撲時會優先將同一列內的GPU視為高親和性節點。
技術演進史
- 傳統資料中心的機櫃列（2010年以前）：主要解決伺服器有序擺放和基本配電，每櫃功率3-5kW，列內採用簡單的PDU供電，冷卻依賴房間級精密空調下送風。機櫃列只是物理管理單位。
- 網際網路規模定製化（2012-2018）：天蠍計劃、Open Rack等整機櫃形態出現，機櫃列引入集中供電（Bus Bar+電源池）和列間空調，單櫃功率升至8-12kW。伺服器開始採用整機櫃交付，列成為部署最小單元。
- AI初期的GPU叢集（2018-2022）：GPU伺服器開始高密度部署，單櫃功率突破15-20kW，列內出現高頻寬InfiniBand/RoCE交換器。列頭CDU開始引入，但風冷仍是主導。機櫃列開始影響網路拓撲，如NVIDIA的DGX SuperPOD概念中，機櫃組（可視為擴充套件的列）定義了計算域。
- 大型模型與萬卡叢集時代（2023至今）：單櫃功率飆升至25-50kW甚至更高，液冷成為必選項。機櫃列演變為全棧融合的“算力模組”，供電採用巴拿馬電源+HVDC+BBU，冷卻為CDU+冷板，網路為800G RDMA+NVLink。列級管理平台打通資料中心基礎設施管理（DCIM）與作業排程器，實現功耗感知排程。多個機櫃列互聯成POD，是AI工廠的基本形態。
演進的核心驅動力始終是：功耗密度增長 → 推動供電、冷卻拓撲瘦身（電壓提升，液體上列）→ 帶來佈線縮短和通訊效率增益 → 反哺更大規模叢集的緊耦合實現。
技術路線對比
| 對比維度 | 傳統企業機櫃列 | 網際網路整機櫃列 | AI液冷機櫃列（當前主流） | 下一代全液冷列（演進中） |
|---|---|---|---|---|
| 單櫃典型功率 | 3-7 kW | 10-15 kW | 25-40 kW | 40-100 kW |
| 供電架構 | 雙路UPS（AC 220V） | 市電直供+12V/48V電池（電池BBU）或集中式電源 | 巴拿馬電源+240V HVDC + 櫃內整流，列級BBU | 固態變壓器（SST）+ 板上浸沒式供電 |
| 列內網路 | 1G/10G乙太網路，樹狀 | 25G/100G乙太網路，匯聚層 | 400G/800G RDMA（IB/RoCE），NVLink域 | 800G/1.6T光互聯，全光交換列內背板 |
| 冷卻方式 | 房間級風冷，列間空調 | 行級風冷+背板熱交換 | 冷板液冷+風冷輔助，列頭CDU | 浸沒液冷或全冷板，無風扇設計 |
| 物理標準 | 19英寸通用機櫃 | 21英寸/Open Rack V2 | 21英寸/Open Rack V3, MGX規格 | 統一加速器pod規格（待定） |
| 列管理 | 手動巡檢/IPMI | DCIM集中監控 | 列級智慧管理平台，功耗/熱/漏液即時感知 | AI驅動的列自主最佳化系統 |
| 部署粒度 | 單櫃逐個安裝 | 整機櫃交付 | 預整合液冷機櫃列整體交付 | 工廠全整合測試後運抵現場 |
注：上述資料為產業趨勢定性歸納，功率數字為典型範圍估算，未繫結具體廠商型號。
上下游
上游：
- 關鍵電力元器件：大容量母線槽、智慧母聯、列頭巴拿馬電源/HVDC整流模組、BBU鋰電池組、固態斷路器。代表供應商如施耐德、維諦、臺達、中恆電氣等。
- 液冷核心部件：CDU（包括板式換熱器、水泵、控制器）、冷板、流體聯結器（quick disconnect）、冷卻液分配管等。參與方包括CoolIT、曙光數創、高瀾等。
- 高速互聯線纜與交換器：400G/800G DAC/AOC線纜，支援RDMA的葉子/骨幹交換器。晶片廠商包括博通、Marvell等，成品由Arista、InnoLight等提供。
- 結構件：機櫃、封閉通道、抗震機架等。
下游：
- AI訓練/推論服務商：大型科技公司（自建AI工廠）、AI雲端服務商（GPU雲端）、國家智算中心。它們以機櫃列為最小計算水口進行採購和擴容。
- 裝置整合商：超微、緯穎、廣達等提供預先在工廠完成液冷和佈線整合的一體化機櫃列，直接部署。
- 資料中心運營商：負責提供符合機櫃列功率和層高要求的場地，並提供電力與冷凍水一次側。
關鍵指標
評估一條AI機櫃列的能力，通常關注以下核心指標（多數須參考具體設計手冊，無法提供通用數值，僅做定性說明）：
- 整列功率密度（kW/列）：決定能容納多少顆高效能GPU。由母線電流、電壓和散熱能力共同決定。
- 列內GPU間通訊頻寬（Tbps）與延遲（us）：衡量非阻塞交換能力，直接影響訓練步長時間。通常要求所有GPU間實現線速通訊。
- PUE（功率使用效率）與冷卻能效：列級PUE理想值可接近1.05（採用液冷），風冷方案在1.2-1.4。反映散熱開銷。
- CDU換熱冗餘度：N+1或N+2設計，單個裝置故障時整列冷卻不降級。
- 故障域隔離度：單列故障最大影響多少GPU，通常希望控制在一個小數量內（如64 GPU），以便快速重排程。
- 部署速度：一條機櫃列從運抵到上架通電的時間（例如預整合的液冷列可縮短至數天）。
供需與市場資料
由於檢索未返回，無法提供精確市場報告數字。產業趨勢定性描述如下：
- 需求端：隨著千億至萬億引數大型模型訓練、大規模推論叢集的部署，AI伺服器出貨量高速增長，直接拉動配套的液冷機櫃列需求。據行業粗略估算，2024-2025年大型智算中心中液冷機櫃滲透率預計將從約10%顯著提升。一條機櫃列的價值量（含電源、冷卻、網路、整合）可達百萬美元級別。
- 供給端：上游供液冷管路、CDU、電源模組等環節，部分高效能元件的產能曾出現階段性緊張，尤其是大容量巴拿馬電源、液冷聯結器、快速接頭等。目前各供應商正加快擴產。
- 產品格局：以ODM廠商和品牌伺服器商為主，提供整機櫃/整列整合服務；能源與冷卻方案由電力電子和溫控公司主導。閉源全棧方案（如廠商自研全套體系）與開放標準方案（如OCP）並行。
注：以上數字均無精確來源，僅為產業趨勢性的方向描述，讀者投資決策需參考專業第三方機構的實地調研資料。
代表公司與資本對映
- 基礎設施方案商：Vertiv（維諦）、Schneider Electric、Eaton，提供從電網到機櫃列的配電、母線和液冷整體方案。在AI拉動下，其資料中心業務增速顯著。
- 液冷專精企業：CoolIT Systems（冷板液冷CDU）、Boyd Corporation（熱管理元件）、曙光數創（浸沒/冷板液冷），受益於晶片功耗攀升帶來的液冷滲透率提升。
- 伺服器整合商：超微（Supermicro，注重GPU液冷整機櫃）、緯穎科技（Wiwynn，負責OCP標準整機櫃大規模交付）、廣達（Quanta，雲端巨頭白牌供應商）、英業達等。它們將液冷機櫃作為差異化競爭力。
- 互聯與網路晶片/裝置：輝達（NVLink + InfiniBand整合），Arista（高效能乙太網路交換器，用於機櫃列Leaf/Spine），以及光模組與線纜公司如中際旭創、新易盛等。
- 自主建設的科技巨頭：Meta、Microsoft、Google等，均在規劃基於開放標準的定製AI機櫃列，代表了需求端最前沿的技術方向，其採購體系深刻影響上游格局。
資本市場對映上，AI機櫃列不是一個單獨的行業，而是資料中AI基建產業鏈的交叉地帶。產業鏈研究常圍繞“每增加一個Exaflops算力需要多少機櫃列，每條列對電源、冷卻、線纜的價值貢獻”展開測算。
產業鏈觀察
- 滲透率與價值量雙擊：液冷機櫃列滲透率快速爬坡期，單條列價值量顯著高於傳統列（因CDU、液冷管網、HVDC等高附加值裝置），相關器件和整合商進入業績兌現期。
- 標準化與規模效應：一旦AI機櫃列走向類似OCP的開放標準，實現機櫃、電源、冷卻模組解耦，將催生更多專業化供應商；是否參與標準制定並獲得大型雲端商認證，是識別供應商競爭位置的關鍵指標。
- 能耗約束下的升級需求：全球多地對資料中心PUE提出更嚴要求（如≤1.2），老舊風冷機櫃列面臨改造或淘汰，帶來存量替換市場。
- 潛在風險：技術路線不確定性（終局是浸沒還是冷板？）、下游Capex波動、上游器件瓶頸導致的交付延遲。同時，若AI訓練範式變化（如演算法效率革命性提升），可能降低對超大規模叢集的依賴，延緩機櫃列高階化需求。
常見誤讀糾偏
誤讀1：“機櫃列就是物理上的一排機櫃，規劃隨意”
糾偏：AI大叢集的機櫃列是嚴格計算的邏輯+物理單元。物理錯位會破壞網路等長佈線的要求，導致某些GPU通訊延遲異常高，嚴重影響訓練效率。列內GPU伺服器版面配置必須遵循特定的“slot-map”，確保每根DAC長度不超限，所有埠對齊。隨意調整可能導致無法組網或效能大幅下降。
誤讀2：“列間網路頻寬始終充足，跨列與跨櫃通訊代價一樣”
糾偏：大多數實際部署中，跨列流量需經過Spine層，跳數增大，總可用頻寬受Spine上行收斂比限制。在收斂比非1:1的網路中，跨列通訊可能出現阻塞，降低有效頻寬。因此，並行策略常將跨列通訊限制在資料並行梯度交換，而對延遲最敏感的張量並行則儘可能鎖在單列或單櫃內。
學習路徑
- 基礎認知：閱讀《資料中心基礎設施規劃設計》相關章節，理解供電、製冷、佈線的基本原理。
- 行業標準：瀏覽Open Compute Project (OCP) 網站，重點關注 “Open Rack V3”、“Advanced Cooling Solutions”、“Liquid Cooling” 等工作組的規範文件。
- 廠商白皮書：查閱NVIDIA釋出的DGX SuperPOD參考架構（雖為NVIDIA自有方案，但提供了單櫃到多列的網路、供電、冷卻設計邏輯）以及Arista關於AI網路的Verified Design指南。
- 實踐案例：關注雲端巨頭（如Meta, Google）在OCP全球峰會上公開分享的AI叢集硬體設計演講，其中會揭露大量關於供電母線、液冷列實現細節。
- 深度技術：學習電力電子中巴拿馬電源、HVDC技術，以及熱管理中的CDU控制演算法，這部分可研讀IEEE相關論文或專利。
一句話總結
AI時代的機櫃列已不再是簡單的機架佇列，而是將高功率配電、無損網路、高效液冷緊耦合的算力“能量系統”，它的設計哲學直接決定了一個萬卡叢集到底是“超級計算機”還是“超級電暖氣”。
延伸閱讀與來源
- OCP官網：Open Compute Project，包含大量整機櫃、液冷、供電的設計規範白皮書。
- NVIDIA DGX系統架構：公開的參考架構文件，描述GPU叢集內部機櫃列網路佈線原則。
- 資料中心標準：如TIA-942、GB 50174，瞭解傳統分級與AI需求差異。
- 行業媒體：“中國IDC圈”、“36氪企服點評”關於液冷機櫃列的最新產業化報道。
由於檢索功能不可用，上述內容基於公開產業知識的提煉與總結，未引用具體財報、調研數字。精確投資決策需參考專業研究機構的一手走訪與供應鏈資料。