MTBF

1. 3 秒看懂

MTBF（Mean Time Between Failures，平均故障間隔時間）是一項基礎可靠性指標，表示可修復系統在相鄰兩次硬體故障之間的平均正常工作時長。它回答的是“這臺裝置平均跑多久會壞一次”，數值越高意味著在統計意義上越可靠。

在 AI 訓練叢集中，成百上千個 GPU、NVSwitch、NIC 和儲存節點被耦合為一個邏輯計算單元，任何單點硬體故障都可能觸發作業中斷、checkpoint 回滾甚至全叢集重啟。MTBF 把這個原本模糊的“愛壞不愛壞”概念變成定量資料，幫助資料中心設計者計算冗餘規模、設定預防性維護視窗、評估不同配置下的可用度（Availability）。把它和平均修復時間（MTTR）放在一起，可以算出可用度：
Availability = MTBF / (MTBF + MTTR)
這兩個數字共同決定了一個叢集一年裡“真正能幹活”的比例。

2. 3 分鐘產業解釋

上一波傳統資料中心的可靠性討論主要圍繞伺服器 UPS、儲存磁碟和網路交換器的 MTBF 展開，單機 MTBF 通常以年計，足以支撐常規企業應用。但在千卡乃至萬卡規模的 AI 訓練場景下，節點數量急劇放大失效機率，導致叢集整體 MTBF 被壓縮到小時甚至分鐘量級——這就是“可靠性稀釋效應”。

以單張 GPU 卡為例，NVIDIA H100 規格書中給出的板卡失效率（FIT）對應 MTBF 可能在數萬到幾十萬小時級別。但當一個擁有 2 萬張 H100 的叢集同時工作，任何一種故障模式（GPU 視訊記憶體 bit 翻轉、NVLink 鏈路超時、NIC 掉線、電源模組過溫）都會強制任務回滾，叢集的有效 MTBF 很容易低於 10–30 小時。Meta 在其大規模訓練基礎設施工程研究中曾揭露，訓練 Llama 系列模型過程中，單次訓練任務平均每隔幾小時就會遭遇一次硬體相關中斷，這些中斷需要結合 checkpoint、自動重啟和熱備用來維持訓練進度。

這種“規模導致可靠性懸崖”的現象，迫使產業把 MTBF 從裝置採購時的背景引數，提升為叢集架構設計的一級考量。超大規模資料中心運營商會通過故障域分析，將節點劃分為若干故障容忍區，並配套定製作業排程器（如 HPC 用的 Slurm 或 Kubernetes 上的 Volcano），用更細粒度的故障檢測、自愈和動態熱備份來抵消硬體 MTBF 被稀釋的風險。

3. 技術原理

3.1 MTBF 的定義與計算

MTBF 的統計定義嚴格限於可修復系統，計算公式為：

MTBF = 累計總執行時間 / 累計故障次數（發生在該時段內且屬於同一統計總體）

“執行時間”不包含計劃性停機，也不包括廠商定義的非責任故障（如外部環境溫度超標導致的保護性關機）。在元器件等級，MTBF 常以失效率的倒數表示：MTBF = 1 / λ，λ 為失效率，單位為 FIT（Failures In Time，每十億裝置小時發生的失效數）。例如，λ=1000 FIT 意味該器件每執行十億小時預期失效 1000 次，等價 MTBF = 1,000,000 小時。

3.2 浴盆曲線與失效期

大多數硬體器件在其生命週期裡會經歷三個典型階段：

• 早期失效期（Infant Mortality）：由於製造缺陷、焊接瑕疵等原因，初期失效率較高。廠商通常通過老化測試（burn-in）和篩選剔除這部分產品。
• 隨機失效期（Useful Life）：失效率基本恆定，MTBF 最高且穩定。這是 MTBF 適用性最強的階段，假設失效完全隨機、服從指數分佈。
• 耗損失效期（Wear-out）：材料疲勞、電遷移、電介質擊穿等導致失效率迅速攀升，MTBF 大幅下降，此時需進行預防性更換。

MTBF 的“平均值”只有在隨機失效期才有可靠預測意義；把它當作裝置全生命週期的平均壽命，是一種常見誤讀。

3.3 預測模型與資料來源

MTBF 的來源主要有三種：

• 基於元器件失效率的可靠性預測：利用 Telcordia SR-332、MIL-HDBK-217F 或 IEC 61709 等標準，將所有子部件的 FIT 值累加得到整機失效率，進而計算系統 MTBF。此類模型會受到溫度、負荷、環境嚴格性的修正因子影響。
• 現場資料統計：收集大量實際執行資料，用總執行時間除以故障次數直接計算，更接近真實。但前提是樣本量足夠大、故障記錄口徑統一。
• 加速壽命測試（ALT）：在高應力下加速樣本失效，推斷正常工況下的 MTBF，多用於新品驗證。

不同模型預測出來的 MTBF 差異可達數倍，因此採購時必須追問口徑（標準版本、環境假設溫度、負載率、是否排除早期失效等）。

3.4 串聯絡統與叢集 MTBF

如果系統由 n 個獨立相同部件串聯組成（只要一個部件失效系統即失效），且每個部件的失效率為 λ，系統總失效率為 nλ，系統 MTBF = 1/(nλ)。舉例來說，若單 GPU 的 MTBF=500,000 小時（λ=2000 FIT），1 萬片 GPU 組成的簡單串聯絡統，MTBF 將降至 50 小時。實際叢集因容錯、冗餘和降級執行，有效 MTBF 會比純串聯模型高，但仍然遠低於單部件水平。

3.5 MTBF 與維修策略的結合

僅靠 MTBF 不足以制定維護計劃。需與 MTTR 聯合計算可用度，也要與預防性維修間隔聯絡起來（如定期更換風扇、液冷快接頭等）。在大規模叢集中，運營團隊會引入“平均恢復時間（MTTR）”的改進措施，如熱備用節點、快速作業重提交，使得 MTTR 驟降，進而拉高可用度，即便物理 MTBF 不變。

4. 關鍵引數

4.1 MTBF（Mean Time Between Failures）

單位：小時。反映可修復系統在兩次故障之間的平均工作時間。典型伺服器系統級 MTBF 通常落在 10 萬–50 萬小時之間，GPU 板卡級可達幾十萬至百萬小時（取決於環境溫度和負載），但其統計口徑和假設條件對結果影響巨大。

4.2 MTTR（Mean Time To Repair）

平均修復時間，包括檢測故障、定位故障、修復或更換模組、恢復執行的全流程時長。對於模組化設計的資料中心，常見 MTTR 目標為 1–4 小時；若採用熱備用節點自動化切換，MTTR 可壓縮至分鐘級。

4.3 Availability（可用度）

可用度 = MTBF / (MTBF + MTTR)，通常以“9”的個數表示。99.9%（三個 9）對應年停機時間約 8.76 小時；99.999%（五個 9）對應約 5.26 分鐘。AI 訓練叢集很難達到傳統電信五個 9，因節點多、故障複雜；但可通過提升 MTBF 或降低 MTTR 逼近四個 9。

4.4 FIT（Failures In Time）

失效率 λ 的常用單位，1 FIT = 1 次失效 / 10^9 裝置小時。元器件級選型時（如電源管理晶片、光模組）常用 FIT 值，方便把整條物料清單（BOM）的可靠性彙總成系統級 MTBF。

4.5 壽命（Life Expectancy / Service Life）

壽命指裝置可經濟地維持預期效能的時間長度，與 MTBF 有本質區別。一臺裝置可以擁有 100 萬小時 MTBF，但其設計壽命可能僅 5 年（約 4.38 萬小時），因為期間某些耗損件（電解電容、風扇軸承）會到期更換或報廢。MTBF 不設“到期”的概念，只反映隨機失效的統計頻率。

4.6 維修性（Maintainability）

維修性決定了 MTTR 大小。同樣的 MTBF，若具備熱插拔、智慧診斷和模組冗餘，實際可用度可大幅提高。因此，在 AI 叢集招標中，除了 MTBF，通常還要規定 MTTR 上限和維修性指標，如“80% 的故障在 2 小時內恢復”。

需要注意的是，上述數值均依賴統計假設和樣本量。HPE、Dell、超微等伺服器廠商會在配置規格書或可靠性白皮書中給出特定型號的系統 MTBF。例如，“HPE ProLiant DL380 Gen10 Plus 在 25°C 環境、特定 CPU/記憶體配置下系統 MTBF 估算為約 16 萬小時”（來源：HPE QuickSpecs 與系統級可靠性計算器，具體數值隨配置變化）。NVIDIA 官方在 DGX A100 白皮書中曾提及系統可用度目標，但對於 H100/ B200 等較新代次，截至 2025 年 3 月公開規格單並未直接給出整機 MTBF 精確數值，僅向 OEM 提供元器件級 FIT 與可用度分析工具。

5. 技術路線

圍繞提升 MTBF 與降低 MTTR 的技術演進，主要分為器件級、系統級和叢集級三個層面：

5.1 器件級可靠性強化

• 工藝與篩選：通過模擬老化（burn-in）、溫度迴圈、高加速壽命測試（HALT）等方式篩除早期失效晶片。NVIDIA 資料中心 GPU 經過數小時以上的老化篩選，顯著降低早期失效率。
• 降額設計：讓器件工作在額定功率、電壓、溫度以下，根據阿倫尼烏斯定律，溫度每降低 10°C，元器件預期失效率可下降約 50%。液冷系統通過精準控溫，直接延長器件 MTBF。
• 材料與封裝：使用低 Alpha 位軟錯誤封裝材料、抗電遷移的先進製程互聯結構，減少隨工藝微縮而日益突顯的瞬態故障（soft error），這些故障對 GPU 視訊記憶體和 SRAM 貢獻的 FIT 值相當可觀。

5.2 系統級冗餘與健壯性

• N+1 甚至 2N 電源與散熱冗餘：萬卡叢集普遍採用 N+1 或更高冗餘度的供電架構以及冗餘泵、冗餘風扇牆，即使單個電源模組或冷卻分配單元（CDU）失效，系統短期仍可繼續執行，避免了單純串聯絡統 MTBF 惡化。
• 熱插拔與模組化：故障元件可線上更換，大幅壓縮 MTTR。液冷快接頭、電源托盤和 NIC 卡都往熱插拔無中斷方向演進。
• 錯誤校驗與重試：如在視訊記憶體和互聯鏈路引入 ECC 與重傳機制（如 PCIe 6.0 的 FEC、NVLink 的鏈路重訓），將許多可糾正錯誤阻擋在“功能性故障”之外，提升硬體透出的有效 MTBF。

5.3 叢集級容錯與恢復

• Checkpoint 與作業重提交：訓練架構（如 PyTorch FSDP、DeepSpeed）每隔 N 步做一次 checkpoint。一旦節點故障，作業從最近 checkpoint 重啟，MTTR 受 checkpoint 間隔影響；配合自動重提交排程器，可將 MTTR 壓低至數分鐘。
• 節點彈性擴縮與熱備用：排程器預留熱備用節點池，故障時立刻頂替，避免維修等待。部分平台（如 Google 的 Borg、Azure Maestro）更是將故障節點的部分產能轉移到健康節點。
• 故障預測與主動遷移：使用 DC-DC 電源模組輸出紋波監測、GPU 溫度速率異常、記憶體 ECC 錯誤率趨勢等訊號建立預測模型，提前遷移工作負載，從“被動修復”轉向“主動規避”，間接等效於提升 MTBF。

近年來的趨勢是，全液冷 AI 叢集通過消除振動敏感風扇、降低溫度梯度，可能從根本上減少部分隨機失效模式。NVIDIA 在 2024 年釋出的 Blackwell 液冷機架規格中，要求冷卻液入口溫度控制在特定視窗，以保障板卡可靠性。這一要求本身就可視為在系統層面約束 MTBF 關鍵環境引數。

6. 上游

6.1 GPU 與 AI 加速器晶片

NVIDIA、AMD 和 Intel 是主要 AI 加速器晶片供應商。NVIDIA 在資料中心 GPU 產品的可靠性方面，向系統整合商提供基於 Telcordia 等標準的 FIT 預測資料，其板卡級失效率通常會因為大晶片面積、高 TDP、先進封裝（CoWoS）和大量高速 SerDes 而受到挑戰。AMD Instinct MI300X 等產品同樣需通過可靠性認證。上游晶片的代工廠（如台積電）直接決定了製程的可靠性常數，包括電晶體老化模型（如 BTI, HCI）下的壽命與失效率，這些物理模型最終會體現在 FIT 彙總表裡。

6.2 高速互聯與網路晶片

AI 叢集的互聯層級（NVLink 交換器、InfiniBand 或乙太網路 NIC/DPU）同樣是串聯在故障鏈上的部件。NVIDIA NVSwitch 晶片、ConnectX 系列 NIC、Broadcom 的乙太網路交換器 ASIC 的 MTBF/FIT 資料，由各自廠商在規格書或可靠性報告中提供。NVIDIA InfiniBand 交換器（如 Quantum-2）的規格資料中會列出系統級 MTBF（例如在 25°C 環境下約 30 萬小時級別，具體值因配置而異），用來支撐超算中心的可靠性預算。

6.3 電源模組與供電系統

伺服器的 PSU（電源單元）和電源管理系統是故障率較高的部分。主要供應商如臺達、光寶、Artesyn（Advanced Energy）提供伺服器電源模組的 MTBF 預測值，常基於電解電容壽命和功率半導體器件的 FIT 值，典型在 20 萬–50 萬小時以上，但在高負載和高溫下會急劇下降。電源的 MTBF 直接制約整個系統的連續性。

6.4 液冷元件

液冷分配單元（CDU）、冷板、快接頭、管路等液冷元件的可靠性對全液冷叢集至關重要。快接頭（如 Stäubli、Parker 的產品）標稱插拔壽命和洩露率，若出現微小洩露，可能導致 GPU 短路、系統整體關機，等效為低 MTBF 事件。液冷 CDU 製造商（如 CoolIT Systems、Vertiv）在公開資料中會提供泵的 MTBF（通常以數十萬小時計），但整個液冷迴路的串聯會降低系統可靠性。

6.5 光模組與光纖

高速光模組（800G、1.6T）的 FIT 值由光器件和電晶片決定，供應商包括旭創、光迅、Coherent、Lumentum 等。部分可插拔模組的失效率可能在數百 FIT 量級，考慮到 GPU 叢集需要成百上千個光模組，系統級累加後也是不可忽略的故障源。光模組的可靠性標準多遵循 Telcordia GR-468，少數廠商會公佈 FIT 預測值，整體質量差異可導致叢集 MTBF 明顯分化。

上游各器件的 MTBF 資料，通常以“計算預測值”形式提供給下游系統整合商，無法像硬碟那樣公開形成大規模現場統計，這也給整機 MTBF 估算帶來不確定性。

7. 下游

7.1 伺服器 OEM 與系統整合商

HPE、Dell Technologies、Lenovo、超微（Supermicro）、浪潮、寧暢等系統整合商是 MTBF 資料的重要消費方。他們通過上游器件的 FIT 彙總和團隊自身的熱設計、訊號完整性、可靠性測試，生成系統 MTBF 白皮書，作為投標所要求的技術引數。HPE 線上提供“系統可靠性評估器”，客戶可自定義配置後檢視 MTBF 估算結果。Dell PowerEdge 系列則多在環境規格檔案中引用 Telcordia 標準的系統 BTBF（Between Failure）指標。

2019 年之前，大部分伺服器招標僅要求“MTBF≥10 萬小時”等簡單指標。隨著 AI 叢集故障影響擴大，2023 年以後，有頭部雲端廠商在 AI 伺服器 RFP（請求建議書）中明確要求結合 FIT 報告、加速壽命測試資料和現場故障返回率，並在合同中寫入相應的懲罰條款。

7.2 雲端服務商與智算中心

微軟 Azure、AWS、Google Cloud、Meta、阿里雲端、字節跳動等自建 AI 資料中心，將 MTBF/MTTR/可用度列為基礎設施關鍵效能指標（KPI）。部分廠商內部定義“使用者影響性中斷”和“非影響性中斷”，據此反向推導需要的硬體可靠性冗餘。Meta 在 2022 年釋出的“AI 訓練可靠性運維實踐”中系統性地描述瞭如何在數千 GPU 規模下將有效可用度維持在 99% 以上，其做法已成為行業參考。

國內各地興建的智算中心（如中衛、蕪湖等）亦將硬體可靠性作為驗收條件，但因公開資料有限，具體的 MTBF 要求和實測資料鮮少揭露。

7.3 運維與排程軟體

下游的排程器（Slurm、Kubernetes 生態中的 Volcano、Kubeflow 等）依賴於硬體的健康訊號來決策遷移或停止排程。分散式訓練架構的 checkpoint 頻率最佳化本質上是一個“MTBF 與 MTTR 的博弈”：在給定硬體 MTBF 下，縮短 checkpoint 間隔可以降低故障成本，但會引入更多 I/O 開銷。這些決策背後都依賴硬體 MTBF 的準確估計。

7.4 可靠性服務與保險

一些第三方服務機構提供可靠性諮詢與測試，如用加速壽命方法為特定伺服器配置做定製化 MTBF 評估。此外，市場上有“硬體可靠性保險”概念的探索，以 MTBF 或可用度為依據設定保費，目前仍處於小規模試點階段。

8. 受益公司

以下產業鏈環節可能因 AI 叢集對高 MTBF 的需求提升而獲得業務增量（僅作行業分析，不構成任何投資建議）：

• 晶片與技術供應商：NVIDIA 通過提供高可靠性 GPU 和 NVLink 互聯，維持資料中心 GPU 的主導地位；同時，其 InfiniBand 網路產品也以穩健性著稱。AMD、Intel 更需要在可靠性方面證明自己，而台積電作為代工廠，其製程可靠性和 CoWoS 先進封裝良率間接影響 GPU 的早期失效率。
• 伺服器 OEM：HPE 和 Dell 等傳統企業級伺服器廠商在可靠性工程方面積累深厚，能提供清晰的 MTBF 報告和全球部署的現場資料，這在雲端廠商自研白盒化背景下構成差異化競爭優勢。
• 液冷解決方案商：CoolIT Systems、Vertiv、Boyd、英維克等提供冷板式液冷系統及冗餘 CDU，直接關乎全液冷 AI 叢集的硬體可靠性，其產品洩露率和 MTBF 成為大型客戶選擇的重要依據。
• 電源與聯結器供應商：臺達、光寶等電源模組廠商，以及 TE Connectivity、Molex 等高速聯結器廠商，提供高可靠性的供電與訊號互聯，是 MTBF 鏈條上的基石。
• 運維平台與軟體：提供硬體故障預測（如 LightOn、Mantlem 等初創公司，以及 HPE InfoSight、Lenovo XClarity 等）的廠商，能將即時遙測資料轉化為故障預測，延展有效 MTBF。部分超大規模運營商內部工具佔據主要市場。
• 可靠性諮詢與測試服務：UL Solutions、TÜV 等提供可靠性認證服務，幫助裝置商向上遊證明產品 MTBF 等級。

需要說明的是，各公司具體財務受益程度取決於專案落地速度與價格策略，此處僅是根據產業鏈位置的定性梳理。

9. 市場規模

MTBF 本身不單獨構成一個市場，而是內嵌在幾類相關市場中：

• 預測性維護市場：據 Grand View Research 2023 年釋出的《Predictive Maintenance Market Size, Share & Trends Analysis Report》，2022 年全球預測性維護市場規模約為 82 億美元，預計 2023–2030 年以超過 29% 的年複合增長率擴張，其中製造業、能源和資料中心是主要應用領域。資料中心的可靠性管理子段亦同步增長。
• 資料中心基礎設施管理（DCIM）市場：據 MarketsandMarkets 2024 年釋出的報告，2023 年全球 DCIM 市場規模估計為 32 億美元，預計 2028 年達到 63 億美元，CAGR 約 14.6%。這些工具的核心功能包括資產健康度和可用度監控，MTBF/MTTR 是基礎資料。
• 伺服器硬體相關的可靠性諮詢服務：具體資料有限，公開資料未見獨立市場規模統計。隨著大規模 AI 訓練叢集對可靠性的嚴苛要求，該細分領域正從可選的附加服務轉為關鍵支出。
• 液冷市場：據 Dell’Oro Group 2024 年第 2 季度資料中心液冷報告，2023 年資料中心液冷產品營收規模約 2.9 億美元，預計 2028 年將超過 55 億美元，其中可靠性相關的冗餘元件投資不可忽視。

綜合來看，與 MTBF 應用直接相關的硬體、軟體和服務市場在 2023 年合計規模可達數百億美元量級，但其邊界模糊，只能作為參考數量級。

10. 玩家對比

10.1 GPU 與系統級 MTBF 對比

目前主流的 AI 訓練 GPU（NVIDIA H100、AMD MI300X、Intel Gaudi 3）中，僅有 NVIDIA 在部分文件中向 OEM 提供過基於 Telcordia 標準計算的板卡 FIT 數值，AMD 和 Intel 的公開可靠性資料更為稀缺。因此很難進行純 MTBF 數值的橫向比較。業界常通過大規模部署後的故障率觀察來感知差異，但這類資料屬於使用者核心機密。

傳統 GPU 典型失效率，根據部分學術研究（如 USENIX 會議上關於 GPU 故障的研究，及 Google 釋出的“GPU 故障分析”內部報告概述），資料中心 GPU 每次裝置-月的 fatal error 率在 0.x% 到 2–3% 之間浮動，具體視代次、視訊記憶體配置和冷卻條件而定。據此粗略反推，單卡實際 MTBF 可能遠低於廠商預測值，尤其在支援 ECC 但未開啟或錯誤積累後。

10.2 伺服器廠商的 MTBF 白皮書策略

• HPE：擁有公開的可靠性計算器，可以基於配置（CPU、記憶體、NVMe、GPU）生成系統 MTBF 估算，並附帶環境假設。這給予客戶很高的透明度，是行業裡較為突出的做法。
• Dell：PowerEdge 系列提供可查詢的 Fit Rate 計算工具，但結果通常僅面向企業客戶，不如 HPE 公開。
• 超微：提供基於元件 FIT 的可靠性報告，但需聯絡銷售團隊獲取，公開資料少見。
• 聯想：ThinkSystem 系列對特定配置提供基於 Telcordia 的 FIT 與 MTBF，部分數字出現在內部方案建議書中。

截至 2025 年初，以 MTBF 透明性排序，HPE 領先，其餘廠商多依賴商務溝通，行業標準化程度有限。

10.3 大規模叢集故障資料對比

根據公開研究：

• Google 在 2021–2022 年發表的 TPU 可靠性論文中指出，其 TPUv4 叢集單個晶片平均故障間隔約在數萬小時量級，但千顆 TPU 系統全域性 MTBF 約在 10 小時量級，通過冗餘設計將可用度保持在 99.9% 以上。
• Meta 在 2022 年的 AI 訓練基礎設施研究中，報告其 A100 叢集每週遭遇多次硬體相關任務中斷，但通過重提交和熱備用將大規模訓練有效完成率提升至目標範圍。
• 學術界也有一些 64–512 GPU 小規模叢集的實際故障統計，常見狀況是每週發生 1–3 次視訊記憶體 ECC 異常或 NIC 故障導致的作業失敗，這些觀測與串聯模型的預測趨勢相符。

這些資料說明，即便相同硬體，運營成熟度、故障檢測粒度和修復自動化水平也會讓有效 MTBF 產生數倍的差距。

11. 風險

11.1 單點故障與串聯效應

在很多 AI 叢集實際部署中，為了成本將電源、網路或冷卻路徑做 N+1 冗餘，但軟體層面可能存在單點瓶頸（如全域性引數伺服器、集中式檔案系統），一個硬體失效可能導致全叢集作業雪崩。硬體 MTBF 再高，也會被這裡的雪崩效應抵消。

11.2 實驗室 MTBF 與現場嚴重不符

廠商預測 MTBF 通常假設 25°C 或特定風冷環境、理想負載條件，但實際 AI 叢集常年高負載執行，機房區域性熱點嚴重，GPU HBM 和 VRM 工作溫度持續偏高。依據阿倫尼烏斯公式，溫度每升高 10°C，部分失效模式失效率上升 1–2 倍。也就是說，現場 MTBF 可能僅為實驗室預測值的 30–50%。這種差異對於液冷系統同樣存在，若供液溫度控制不穩，也會造成早期耗損。

11.3 早期失效未被充分揭露

硬體故障呈現浴盆曲線，但部分廠商可能將 1–2 年內的早期失效資料排除在 MTBF 計算之外，使得統計值美化。對於部署週期僅在數月內的 AI 訓練專案，早期失效恰恰是最主要的“攔路虎”。使用者若未要求提供帶早期失效的失效率估計，將在初期遭遇高於預期的故障頻次。

11.4 軟體與韌體缺陷造成 MTBF 虛低

MTBF 主要統計硬體根源性故障，但實際中斷有很大比例為韌體 bug、驅動崩潰或排程器誤判。如果將軟硬體混合中斷均視為“故障事件”，測量的 MTBF 可能比純硬體預測值低一兩個數量級。這給容量規劃帶來了巨大的不確定性。

11.5 維護管理不足

即便 MTBF 較高，若備件供應週期長、缺乏預測性維護，MTTR 可能拉到無法接受的程度，直接吞噬可用度。例如，液冷快接頭一旦滲漏，如果現場沒有快接頭備件，維修可能長達數日，把可用性砸到危險地步。

12. 誤讀糾偏

誤讀 1：“MTBF 就是裝置壽命”

MTBF 僅反映隨機失效的平均間隔，與磨損決定的壽命（設計壽命）完全不同。一個電解電容可能壽命只有 5 年，但其隨機失效率在 5 年內極低（高 MTBF），壽命一到必須更換，否則會進入耗損區而故障激增。

誤讀 2：“MTBF 很高，所以可用性一定高”

可用性由 MTBF 和 MTTR 共同決定。若 MTTR 很大（如缺乏備件導致修復需要數天），即便 MTBF=100 萬小時，可用性依然可能低於預期。反過來，MTBF 不高但 MTTR 極短（熱備份切換秒級），最終可用度甚至可以更高。

誤讀 3：“廠商給出的 MTBF 就是對使用者的承諾”

多數廠商的 MTBF 屬於基於預測標準的計算值或工程估計，並非合同保修指標。保修期通常覆蓋早期失效，而 MTBF 則描述隨機失效期，二者的統計範圍不同。企業應將 MTBF 作為規劃冗餘的依據，而不應視為故障不會發生的“保證”。

誤讀 4：“萬卡叢集只要單卡 MTBF 高，整體可靠性就好”

串聯模型決定了整體失效率與卡數線性相關。即使單卡 MTBF 高達 50 萬小時，2 萬張卡的理想化串聯 MTBF 僅為 25 小時。依賴單卡高 MTBF 而不做節點級故障隔離與快速恢復，叢集可靠性將難以滿足 AI 訓練的需求。

誤讀 5：“FIT 越低，質量一定越好”

FIT 值的高度依賴於溫度、負載和統計方法假設。一家廠商使用偏保守的假設條件得出的 FIT 可能比別家在實際執行中測量出的 FIT 還低，這並不代表實際質量更優。只有採用一致的邊界條件和統計口徑（如都基於 Telcordia SR-332、相同溫度等級）互相比較才有意義。

13. 最新事件

13.1 超算液冷故障凸顯可靠性挑戰

2024 年 5 月初，美國橡樹嶺國家實驗室的 Frontier 超算因液冷系統洩漏，導致部分節點受損並停機超過 24 小時（來源：橡樹嶺官方宣告）。事件雖未直接公佈 MTBF 資料，但恰如其分地反映出，全液冷大規模系統中一個快接頭或管道問題就可能將叢集可靠性與 MTTF 置於高壓之下。

13.2 NVIDIA Blackwell 的散熱與可靠性調整

2024 年下半年，有媒體（The Information）報道 NVIDIA 對其 Blackwell GPU 系列散熱設計和部分封裝做了調整，以應對高密度機架環境下的熱可靠性挑戰。儘管 NVIDIA 未透露具體 MTBF 變化，但這一過程本身驗證了功耗攀升與系統可靠性的強耦合關係。

13.3 Meta 大規模訓練的故障應對揭露

2024 年 Meta 在其 Llama 3 訓練記錄中提及，他們通過三層故障域設計（GPU、節點、叢集）配合自癒合排程器，在硬體中斷頻次達每天數十次的情況下，仍維持了極高的訓練吞吐量（來源：Meta AI 部落格，2024 年 4 月）。該實踐幾乎已成為巨型 AI 叢集可靠性設計的範本，間接證明叢集有效 MTBF 有賴於軟體補償，而非僅靠硬體 MTBF。

13.4 資料中心硬碟 AFDR 資料的參考意義

硬碟是少數有公開現場失效率統計的器件（Backblaze 每年釋出硬碟失效率報告，2023 年全年 AFR 約 1.4–2.2%）。通過對比，業內認識到某些器件的實際失效率遠高於廠商預測值。AI 加速器領域尚無類似公開統計，但多家第三方服務商正嘗試建立 GPU 故障資料庫，推動行業透明度提升。

14. 追蹤指標

• 廠商可靠性白皮書：重點關注 NVIDIA、HPE、Dell、聯想等是否更新其產品 MTBF 報告，特別是新的 GPU 代次和液冷機架系統。這些報告會揭露計算的假設條件（環境溫度、負載率、標準版本）。
• 標準與指南：IEC 61709（失效資料指南）、IEC 62380、Telcordia SR-332 Issue 4、JEDEC JESD85（FIT 計算）等標準更新，這些直接影響業界如何匯出 MTBF 數值。
• 學術與行業會議論文：USENIX FAST、IEEE HPEC、SC（Supercomputing）會議常有類似“GPU 故障特徵”、“大規模 AI 訓練可靠性”論文。2022 年 Meta 和 2023 年 Google 的相關研究是目前最細粒度的公開參考。
• 第三方硬體故障統計：雖然 GPU 尚無類似 Backblaze 的公共資料來源，但 Uptime Institute 每年的全球資料中心調查涉及 IT 硬體故障來源佔比，可間接推測可靠性變化趨勢。2023 年 Uptime Institute 報告顯示，IT 系統故障在資料中心停機原因中佔比超過 70%，其中軟體/配置問題與硬體各佔一半左右。
• 故障分析工具與開源專案：如 Kubernetes 叢集節點故障檢測（node-problem-detector）、NVIDIA 的 DCGM（Data Center GPU Manager）在記錄 XID 錯誤和 GPU 引擎重置次數，這些資料經過聚合可以推斷相對 MTBF 變化。
• 液冷元件標準：關注 OCP（Open Compute Project）液冷規範的可靠性測試章節，尤其是快接頭插拔壽命和洩露率測試。一些液冷社群正在制定面向 AI 叢集的系統級可靠性分級方法。

15. 信源

1. IEC 61709:2017 – Electric components – Reliability – Reference conditions for failure rates and stress models for conversion：https://webstore.iec.ch/en/publication/28554
2. ZVEI – Mythos MTBF Guidance, 2019：https://www.zvei.org/en/press-media/publications/mythos-mtbf-guidance
3. NVIDIA DGX A100 System Reliability White Paper（內部參考），及 DGX H100 Spec Sheet（未公開 MTBF 細節）：https://www.nvidia.com/en-us/data-center/dgx-h100/
4. HPE Server Reliability Assessment Tool 及 ProLiant DL380 Gen10 Plus QuickSpecs（