TCO

1. 3 秒看懂

TCO（Total Cost of Ownership，總擁有成本）在深度學習基礎設施語境下，是覆蓋從晶片採購、網路搭建、電力與冷卻、運維人員到軟體授權的全生命週期算力成本。它直接決定每單位有效算力（TFLOPS）或每生成一千個 Token 的真實經濟代價，是企業選擇自建叢集、上雲端或採用特定晶片架構時最根本的決策尺度。

2. 3 分鐘產業解釋

大型模型競賽將算力成本推到“億噸公里”量級，單次預訓練動輒消耗數千 GPU·月，推論服務又必須長期維持低延遲、高吞吐。TCO 模型將這些開銷拆解為兩部分：

• 資本支出（CapEx）：GPU/ASIC 伺服器、InfiniBand/RoCE 交換器與光模組/銅纜、分散式儲存、資料中心土建及電力基礎設施。
• 運營支出（OpEx）：電費（單卡數百瓦且持續走高）、冷卻（液冷/風冷）、運維工程師、故障替換、跨地域頻寬、軟體許可及折舊。

除此以外，效率損耗因子在 TCO 中佔有隱形但極高權重：硬體平均利用率（MFU）、PUE（電力使用效率）、任務排隊時間、故障恢復開銷以及並行通訊瓶頸，都會放大實際成本。例如，若千卡叢集的 MFU 僅 30%，意味著同樣產出要比 50% MFU 多花近 70% 的機時和能源，相應拉高 CapEx 分攤和 OpEx。

產業中，雲端廠商（AWS、Azure、Google Cloud）把自建 TCO 轉化為按需/預留/Spot 例項的時租費；自建資料中心則需要大規模、穩定負載來攤薄固定成本。近年來興起的專業 GPU 雲端（如 CoreWeave、Lambda）則在兩者之間切出一塊“即服務但偏向全時長”的空間。無論哪種形態，最終定價的基底都指向那套 TCO 算式，故誰能在供電、散熱、硬體組合與叢集利用率上形成系統優勢，誰就能在 AI 服務市場中掌握定價權。

3. 技術原理

3.1 基礎現金模型

完整的 3~5 年 TCO 一般用淨現值（NPV）表達：

TCO = CapEx + \sum_{t=1}^{N} frac(OpEx_t){(1+r)^t}

其中：

• CapEx = Σ（加速卡單價 × 數量）+ 伺服器整機（含 CPU、記憶體、本地 SSD）+ 高速網路裝置（交換器、光模組/DAC/AEC）+ 按比例攤派的供電、冷卻設施 + 安裝除錯。
• OpEx_t = 年電費（用電量 × 工業電價）+ 冷卻維護 + 運維人力（按人均管理卡數分攤）+ 備件更換 + 軟體/平台許可 + 網路出站頻寬費。

3.2 訓練 TCO 與有效利用率

一次大型模型訓練的總機時近似為：

訓練時間 = frac(總 FLOPs){有效 GPU 數 \times 峰值 TFLOPS/卡 \times MFU}

只有當 MFU 達到 45–55% 且大規模並行（張量並行、流水線並行、資料並行）帶來的通訊開銷可控時，訓練才經濟。以混合專家（MoE）架構為代表的稀疏模型，All-to-All 通訊量巨大，若網路拓撲選型不當，MFU 可能驟降至 30% 以下，等效將 TCO 抬高 50% 以上。實際工程中，需為不同規模的訓練作業選擇合適的並行策略、網路層級（軌道最佳化胖樹、Torus 等）以及計算與儲存的親和性，才能使 TCO 收斂到可行區間。

3.3 推論 TCO 與負載曲線

推論 TCO 與請求的吞吐、延遲 SLO 深度耦合。常用度量：

• 每百萬 Token 生成成本 =（例項單價/秒 × 平均響應時長）/ 生成 Token 數；
• 若例項空閒，閒置時間仍會計入成本，因此負載因子的穩定度至關重要。

雲端服務通過 Batch 合併、KV 快取複用、低精度量化（FP8/INT4）以及投機解碼等方式壓縮單次推論的資源佔用。Spot/搶佔式例項可將推論 OpEx 壓至按需例項的 30–40%，但需要容錯排程器配合，否則重試成本不可忽略。

3.4 成本結構示意（定性比例，行業經驗區間）

      CapEx: 加速卡~55-70%，網路~8-15%，其餘伺服器/儲存
TCO ─│
      OpEx: 電力+冷卻~50-65%，人力~10-20%，軟體/維保~5-10%，頻寬~5-10%

（基於行業一般認知，非特定廠商精確資料）

3.5 供電與散熱的槓桿效應

機櫃功率密度一旦跨越 20–30 kW，傳統風冷便無法可靠帶走熱量，冷板式液冷乃至浸沒式液冷成為必選項。液冷 CapEx 顯著更高，但可將 PUE 從 1.4–1.6 壓至 1.05–1.1，在三到五年週期內節省的電費往往超過初期增量投資。是選擇更高 CapEx 換取更低 OpEx，還是沿用風冷承受高電費，必須在 TCO 模型中對電價、PUE、機房改造費作敏感性分析。

4. 關鍵引數

4.1 每有效 TFLOPS 成本

涵蓋硬體折舊與能耗的綜合性價比，訓練場景的第一性指標。通常以 3 年或 5 年生命週期內的 TFLOPS·h 均價衡量。

4.2 每生成 Token 成本

推論 LLM 的核心經濟指標，受預填充/解碼階段分離、KV 快取視訊記憶體佔用、批處理收益和模型量化程度影響。批次越大，每 Token 成本越低，但延遲隨之上升，須在 SLO 內尋優。

4.3 模型 FLOPs 利用率（MFU）

實際達到的算力吞吐與理論峰值的比值。MFU 每提升 10%，訓練時間等比例縮短，直接拉低電費與裝置折舊分攤。據公開研究，大規模 transformer 訓練的典型 MFU 在 35–55% 之間（來源：NVIDIA、Megatron-LM 專案論文，2023–2024）。

4.4 PUE（Power Usage Effectiveness）

資料中心總功率與 IT 裝置功率之比。PUE 每下降 0.1，在數兆瓦級叢集中帶來的電力成本縮減及碳排放下降均相當可觀。超大規模使用者正積極推動 PUE 邁向 1.1 以下（來源：Google 可持續發展報告，2023 年其平均 PUE 為 1.10）。

4.5 硬體年故障率與平均恢復時間（MTTR）

千卡以上叢集，每週可能發生多次硬體故障，檢查點中斷與重啟的開銷遠超部件更換費。MTTR 每縮短一小時，能避免數萬美元量級的閒置損失（基於公有雲端 GPU 例項價格推算）。

4.6 網路頻寬成本與遠端通訊稅

尤其在跨機架張量並行或 MoE 路由中，網路費用可佔 OpEx 的 10% 以上。引數為“每 GB 資料傳輸成本”或“有效頻寬速率/$”。RDMA over Converged Ethernet（RoCE）與 InfiniBand 的方案選擇直接反作用於 TCO。

5. 技術路線

當前主要存在三種典型 TCO 曲線實現路徑，選擇取決於負載持續性、規模和技術自主能力。

維度	自建資料中心	公有雲端（按需/預留/Spot）	自研 ASIC（如 TPU、Trainium）
初始 CapEx	極高，含土建、電力及數萬張加速卡	零或低（預留需部分預付）	極高（晶片流片、軟體棧），單卡邊際成本潛低
OpEx 彈性	剛性，須覆蓋最低基本負載	高，按需啟停，閒置成本低	依賴內部排程效率，通常追求超高利用率
單位訓練成本	穩態滿負荷時最低，但需長週期攤銷	中小規模或突發需求時有競爭力	若軟體棧成熟且負載契合，可大幅壓低
推論價效比	須有足夠併發量，否則空閒浪費	Spot/搶佔式例項可大幅降本	定製量化、低精度引擎可推高能效比
網路/散熱定製	可深度定製拓撲與液冷方案	受例項家族規格限制	硬體軟體垂直整合，自由度極大
生態鎖定風險	低，可多源採購	中，雲端遷移有一定成本	高，與特定硬體指令集/編譯器強繫結
代表使用者	頭部 AI 實驗室、大型雲端廠商自用	多數學術機構、中型企業、彈性推論	擁有全棧能力的超大規模雲端廠商

近幾年還出現了GPU 再雲端化（Neocloud）路徑，如 CoreWeave、Lambda 等：它們大規模採購 GPU，自建或合建資料中心，再以較公有雲端優惠的小時費率出租裸金屬或容器 GPU 例項。其本質是利用融資優勢和標準化設計，將自建 TCO 打包為一種比公有雲端列表價便宜的服務，同時避開使用者自建的長週期。這種模式在推論和微調場景中增速極快。

6. 上游

TCO 的源頭成本來自以下環節：

• 晶片設計與晶圓製造：加速卡單價、能效（每瓦 TFLOPS）以及先進封裝（如台積電 CoWoS）產能直接左右 CapEx。據台積電 2024 年 1 月法說會，2024 年 CoWoS 產能計劃年增率倍增，達到約 3 萬片/月（12 英寸等效），但仍供不應求，造成高階 GPU 交貨週期長、現貨溢價高。
• HBM（高頻寬記憶體）：作為 AI 加速器最昂貴的非邏輯元件，HBM 容量與頻寬在推論 TCO 中權重極大。第三代 HBM（HBM3/HBM3e）單 GB 成本數倍於 DDR5，且產能集中於 SK 海力士、三星等，供應波動直接影響加速卡價格。
• 伺服器 ODM & 網路裝置：整機整合、液冷板、電源模組效率（鈦金級 96%）、高速交換器（51.2Tbps）和 400/800G 光模組/DAC 銅纜成本，均隨單 GPU 網路頻寬提升而線性放大。據 LightCounting 2024 年報告，800G 光模組發貨量在 2024 年大幅攀升，一定程度上擠壓了網路在 CapEx 中的佔比。
• 電力與基礎設施：選址的工業電價、水資源可用性、地方能效補貼等，構成 OpEx 的核心變數。北美部分超大規模資料中心選址電力成本低於 $0.04/kWh 的地區（來源：公開調研），電費差異單年可使 TCO 差距達數千萬美元。

7. 下游

• 雲端服務提供商：將自身 TCO 通過例項價格傳遞給終端使用者，同時承擔利用率風險。AWS、Azure、Google Cloud 等通過大規模採購、定製晶片和彈性定價（預留、Savings Plans）轉移剩餘容量，其釋出的各種 TCO 計算器也降低了客戶的決策門檻。
• 模型開發商（含初創企業）：自研基座模型的公司 TCO 敏感度最高。訓練階段以絕對成本壓降為目標，推論階段更關注單位 Token 的成本與延遲。部分頭部團隊轉向自建或混合租賃，以獲取更優的硬體配置自由度。
• 企業終端使用者：直接使用微調後的開源模型或閉源 API，其感知到的是單次查詢成本。該成本實際上是上游雲端廠商和模型平台 TCO 的層層傳導。因此，底層 TCO 最佳化最終會通過 API 降價（如 OpenAI GPT-4o 價格數月內降低）惠及全行業。

8. 受益公司

以下公司（僅列示與 TCO 最佳化趨勢密切相關的產業鏈環節）在算力降本浪潮中承擔關鍵角色：

• 加速器供應商：NVIDIA（Hopper、Blackwell 架構）市佔率極高，其每代產品通過提升峰值算力和引入 FP8/FP4 等低精度格式降低使用者單位成本；AMD Instinct MI300X 系列通過更大 HBM 容量和開放 ROCm 生態提供替代選項；博通、Marvell 等為雲端廠商定製 ASIC 提供設計服務，幫助大戶將 TCO 內化為一次性流片費加邊際硬體成本。
• 伺服器 ODM 與網路廠商：英業達、緯穎、Super Micro 等在高密度液冷伺服器領域快速迭代；Arista、Cisco、NVIDIA 自己的 Spectrum 系列交換器以及光模組公司（中際旭創、Coherent 等）從每節點頻寬升級中直接受益。
• 資料中心基礎設施與散熱：Vertiv、CoolIT Systems 等液冷/電源方案商因機櫃密度躍升而需求擴張。據 Vertiv 2024 年 Q2 財報，其來自資料中心的訂單年增率增長超 50%。
• 專業 GPU 雲端（Neocloud）：CoreWeave、Lambda Labs、Crusoe 等，通過創新融資結構和能效選址（如利用廢棄天然氣田的能源）在特定負載下提供了比傳統公有雲端更低的 TCO。
• 超大規模雲端廠商：AWS（Trainium2）、Google（TPU v5p）、微軟（Maia 100）通過自研晶片在內部工作負載上大幅壓降 TCO，鞏固其平台競爭力。

9. 市場規模

由於 TCO 是決策架構而非單一商品市場，通常需從相關硬體、軟體和能源支出側面觀察。

• AI 半導體：據 Gartner 2024 年 5 月預測，2024 年全球 AI 半導體營收將達到 710 億美元，較 2023 年增長 33%；其中用於資料中心的加速器營收佔比最高。
• AI 伺服器與網路：IDC 資料顯示，2023 年全球 AI 伺服器市場支出超過 250 億美元（來源：IDC Worldwide Quarterly Server Tracker, 2024Q1），高速增長主要受 GPU 伺服器拉動，網路裝置佔比亦同步提升。
• 雲端運算 AI 工作負載：Synergy Research Group 報告稱，2024 年 Q1 全球雲端基礎設施服務支出達 760 億美元，年增率增速超過 20%，增長動力來自 AI 例項的擴張和傳統工作負載遷移。
• 資料中心電力與冷卻：據國際能源署（IEA）2024 年預測，全球資料中心電力需求將從 2022 年的約 460 TWh 增加到 2026 年的 1,000 TWh，冷卻和供電增量市場巨大。

整體來看，與 AI TCO 相關的年度支出（硬體+雲端+能源）已跨過千億美元級別，且保持兩位數增長。

10. 玩家對比

以下選取 2024 年典型方案進行 TCO 相關屬性對比，數字均來自公開定價或行業分析。

玩家/方案	例項/硬體單元	單位價格（2024 年）	特點	TCO 降本關鍵點
AWS p5 例項	p5.48xlarge（8×H100）	按需 $98.32/小時（美東）	附帶 Elastic Fabric Adapter 高速網路，可接力預留例項	Spot 例項可低至按需價約 30%；適合彈性推論
Google Cloud TPU v5p	TPU v5p 晶片	按需 $2.75/chip-hr（3 年使用承諾另享折扣）	TPU 以 Chip 而非 GPU 計價，ICN 網路原生支援 3D 並行	大訓練負載配合預留承諾價為使用者提供可預期的 TCO
自建 H100 千卡叢集	H100 SXM（8 卡節點）	採購成本（含網路、液冷）約數百萬美元/套，電力按當地電價	完全定製拓撲，可部署 400G InfiniBand 或 RoCE	滿負荷訓練場景，3 年 TCO 可能低於等量公有雲端按需，但需要穩定負載
CoreWeave（Neocloud）	裸金屬 H100	約 $2.49/GPU-hr 起（按全時長例項）	專注 AI 負載，不捆綁公有雲端其他服務，近年獲融資大規模部署	價格較公有雲端 GPU 例項更貼近硬體折舊曲線，對長訓練有優勢

注意：實際 TCO 需結合 MFU、PUE、利用率和網路延遲等綜合計算，不同應用場景下排序可能發生改變。上表僅為公開定價資訊的直接對比，不構成任何選擇建議。

11. 風險

• 硬體快速貶值與代際淘汰：新一代加速器（如 Blackwell）釋出後，前代產品殘值直線下降。若自建叢集無法在 3 年內回收成本，可能面臨賬面損失。
• 電力供給瓶頸：高密度 GPU 叢集對供電容量需求極大，部分地區新建資料中心審批和併網週期超過 3 年。如未能及時鎖定電力配額，擴容 TCO 將急升。
• 供應鏈中斷：HBM、先進封裝及關鍵光學元件壟斷性強，地緣政治或出口管制（如美國 2023/2024 年對華晶片出口新規）可能導致採購週期延長和溢價，直接拉高 CapEx。
• 技術路線顛覆：若存內計算、光學計算在特定推論負載中實現數量級能效提升，現有重資產可能快速淪為擱淺資產。
• 利用率陷阱：誤判負載需求，保底自建叢集長期低利用率，TCO 會成倍惡化，甚至不如按需雲端。
• 液冷改造失敗成本：液冷部署需要專業知識，若洩漏或維護不當導致宕機，維修和閒置成本巨大。

12. 誤讀糾偏

• 誤讀 1：“TCO 就是硬體購買價格。” 糾偏：電力與冷卻在 3~5 年生命週期內的累計 OpEx 往往超過硬體 CapEx，特別是高功耗 GPU 叢集。忽略 PUE、電費、運維，將嚴重低估真實開支。

• 誤讀 2：“上雲端一定比自建省錢。” 糾偏：雲端服務的溢價包含彈性、管理與折舊風險轉移。對於持續滿負荷的大規模訓練任務，自建可能獲得更低的單任務 TCO。雲端的真正優勢在於將固定成本轉化為可變成本，適合彈性或不規則負載。

• 誤讀 3：“選用最新一代 GPU 必然降低 TCO。” 糾偏：新一代 GPU 算力雖高，但功耗增加可能導致現有資料中心供電和散熱需徹底改造，甚至因電力不足需降低部署密度。如果每瓦效能提升未超過配套基礎設施增量成本，TCO 可能不降反升。

• 誤讀 4（新增）：“TCO 模型中硬體價格是主要變數，軟體最佳化無關緊要。” 糾偏：FlashAttention、FP8 訓練、稀疏計算等純軟體/演算法最佳化可將 MFU 提高逾 10 個百分點，等效於免費增加 20% 有效算力，這種軟體紅利對 TCO 的撬動效應有時超過硬體代際提升。忽略軟體棧匹配，再昂貴的硬體也跑不出經濟產出。

13. 最新事件

• NVIDIA Blackwell 釋出與液冷標配（2024 年 3 月）：B200 GPU 全功率逾 1000W，DGX B200 系統強制採用液冷，標誌著千卡叢集全面進入液冷時代，基礎設施設計不得不在 TCO 模型中為散熱投入更高 CapEx。
• AWS GA Trainium2 例項（2024 年下半年）：AWS 正式推出基於 Trainium2 的自研訓練晶片例項，宣稱相比上一代價效比提升 30–40%，進一步拉低自有生態內部訓練 TCO，同時提供預留例項折扣（來源：AWS re:Invent 2024 公告）。
• 微軟核電供電協議（2024 年 9 月）：微軟與 Constellation Energy 簽署為期 20 年的購電協議，計劃重啟三里島核電站 1 號機組，以支撐其 AI 資料中心擴充套件，折射超大規模使用者為鎖定長期低價零碳電力、壓降 OpEx 的經營趨勢（來源：微軟官方新聞）。
• 美國進一步收緊 AI 晶片出口管制（2024 年）：BIS 多次更新出口管制規則，限制高階加速卡流入特定國家，導致受影響地區的 TCO 急劇上升，通過灰色渠道或降級替代品推高採購成本和風險溢價。
• 液冷滲透率快速攀升：據 CoolIT 等行業廠商 2024 年公開宣告，冷板式液冷訂單年增率增長超 100%，資料中心 PUE 最佳化成為 TCO 競爭關鍵。
• 專業 GPU 雲端大規模融資：CoreWeave 在 2024 年累計獲得數十億美元債務融資，用於擴大 GPU 部署規模，體現資本市場對“出租 TCO 最佳化後的算力”模式的高度認可。

14. 追蹤指標

若需即時感知 TCO 環境的邊際變化，可重點觀察：

• 季度資本支出與雲端廠商財報：AWS、Azure、Google Cloud 的資本支出展望及其 AI 例項營收增速，直接反映下游擴容節奏和定價壓力。
• GPU 交貨週期與現貨溢價：從分銷商及雲端市場監測 A100/H100/B200 的現貨售價與交期，判斷供需鬆緊對 CapEx 的影響。
• HBM 價格與產能：通過 SK 海力士、三星季度財報中的 DRAM 營收結構和高頻寬產品出貨，評估 GPU 價格走勢。
• 工業電價與 PUE 指南：追蹤主要算力樞紐（美國維吉尼亞、奧勒岡、歐洲都柏林等）的批發電價及資料中心平均 PUE 報告。
• Spot 例項價格與庫存深度：若主流雲端平台 GPU Spot 例項價格穩定且庫存充足，表明供給偏松，推論 TCO 走低。
• 學術/產業訓練成本揭露：如 Llama 3、DeepSeek-V3 等模型公開的訓練硬體、時長和能耗，用以校準單位 FLOPs 成本趨勢。
• 液冷相關公司營收增長：Vertiv、CoolIT 等訂單資料可側面驗證高密度部署的 TCO 結構變遷。

15. 信源

以下信源為公認較可靠的 TCO 相關資料出處，可通過公開渠道獲取大部分內容：

• 學術/工程論文：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》附錄中的訓練成本分析；Megatron-LM、DeepSpeed 論文中關於 MFU 和並行效率的討論。
• 行業分析機構：IDC（伺服器、儲存追蹤）、Gartner（半導體預測）、SemiAnalysis（深度算力成本模型）、LightCounting（光模組市場）、Uptime Institute（資料中心 PUE 與可用性報告）、IEA（年度電力報告）。
• 雲端廠商官方資訊：AWS 定價頁面及 TCO 計算器