推論 TCO

3 秒看懂

推論 TCO（Total Cost of Ownership，總擁有成本）衡量的是大型模型在線上服務階段每單位智慧輸出所需的全生命週期成本，覆蓋計算硬體、網路、儲存、電力、製冷、運維、折舊與軟體授權等全部投入。它不是簡單的 GPU 租金除以 token 數，而是決定生成式 AI 能否從概念驗證走向可持續商業閉環的終極標尺——只有當推論 TCO 持續低於使用者付費或內部降本收益時，一項推論業務才真正成立。

3 分鐘產業解釋

當業界注意力仍聚焦於訓練千億引數模型的一次性資本支出時，真正的成本重心正不可逆地轉向推論。訓練一個基礎模型的花費是相對固定的，但上線後模型每天可能被呼叫數億次，累積推論成本很容易反超訓練投入。產業共識指出，多家頭部 AI 企業的年度推論相關支出已達訓練支出的數倍，且差距仍在擴大（行業訪談，無精確揭露）。

推論 TCO 絕非簡單的硬體租賃賬單。在系統視角下，它至少需要計入：

• 計算資源：GPU / NPU / ASIC 的採購或租賃成本，以及為保障峰值併發所需的 20%–50% 冗餘容量（行業經驗值）。
• 網路與儲存：大型模型推論普遍採用張量並行、專家並行等分散式方案，AllReduce、All‑to‑All 等通訊原語對網路頻寬和時延高度敏感；KV‑cache 則持續壓迫記憶體和視訊記憶體頻寬，HBM（高頻寬儲存器）的容量與頻寬成本佔比極高。
• 電力與散熱：單卡功耗已攀升至 700–1000 W（供應鏈估算），整機櫃電力密度逼近 20–40 kW，液冷逐步成為必選項，基礎設施改造與電費不可小覷。
• 軟體效率：推論架構（如 vLLM、TensorRT‑LLM）、量化策略、請求排程與 KV‑cache 複用策略對模型算力利用率（MFU）的影響巨大，軟體最佳化可以直接折現為 TCO 下降。
• 人力與運維：7×24 可靠性保障、版本迭代、彈性伸縮等均需投入大量站點可靠性工程師（SRE）和工具鏈成本，服務質量越高，此類隱性成本越不容輕視。

產業正試圖通過更便宜的專用推論晶片（如 LPU、Gaudi、Inferentia）、更激進的量化（INT8/FP8/4‑bit）以及新的系統架構（分離式 Prefill/Decode、MoE 稀疏化）將推論 TCO 打下來。誰能把每 10 億 token 的交付成本壓縮到競爭對手的幾分之一，誰就能主導大型模型商業化的定價權與規模效益。

技術原理

推論 TCO 的底層邏輯是：在給定的服務級別目標（SLO，包含首 token 時延 TTFT、每 token 生成時延 TPOT、吞吐與請求成功率等）下，完成真實負載所需的總資源時間租金。其微觀機理與以下幾個維度深度耦合。

1. 單 token 延時的物理定價

單 token 推論延遲 ≈ max(計算時間, 權重搬運時間)
計算時間 = 每 token 的 FLOPs / GPU 實際算力 (FLOPS)
權重搬運時間 = 模型權重總位元組數 / 視訊記憶體頻寬 (GB/s)

• 小 batch 場景：受限於視訊記憶體頻寬（Memory‑Bound），原因在於每次前向傳播都必須將全部權重從 HBM 搬運至計算單元，計算單元頻繁等待資料。
• 大 batch 場景：逐步向計算受限（Compute‑Bound）漂移，此時算力利用率（MFU）成為決定 TCO 的核心。提升 MFU 意味著用同樣的硬體產出更多 token，自然攤薄單位成本。

2. KV‑cache 引發的視訊記憶體壓力

每個請求在生成過程中必須將其 Key‑Value 狀態保留在視訊記憶體中，直到序列結束。長上下文或高併發下，KV‑cache 迅速吞沒 HBM 容量，直接限制可並行的 batch size，從而拉低平均利用率，推高單位 token 成本。當前緩解手段包括：

• PagedAttention（vLLM 提出）：將 KV‑cache 分頁管理，減少碎片化浪費。
• GQA / MQA（分組查詢注意力 / 多查詢注意力）：壓縮 KV 頭數，直接降低快取量。
• 稀疏注意力與滑動視窗：犧牲極少質量換取快取縮減。
• 這些技術本質上都是在保持可接受 SLO 的前提下，擴大可服務的併發請求數，從而攤薄每 token 的時間租金。

3. 分散式推論的通訊稅

在多卡並行推論中，實際每 token 延遲等於單卡計算時間加上卡間通訊延遲：

有效延遲 = 單卡計算時間 + 通訊延遲

• 張量並行 (TP)：每層前向都需要 AllReduce 來同步中間結果，對超高頻寬低時延的卡間互聯（如 NVLink、NVSwitch 或 InfiniBand）極度敏感。
• 流水線並行 (PP)：微批次排程不當會引入“氣泡”，降低總體吞吐。
• 專家並行 (EP)：MoE 模型中專家的 All‑to‑All 通訊極易成為系統瓶頸，要求 RDMA 和高效能交換器來保證低時延。一旦網路擁塞，尾時延惡化，就需要預留更多算力以滿足 SLO，間接惡化 TCO。

4. Prefill‑Decode 解耦架構的收益

傳統一體式推論引擎把計算密集的預填充（Prefill）和訪存密集的逐 token 生成（Decode）混在同一硬體上，導致資源利用率的折中。分離式架構將兩者分配到不同叢集：

請求流 → 路由器 → Prefill 叢集（計算繫結，短時高吞吐）
                → Decode 叢集（視訊記憶體頻寬繫結，常駐高併發）
                ↑ KV‑cache 遷移或共享中間層

該設計允許對兩類負載獨立調優（如 Prefill 節點側重高浮點算力、Decode 節點側重記憶體頻寬），據行業估算可提升整體資源利用率 20%–40%，直接等同於 TCO 的降低。

5. 模型架構對 TCO 的結構性影響

• 稠密模型：每 token 啟用全部引數，計算量和視訊記憶體搬運量與模型規模嚴格正相關。
• 混合專家模型 (MoE)：雖然總引數量巨大，但每次推論僅啟用少數專家，單位 token 的 FLOPs 顯著低於同等體量的稠密模型，理論上對 TCO 友好。然而，MoE 引入的 All‑to‑All 通訊與負載均衡難題若處理不當，由通訊延遲引發的尾時延會迫使系統預留過多算力，反而推高 TCO。因此，MoE 的 TCO 優勢只有在精心設計的網路拓撲和排程策略下才能兌現。

關鍵引數

評估和追蹤推論 TCO 需關注以下核心引數：

• 每百萬 token 服務成本 ($/1M tokens) 最直接的外部標杆。可對照各模型 API 的公開定價，但內部實際成本往往遠低於定價牌價。該引數需標明所基於的模型、上下文長度、批處理策略及硬體假定，否則難以橫向比較。
• 推論硬體總擁有成本 ($/GPU‑hour 或 $/晶片‑hour) 包括折舊、運維人員分攤、網路與儲存開銷。一般以單位 time‑rental 表示，再折算到每 token。
• 算力利用率 (MFU) 實際吞吐 vs 理論最大吞吐。MFU 每提升 10%，可近似帶來同等幅度 TCO 下降。公開資料中各大雲端廠商鮮少揭露真實 MFU，多為定性表述。
• 視訊記憶體頻寬利用率 (MBU) 表徵訪存瓶頸的緩解程度。當模型處於 Memory‑Bound 區時，MBU 直接決定最大併發數和單位成本。
• 平均批大小 (Batch Size) 與排隊時延 增大 batch 可提高吞吐，但受限於 SLO（如 TTFT P99 ≤ 2 秒），必須在吞吐與尾時延間尋求帕累托最優。
• TTFT / TPOT 的 P99 長尾時延 為滿足苛刻的尾部時延 SLO，系統常需超額預留 20%–50% 的算力，這部分冗餘構成隱性 TCO。
• 電能使用效率 (PUE) 在自建資料中心場景，電費可佔運營支出的 30% 以上（行業經驗值）。PUE 越低，同等能源消耗下的有效算力產出越高，TCO 越低。
• 請求成功率與重試開銷 服務不可用或超時導致的預算外重試會直接增加總 token 生成量，推高實際 TCO，這部分往往未被計入直接硬體成本。

（注：所有引數的具體數值因部署規模、地域電價、採購協議等差異極大，實施前必須基於自身場景獨立建模。）

技術路線

產業圍繞推論 TCO 的最佳化主要分四條路徑，各有適用場景與限制。（資料來源於行業公開討論與供應商釋出，截至 2025 年初的定性比較，無第三方硬性基準測試。）

維度	通用 GPU 雲端推論	自建 IDC GPU 叢集	專用推論 ASIC/LPU	極致量化 + 軟體最佳化
前期投入	按需付費，零 CAPEX	極高 CAPEX，晶片、網路、製冷	晶片採購成本中等	幾乎無新硬體，但研發投入高
單位成本趨勢	隨規模遞減，但有雲端廠商溢價天花板	規模越大，相對優勢越顯著	晶片單位算力成本低，但生態適配計提成本高	無需新硬體，但精度損失可能帶來隱性業務成本
靈活性	極高，可隨時切換機型與區域	擴容週期數月，彈性有限	低，常針對特定模型架構定製	中等，不同模型對量化的魯棒性不一
典型受益場景	脈衝流量、初創試驗	超大規模穩定流量（日均呼叫數十億 token）	延遲極敏感或單一模型長期服務	極限壓降成本，可容忍微小質量下降
關鍵限制	雲端廠商鎖定，資源池可能受限	運維複雜度極高，硬體閒置風險大	不支援任意模型，除錯工具鏈不完整	過低位元精度（如 INT4）可能丟失長尾知識

當前的主流格局是：絕大多數中小團隊依靠通用 GPU 雲端服務；頭部 AI 廠商和大型網際網路企業則傾向於自建叢集並向雲端服務延伸；專用晶片廠商正試圖在特定垂直場景證明其 TCO 優勢；開源推論引擎的激進最佳化讓軟體側成為最活躍的降本變數。

上游

推論 TCO 的成本源頭集中於以下上游技術棧：

• 儲存與視訊記憶體：HBM（高頻寬儲存器）是推論視訊記憶體頻寬的決定因子。SK 海力士、三星、美光幾乎壟斷供應，其 HBM3/HBM3E 的產能和價格直接影響高階 GPU/NPU 的成本與推論吞吐。HBM 在 GPU 物料成本中佔比常超 30%（行業估算）。
• 先進邏輯製程與 CoWoS 封裝：台積電（N3/N2 節點）、三星、英特爾的先進製程決定了晶片的算力密度與能效比；而 CoWoS（Chip‑on‑Wafer‑on‑Substrate）等先進封裝產能則是 HBM 與 AI 晶片組合的瓶頸，其交期和良率波動會傳遞到推論硬體的可獲得性與折舊成本。
• 高速網路裝置：分散式推論重度依賴高吞吐、低時延通訊。400G/800G/1.6T 交換器、光模組、有源光纜（AOC）與線纜（DAC）的成本佔據叢集總 TCO 的 10%–20%（行業經驗值），InfiniBand 與超乙太網路等方案的選擇直接影響通訊稅大小。
• 供電與散熱基礎設施：單機櫃功率密度向 20–40 kW 跳躍，液冷（冷板、浸沒）與高效 UPS/配電系統成為新建資料中心必選項。IDC 建設成本中電力與製冷佔比近半（行業統計），並受地價和區域電價深刻影響。
• 推論架構與中介軟體：vLLM、TensorRT‑LLM、SGLang、NVIDIA Triton Inference Server 等開源或閉源推論引擎，其排程演算法、記憶體管理策略與運算元最佳化水平極大地影響硬體利用率。上游軟體生態的成熟度直接左右硬體 TCO 能否被充分釋放。

下游

推論 TCO 最終由以下幾類下游參與者承擔或轉嫁：

• 模型即服務 (MaaS) 提供商：OpenAI、Anthropic、Google DeepMind、百度文心一言、阿里通義千問等直接承受推論 TCO，通過 API 計量定價（按 token / 按次 / 包月訂閱）向用戶收費。其毛利率高度敏感於 TCO 的最佳化幅度。
• 垂直行業應用整合商：將 LLM 推論嵌入客服、營銷、程式設計輔助、文件稽核等場景的 ISV 和系統整合商。推論 TCO 侵蝕其解決方案的獲利空間，驅使他們精細控制呼叫頻次、快取命中與提示詞長度。
• 企業私有化部署團隊：金融、醫療、法律等受合規或資料安全約束的企業，選擇內部部署 LLM。推論 TCO 是其 AI 投資回報率計算中的核心負面成本項，往往需要與業務降本收益精細對標。
• 終端使用者：在部分商業模式下，推論 TCO 間接影響使用者為 AI 功能支付的溢價或訂閱費，使用者對響應質量與速度的預期則反向定義 SLO，從而影響上位 TCO 設計。

受益公司

推論 TCO 的持續最佳化給以下型別的公司帶來商業機會（僅客觀列舉角色，不構成任何投資建議）：

• 擁有全棧推論硬體生態的廠商：NVIDIA 通過 H100/H200/B 系列 GPU 和 TensorRT‑LLM 軟體棧提供從訓練到推論的一體化方案，其硬體迭代與軟體最佳化共同推升單位成本效率。
• 自研推論晶片的雲端巨頭：AWS（Trainium2/Inferentia2）、Google（TPU v5p）、微軟（Azure Maia）、華為（昇騰）等通過定製晶片降低內部推論開銷，並以雲端服務形式輸出。
• 專用推論晶片初創：Groq（LPU 強調高吞吐低時延）、Cerebras（晶圓級引擎用於大規模推論）、d‑Matrix（聚焦存內計算的推論晶片）等，以顛覆性架構挑戰 GPU 在推論 TCO 方面的壟斷。
• 推論效率工具與中介軟體廠商：如 Anyscale（Ray 生態）、Fireworks、Together AI 等，通過模型量化、動態批處理、解耦架構等增收節支，直接吃的是“TCO 最佳化紅利”。
• 開源模型廠商：Meta（Llama 系列）、Mistral 等釋出開源權重模型，使推論成本透明化，並讓下游服務商圍繞這些模型展開 TCO 競爭，擴大整體生態用量。
• 液冷與資料中心基礎設施供應鏈：隨著 TCO 驅動的叢集密度攀升，液冷（Vertiv、臺達等）、高速光模組（中際旭創、Coherent 等）、高密度配電裝置的需求確定性增強，其增長與推論規模直接掛鉤。
• HBM 與先進封裝供應鏈：SK 海力士、三星、美光等 HBM 供應商以及台積電、日月光等封裝測試廠商受益於推論晶片對高頻寬儲存的剛性需求。

（注意：以上公司僅為產業圖譜示意，公開資料中各家在推論 TCO 領域的具體營收佔比、市場份額鮮見精確揭露，多為公開報道的定性資訊。）

市場規模

由於缺乏統一的“推論 TCO 市場”統計口徑，本文不引用任何具體數值，僅從幾維窺見規模能級（基於 2023‑2024 行業趨勢的定性刻畫）：

• 推論晶片市場：隨著生成式 AI 推論負載激增，用於推論的 AI 伺服器/晶片出貨量持續攀升。部分分析機構估算，到 2028 年前後，推論相關 AI 晶片的市場規模將與訓練晶片持平甚至超越（SemiAnalysis、Futurum Group 等行業報告提及）。
• 大型模型 API 營收：主流 MaaS 廠商的 token 呼叫量季度季增率高速增長，但激烈價格戰使單 token 營收急劇下滑。公開報道顯示，多家廠商調低 API 價格或推出免費額度，表明當前市場仍處於“以價換量”階段，整體推論服務的變現規模仍高度不確定。
• 公共雲端推論相關營收：雲端廠商紛紛將 AI 推論作為雲端運算下一增長引擎，從 GPU 裸金屬、容器服務到模型託管 API 的疊加營收被歸入 AI 相關訂閱，具體公開細分資料有限。
• 液冷與網路裝置市場：推論 TCO 驅動的資料中心升級正在擴大液冷（2024 年液冷市場年增率增長超 60%，據第三方報告）和高速光模組需求，Indirect 但可量化地反映了推論基建投資的擴張速度。

總結：推論 TCO 的降低本身雖非獨立市場，但由其牽引的推論硬體、雲端服務、軟體最佳化和基礎設施產業鏈，正在構成數萬億（美元）級別的長期投資主題。公開財務資料中，建議追蹤主要 AI 晶片廠商資料中心營收、雲端廠商 AI 相關經常性營收及上游液冷/光模組企業的訂單能見度。

玩家對比

從降低推論 TCO 的路徑來看，不同技術提供者可大致分為三類。以下對比基於公開產品資訊與行業評測，不作為效能或投資的硬性結論。

類別	代表玩家	技術特色	TCO 主張	潛在侷限
通用 GPU 生態系統	NVIDIA H100/H200/B 系列 + TensorRT‑LLM	強大軟體生態、全棧最佳化，相容所有主流模型	通過 NVLink、FP8 支援、動態批處理等持續降低 $/token	採購成本高，高階型號供應受限，雲端租賃溢價
雲端廠商自研晶片	Google TPU v5p、AWS Trainium2/Inferentia2、微軟 Maia	深度硬體‑架構協同，針對自有雲端場景最佳化	在特定模型（如 Gemini、Llama 及其微調變體）上展現更具競爭力的 $/token 比率	生態繫結，遷移成本高，一般不對外直接銷售晶片
專用推論晶片 / 新架構	Groq LPU、Cerebras WSE、d‑Matrix DIMC	存內計算、晶圓級超大晶片、超低時延設計	宣揚在 LLM 推論中實現數倍於 GPU 的每美元吞吐	軟體生態成熟度低，僅支援少數經過專門適配的模型架構，通用性不足

此外，開源推論引擎如 vLLM、SGLang 等雖不直接提供硬體，但其激進的記憶體管理與排程最佳化，正成為所有硬體類別降低 TCO 的共同倍增器。某種程度上，軟體棧的競爭已日益白熱化，軟體側的 TCO 最佳化收益有時超過單代硬體升級。

（截至 2025 年 4 月，以上對比所依據的具體效能資料多來自廠商白皮書或受限測試環境，實際生產場景結果會因負載特徵、SLO 設定、部署規模而顯著不同，公開可比基準測試仍為空白。）

風險

推論 TCO 領域存在若干不可忽視的風險因素：

1. 技術路線的不確定性：極致量化或新架構晶片可能在基準測試中表現亮眼，但在真實高複雜度、長尾任務中模型質量崩塌，導致 SLO 不達標，隱性成本飆升（如重試、人工兜底）。長期來看，若生成式模型架構發生根本性變革（如新注意力機制、狀態空間模型等），現有推論晶片或最佳化的適用性可能受損，形成沉沒成本。
2. 成本外部化風險：部分運營者計算 TCO 時忽略折舊、人力、網路及 SLO 保障所需的冗餘算力，形成“紙面低 TCO”吸引轉用，但在規模化後原形畢露，導致商業預期失實。
3. 價格戰侵蝕整體價值：MaaS 層 API 價格跳水可能導致推論服務長期處於低於成本的“補貼換規模”階段，使得即便是領先的 TCO 最佳化也難轉化為可持續獲利，最終只有具備足夠資金儲備的雲端巨頭存活，中小企業出清。
4. 供應鏈集中與地緣政治：高階 GPU、HBM、先進製程與 CoWoS 封裝幾乎全部集中於少數亞洲供應商，任何地緣擾動、制裁升級或自然災害都可能使推論硬體採購週期拉長、成本驟升，摧毀已最佳化的 TCO 模型。
5. 監管與合規升溫：資料駐留要求、模型安全審查等可能迫使企業由彈性雲端推論轉回本地部署，導致固定成本陡增，理想化的 TCO 大幅偏離。
6. 能效謊言與“綠色”風險：推論的巨大電能消耗正引發 ESG 關切，未來碳稅或能效標準可能施加額外成本，改變不同方案的全面成本比較。

誤讀糾偏

• 誤讀一：“推論 TCO 就是 GPU 租金除以 token 數。” 糾偏：這一公式僅覆蓋直接硬體成本，完全忽略了網路、儲存、運維、為了保障尾部時延而被迫預留的冗餘容量、人力以及機會成本。真實 TCO 應當核算從請求入口到生成響應整條鏈路上所消耗的全部資源的時間租金。
• 誤讀二：“採用 MoE 模型，啟用引數少，推論 TCO 自然更低。” 糾偏：MoE 確實降低了每 token 計算量，但同時也引入了更復雜的 All‑to‑All 通訊。如果網路拓撲和交換器緩衝區容量不足，通訊開銷會吞噬計算節省，甚至因 batch size 限制而反升 TCO。MoE 的 TCO 優勢需在系統級設計良好前提下實現。
• 誤讀三：“必須採購最新一代硬體才能享有最低 TCO。” 糾偏：新一代硬體成本也更高，折舊壓力突出。在某些受限於視訊記憶體頻寬的推論場景，上一代硬體搭配極致量化和軟體最佳化，或許能帶來更低的 $/token。TCO 的比較必須在同等 SLO 和總持有周期內進行。
• 誤讀四：“API 定價跳水意味著推論成本已極低。” 糾偏：當前 MaaS 廠商可能為搶奪流量入口而戰略性虧損，API 價格遠不能反映真實內部 TCO。用公開定價倒推成本可能嚴重低估真實開銷，尤其忽略免費額度、促銷折扣等。

最新事件

（以下資訊基於 2024‑2025 年初的公開報道與行業動態，不保證即時準確性，僅供參考。）

• 雲端廠商 API 降價潮：2024 年多家國內大型模型廠商數度下調 API 價格，部分模型允許開發者免費呼叫一定額度。說明推論 TCO 被壓至盈虧線附近，企業試圖通過規模攤薄固定成本，或將競爭焦點轉向更高層次的平台粘性。
• NVIDIA 推出 B 系列 GPU：根據 NVIDIA 官方釋出，Blackwell 架構 B100/B200 的推論效能較 Hopper 世代有數倍提升，並對 FP4 推論提供原生支援，旨在進一步拉低每 token 能耗成本。
• Groq 公開 LPU 推論演示：Groq 宣稱其 LPU 在 Llama 2 等模型上達到極高的吞吐和極低時延，引發業界對存內計算 TCO 潛力的熱議，但其通用性受到限制，僅適配部分模型。
• 解耦推論系統加速落地：多家推論服務商宣佈大規模部署 Prefill‑Decode 分離架構，通過最佳化資源排程實現視訊記憶體頻寬利用率提升約 30%（廠商資料，未經第三方審計），使長上下文和多輪對話場景的推論成本顯著降低。
• AMD 與 Intel 推論晶片追趕：AMD MI300X 和 Intel Gaudi 3 均加強了推論效能宣發，聲稱在特定模型上具備與 H100 相當的每美元吞吐，但需要更多生態適配，具體市場接受度尚待觀察。
• 歐盟能源效率新規：2024 年歐盟針對資料中心的能效報告進一步收緊，對大規模推論叢集的 PUE 提出更高要求，推動歐洲地區液冷部署加速，間接影響全球推論 TCO 的最佳化方向。

追蹤指標

追蹤推論 TCO 變動及產業趨勢，建議持續關注以下指標：

• 各家 MaaS 平台公佈的模型 API 定價（每 1M tokens），並結合各廠商的折扣、免費額度推算實際平均營收單價。
• 主要 AI 晶片廠商的資料中心營收季增率增速（如 NVIDIA 資料中心業務、AMD 資料中心 GPU 營收），輔以上游 HBM 供應商的出貨展望。
• 液冷、光模組、AI 伺服器相關供應鏈企業的季度營收及在手訂單，如公開的液冷滲透率、800G/1.6T 光模組出貨量。
• 開源推論架構的社群活躍度與效能基準更新：關注 vLLM、SGLang、TensorRT‑LLM 等釋出的每瓦效能提升和硬體利用率突破。
• 雲端廠商在財報電話會議中對 AI 推論營收的定性與定量描述，尤其留意是否出現“推論營收已超訓練”等訊號。
• 第三方獨立評測機構的推論測試結論，如 MLPerf Inference 基準中不同系統在同等精度和 SLO 下的 $/token 比較。
• 政策和地緣事件：涉及晶片出口管制、先進封裝產能擴張制裁、碳稅立法等，可能嚴重影響推論硬體供給和成本結構。

信源

• 學術與系統論文：Kwon 等，“Efficient Memory Management for Large Language Model Serving with PagedAttention”（vLLM）；Yu 等，“Orca: A Distributed Serving System for Transformer‑Based Generative Models”。
• 行業分析平台：SemiAnalysis（資料中心晶片與推論成本專題）、Next Platform（伺服器效率與 TCO 深析）、Futurum Group 等釋出的季度 AI 基礎設施報告。
• 硬體廠商官方釋出：NVIDIA GTC 主題演講、技術部落格與白皮書；SK 海力士、三星、美光 HBM 路線圖宣告；台積電製程路線圖及先進封裝產能更新；AWS、Google Cloud、Azure 官方推論最佳化指南。
• 公開財務揭露：NVIDIA、AMD、Intel 季度財報及電話會議記錄，主要雲端廠商（Amazon、Microsoft、Google）財報中 AI 相關業務揭露。
• 獨立評測與媒體：MLPerf Inference 結果公示；AnandTech、ServeTheHome 等對推論硬體的拆解評測；The Information、TechCrunch 中關於 AI 推論創業公司的融資與進展報道。
• 宣告：本頁所有具體成本數字、市場份額、效能對比均屬於行業討論範疇的定性估算，或引用公開資料中可能未經獨立驗證的廠商宣告，精確成本結構強烈依賴於實際部署規模、模型架構、地域電價及採購協議，實施前必須基於自身場景獨立測算。未標明出處的資料一律視為“公開資料未見”。