推論伺服器

1. 3 秒看懂

AI 推論伺服器是專門用於執行已訓練好的模型、即時輸出預測結果的計算機系統。它與訓練伺服器追求極致叢集算力不同，圍繞低延遲、高併發、極高能效比設計，目標是把模型“用好”而不是“教會”。

2. 3 分鐘產業解釋

大型模型完成訓練後，必須部署到推論伺服器上，才能響應使用者的每一次提問、生成每一幅影像、完成每一行程式碼補全。推論伺服器面臨的核心挑戰是：在毫秒級時延內完成計算，同時服務成百上千個併發請求，並將功耗與總擁有成本（TCO）控制在商業可持續的水平。這導致推論伺服器從晶片選型、記憶體配置到系統拓撲，都走上了一條與訓練伺服器高度差異化的路線。

晶片上，推論更看重記憶體頻寬和低精度整數/浮點算力（如 INT8、FP8），而非訓練所需的 FP16/BF16 高精度浮點吞吐率。記憶體上，它追求超大容量和超高頻寬，以將數百 GB 甚至 TB 級的模型權重常駐在靠近計算單元的位置。系統拓撲上，推論叢集往往採用去中心化、高密度部署，強調每瓦特 Token 產出而非絕對峰值 FLOPS。2024—2025 年，隨著 Mixture of Experts（MoE）和長上下文模型成為主流，推論伺服器的瓶頸重心正從純計算轉向記憶體容量與通訊頻寬。

3. 技術原理

推論的本質是模型的前向傳播。與訓練不同，它不需要儲存中間啟用值用於反向傳播，只需逐層向前計算。但大語言模型（LLM）的自迴歸生成特性，使推論工作負載變得極為特殊：

1. 預填充 (Prefill)：將使用者的完整輸入一次性編碼，此階段可並行高效利用 GPU 的張量核心，計算密度較高。
2. 自迴歸解碼 (Decode)：模型逐詞生成輸出。每生成一個新的 token，都必須將整個模型的權重（可達數百 GB）從視訊記憶體搬運至計算核心，僅執行極少的矩陣乘法。這導致算力利用率極低，記憶體頻寬成為絕對瓶頸。

使用者併發請求佇列 → 排程器 (Continuous Batching / Disaggregation)
                          │
          ┌───────────────┼───────────────┐
          ▼               ▼               ▼
    GPU/加速卡節點 1  GPU/加速卡節點 2 ... GPU/加速卡節點 N
    (模型分片/副本)   (模型分片/副本)      (模型分片/副本)
          │               │               │
          └───────┬───────┘               │
                  ▼                       ▼
          高速記憶體池 (HBM/視訊記憶體) ←→ 模型權重常駐，KV-Cache 動態管理

關鍵加速機制包括：

• 連續批處理：將到達時間不同、但可合併計算的請求動態組成批次，有請求完成即退出、新請求立即補入，最大化計算單元利用率。
• KV-Cache 管理：解碼過程中，已生成 token 的 Key-Value 向量必須快取在高速記憶體中，避免重複計算。長上下文對話時，單個序列的 KV-Cache 可能膨脹至 GB 級別，其分配、回收與壓縮效率直接影響併發能力。
• Prefill-Decode 分離 (PD 分離)：將有較高計算需求的預填充階段和純粹記憶體頻寬受限的解碼階段分配到不同硬體例項上執行，允許各自獨立擴充套件，以匹配異構資源的供需。
• 模型量化：將權重和啟用從 FP16/BF16 壓縮至 INT8 或 INT4，在精度損失可控的範圍內成倍降低記憶體頻寬需求，是推論部署的必選項。
• 投機解碼：用小模型快速推測一組候選 token，再由大型模型並行校驗，通過增大計算量換取解碼步驟的減少，有效提升吞吐。

4. 關鍵引數

評估推論伺服器的效能，不能僅看 TFLOPS，以下指標更為關鍵：

• 首個詞元時間 (TTFT)：使用者發出請求到看到第一個輸出字元的延遲，直接影響互動體驗。
• 每輸出詞元時間 (TPOT)：解碼階段生成每個後續 token 的平均延遲，決定生成過程的流暢度。
• 吞吐量：每秒生成的總 token 數（或影像數），反映系統總體產出能力。
• 有效請求數 (Goodput)：在給定延遲 SLO（如 300 ms）下，系統能穩定支援的最大併發請求數。
• 記憶體頻寬：推論伺服器的命脈。HBM3e 的頻寬可達每堆疊 1 TB/s 以上，但總的可用頻寬直接限定了大型模型解碼的速度上限。
• 視訊記憶體總容量：決定了可以駐留的模型引數量（如 70B 引數模型 FP16 約需 140 GB），以及可供 KV-Cache 使用的空間，二者共同限定最大併發數。
• 單卡/單節點能效比：用 TFLOPS/W 或更直接的 Tokens/Joule 衡量，決定電力成本和運營支出。

截至 2025 年初，主流大型模型推論部署常以 HBM3e（頻寬約 4.8—8 TB/s 每 GPU）和 80 GB—192 GB 視訊記憶體配置為基準。具體引數因產品和代際而異，實際測試資料通常由廠家在特定架構下揭露。

5. 技術路線

以下對比基於截至 2025 年初的行業公開資訊進行定性歸納，不引入特定廠商的具體基準測試資料。

維度	通用 GPU 方案	專用推論 ASIC	可程式設計邏輯 (FPGA)	存內/近存計算
核心優勢	CUDA 生態成熟，部署靈活，覆蓋面廣	極致能效比與吞吐量，針對特定負載深度最佳化	極低延遲，可重構，適合演算法快速迭代場景	理論上解除記憶體頻寬瓶頸，能效比可有數量級提升
核心瓶頸	記憶體頻寬受限於 HBM 規格，能效偏低，成本高	演算法鎖定，靈活性不足，開發生態封閉，週期長	開發門檻極高，浮點算力密度低，容量有限	工藝尚未成熟，容量受限，通用性差，軟體棧幾乎空白
典型負載	通用 LLM、多模態、AIGC 即時生成	搜尋引擎級 Transformer、推薦模型的 Embedding 部分	金融超低延遲交易、網路內計算、特定訊號處理	前沿研究階段，尚無廣泛商用的成熟負載
記憶體方案	HBM2e/HBM3/HBM3e	通常整合 HBM 或基於 SRAM 的大容量片上快取	搭配 DDR 或 HBM	計算在儲存單元內部或近端執行，無需外掛記憶體
部署形態	雲端資料中心、大型企業私有部署	頭部雲端廠商自用、大規模單一業務場景	邊緣側、嵌入式、特定加速卡	研發與早期試商用

【據公開資料定性對比，具體代際歸屬未在此確認。】

6. 上游

推論伺服器的上游供應鏈涵蓋以下關鍵環節：

• 算力晶片：GPU（輝達、AMD）、AI 推論專用 ASIC（Google TPU、亞馬遜 Inferentia、Groq LPU 等）、FPGA（賽靈思/AMD、英特爾/Altera）。
• 高速記憶體：HBM（SK 海力士、三星、美光）是當前最大供給瓶頸。DDR5 用於 CPU 側或部分低端推論。
• 先進封裝與互連：台積電 CoWoS、英特爾 EMIB 等 2.5D/3D 封裝，NVLink、PCIe 5.0/6.0、CXL、C2C 等晶片間互聯協議，決定著記憶體頻寬的上限和多晶片擴充套件效率。
• 結構件與散熱：高密度液冷（冷板式、浸沒式）方案、高功率密度電源模組。隨著單 GPU 功耗突破 700 W，液冷正成為推論叢集的標配。
• 製造裝置與矽晶圓：先進製程（4 nm、3 nm）產能，以及 HBM 堆疊所需的 TSV 等特種工藝。

【以上資訊綜合各公司官網與行業報告，截至 2025 年初。】

7. 下游

推論伺服器的最終需求方與應用場景包括：

• 雲端服務提供商 (CSP)：將模型封裝為 API（模型即服務），按呼叫量收費，是當前最大的推論算力採購方。
• AI 原生企業：如對話式 AI、AI 搜尋、程式碼助手、AIGC 應用等，需對核心業務進行即時推論。
• 大型企業：私有化部署知識庫問答、內部助手、程式碼生成等，滿足資料不出境與安全合規需求。
• 電信與邊緣計算：網路側的智慧分析、工業視覺檢測、自動駕駛邊緣推論等，對低延遲和本地化提出更高要求。

資料顯示，2024 年全球 AI 伺服器出貨中，推論用途的佔比已明顯上升。輝達在 2024 財年第三季度（CY2023Q3）財報電話會中表示，推論已佔其資料中心營收的約 40%；此後這一比例持續擴大，成為增長主驅動力。

8. 受益公司

【依據市場公開資訊定性，僅列示代表性企業及其產業鏈角色，不構成任何投資建議】

• 輝達 (NVIDIA)：Hopper 架構（H100/H200）及後續 Blackwell（B200）憑藉 CUDA 生態和 NVLink/NVSwitch 高頻寬互連，在通用推論 GPU 市場佔據主導地位。其 TensorRT-LLM 推論架構建置了深厚的軟體護城河。
• AMD：Instinct MI300X 以更高的視訊記憶體容量（192 GB HBM3）和視訊記憶體頻寬，在特定開源模型推論負載中展現出價效比優勢，依託 ROCm 生態逐步擴大市佔。
• 英特爾 (Intel)：Gaudi 系列 AI 加速器主打高性價比推論，至強處理器通過內建 AMX 矩陣引擎承擔部分中小模型推論，強調 TCO 優勢。
• 博通 (Broadcom)、Marvell：為Google、亞馬遜等 CSP 提供定製 ASIC 設計服務，是專用推論晶片產業鏈中的關鍵設計合作伙伴。
• SK 海力士、三星、美光：HBM 主力供應商，其產能擴張速度直接影響推論伺服器的交付與成本。
• 雲端服務垂直整合廠商：Google（TPU）、亞馬遜（Trainium/Inferentia）、微軟（Maia）、Meta（MTIA）、華為（昇騰）等，自研推論晶片用於自有業務，將推論成本壓縮至極低水平。
• 系統整合與伺服器製造商：超微電腦、戴爾、浪潮資訊、聯想等，負責將晶片整合為可交付的推論伺服器，並深度參與液冷、互連等系統級最佳化。

9. 市場規模

【以下資料基於行業研究報告與公司揭露，註明來源與時間視窗】

• 據 Omdia 2024 年釋出的預測，全球 AI 推論加速器（含 GPU、ASIC、FPGA）市場規模預計於 2027 年超過 AI 訓練加速器市場，長期來看推論將成為 AI 半導體支出的最大領域。
• IDC 資料顯示，2023 年全球 AI 伺服器市場總規模約 250 億美元，其中推論伺服器佔比已升至約 40%，且增速高於訓練伺服器。市場普遍預計 2024—2026 年推論伺服器出貨量複合增長率將超過 30%。
• 根據 650 Group 的估算，2024 年用於推論的乙太網路 AI 網路裝置市場將達數十億美元級別，反映出推論叢集對東西向通訊的要求日益接近訓練叢集。

由於廠商出貨分類口徑不一，且大量推論任務遷移至自研 ASIC 後不納入外部市場統計，精確的推論伺服器硬體總市場規模仍缺乏統一口徑。可以確定的是，隨著生成式 AI 應用落地加速，推論算力已成為 AI 基礎設施支出的長期主驅力。

10. 玩家對比

為便於理解推論伺服器市場的競爭格局，下表從生態、硬體效能、部署靈活性與成本三個維度對主要玩家進行定性對比（截至 2025 年初）：

玩家	生態成熟度	典型推論硬體	記憶體頻寬/容量優勢	部署形態	相對成本
輝達	極高 (CUDA, TensorRT-LLM)	H200, B200 (Blackwell)	H200: 4.8 TB/s, 141 GB; B200: 8 TB/s, 192 GB (HBM3e)	雲端/私有化/一體機	高，但單位能效成本隨架構演進下降
AMD	快速增長 (ROCm)	MI300X	5.3 TB/s, 192 GB HBM3	雲端/私有化	通常定價較輝達更具價效比
英特爾	中等 (oneAPI)	Gaudi 3, 至強 AMX	Gaudi 3: 3.7 TB/s, 128 GB HBM2e	雲端/企業級	強調 TCO 優勢，價格具競爭力
Google TPU	封閉 (僅 Google Cloud)	TPU v5p, v5e	具體引數未公開，頻寬與專用光互聯結合	僅限 Google Cloud	對內極低成本，對外以雲端服務形態提供
亞馬遜 Inferentia	封閉 (僅 AWS)	Inferentia2	整合 HBM，引數未完整公開	僅限 AWS	成本極低，吸引特定彈性推論負載
Groq	新興 (自研編譯器)	LPU (Language Processing Unit)	使用 SRAM 替代 HBM，超低延遲，但容量有限，需多晶片組網	雲端/自研系統	單位推論成本視型號與部署規模而定

【注：本表資訊來源於各公司公開產品頁面與行業技術分析，不涉及非公開基準測試。】

11. 風險

推論伺服器行業面臨多重風險，需保持關注：

• HBM 供給集中化風險：HBM 產能目前高度集中於 SK 海力士、三星、美光三大家，且先進封裝（CoWoS）產能由台積電主導。任何地緣事件、自然災害或裝置交期延長，都可能導致推論伺服器交付大面積延遲和成本飆升。
• 演算法演進的不確定性：若出現革命性的非自迴歸架構，或模型壓縮技術突破（如稀疏化推論大幅降低記憶體佔用），當前以高記憶體頻寬為前提的推論硬體路線可能被迫調整，部分 ASIC 方案面臨鎖定風險。
• 能效與電力約束：隨著單機功耗升至數十 kW，資料中心能評和 PUE 要求更加苛刻。推論的經濟性直接取決於電價，若能效改進停滯，推論成本將吞噬應用獲利。
• 軟體碎片化與鎖定：各晶片廠商各自的最佳化工具鏈加重了使用者的遷移成本。過度依賴單一硬體生態，可能在未來議價和技術選擇上陷入被動。
• 地緣政治與出口管制：高階 GPU 和先進製程晶片的出口管制持續擾動供給格局，可能造成區域性的推論算力失衡，並催生黑市和灰色渠道，增加合規風險。

12. 誤讀糾偏

• 誤讀 1：推論伺服器不需要高效能，用中低端晶片即可。
  糾偏：對於大語言模型等現代負載，推論是“低計算密度、極高記憶體頻寬敏感”型負載，而非“低效能”任務。它需要最新一代 HBM、大容量視訊記憶體和先進的片間互聯。使用上一代晶片，可能因記憶體頻寬不足導致互動延遲長達數秒，完全不可商用。

• 誤讀 2：MoE 模型啟用引數少，推論伺服器成本很低。
  糾偏：這僅對計算核心友好。MoE 模型的全體專家引數必須全部駐留在視訊記憶體或近端記憶體中。一個萬卡訓練出的萬億引數 MoE 模型，即使每次推論僅啟用數十億引數，全量權重仍可達 TB 級，遠超單臺伺服器記憶體容量。這催生了跨伺服器共享記憶體池和高速引數分發網路，使系統設計從“單機”轉向“資源池化分散式推論”。

• 誤讀 3：推論晶片就是訓練晶片的簡化版。
  糾偏：兩者設計導向不同。訓練晶片重 FP32/FP16 的矩陣乘累加，推論晶片則需要大比例面積用於快取記憶體和記憶體介面，並強化低精度整數/浮點運算。一些推論 ASIC 甚至移除了對訓練至關重要的張量核心和部分資料通路，換取更高的能效比。二者正走向架構分化，而非簡單減法。

• 誤讀 4：雲端上推論是唯一趨勢，企業私有化部署沒有前途。
  糾偏：出於資料安全、時延和長期 TCO 考慮，大型企業在 2024—2025 年明顯加速了私有化推論部署。尤其是金融、醫療、政務等敏感行業，將推論伺服器部署在本地，結合開源模型，形成“私有 AI”架構，其市場份額預計將持續增長。

13. 最新事件

截至 2025 年初，推論伺服器行業發生了一系列值得關注的變化：

• 輝達 Blackwell 平台釋出 (2024 年 3 月 GTC)：B200 GPU 採用台積電 4NP 工藝，配備 192 GB HBM3e，單 GPU 推論效能較 H100 大幅提升，尤其在 FP4 推論能效比上達到新高度。NVLink 5 和 NVSwitch 升級使得多 GPU 合併為一個具有 1.8 TB/s 頻寬的統一視訊記憶體域，極大緩解了大型模型推論的視訊記憶體牆。
• AMD MI300X 競爭加劇：2024 年下半年，MI300X 在 MLPerf 等推論基準測試中表現出與 H100 相當甚至更優的吞吐量，尤其憑藉 192 GB 視訊記憶體，在 Llama 2 70B 等模型上可單卡承載，顯示出更強的記憶體容量競爭力。
• Groq LPU 超低延遲現場演示：Groq 的 LPU 推論系統在 2024 年初公開展示中，實現了 Llama 2 70B 模型每秒數百 token 的生成速度，且幾乎無排隊延遲，引發行業對“用 SRAM 替代 HBM”架構的關注。但其單卡容量有限，需數十張卡組網，總體系統成本和適用規模仍在評估中。
• 推論專用晶片持續湧現：Cerebras 於 2024 年推出 WSE-3，整片晶圓級晶片擁有 4 萬億電晶體、44 GB 片上 SRAM，並以高速連線實現多節點推論。其宣稱在特定 LLaMA 模型上推論速度遠超傳統 GPU，但部署形態特殊，需要專門系統。
• 開源推論架構生態繁榮：vLLM、TensorRT-LLM、LMDeploy 等推論最佳化架構迭代加快，通過 PagedAttention、量化、PD 分離等特性，使社群和企業能夠更高效地利用現有推論硬體，降低了硬體差異的負面影響。
• HBM3e 產能擴張與供應緊張並存：SK 海力士於 2024 年 3 月開始量產 HBM3e，三星和美光陸續跟進。但各大 GPU 和 ASIC 廠商的龐大需求使供應持續緊張，交貨週期延長，直接影響推論伺服器出貨節奏。
• 出口管制影響擴散：美國於 2023 年 10 月更新對華出口管制規則，進一步限制高階 GPU 出口，導致中國本土推論伺服器廠商加速採用替代方案，如昇騰 910B，並刺激了國內 HBM 和先進封裝自給能力的投資。

14. 追蹤指標

要追蹤推論伺服器行業的發展脈搏，建議持續關注以下指標：

• HBM 價格與交期：HBM3/HBM3e 的現貨和合約價格，以及主要供應商的產能擴產進度（如 SK 海力士的資本支出計劃），是推論伺服器成本和交付能力的先行指標。
• 雲端廠商推論例項價效比：AWS、Azure、GCP 等平台上主要推論例項（如 GPU 例項 vs Inferentia/TPU 例項）的每 1M token 生成成本，反映軟硬體綜合競爭力。
• MLPerf Inference 排行榜：權威的 MLCommons MLPerf 推論基準測試，覆蓋多種模型和場景，可橫向比較不同廠商的延遲和吞吐量，揭示架構演進方向。
• 主要 GPU/ASIC 廠商財報中推論營收佔比：輝達資料中心的推論營收佔比、AMD 嵌入式和資料中心業務增速、博通 AI 相關 ASIC 營收等，指示推論市場相對訓練的增速差。
• 開源模型推論架構效能評測：vLLM、TensorRT-LLM 等社群版本的效能提升（如支援 llama 3、Mistral 等新版模型）和功能增加（如 Speculative Decoding），反映軟體層對推論效率的撬動能力。
• 電力 PUE 和 TCO 案例：大型資料中心實際部署推論叢集時公佈的 PUE 與單 token 電費成本，是推論經濟可持續性的終極審計。
• 地緣政策動態：美國商務部工業安全域性（BIS）制裁清單更新、荷蘭/日本出口限制跟進、中國本土替代進展等，關乎全球推論算力的供需格局。

15. 信源

• 論文：
  • Vaswani et al. (2017). Attention Is All You Need.
  • Leviathan et al. (2023). Fast Inference from Transformers via Speculative Decoding.
  • Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.
  • Kwon et al. (2023). vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention.
• 廠商官方技術部落格與白皮書：
  • NVIDIA TensorRT-LLM 文件與 NVIDIA Developer Blog.
  • AMD ROCm 與 MI300X 產品頁面.
  • Google Cloud TPU 效能白皮書.
  • Groq LPU 架構介紹.
• 行業研究報告：
  • Omdia《AI Processors for Cloud and Data Center Forecast – 2024》.
  • IDC《Worldwide AI Server Tracker, 2023Q4》.
  • 650 Group《AI Networking Market Report, 2024》.
• 財務揭露：
  • 輝達 2024 財年 Q3 電話會議紀要.
  • SK 海力士 2024 年 Q1 投資者關係報告.
• 資訊來源說明：以上所有內容包括技術對比、市場規模、公司份額均為截至 2025 年初的公開資訊與行業共識，部分早期資料已標明來源與時間。無法驗證或未揭露的具體數字均已明確標註“公開資料未見”或“據行業估算”，不構成任何形式的投資建議或產品推薦。

---

免責宣告：本文僅供 AI 產業鏈知識學習與資訊參考，不構成任何投資建議、買賣推薦、產品採購建議或價格預測。涉及技術規格、市場資料和公司資訊，請以廠商官方資料、監管揭露和獨立專業意見為準。