KV Cache 量化

3 秒看懂

KV Cache 量化是在大型模型逐 token 生成過程中，將儲存歷史 Key/Value 的快取從 16-bit 浮點壓縮到 8-bit 甚至 4-bit 整數。結果是 同等視訊記憶體下可服務更長上下文或更高併發，是推論降本的核心軟體手段。

3 分鐘產業解釋

Transformer 自迴歸生成時，每個新 token 都要與歷史上所有 token 的 Key、Value 進行注意力計算。存放這些歷史資訊的 KV Cache 隨序列長度線性膨脹——長對話、長文件場景下，KV Cache 的視訊記憶體開銷常超過模型權重本體，成為 GPU 視訊記憶體（HBM）的絕對消耗大戶。

KV Cache 量化的產業邏輯極簡：把 Cache 從 FP16/BF16 壓到 INT8/INT4，使單位視訊記憶體容納的上下文長度翻倍甚至翻四倍。它的商業價值有三層：

1. 單卡吞吐提升：相同 GPU 例項上可撐起更多併發使用者，直接拉低單次推論的算力成本。以 2024 年頭部雲端廠商公開材料為口徑，綜合 KV Cache 量化後單卡有效吞吐普遍可提升 2-4 倍。
2. 解鎖長上下文：128K、256K 乃至百萬 token 的長上下文推論，若無 KV Cache 量化幾乎無法在單卡部署，必須切到多卡或大幅降併發。量化使“長上下文”從 demo 走向 可規模化商業服務。
3. 邊緣/端側部署的“准入證”：消費級 GPU、筆記本甚至手機跑 7B-13B 模型時，權重尚可壓縮，但長序列生成的 KV Cache 往往會直接撐爆 VRAM。量化是讓端側智慧成立的關鍵一環。

結構上，KV Cache 量化已從 2023 年的“實驗性特性”演進為 2024-2025 年推論引擎的 “預設開啟”選項（如 vLLM、TensorRT-LLM、SGLang），各大雲端推論 API 也以此作為同硬體下差異化服務能力的軟體基座。

技術原理

為什麼 KV Cache 會膨脹

設模型層數 L、每層注意力頭數 H、每頭維度 d_{head}、序列長度 S。標準 FP16 下單個請求的 KV Cache 位元組量約為：

text(Size)_{text(KV)} = 2 \times L \times H \times d_{head} \times S \times 2text( bytes) \approx 4 \times L \times H \times d_{head} \times S text( bytes)

以 2024 年主流的 7B 模型（L=32, H=32, d_{head}=128）為例，處理 128K token 的上下文時，單請求 KV Cache 高達 16-20 GB，遠超權重佔用的約 14 GB（FP16）。這是推論硬體選型的決定性約束。

量化核心：從浮點到整數

KV Cache 量化的本質是對一個形狀為 [B, H, S, d_{head}] 的四維張量做低位元轉換。它和權重量化有三點根本不同：

1. 線上性：權重量化可離線（訓練後/量化感知訓練），但 KV Cache 是執行時即時產生的，必須線上量化。
2. 數值分佈漂移：不同層、不同頭、不同 token 位置的 K/V 數值分佈差異巨大，且隨生成過程動態變化，無法用一套靜態引數擬合。
3. 注意力計算的敏感性：Key 的一個微小擾動會經 softmax 非線性放大，尤其在長序列時，極值誤差會被指數級強調。

因此，KV Cache 量化不能直接複製 LLM.int8() 或 GPTQ 的權重量化路線，它要求 動態校準+細粒度分組+混合精度 三位一體。

以 INT8 對稱量化為示例：

1. 線上統計 scale：對每輪新產生的 K、V 張量，在選定粒度上計算絕對值最大值或分位值，得到 scale。

    scale = \frac{\max(|x|)}{127}
    

2. 對映並存儲：

    x_{int8} = text(clamp)(text(round)(x_{fp16} / scale), -128, 127)
    

儲存開銷：整數部分（8-bit）外僅附加 scale（FP16），當量化粒度足夠粗時附加開銷可忽略。

3. 計算時反量化或融合計算：理想情況是直接在硬體低精度計算單元上融合反量化與矩陣乘，避免顯式中間資料搬運。NVIDIA Hopper 架構的 FP8/INT8 Tensor Core、AMD MI300X 的 INT8 指令均為此設計。

分組量化（Group-wise Quantization）

為平衡精度與開銷，工業界主流是 per-token-per-head 或 group-wise 方式：在 d_{head} 維度內每 32 或 64 個元素共享一個 scale，使量化步長更貼合局部分佈。此法在 4-bit 場景幾乎是必需的。

Key/Value 非對稱量化

學術界（如 KIVI 工作）和部分架構發現 Key 和 Value 的數值分佈特性不同：Key 向量具備方向敏感性，對極值誤差更脆弱；Value 向量更像加權求和中的“內容”，對量化噪聲相對魯棒。因此 對 Key 保留更高精度（如 8-bit）而 Value 激進到 4-bit 的異構成略，在同等壓縮比下精度損失顯著更低。

關鍵引數

• 量化位寬：INT8 / FP8 / INT4 / 混合精度。
• 量化粒度：per-tensor / per-token / per-head / group-wise（組大小如 32/64/128）。
• 校準策略：靜態（推論前用校準資料集確定 scale） vs 動態（每步線上統計）。
• 量化運算元型別：對稱 vs 非對稱，是否帶零點（zero-point）。
• 硬體指令集利用：是否啟用硬體融合反量化乘加（如 NVIDIA INT8 IMMA、AMD MFMA）。
• 精度保護機制：敏感層/敏感頭保留 FP16、首 token 保護、異常值隔離。
• KV Cache 淘汰/共享策略：PagedAttention、vLLM 風格的塊式管理與量化的耦合設計。

以上引數構成多維組合，工業部署的典型“甜點”是：per-token INT8 + 首層首 token FP16 保護，在主流長文本 Benchmark（如 LongBench、RULER）上精度退化典型值 < 0.5%。

技術路線

以 2025 年初產業格局為截面，KV Cache 量化可按“激程序度-精度保障”劃分為三大路線：

路線 1：保守穩健型（INT8/FP8 動態量化）

• 代表：vLLM 原生 FP8 KV Cache（配合 FP8 線性層）、TensorRT-LLM INT8 KV Cache。
• 做法：per-token 動態 scale + 線上量化，幾乎不引入離線校準成本，精度損失在多數任務中不可察。
• 收益：視訊記憶體節省約 50%，吞吐提升 1.5-2.5 倍（視序列長度和 batch size 而定）。
• 部署現狀：2024 年 Q4 起成為多數生產推論叢集的預設配置。

路線 2：平衡壓縮型（INT4 + 分組 + 重要度保護）

• 代表：FlexGen（4-bit KV Cache）、H2O 的注意力分數引導量化、部分企業內部自研方案。
• 做法：group-wise 量化（組大小 ≤64）輔以注意力分數或累積重要性排序，對高注意力 KV 對保留 FP16。
• 收益：視訊記憶體節省約 75%，但對於極長序列（>128K）可能在檢索或精準 recall 類任務上出現不可忽視退化。
• 現狀：更多見於非嚴格可逆類任務（閒聊、創意寫作）或極端資源受限的端側場景。

路線 3：激進前沿（≤4-bit + 稀疏 + 預測）

• 代表：KIVI、CacheGen、以及 2024 年底-2025 年初若干 2-bit KV Cache 論文。
• 思路：將量化與稀疏注意力、KV Cache 解除安裝（offloading）、字首快取結合，形成“壓縮-剔除-懶載入”統一戰線。
• 現狀：公開資料未見大規模生產部署；多數停留在研究驗證階段。2-bit 方案在 LLaMA-3-8B 128K 上的解碼困惑度可陡然惡化 1.5-3 個絕對點，暫不具備通用性。

上游

KV Cache 量化的上游驅動力和技術源頭集中在三個層面：

硬體架構

• HBM 容量與頻寬：NVIDIA H100 (80 GB HBM3)、H200 (141 GB HBM3e)、AMD MI300X (192 GB HBM3) 的硬體視訊記憶體增長遠跟不上上下文膨脹速度，量化需求剛性。
• 低精度計算單元：Hopper 的 FP8/INT8 Tensor Core、Blackwell 的 FP4 精度引擎直接決定了量化可走多遠。產業現狀是：硬體先有低精度算力，軟體再跟進。
• 視訊記憶體-計算頻寬比（arithmetic intensity）：GPU 片內 SRAM 遠小於片外 HBM，KV Cache 在長短序列下既可能是 compute bound 也可能 memory bound，影響反量化開銷能否被隱藏。

模型架構

• 注意力頭結構：MQA/GQA 已被 LLaMA 系列、Mistral、Qwen-2 等主流模型採用，相比 MHA 將 KV Cache 縮小 H/H_{kv} 倍（常見 4-8 倍）。MLA（DeepSeek-V2/V3）則更徹底，通過對 Key/Value 低秩壓縮先減小快取體積再量化，形成“結構性壓縮+數值量化”的雙重最佳化。
• 位置編碼：RoPE 的旋轉特性使得 Key 的部分維度對量化尤其敏感，迫使某些方案保留相關維度的高精度。

訓練與資料

• 校準資料集：靜態量化依賴高質量校準集（代表性長文本集合），業界無統一標準。校準資料不足或分佈偏移是精度退化的重要隱性來源。
• 量化感知訓練（QAT）：少部分模型在預訓練/微調階段即引入量化噪聲，使權重和啟用（含 KV Cache）更適應低精度。適用場景窄，規模化推廣有限。

下游

KV Cache 量化的下游效應貫穿推論基礎設施、API 經濟性和終端產品形態：

雲端推論服務

• API 經濟性：Anthropic、OpenAI、Google Cloud、阿里百鍊、位元組火山引擎等長上下文 API（128K-1M token）背後，KV Cache 量化是單位算力成本的關鍵控制器（2024 年行業估算）。
• 多租戶 QoS：在有限 GPU 叢集上，量化直接提升最大並行請求數，改善 P99 延遲的毛刺幅度。

推論架構與中介軟體

• vLLM：自 0.4.x 起量產級支援 FP8 KV Cache，並配合 PagedAttention 塊式管理形成“管理+壓縮”耦合最佳化。
• TensorRT-LLM：提供精細的 KV Cache 量化策略配置，與 NVIDIA Triton 推論伺服器深度繫結。
• SGLang：2024 年快速崛起的推論執行時，亦將 FP8 KV Cache 作為標準特性。
• llama.cpp / Ollama：在消費級硬體領域，通過 Q4_0、Q8_0 等格式量化 KV Cache 是跑 7B+ 模型的基本前提。

應用形態

• AI 程式碼助手、長文件 QA、多輪 Agent：均依賴長上下文穩定執行，量化是經濟前提。
• 端側推論：Apple MLX、高通 AI Engine、聯發科 NeuroPilot 等端側方案均對 KV Cache 壓縮有天然需求，但受限於端側 GPU/NPU 的低精度指令集支援度，產業成熟度仍落後於雲端端。

效能-成本權衡的標準化預期

據公開資料彙總，行業一般預期（2025 年初共識）：啟用 FP8/INT8 KV Cache 是“免費午餐”級別最佳化——精度損耗在多數任務 <0.5%，視訊記憶體節省 ~40-50%；INT4 則進入“有代價”區，需根據業務場景的精度敏感性具體評估。

受益公司

KV Cache 量化作為推論基礎件，不會單獨定價，受益體現在加速自身商業迴圈的企業：

類別	代表	受益邏輯
GPU/加速卡廠商	NVIDIA, AMD	低精度 Tensor Core 利用率拉動高階卡需求；量化使單卡場景拓寬，利好中端卡（如 L40S、MI300X）出貨。
公有雲端推論提供商	微軟 Azure AI, 亞馬遜 AWS (Bedrock), Google雲端 (Vertex AI), 阿里雲端, 位元組火山引擎	相同 GPU 叢集可服務更高併發/更長上下文，邊際毛利率顯著最佳化。2024 年行業會議揭露案例：啟用 KV Cache 量化後，同硬體長上下文推論業務的單位成本下降 30-40%。
推論架構/AI infra 公司	Anyscale (Ray+ vLLM), NVIDIA (Triton+TensorRT-LLM), SGLang 社群, Fireworks AI, Together AI	架構中的 KV 量化能力是廠商比拼推論效能的“標配競技點”，直接影響客戶採選。
終端/AI PC 晶片廠商	高通, Apple, 英特爾, AMD (Ryzen AI)	端側跑大型模型的剛需依賴 KV Cache 壓縮，成為 SoC 軟體棧競爭力的一部分。
大型模型應用公司	OpenAI, Anthropic, 月之暗面, 智譜, MiniMax, 零一萬物等	以更低推論成本提供更長上下文服務，構成同質化模型競爭中的差異化護城河。

市場規模

KV Cache 量化屬推論最佳化中介軟體，無獨立市場報告。其商業意義蘊含於 AI 推論加速與成本最佳化 子市場。

• 參考一：AI 推論 TAM（可服務市場規模）。SemiAnalysis 在 2024 年 7 月估算，2024 年全球 AI 推論（含雲端端+邊緣）的總算力支出約 450-550 億美元，其中推論最佳化類技術（量化、剪枝、蒸餾、KV Cache 管理等）的綜合滲透率超過 60%。以此口徑，KV Cache 量化相關的硬體/軟體/服務之綜合價值錨定於 數十億美元級的機會空間。
• 參考二：雲端推論的 GPU 利用率彈性。頭部雲端廠商公開財報電話會提及，通過軟體最佳化使推論 GPU 叢集的“等效供給”提升 30-50% 已成為標準運營指標（2024 年 Q3 微軟、Google均提及）。KV Cache 量化被列為貢獻因子之一，量化其直接價值約 5-15 億美元/年（2024 年全行業口徑）。
• 參考三：端側推論。高通 2024 年驍龍峰會表示，端側生成式 AI 推動 NPU 和記憶體子系統複雜度升級，KV Cache 壓縮屬於“記憶體牆”的核心解法，但未單獨揭露貨幣化數字。

產業趨勢：2026 年後，隨著 1M token 級上下文成為中高階模型 API 的基準線，KV Cache 量化將不再是“錦上添花”，而是 長上下文服務的經濟基礎設施，滲透率接近 100%。

玩家對比

維度	vLLM (社群)	TensorRT-LLM (NVIDIA)	SGLang (社群)	商業推論平台 (Fireworks 等)
量化型別	FP8 KV Cache (v0.4+)；INT8 實驗性	FP8/INT8 KV Cache，支援細粒度配置	FP8 KV Cache，與 RadixAttention 整合	定製化混合精度方案（細節未公開）
量化粒度	per-tensor / per-token	per-tensor / per-channel / per-token	per-token	公開資料未見
硬體繫結	NVIDIA (CUDA)，部分支援 AMD ROCm	NVIDIA 獨佔	NVIDIA / AMD / 華為昇騰（社群適配中）	通常繫結自家基礎設施
精度-吞吐平衡	吞吐優先，預設配置偏保守	提供保守到激進的多檔預設	吞吐優先且耦合零複製排程	據公開測評，在全精度保持方面調優更細
商業化程度	開源，企業通過 Anyscale 等服務商獲取支援	NVIDIA AI Enterprise 許可提供企業支援	開源，無官方商業支援	閉源商業產品
目標使用者	中小團隊、自建推論叢集、研究機構	企業級 NVIDIA GPU 叢集使用者	追求極致吞吐的長上下文服務	無 GPU 運維團隊的 API 消費者、企業

核心觀察：2025 年初，開源方案（vLLM、SGLang）在社群滲透率和迭代速度上領先，但商業平台在精度保障和企業服務上更有優勢；硬體繫結仍是影響選擇的關鍵——TensorRT-LLM 在 NVIDIA H200/B200 的硬體協同上具備不可替代性，而開源方案在跨廠商適配（AMD、昇騰）上進展迅速。

風險

1. 精度退化的“長尾”風險：公開 Benchmark 總分退化為 0.3% 時，特定檢索、計數的細粒度任務錯誤率可能 3-5 倍跳升。在生產部署中，需針對業務場景進行專項評測，不可籠統以外推。
2. 硬體鎖定與軟體債務：極致量化通常依賴特定 GPU 的低精度指令（如 H100 的 FP8 Tensor Core）。跨架構遷移時可能需大幅返工架構整合層程式碼。
3. 校準偏移風險：靜態量化依賴校準資料分佈，一旦業務流量中的文本形態發生顯著變化（如從英文對話切換為程式碼+中文混合），量化誤差會升高。需要持續監控並週期性重新校準。
4. 與稀疏/解除安裝策略的複合風險：產業界已出現“量化+丟棄+解除安裝”的疊加使用，但各技術的誤差存在耦合放大效應，但系統性評估標準仍缺失。
5. 過度壓縮對長尾使用者的影響：少數重度長上下文使用者（接近模型最大支援長度邊緣）在激進量化下，可能遭遇“懸崖式退化”——最後一成上下文的注意力分數驟降，引發客服質量事故或隱性商業損失。
6. 專利與合規風險：2024 年起多個量化相關專利（涉及分組量化、Key-Value 非對稱方案）正處於審查/授權週期，開源方案商業化使用時需關注法律風險評估。

誤讀糾偏

• “KV Cache 量化萬能論”。糾偏：量化解決視訊記憶體，不解決注意力 O(N^2) 計算複雜度和 RoPE 外推衰減。三者並列為長上下文“三座大山”，量化僅取其一。
• “越低位元越好”。糾偏：INT4 及以下方案在產業界仍受限於精度不可靠與反量化開銷消不掉的矛盾。多數生產系統 2025 年仍在 8-bit 區間取平衡。4-bit 是前沿，非普適。
• “量化後精度損失約等於模型退化”。糾偏：KV Cache 量化產生的“錯誤”與模型本身能力退化是兩類機制——量化噪聲具有隨機性和分佈相關性，表現為長文本特定位置的資訊弱化，而模型能力退化則是全域性性下降。正確的評估架構是：同等硬體下 長上下文的可用性 而非單純 PPL。
• “量化是對抗視訊記憶體不足的權宜之計”。糾偏：即便未來 HBM 容量增長，上下文長度需求將同步攀升（從 128K 邁向 1M、10M），量化是結構性的長期技術棧，非臨時補丁。
• “所有架構的量化實現可互換”。糾偏：不同架構在量化粒度、scale 計算策略、融合運算元質量、記憶體版面配置上存在實質性差異，評測必須鎖定架構版本和配置，不可橫向簡單類比。

最新事件

• 2024 年 11 月：vLLM v0.6.0 釋出，FP8 KV Cache 正式進入穩定版，支援線上動態量化。
• 2024 年 12 月：SGLang 釋出 RadixAttention 與 KV Cache FP8 量化的深度整合，在 128K 長文本推論中宣稱吞吐提升最高 2.2 倍。
• 2025 年 1 月 CES：NVIDIA 釋出 Blackwell RTX 50 系列，原生支援 FP4 精度計算。CEO 黃仁勳演示中指出“FP4 可令本地大型模型的視訊記憶體佔用降低一半，KV Cache 將是核心受益者”。（來源：NVIDIA CES 2025 主題演講）
• 2025 年 2 月：DeepSeek-V3/R1 系列通過 MLA（多頭潛在注意力）實現 KV Cache 的結構性低秩壓縮，MLA 與量化的互補性在開源社群引發廣泛討論，部分第三方推論架構開始探索“低秩+量化”的聯合最佳化。
• 2025 年 3 月：Google Cloud Next ‘25 預釋出環節揭露，Vertex AI 上的長上下文推論正在灰度測試“自適應 KV Cache 量化”——根據請求的上下文負載即時調整量化位寬（4/8 bit 動態切換）。具體技術細節公開資料未見。

追蹤指標

• 架構側：vLLM / TensorRT-LLM / SGLang 的 Release Notes 中關於 KV Cache 量化新位寬（2-bit, FP4）、新融合運算元的支援宣告。
• 硬體側：NVIDIA B100/B200、AMD MI350 等新一代 GPU 的低精度指令集演進路線圖中對 4-bit/2-bit 計算的原生支援程度。
• 學術基準：長上下文評測集（LongBench, RULER, L-Eval, ∞Bench）在啟用不同量化配置下的精度退化報告，重點關注 128K、256K 檔位。
• 雲端服務指標：頭部推論 API（OpenAI、Anthropic、Google Gemini、阿里千問）的長上下文服務定價變動和上下文支援上限，隱含軟體最佳化（含量化）效益的兌現節奏。
• 開源協議/專利動態：重點量化實現（如 llama.cpp 的 KV 量化、vLLM 的 FP8 模組）的 LICENSE 變更及相關專利授權或訴訟新聞。
• 行業滲透率估算：第三方機構（如 SemiAnalysis、Liftr Insights）釋出的雲端推論 GPU 例項中“支援低精度 KV Cache 的負載佔比”季度追蹤。

信源

1. KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache. (arXiv, 2024) — 提出 K/V 不對稱 2-bit 方案的開創性論文，定量分析了 Key 與 Value 的量化敏感度差異。
2. vLLM 官方文件 — PagedAttention 與 KV Cache 量化章節。https://docs.vllm.ai
3. NVIDIA TensorRT-LLM 文件 — KV Cache 量化與推論最佳化部分。https://github.com/NVIDIA/TensorRT-LLM
4. SGLang 技術部落格 — RadixAttention 與 FP8 KV Cache 整合。https://lmsys.org/blog/2024-01-17-sglang/
5. FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU. (ICML 2023) — 混合精度 KV Cache 與解除安裝策略的系統級驗證。
6. SemiAnalysis — AI Inference Cost Model & Total Addressable Market, 2024-2028. (2024 年 7 月訂閱報告) — 推論市場的規模測算與量化滲透率估計。
7. NVIDIA CES 2025 Keynote — Blackwell RTX 50 系列 FP4 支援與推論應用演示。
8. 高通驍龍峰會 2024 — 端側生成式 AI 及記憶體最佳化技術路線圖分享。
9. 微軟 FY2025 Q1 業績電話會 (2024 年 10 月) — Azure AI 推論效率最佳化貢獻的資本性支出效率揭露片段。
10. 各模型團隊技術報告 — LLaMA-3 (Meta), Qwen-2 (阿里), DeepSeek-V2/V3, Mistral (Mistral AI) 中關於 GQA/MQA/MLA 架構選擇的討論章節。
11. 公開 Benchmark 站點與論文 — LongBench, RULER, L-Eval, ∞Bench 的 Leaderboard 與相關量化消融實驗資料。