KV Cache 量化

3 秒看懂

KV Cache 量化是在大模型逐 token 生成过程中，将存储历史 Key/Value 的缓存从 16-bit 浮点压缩到 8-bit 甚至 4-bit 整数。结果是 同等显存下可服务更长上下文或更高并发，是推理降本的核心软件手段。

3 分钟产业解释

Transformer 自回归生成时，每个新 token 都要与历史上所有 token 的 Key、Value 进行注意力计算。存放这些历史信息的 KV Cache 随序列长度线性膨胀——长对话、长文档场景下，KV Cache 的显存开销常超过模型权重本体，成为 GPU 显存（HBM）的绝对消耗大户。

KV Cache 量化的产业逻辑极简：把 Cache 从 FP16/BF16 压到 INT8/INT4，使单位显存容纳的上下文长度翻倍甚至翻四倍。它的商业价值有三层：

1. 单卡吞吐提升：相同 GPU 实例上可撑起更多并发用户，直接拉低单次推理的算力成本。以 2024 年头部云厂商公开材料为口径，综合 KV Cache 量化后单卡有效吞吐普遍可提升 2-4 倍。
2. 解锁长上下文：128K、256K 乃至百万 token 的长上下文推理，若无 KV Cache 量化几乎无法在单卡部署，必须切到多卡或大幅降并发。量化使“长上下文”从 demo 走向 可规模化商业服务。
3. 边缘/端侧部署的“准入证”：消费级 GPU、笔记本甚至手机跑 7B-13B 模型时，权重尚可压缩，但长序列生成的 KV Cache 往往会直接撑爆 VRAM。量化是让端侧智能成立的关键一环。

结构上，KV Cache 量化已从 2023 年的“实验性特性”演进为 2024-2025 年推理引擎的 “默认开启”选项（如 vLLM、TensorRT-LLM、SGLang），各大云推理 API 也以此作为同硬件下差异化服务能力的软件基座。

技术原理

为什么 KV Cache 会膨胀

设模型层数 L、每层注意力头数 H、每头维度 d_{head}、序列长度 S。标准 FP16 下单个请求的 KV Cache 字节量约为：

text(Size)_{text(KV)} = 2 \times L \times H \times d_{head} \times S \times 2text( bytes) \approx 4 \times L \times H \times d_{head} \times S text( bytes)

以 2024 年主流的 7B 模型（L=32, H=32, d_{head}=128）为例，处理 128K token 的上下文时，单请求 KV Cache 高达 16-20 GB，远超权重占用的约 14 GB（FP16）。这是推理硬件选型的决定性约束。

量化核心：从浮点到整数

KV Cache 量化的本质是对一个形状为 [B, H, S, d_{head}] 的四维张量做低比特转换。它和权重量化有三点根本不同：

1. 在线性：权重量化可离线（训练后/量化感知训练），但 KV Cache 是运行时实时产生的，必须在线量化。
2. 数值分布漂移：不同层、不同头、不同 token 位置的 K/V 数值分布差异巨大，且随生成过程动态变化，无法用一套静态参数拟合。
3. 注意力计算的敏感性：Key 的一个微小扰动会经 softmax 非线性放大，尤其在长序列时，极值误差会被指数级强调。

因此，KV Cache 量化不能直接复制 LLM.int8() 或 GPTQ 的权重量化路线，它要求 动态校准+细粒度分组+混合精度 三位一体。

以 INT8 对称量化为示例：

1. 在线统计 scale：对每轮新产生的 K、V 张量，在选定粒度上计算绝对值最大值或分位值，得到 scale。

    scale = \frac{\max(|x|)}{127}
    

2. 映射并存储：

    x_{int8} = text(clamp)(text(round)(x_{fp16} / scale), -128, 127)
    

存储开销：整数部分（8-bit）外仅附加 scale（FP16），当量化粒度足够粗时附加开销可忽略。

3. 计算时反量化或融合计算：理想情况是直接在硬件低精度计算单元上融合反量化与矩阵乘，避免显式中间数据搬运。NVIDIA Hopper 架构的 FP8/INT8 Tensor Core、AMD MI300X 的 INT8 指令均为此设计。

分组量化（Group-wise Quantization）

为平衡精度与开销，工业界主流是 per-token-per-head 或 group-wise 方式：在 d_{head} 维度内每 32 或 64 个元素共享一个 scale，使量化步长更贴合局部分布。此法在 4-bit 场景几乎是必需的。

Key/Value 非对称量化

学术界（如 KIVI 工作）和部分框架发现 Key 和 Value 的数值分布特性不同：Key 向量具备方向敏感性，对极值误差更脆弱；Value 向量更像加权求和中的“内容”，对量化噪声相对鲁棒。因此 对 Key 保留更高精度（如 8-bit）而 Value 激进到 4-bit 的异构成略，在同等压缩比下精度损失显著更低。

关键参数

• 量化位宽：INT8 / FP8 / INT4 / 混合精度。
• 量化粒度：per-tensor / per-token / per-head / group-wise（组大小如 32/64/128）。
• 校准策略：静态（推理前用校准数据集确定 scale） vs 动态（每步在线统计）。
• 量化算子类型：对称 vs 非对称，是否带零点（zero-point）。
• 硬件指令集利用：是否启用硬件融合反量化乘加（如 NVIDIA INT8 IMMA、AMD MFMA）。
• 精度保护机制：敏感层/敏感头保留 FP16、首 token 保护、异常值隔离。
• KV Cache 淘汰/共享策略：PagedAttention、vLLM 风格的块式管理与量化的耦合设计。

以上参数构成多维组合，工业部署的典型“甜点”是：per-token INT8 + 首层首 token FP16 保护，在主流长文本 Benchmark（如 LongBench、RULER）上精度退化典型值 < 0.5%。

技术路线

以 2025 年初产业格局为截面，KV Cache 量化可按“激进程度-精度保障”划分为三大路线：

路线 1：保守稳健型（INT8/FP8 动态量化）

• 代表：vLLM 原生 FP8 KV Cache（配合 FP8 线性层）、TensorRT-LLM INT8 KV Cache。
• 做法：per-token 动态 scale + 在线量化，几乎不引入离线校准成本，精度损失在多数任务中不可察。
• 收益：显存节省约 50%，吞吐提升 1.5-2.5 倍（视序列长度和 batch size 而定）。
• 部署现状：2024 年 Q4 起成为多数生产推理集群的默认配置。

路线 2：平衡压缩型（INT4 + 分组 + 重要度保护）

• 代表：FlexGen（4-bit KV Cache）、H2O 的注意力分数引导量化、部分企业内部自研方案。
• 做法：group-wise 量化（组大小 ≤64）辅以注意力分数或累积重要性排序，对高注意力 KV 对保留 FP16。
• 收益：显存节省约 75%，但对于极长序列（>128K）可能在检索或精准 recall 类任务上出现不可忽视退化。
• 现状：更多见于非严格可逆类任务（闲聊、创意写作）或极端资源受限的端侧场景。

路线 3：激进前沿（≤4-bit + 稀疏 + 预测）

• 代表：KIVI、CacheGen、以及 2024 年底-2025 年初若干 2-bit KV Cache 论文。
• 思路：将量化与稀疏注意力、KV Cache 卸载（offloading）、前缀缓存结合，形成“压缩-剔除-懒加载”统一战线。
• 现状：公开资料未见大规模生产部署；多数停留在研究验证阶段。2-bit 方案在 LLaMA-3-8B 128K 上的解码困惑度可陡然恶化 1.5-3 个绝对点，暂不具备通用性。

上游

KV Cache 量化的上游驱动力和技术源头集中在三个层面：

硬件架构

• HBM 容量与带宽：NVIDIA H100 (80 GB HBM3)、H200 (141 GB HBM3e)、AMD MI300X (192 GB HBM3) 的硬件显存增长远跟不上上下文膨胀速度，量化需求刚性。
• 低精度计算单元：Hopper 的 FP8/INT8 Tensor Core、Blackwell 的 FP4 精度引擎直接决定了量化可走多远。产业现状是：硬件先有低精度算力，软件再跟进。
• 显存-计算带宽比（arithmetic intensity）：GPU 片内 SRAM 远小于片外 HBM，KV Cache 在长短序列下既可能是 compute bound 也可能 memory bound，影响反量化开销能否被隐藏。

模型架构

• 注意力头结构：MQA/GQA 已被 LLaMA 系列、Mistral、Qwen-2 等主流模型采用，相比 MHA 将 KV Cache 缩小 H/H_{kv} 倍（常见 4-8 倍）。MLA（DeepSeek-V2/V3）则更彻底，通过对 Key/Value 低秩压缩先减小缓存体积再量化，形成“结构性压缩+数值量化”的双重优化。
• 位置编码：RoPE 的旋转特性使得 Key 的部分维度对量化尤其敏感，迫使某些方案保留相关维度的高精度。

训练与数据

• 校准数据集：静态量化依赖高质量校准集（代表性长文本集合），业界无统一标准。校准数据不足或分布偏移是精度退化的重要隐性来源。
• 量化感知训练（QAT）：少部分模型在预训练/微调阶段即引入量化噪声，使权重和激活（含 KV Cache）更适应低精度。适用场景窄，规模化推广有限。

下游

KV Cache 量化的下游效应贯穿推理基础设施、API 经济性和终端产品形态：

云推理服务

• API 经济性：Anthropic、OpenAI、Google Cloud、阿里百炼、字节火山引擎等长上下文 API（128K-1M token）背后，KV Cache 量化是单位算力成本的关键控制器（2024 年行业估算）。
• 多租户 QoS：在有限 GPU 集群上，量化直接提升最大并行请求数，改善 P99 延迟的毛刺幅度。

推理框架与中间件

• vLLM：自 0.4.x 起量产级支持 FP8 KV Cache，并配合 PagedAttention 块式管理形成“管理+压缩”耦合优化。
• TensorRT-LLM：提供精细的 KV Cache 量化策略配置，与 NVIDIA Triton 推理服务器深度绑定。
• SGLang：2024 年快速崛起的推理运行时，亦将 FP8 KV Cache 作为标准特性。
• llama.cpp / Ollama：在消费级硬件领域，通过 Q4_0、Q8_0 等格式量化 KV Cache 是跑 7B+ 模型的基本前提。

应用形态

• AI 代码助手、长文档 QA、多轮 Agent：均依赖长上下文稳定运行，量化是经济前提。
• 端侧推理：Apple MLX、高通 AI Engine、联发科 NeuroPilot 等端侧方案均对 KV Cache 压缩有天然需求，但受限于端侧 GPU/NPU 的低精度指令集支持度，产业成熟度仍落后于云端。

性能-成本权衡的标准化预期

据公开资料汇总，行业一般预期（2025 年初共识）：启用 FP8/INT8 KV Cache 是“免费午餐”级别优化——精度损耗在多数任务 <0.5%，显存节省 ~40-50%；INT4 则进入“有代价”区，需根据业务场景的精度敏感性具体评估。

受益公司

KV Cache 量化作为推理基础件，不会单独定价，受益体现在加速自身商业循环的企业：

市场规模

KV Cache 量化属推理优化中间件，无独立市场报告。其商业意义蕴含于 AI 推理加速与成本优化 子市场。

• 参考一：AI 推理 TAM（可服务市场规模）。SemiAnalysis 在 2024 年 7 月估算，2024 年全球 AI 推理（含云端+边缘）的总算力支出约 450-550 亿美元，其中推理优化类技术（量化、剪枝、蒸馏、KV Cache 管理等）的综合渗透率超过 60%。以此口径，KV Cache 量化相关的硬件/软件/服务之综合价值锚定于 数十亿美元级的机会空间。
• 参考二：云推理的 GPU 利用率弹性。头部云厂商公开财报电话会提及，通过软件优化使推理 GPU 集群的“等效供给”提升 30-50% 已成为标准运营指标（2024 年 Q3 微软、谷歌均提及）。KV Cache 量化被列为贡献因子之一，量化其直接价值约 5-15 亿美元/年（2024 年全行业口径）。
• 参考三：端侧推理。高通 2024 年骁龙峰会表示，端侧生成式 AI 推动 NPU 和内存子系统复杂度升级，KV Cache 压缩属于“内存墙”的核心解法，但未单独披露货币化数字。

产业趋势：2026 年后，随着 1M token 级上下文成为中高端模型 API 的基准线，KV Cache 量化将不再是“锦上添花”，而是 长上下文服务的经济基础设施，渗透率接近 100%。

玩家对比

核心观察：2025 年初，开源方案（vLLM、SGLang）在社区渗透率和迭代速度上领先，但商业平台在精度保障和企业服务上更有优势；硬件绑定仍是影响选择的关键——TensorRT-LLM 在 NVIDIA H200/B200 的硬件协同上具备不可替代性，而开源方案在跨厂商适配（AMD、昇腾）上进展迅速。

风险

1. 精度退化的“长尾”风险：公开 Benchmark 总分退化为 0.3% 时，特定检索、计数的细粒度任务错误率可能 3-5 倍跳升。在生产部署中，需针对业务场景进行专项评测，不可笼统以外推。
2. 硬件锁定与软件债务：极致量化通常依赖特定 GPU 的低精度指令（如 H100 的 FP8 Tensor Core）。跨架构迁移时可能需大幅返工框架集成层代码。
3. 校准偏移风险：静态量化依赖校准数据分布，一旦业务流量中的文本形态发生显著变化（如从英文对话切换为代码+中文混合），量化误差会升高。需要持续监控并周期性重新校准。
4. 与稀疏/卸载策略的复合风险：产业界已出现“量化+丢弃+卸载”的叠加使用，但各技术的误差存在耦合放大效应，但系统性评估标准仍缺失。
5. 过度压缩对长尾用户的影响：少数重度长上下文用户（接近模型最大支持长度边缘）在激进量化下，可能遭遇“悬崖式退化”——最后一成上下文的注意力分数骤降，引发客服质量事故或隐性商业损失。
6. 专利与合规风险：2024 年起多个量化相关专利（涉及分组量化、Key-Value 非对称方案）正处于审查/授权周期，开源方案商业化使用时需关注法律风险评估。

误读纠偏

• “KV Cache 量化万能论”。纠偏：量化解决显存，不解决注意力 O(N^2) 计算复杂度和 RoPE 外推衰减。三者并列为长上下文“三座大山”，量化仅取其一。
• “越低比特越好”。纠偏：INT4 及以下方案在产业界仍受限于精度不可靠与反量化开销消不掉的矛盾。多数生产系统 2025 年仍在 8-bit 区间取平衡。4-bit 是前沿，非普适。
• “量化后精度损失约等于模型退化”。纠偏：KV Cache 量化产生的“错误”与模型本身能力退化是两类机制——量化噪声具有随机性和分布相关性，表现为长文本特定位置的信息弱化，而模型能力退化则是全局性下降。正确的评估框架是：同等硬件下 长上下文的可用性 而非单纯 PPL。
• “量化是对抗显存不足的权宜之计”。纠偏：即便未来 HBM 容量增长，上下文长度需求将同步攀升（从 128K 迈向 1M、10M），量化是结构性的长期技术栈，非临时补丁。
• “所有框架的量化实现可互换”。纠偏：不同框架在量化粒度、scale 计算策略、融合算子质量、内存布局上存在实质性差异，评测必须锁定框架版本和配置，不可横向简单类比。

最新事件

• 2024 年 11 月：vLLM v0.6.0 发布，FP8 KV Cache 正式进入稳定版，支持在线动态量化。
• 2024 年 12 月：SGLang 发布 RadixAttention 与 KV Cache FP8 量化的深度集成，在 128K 长文本推理中宣称吞吐提升最高 2.2 倍。
• 2025 年 1 月 CES：NVIDIA 发布 Blackwell RTX 50 系列，原生支持 FP4 精度计算。CEO 黄仁勋演示中指出“FP4 可令本地大模型的显存占用降低一半，KV Cache 将是核心受益者”。（来源：NVIDIA CES 2025 主题演讲）
• 2025 年 2 月：DeepSeek-V3/R1 系列通过 MLA（多头潜在注意力）实现 KV Cache 的结构性低秩压缩，MLA 与量化的互补性在开源社区引发广泛讨论，部分第三方推理框架开始探索“低秩+量化”的联合优化。
• 2025 年 3 月：谷歌 Cloud Next ‘25 预发布环节披露，Vertex AI 上的长上下文推理正在灰度测试“自适应 KV Cache 量化”——根据请求的上下文负载实时调整量化位宽（4/8 bit 动态切换）。具体技术细节公开资料未见。

跟踪指标

• 框架侧：vLLM / TensorRT-LLM / SGLang 的 Release Notes 中关于 KV Cache 量化新位宽（2-bit, FP4）、新融合算子的支持声明。
• 硬件侧：NVIDIA B100/B200、AMD MI350 等新一代 GPU 的低精度指令集演进路线图中对 4-bit/2-bit 计算的原生支持程度。
• 学术基准：长上下文评测集（LongBench, RULER, L-Eval, ∞Bench）在启用不同量化配置下的精度退化报告，重点关注 128K、256K 档位。
• 云服务指标：头部推理 API（OpenAI、Anthropic、Google Gemini、阿里千问）的长上下文服务定价变动和上下文支持上限，隐含软件优化（含量化）效益的兑现节奏。
• 开源协议/专利动态：重点量化实现（如 llama.cpp 的 KV 量化、vLLM 的 FP8 模块）的 LICENSE 变更及相关专利授权或诉讼新闻。
• 行业渗透率估算：第三方机构（如 SemiAnalysis、Liftr Insights）发布的云推理 GPU 实例中“支持低精度 KV Cache 的负载占比”季度追踪。

信源

1. KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache. (arXiv, 2024) — 提出 K/V 不对称 2-bit 方案的开创性论文，定量分析了 Key 与 Value 的量化敏感度差异。
2. vLLM 官方文档 — PagedAttention 与 KV Cache 量化章节。https://docs.vllm.ai
3. NVIDIA TensorRT-LLM 文档 — KV Cache 量化与推理优化部分。https://github.com/NVIDIA/TensorRT-LLM
4. SGLang 技术博客 — RadixAttention 与 FP8 KV Cache 集成。https://lmsys.org/blog/2024-01-17-sglang/
5. FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU. (ICML 2023) — 混合精度 KV Cache 与卸载策略的系统级验证。
6. SemiAnalysis — AI Inference Cost Model & Total Addressable Market, 2024-2028. (2024 年 7 月订阅报告) — 推理市场的规模测算与量化渗透率估计。
7. NVIDIA CES 2025 Keynote — Blackwell RTX 50 系列 FP4 支持与推理应用演示。
8. 高通骁龙峰会 2024 — 端侧生成式 AI 及内存优化技术路线图分享。
9. 微软 FY2025 Q1 业绩电话会 (2024 年 10 月) — Azure AI 推理效率优化贡献的资本性支出效率披露片段。
10. 各模型团队技术报告 — LLaMA-3 (Meta), Qwen-2 (阿里), DeepSeek-V2/V3, Mistral (Mistral AI) 中关于 GQA/MQA/MLA 架构选择的讨论章节。
11. 公开 Benchmark 站点与论文 — LongBench, RULER, L-Eval, ∞Bench 的 Leaderboard 与相关量化消融实验数据。