Provisioned Throughput

3 秒看懂

一句话：Provisioned Throughput（PT）是一种 “包场制”算力消费模式——客户提前锁定/预留一整块确定性的计算吞吐能力（如 LLM 推理的 token/s、存储的 IOPS、网络带宽），按时间计费，换取可预测的延迟与吞吐 SLA，而非按实际使用量（on-demand）逐次付费。

类比：On-demand 像打出租车按公里计费，Provisioned Throughput 像包一辆车一整天——车随时等你，费用固定，确定性拉满。

3 分钟产业解释

为什么这个概念在 AI 产业链中突然变重要？

过去三年，AI 推理服务的计费模型经历了从”按 token 计量”（pay-per-token）到”按吞吐包月”（provisioned throughput）的结构性迁移。这不是一个纯粹的定价花样，而是整个 AI 基础设施从”水电煤”向”专线专网”演进的缩影。

驱动力链条如下：

1. 大模型推理成为生产环节：当 LLM 从 demo 走进客服、代码生成、搜索增强等生产流水线，企业不能再容忍”高峰期排队、延迟抖动”的不确定性。
2. GPU 资源的物理稀缺性：顶级 AI 加速器（H100/H200/B200 等）供应仍然紧张，云厂商无法无限扩 on-demand 池，必须通过预置承诺来管理供需平衡。
3. 客户愿意为确定性溢价付费：对于 SLA 敏感的金融、医疗、客服等场景，“贵一点但保证 100ms 以内响应”远胜于”便宜但看天吃饭”。

产业含义：Provisioned Throughput 模式让云厂商可以把未来的 GPU 算力提前”卖期票”，锁定收入（提升 ARR 质量），同时也把风险转嫁为客户的承诺期限。这与半导体行业的 wafer agreement（晶圆长期协议）在商业逻辑上高度同构。

15 分钟专家深入

一、PT 模式在 AI 推理中的运作机制

以主流云平台的 LLM 推理 Provisioned Throughput 为基准描述（具体定价和规格因厂商、模型、区域而异，以下为定性机制描述）：

核心逻辑：模型副本 × 并行配置 → 确定性吞吐上界

┌──────────────────────────────────────────────────────┐
│           Provisioned Throughput 单元                  │
│                                                      │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐  │
│  │ Model Copy 1│  │ Model Copy 2│  │ Model Copy N│  │
│  │ (GPU Group) │  │ (GPU Group) │  │ (GPU Group) │  │
│  └──────┬──────┘  └──────┬──────┘  └──────┬──────┘  │
│         │                │                │         │
│         └────────┬───────┘────────┬───────┘         │
│                  │                │                  │
│           Load Balancer / Router                     │
│                                                      │
│  ◆ Model Units = 副本数 = f(模型大小, 精度, 并行策略)  │
│  ◆ 总吞吐 ≈ 单副本吞吐 × 副本数（理想线性扩展）        │
│  ◆ 客户锁定 Model Units 数量，按小时/月计费            │
└──────────────────────────────────────────────────────┘

关键参数维度（定性）：

二、与其他计费/调度模式的结构性差异

   价格 ↑
    │    Provisioned ─── 固定价格/固定吞吐
    │    (确定性溢价)
    │         ╲
    │          ╲
    │           ╲    On-demand ─── 按量浮动
    │            ╲
    │             ╲
    │              ╲   Spot/Preemptible ─── 竞价
    │               ╲
    └──────────────────────────────── 吞吐确定性 →

三、为什么这个模式改变了算力经济学

对云厂商（供给端）：

• 将零散的 on-demand 碎片流量聚合为大块可预测负载，提升 GPU 利用率规划精度。
• 预收款模式改善现金流和收入可见性（类似 SaaS 的 ARR 逻辑）。
• 但风险在于：如果客户买的 provisioned 吞吐长期闲置，GPU 实际利用率下降，单位经济变差。

对客户（需求端）：

• 确定性 = 可靠的产品体验：对话延迟 P99 可控，不会因邻居租户突发流量被挤压。
• 成本可预测：月度固定账单，财务规划友好。
• 锁定期是双刃剑：如果模型升级需要切换（如从 GPT-4 迁移到 GPT-4o），已有 provisioned 承诺可能成为迁移摩擦。

技术原理

4.1 AI 推理层 Provisioned Throughput 的技术实现

Provisioned Throughput 的本质是资源隔离 + 预分配。实现路径因平台而异，但底层机制可归纳为三层：

第一层：物理资源预留（Resource Reservation）

┌──────────────────────────────────────────────┐
│               GPU 集群物理层                   │
│                                              │
│  ┌──── Provisioned Pool ────┐  ┌─ On-demand ┐│
│  │ GPU 0-7 → Customer A     │  │ GPU 16-23  ││
│  │ GPU 8-15 → Customer B    │  │ (共享池)    ││
│  │ (硬隔离 / 软隔离)         │  │             ││
│  └──────────────────────────┘  └─────────────┘│
└──────────────────────────────────────────────┘

• 硬隔离：Provisioned 客户的 GPU 被物理或 VM 级别独占，完全不受其他租户影响。NVIDIA MIG（Multi-Instance GPU）可将单 GPU 硬件切分为多个独立实例，提供强隔离保证，属于此类别。代价是资源碎片化。
• 软隔离：通过 Kubernetes Resource Quota、GPU 时间片调度（如 NVIDIA MPS）实现逻辑隔离，灵活性更高但隔离度略低。
• 大多数生产级 PT 服务倾向于硬隔离或接近硬隔离（MIG 级分区），因为 SLA 承诺需要可证明的隔离保证。

第二层：模型调度与并行策略

Provisioned 的 “吞吐量” 最终由以下技术栈决定：

注意：并行训练中的通信模式（AllReduce、All-to-All）与推理服务的调度模式是不同层面的问题。Provisioned Throughput 关注的是推理服务的吞吐 SLA，其底层使用的是推理引擎（如 vLLM、TensorRT-LLM、Triton）的调度能力，而非 Megatron 式训练并行。

第三层：SLA 监控与保障

请求 → API Gateway → Load Balancer → PT 专属推理副本池
                                        │
                                        ├── Latency Monitor
                                        ├── Throughput Meter (tokens/s)
                                        └── SLA Breach Alert → 自动扩容
                                                                  (如果配置了 burst)

4.2 存储层 Provisioned Throughput 的技术实现

在 AI 培训/推理的全栈中，存储层也有 provisioned throughput 概念：

• 块存储（如 AWS EBS io2 Block Express、Azure Ultra Disk）：预置 IOPS 和吞吐 MB/s，确保数据加载不成为 GPU 的瓶颈。
• 文件存储（如 AWS FSx for Lustre）：Provisioned 吞吐模式下，训练数据读取带宽与 GPU 算力匹配。
• 对象存储：通常不支持 provisioned throughput，而是通过 Transfer Acceleration 或前缀分散策略解决热点。

4.3 网络层 Provisioned Throughput

• 跨节点 GPU 通信（如 NCCL over RoCE/InfiniBand）：带宽由物理拓扑决定，非”provisioned”但需要网络工程保障。
• CDN / API 出口带宽：部分云厂商提供 Provisioned Bandwidth 选项，确保推理结果回传不受互联网拥塞影响。

技术演进史

技术路线对比

AI 推理计费/调度模式量化对比

存储层 Provisioned vs. 通用对比

注意：上表中的具体定价、IOPS 上限等因厂商、区域、世代而异，此处为定性对比框架，具体数值请参见各厂商官方定价页。

上下游

上游（决定 PT 的能力边界）

┌─────────────────────────────────────────────────────┐
│                    上 游 供 应 链                      │
├─────────────┬───────────────┬───────────────────────┤
│  AI 加速器   │  服务器/OEM    │  云基础设施             │
│             │               │                       │
│ GPU/TPU/    │ DGX/HGX 系列  │ 数据中心 + 网络          │
│ NPU 供应量  │ 及定制服务器    │ (InfiniBand/RoCE)      │
│             │               │                       │
│ → 决定 PT   │ → 决定单 PT    │ → 决定集群级            │
│   总产能上限 │   Unit 的物理  │   PT 的扩展上界          │
│             │   GPU 格式     │                       │
└─────────────┴───────────────┴───────────────────────┘

• AI 加速器供应：PT 的总可用容量直接取决于 GPU/加速器的物理供应量。当 H100/H200 供不应求时，云厂商的 PT 售罄速度极快，形成”一 unit 难求”的局面。
• 推理引擎：vLLM、TensorRT-LLM、SGLang 等开源推理引擎的效率直接影响”每 GPU 可售出的 PT 量”。引擎优化 20% 可能意味着同样 GPU 数量下可多卖 20% 的 PT。
• 模型优化：量化（INT4/FP8）、蒸馏、剪枝等技术可在不显著降低质量的前提下提升单 GPU 推理吞吐，间接提升 PT 的性价比。

下游（PT 的消费者）

┌─────────────────────────────────────────────────────┐
│                   下 游 应 用 层                      │
├─────────────┬───────────────┬───────────────────────┤
│  企业 SaaS   │  AI-Native    │  垂直行业              │
│             │  应用          │                       │
│ CRM/客服/   │ 代码助手/      │ 金融风控推理/           │
│ 文档处理     │ 写作工具/      │ 医疗影像分析/           │
│             │ 搜索增强       │ 自动驾驶推理            │
│             │               │                       │
│ → SLA 敏感  │ → 成本敏感     │ → 合规+SLA 双敏感       │
│ → PT 大客户 │ → PT+On-demand │ → 长期 PT 合同          │
│             │   混合使用      │                       │
└─────────────┴───────────────┴───────────────────────┘

关键指标

供需与市场数据

市场格局（定性判断）

• 供给侧高度集中：全球 AI 推理 PT 市场主要由三家超大规模云厂商（AWS、Azure、GCP）主导，合计估计占据 [未充分披露] 以上份额。其次是国内云厂商（阿里云、华为云、腾讯云）和专业推理服务商（如 CoreWeave、Lambda 等）。
• 需求侧快速增长：随着企业 AI 应用从 POC 进入生产，Provisioned Throughput 需求预计以 [行业估算] 年化 60-80% 的速度增长（2024-2026E），远快于整体云计算增速。
• 供需缺口仍然存在：顶级 AI 加速器的供应紧张是 PT 容量的最大瓶颈。PT 售罄（waitlist）现象在 H100/H200 代际上普遍存在。

定价结构（定性框架）

PT 月度成本 = Model Units × 每 Unit 小时单价 × 承诺小时数 × (1 - 期限折扣)

其中：
- Model Units = f(模型大小, 精度, 并行配置)
- 每 Unit 小时单价 = 由厂商定价，受 GPU 成本 + 利润率驱动
- 期限折扣：月度 < 年度 < 多年（年度合同折扣通常在 15-40% 区间 [行业估算]）

重要提示：具体 Model Unit 定价因厂商、模型、区域、合同谈判差异极大，此处不给出具体数字，避免误导。建议查阅各厂商官方定价页面获取最新数据。

代表公司与资本映射

投资逻辑

核心投资主题

1. PT 模式 = AI 推理收入的”SaaS 化”

• On-demand token 计费类似”按使用量付费”的低质量收入，波动大、可预测性差。
• PT 模式下客户签订月度/年度合同，收入更稳定、可预测，ARR 质量提升直接改善云厂商的估值倍数。
• 类比：传统软件从 license 到 SaaS 转型的估值重构。

2. PT 容量 = GPU 稀缺性的定价权体现

• 谁控制了更多 GPU 物理资源，谁就能卖出更多 PT Unit，形成**“PT 容量即市场份额”**的格局。
• 云厂商提前囤积 GPU 的战略决策（如 2023-2024 年的大规模采购）通过 PT 销售变现为未来收入流。

3. 推理引擎效率 = PT 的隐性利润率杠杆

• vLLM、TensorRT-LLM 等推理引擎每优化 10% 的吞吐效率，云厂商在同等 GPU 投入下可多卖出 10% 的 PT，或同等 PT 量下降低 10% 的 GPU 成本。
• 这意味着推理引擎层的技术进步是 PT 毛利率提升的隐性驱动力。

风险因素

常见误读纠偏

❌ 误读 1：Provisioned Throughput = Reserved Instances

纠正：Reserved Instances（RIs）是整机虚拟机的长期预留折扣，粒度是”一台 VM”，与具体运行什么工作负载无关。Provisioned Throughput 是模型级推理吞吐的预留，粒度是”一个模型在一定吞吐水平上的专用推理资源”。两者的粒度、计费逻辑、技术实现完全不同。PT 可以理解为”RI 思想在 AI 推理服务层的精细化落地”，但不能等同。

❌ 误读 2：买 Provisioned Throughput 一定比 On-demand 便宜

纠正：不一定。PT 的性价比取决于实际利用率。如果客户买了 1000 tokens/s 的 PT 但平均只用了 300 tokens/s，单位实际使用的成本可能远高于 on-demand。PT 的经济性成立的前提是利用率足够高（通常在 70%+ 以上才开始体现出明确的成本优势，具体阈值因定价而异）。PT 买的主要是确定性，而非单纯的价格折扣。

❌ 误读 3：Provisioned Throughput 只适用于大模型推理

纠正：PT 概念起源于云存储（Provisioned IOPS）和网络带宽领域，早于 AI 推理应用多年。在 AI 产业链中，PT 模式同样适用于：

• 嵌入模型推理（向量生成吞吐）
• 语音/TTS 推理
• 图像生成推理
• 甚至训练数据预处理管道的计算吞吐 只是 LLM 推理因其高价值、高成本、强 SLA 需求，成为 PT 模式最显眼的载体。

❌ 误读 4：PT 单位（Model Unit）在不同模型间可以等价换算

纠正：不可以直接换算。一个 Model Unit 对于 7B 模型和 70B 模型的物理 GPU 需求、吞吐能力完全不同。不同平台对 Unit 的定义也可能不同。跨模型比较 PT 性价比时，需要换算到相同吞吐（tokens/s）下的实际单价，而非直接比较 Unit 价格。

学习路径

入门（0-2 小时）

1. 阅读各主流云厂商的 Provisioned Throughput 产品文档概述页（不求深入，理解产品形态）。
2. 对比自己使用 On-demand API（如直接调用 OpenAI API 按 token 计费）与 PT 模式的区别，建立直觉。

进阶（2-10 小时）

3. 深入阅读 AWS Bedrock / Azure OpenAI 的 PT 定价与配置文档，理解 Model Units 的实际含义。
4. 学习推理引擎基础（vLLM 连续批处理、PagedAttention 等），理解为什么推理引擎效率直接影响 PT 单位经济。
5. 阅读至少一份云厂商财报中关于”AI 推理收入增长”的管理层讨论，理解 PT 模式在财报中的体现。

专家（10+ 小时）

6. 研究 GPU 集群调度系统（如 Kubernetes + GPU Operator + MIG 配置），理解 PT 的底层资源隔离实现。
7. 对比自建推理集群 vs. 购买云 PT 的 TCO 模型，建立量化决策框架。
8. 追踪推理引擎开源社区（vLLM、SGLang、TensorRT-LLM 的 GitHub），理解吞吐优化的技术前沿如何影响 PT 定价能力。

一句话总结

Provisioned Throughput 是 AI 推理从”按量消费”走向”按需预定”的商业模式跃迁，其本质是用确定性溢价交换可预测的 SLA 和成本，底层由 GPU 资源隔离、推理引擎效率和云调度系统共同支撑，是理解 AI 基础设施商业化演进的关键概念之一。

延伸阅读与来源

数据口径声明：本文中未标注具体来源的市场数据和定价信息为定性描述或行业估算，具体数字请以各厂商官方披露为准。标注 [未充分披露] 的部分表示公开信息不足以给出精确数据。