Cost per Task

3 秒看懂

一句話定義： 完成一個標準化任務單元的全部經濟成本，是衡量 AI 系統從”能用”走向”划算”的核心經濟指標。

類比理解： 如果說 API 定價（per token）是”汽油單價”，那 Cost per Task 就是”跑完這段路要花多少錢”——它把油費、過路費、車輛折舊、司機工資全部算進去，給你一個”全程成本”。

為什麼現在火： 2024-2025 年 AI Agent 大規模落地，企業需要回答的核心問題是：“讓 AI 幹這件事，比人幹便宜多少？” Cost per Task 是回答這個問題的唯一量化架構。

3 分鐘產業解釋

從 Token 定價到 Task 定價：範式遷移

過去三年，AI 行業的計價邏輯經歷了三次躍遷：

階段	計價單位	典型場景	核心侷限
2022-2023	per token	ChatGPT API	使用者無法估算完成一件事要多少 token
2023-2024	per request	企業 API 呼叫	一次 request 可能簡單也可能複雜，成本方差極大
2024-2025	per task	AI Agent 自動化流程	以業務結果為錨點，可直接與人力成本對標

產業驅動力：

Agent 架構普及： 一個任務可能涉及多輪推論、工具呼叫、檢索增強，單次任務的 token 消耗可達數千到數萬，需要以任務為單位統一度量。
企業採購決策： CIO/CFO 不關心每個 token 多少錢，他們關心”處理一張發票要多少錢""稽核一份合同要多少錢”。
競爭格局重塑： 當 Cost per Task 成為核心指標，“模型能力/價格”的權衡變得可量化，低價模型如果任務完成率高，可能比貴模型更經濟。

Cost per Task 的經濟學本質

Cost per Task = f（計算成本, 資料成本, 工程成本, 失敗重試成本）

這是一個全生命週期成本概念，而非單純的推論費用。它回答的是：“在生產環境中，可靠地完成一個任務的真實經濟代價。“

15 分鐘專家深入

Cost per Task 為什麼是 AI 商業化的”終極度量”

1. 它將 AI 從”技術指標”轉化為”商業指標”

傳統 AI 評估關注 benchmark 分數（MMLU、HumanEval、SWE-bench）。但企業決策者需要的是：

“用 AI 代替這個崗位/流程，每年能省多少錢？”

Cost per Task 是將技術能力翻譯成商業語言的橋樑。它使得 AI 部署決策可以用**投資回報率（ROI）**架構來分析：

AI ROI = (人力完成任務的成本 - AI 完成任務的成本) × 任務數量

2. 它暴露了”隱性成本”的冰山

表面上看，呼叫一次 GPT-4 級 API 只要幾美分。但完整的 Cost per Task 遠不止於此：

Cost per Task（完整分解）
├── 推論計算成本（API 呼叫 / 自部署 GPU 折舊）
├── 輸入準備成本（資料清洗、格式轉換、Prompt 工程）
├── 檢索增強成本（向量資料庫查詢、Embedding 計算）
├── 工具呼叫成本（外部 API、資料庫查詢）
├── 驗證與糾錯成本（輸出校驗、重試邏輯）
├── 失敗成本（任務失敗率 × 重試成本 + 降級到人工的成本）
└── 基礎設施成本（編排架構、監控、日誌、安全）

關鍵洞察： 推論計算成本往往只佔完整 Cost per Task 的 20%-40% [行業估算，無單一權威來源]。這意味著單純追求”更便宜的模型”可能只優化了冰山一角。

3. 它催生了新的競爭維度

當 Cost per Task 成為核心指標，競爭不再只是”誰的模型更強”或”誰的 API 更便宜”，而是：

任務完成率 × 單次成本：便宜但經常出錯的模型，Cost per Task 可能更高
端到端編排效率：Agent 架構的工具呼叫效率直接影響成本
垂直場景最佳化：針對特定任務微調的小模型，Cost per Task 可能遠低於通用大型模型

Cost per Task 的量化方法論

Step 1：任務標準化

定義可重複、可驗證的任務單元。例如：

“處理一份保險理賠單”（輸入：表單圖片；輸出：結構化資料 + 審批建議）
“回答一個客服問題”（輸入：使用者訊息；輸出：回覆 + 滿意度評分）
“編寫一個單元測試”（輸入：函式簽名 + 註釋；輸出：可執行的測試程式碼）

Step 2：成本歸集

將所有相關成本歸集到任務單元：

成本類別	歸集方法	典型佔比（估算）
推論計算	API 呼叫費 / GPU 時長 × 單價	15%-35%
檢索與資料	向量 DB 查詢 + Embedding	5%-15%
工具呼叫	外部 API 費用	0%-20%（視任務而定）
編排與重試	架構開銷 + 失敗重試	10%-25%
工程分攤	Prompt 開發、系統維護人力	15%-30%
基礎設施	伺服器、網路、監控	5%-15%

注：上述佔比為行業經驗估算範圍，實際值因任務複雜度、架構選擇、規模效應差異極大。

Step 3：計算公式

Cost per Task = (總運營成本 / 成功完成的任務數)

其中：
總運營成本 = 固定成本（工程人力、基礎設施）+ 可變成本（計算、API、重試）
成功完成的任務數 = 總任務數 × 一次通過率 + 總任務數 × (1-一次通過率) × 重試成功率

關鍵變數：任務成功率（Task Success Rate）

這是 Cost per Task 最敏感的變數。假設：

單次推論成本：$0.05
一次通過率：70%
重試後成功率：90%
每次失敗的額外處理成本：$0.02

則平均每任務推論成本 = $0.05 × 1 + $0.02 × 0.3 = $0.056

如果一次通過率從 70% 提升到 90%，平均成本下降約 15%。

這意味著：提升模型能力（提高任務成功率）往往是降低 Cost per Task 最有效的手段，而非單純選擇更便宜的模型。

技術原理

Cost per Task 的計算架構與關鍵引數

1. 推論成本的底層邏輯

推論成本 = 輸入 token 數 × 輸入單價 + 輸出 token 數 × 輸出單價

但 Task 維度需要考慮任務級 token 消耗：

單任務 token 消耗 = 初始 prompt tokens
                   + 多輪對話 tokens（Agent 規劃、反思）
                   + 工具呼叫輸入/輸出 tokens
                   + 檢索上下文 tokens（RAG 注入）
                   + 系統提示 tokens（每次呼叫重複）

典型任務 token 消耗估算（無權威資料來源，為行業經驗值）：

任務型別	典型 token 消耗	說明
簡單分類/提取	500-2,000	單輪推論，prompt + 輸出
文件問答	3,000-10,000	RAG 檢索上下文佔大頭
程式碼生成/修改	5,000-30,000	多輪 Agent 迴圈，工具呼叫
複雜分析報告	20,000-100,000+	多步驟規劃、多源檢索、長輸出

2. 編排開銷的量化模型

Agent 任務通常涉及多次 LLM 呼叫。呼叫次數取決於任務複雜度和編排策略：

Agent 任務呼叫次數 = 規劃呼叫（1-3次）
                   + 執行呼叫（N次，N=工具呼叫步數）
                   + 驗證呼叫（0-2次）
                   + 重試呼叫（失敗率 × 呼叫次數）

3. 失敗成本的數學建模

失敗成本 = Σ [失敗型別i 的機率 × (重試成本 + 降級人工成本)]

其中：
- 可重試失敗：觸發重試迴圈，成本 = 重試次數 × 單次推論成本
- 不可逆失敗：任務失敗，成本 = 該任務的人工替代成本
- 部分失敗：需要人工介入修正，成本 = 人工工時 × 時薪

4. 規模效應與成本曲線

規模效應來源：
1. 工程成本分攤：開發一次，執行 N 次，每任務分攤 → 1/N
2. Prompt 快取命中：相同系統 prompt 可快取（部分廠商支援）
3. 批次推論最佳化：Batch API 可降低單次成本 30%-50%（廠商差異大）
4. 模型蒸餾：用小模型處理簡單任務，大型模型處理複雜任務

混合模型路由架構（降低 Cost per Task 的核心技術手段）：

┌─────────────────────────────────────────────────┐
│                  任務輸入                         │
│                      │                           │
│                      ▼                           │
│              ┌──────────────┐                    │
│              │  任務分類器   │ ← 輕量模型/規則引擎 │
│              └──────┬───────┘                    │
│                     │                            │
│         ┌───────────┼───────────┐                │
│         ▼           ▼           ▼                │
│    ┌─────────┐ ┌─────────┐ ┌─────────┐         │
│    │ 小模型   │ │ 中模型   │ │ 大型模型   │         │
│    │(7-13B)  │ │(30-70B) │ │(400B+)  │         │
│    │ 簡單任務 │ │ 中等任務 │ │ 複雜任務 │         │
│    └────┬────┘ └────┬────┘ └────┬────┘         │
│         │           │           │                │
│         └───────────┼───────────┘                │
│                     ▼                            │
│              ┌──────────────┐                    │
│              │  輸出驗證層   │                    │
│              └──────────────┘                    │
└─────────────────────────────────────────────────┘

混合路由的 Cost per Task 最佳化效果（估算）：

如果 60% 任務由小模型處理（成本為大型模型的 1/10-1/5）
30% 由中模型處理（成本為大型模型的 1/3-1/2）
10% 由大型模型處理
綜合 Cost per Task 可降至全大型模型方案的 25%-40% [行業估算]

技術演進史

Cost per Task 概念的形成軌跡

時間	里程碑	關鍵變化
2020-2022	GPT-3 API 時代	按 token 計價，使用者需自行估算任務消耗
2022.11	ChatGPT 釋出	”每對話成本”概念初步形成，但仍以互動為單位
2023.Q1-Q2	LangChain/AutoGPT	Agent 架構出現，單任務多步呼叫使 token 成本難以預測
2023.Q3-Q4	OpenAI DevDay	批次 API、函式呼叫規範化，開始出現”任務級成本”討論
2024.Q1-Q2	Claude 3/GPT-4o 釋出	推論單價下降 50%-80%，但 Agent 任務總 token 消耗上升，Cost per Task 成為真實議題
2024.Q3-Q4	Agent 架構成熟	CrewAI、AutoGen、LangGraph 等架構內建成本追蹤，Cost per Task 可觀測性提升
2025.Q1	DeepSeek R1	推論模型 token 消耗激增（思考鏈），Cost per Task 分化加劇

關鍵轉折點： 2024 年下半年，當企業開始將 AI Agent 部署到生產環境，“每任務成本”從學術討論變成了採購決策的核心引數。

技術路線對比

不同架構/方案的 Cost per Task 特徵

方案	典型 Cost per Task 範圍	任務成功率	適用場景	核心權衡
純大型模型 API（GPT-4/Claude 級）	$0.10-$2.00+	高（85%-95%）	複雜推論、創意任務	成本高，但一次通過率高
小模型 API（7B-13B 級）	$0.005-$0.05	中（60%-80%）	簡單提取、分類	成本低，但需人工兜底
自部署開源模型	$0.01-$0.30 [含 GPU 折舊估算]	取決於模型選擇	高吞吐、隱私敏感	前期投入高，邊際成本低
混合路由方案	$0.02-$0.20	中高（75%-90%）	生產環境 Agent	架構複雜，但綜合最優
微調專用模型	$0.01-$0.10	高（90%+，特定任務）	垂直場景批次處理	需標註資料，遷移性差

注：上述範圍為行業經驗估算，實際值因任務複雜度、供應商、地區、談判價格差異顯著。

推論成本下降對 Cost per Task 的影響

重要區分： 推論單價下降 ≠ Cost per Task 等比下降。

原因：

Jevons 悖論：推論變便宜後，開發者傾向於用更多推論步數（更長思考鏈、更多工具呼叫）來提升質量
任務複雜度上升：Agent 承接的任務越來越複雜，單任務 token 消耗持續增長
質量要求提高：生產環境對準確率要求更高，需要更多驗證和重試

實際觀察（定性）： 過去 18 個月，API 推論單價下降約 80%-90%，但部分場景的 Cost per Task 僅下降 30%-50%，因為任務複雜度和質量要求同步提升。

上下游

Cost per Task 的產業鏈分解

上游（成本輸入）                    中游（價值轉化）                下游（價值輸出）
┌─────────────────┐           ┌─────────────────┐          ┌─────────────────┐
│ GPU/TPU 算力     │           │                 │          │                 │
│ 模型訓練成本     │           │   AI Agent      │          │ 企業自動化流程   │
│ 模型 API 定價    │──────────▶│   編排架構      │─────────▶│ 人力替代決策     │
│ 向量資料庫       │           │   應用層產品    │          │ ROI 分析         │
│ 工具 API 成本    │           │                 │          │                 │
└─────────────────┘           └─────────────────┘          └─────────────────┘

上游關鍵成本驅動因素：

上游因素	對 Cost per Task 的影響	當前趨勢
GPU 供給與價格	直接影響推論單價和自部署成本	供給改善，價格下行
模型效率（引數效率、推論最佳化）	降低每 token 計算成本	持續最佳化中
推論架構（vLLM、TensorRT-LLM）	提升吞吐，降低單 token 成本	開源生態成熟
向量資料庫成本	RAG 場景的隱性成本	競爭加劇，價格下行
外部工具 API	Agent 工具呼叫的直接成本	因供應商而異

下游關鍵價值錨點：

下游場景	人力替代成本基準	AI Cost per Task 目標（估算）
客服問答	$1-$5/次（人工）	<$0.50/次
發票處理	$2-$10/張（人工）	<$0.30/張
程式碼審查	$20-$50/小時（工程師）	<$1.00/次審查
法律文件審閱	$50-$200/小時（律師）	<$5.00/份文件
醫學影像初篩	$10-$30/次（放射科醫生）	<$1.00/次

注：人力成本為行業粗略估算，因地區、資歷差異極大。

關鍵指標

評估 Cost per Task 的核心指標體系

一級指標（必須追蹤）：

指標	定義	重要性
Cost per Task	單任務總成本（全口徑）	核心經濟指標
Task Success Rate (TSR)	任務一次通過率	直接影響成本和可用性
Effective Cost per Task	Cost per Task / TSR	考慮失敗成本後的有效成本
Task Latency	端到端任務完成時間	影響使用者體驗和併發成本

二級指標（最佳化參考）：

指標	定義	最佳化方向
Token per Task	單任務 token 消耗	Prompt 最佳化、上下文壓縮
API Calls per Task	單任務 API 呼叫次數	編排最佳化、工具合併
Failure Rate by Type	各類失敗的分佈	針對性最佳化
Cache Hit Rate	快取命中率	減少重複計算
Human Escalation Rate	降級到人工的比例	提升模型能力或調整策略

三級指標（深度分析）：

指標	用途
Cost per Task by Complexity	按任務複雜度分層的成本分析
Cost per Task Trend	成本隨時間的變化趨勢
Cost per Task vs. Quality Trade-off	成本-質量帕累托前沿

供需與市場資料

市場規模與增長

關鍵資料點（來源標註）：

全球 AI 推論市場： 預計 2025 年達到 $XXB [各機構預測差異大，未採用單一數字]
企業 AI Agent 部署： 2024 年處於早期試點階段，2025 年進入規模化部署 [行業定性判斷]
API 呼叫成本下降： 過去 18 個月主流模型 API 價格下降 70%-90% [基於 OpenAI、Anthropic、Google 公開定價變動]

供需動態

供給側驅動因素：

模型效率提升（MoE、量化、投機解碼）
推論基礎設施規模化（雲端廠商 GPU 叢集擴建）
開源模型競爭（Llama、Qwen、DeepSeek 系列）
推論架構最佳化（vLLM、SGLang 等）

需求側驅動因素：

企業自動化需求（降本增效）
Agent 架構成熟度提升
垂直場景驗證完成（客服、文件處理、程式碼輔助）
監管合規要求（可追溯、可審計）

關鍵矛盾：

推論單價快速下降 → 企業預期 Cost per Task 快速下降
但 Agent 任務複雜度和質量要求同步上升 → Cost per Task 下降速度慢於單價下降
結果：企業對”AI 省錢”的感知低於預期，需要更精細化的成本管理

代表公司與資本對映

不同環節的 Cost per Task 相關公司

環節	代表公司/產品	與 Cost per Task 的關係
基礎模型 API	OpenAI, Anthropic, Google, DeepSeek	推論成本的核心供應商
推論基礎設施	NVIDIA, AMD, 各雲端廠商	GPU 供給決定成本下限
推論最佳化架構	vLLM (開源), TensorRT-LLM (NVIDIA), SGLang	提升吞吐，降低單 token 成本
Agent 編排平台	LangChain, CrewAI, AutoGen (微軟)	影響任務級 token 消耗和重試成本
模型路由/閘道器	Martian, Portkey, LiteLLM	混合路由降低綜合 Cost per Task
向量資料庫	Pinecone, Weaviate, Milvus (Zilliz)	RAG 場景的資料層成本
垂直 Agent 應用	各行業 AI 創業公司	Cost per Task 的最終驗證者

資本關注焦點

投資邏輯演變：

2023 年：投”能力最強的模型”
2024 年：投”最具價效比的模型”
2025 年：投”Cost per Task 最低的解決方案”

這意味著：能系統性降低端到端任務成本的公司（而非僅提供低價 API 的公司）將獲得資本青睞。

投資邏輯

Cost per Task 視角下的投資架構

1. “降本”賽道的產業觀察點

機會方向	邏輯	風險
推論晶片/基礎設施	GPU 效率提升直接降低推論成本	競爭激烈，NVIDIA 主導
模型效率最佳化	更少引數達到同等能力	技術路線不確定性
Agent 編排架構	最佳化任務級 token 消耗	開源競爭，商業化難
模型路由/閘道器	智慧分配任務到最優模型	壁壘有限，可能被大廠內化

2. “提效”賽道的產業觀察點

機會方向	邏輯	風險
垂直 Agent 應用	深度最佳化特定任務的 TSR	場景選擇錯誤風險
微調/蒸餾服務	為特定任務定製小模型	資料壁壘 vs. 大型模型泛化能力提升
評估與可觀測性	量化 Cost per Task 需要工具鏈	市場尚小

3. 核心投資判斷

Cost per Task 的長期趨勢是下降的，但下降速度取決於三個變數：模型能力提升速度、Agent 架構成熟度、垂直場景標準化程度。

投資應聚焦於：

能夠系統性降低 Effective Cost per Task的公司（而非僅降低 API 單價）
擁有任務成功率護城河的垂直應用（高 TSR = 低 Effective Cost per Task）
掌握成本-質量權衡最佳化能力的技術公司

常見誤讀糾偏

誤讀 1：Cost per Task = API 呼叫成本

糾偏： API 呼叫成本只是 Cost per Task 的一部分。完整的 Cost per Task 還包括：

檢索成本（向量 DB 查詢、Embedding）
工具呼叫成本（外部 API）
編排開銷（Agent 架構的多輪呼叫）
失敗重試成本（任務失敗率 × 重試成本）
工程分攤成本（Prompt 開發、系統維護）

一個經驗法則： 在生產環境中，API 呼叫成本通常只佔完整 Cost per Task 的 20%-40% [行業估算]。

誤讀 2：推論單價下降 = Cost per Task 等比下降

糾偏： 這忽略了三個效應：

Jevons 悖論：推論變便宜後，開發者傾向於用更多推論步數來提升質量
任務複雜度上升：Agent 承接的任務越來越複雜
質量要求提高：生產環境對準確率要求更高

實際觀察： 過去 18 個月 API 推論單價下降約 80%-90%，但部分場景的 Cost per Task 僅下降 30%-50% [定性判斷]。

誤讀 3：Cost per Task 越低越好

糾偏： Cost per Task 需要與任務質量一起評估。最低的 Cost per Task 可能意味著：

使用了最便宜但能力最弱的模型 → 任務成功率低
跳過了必要的驗證步驟 → 輸出質量不可靠
過度壓縮上下文 → 遺漏關鍵資訊

正確的評估架構： Effective Cost per Task = Cost per Task / Task Success Rate / Quality Score

誤讀 4：Cost per Task 只對大規模場景有意義

糾偏： 即使是小規模場景，Cost per Task 分析也有價值：

幫助判斷”是否值得用 AI”
識別成本瓶頸（是推論太貴還是工程開銷太大？）
為後續規模化提供成本基線

但如果任務量太小，工程分攤成本會佔主導，此時 Cost per Task 的最佳化空間有限。

誤讀 5：所有任務都應該追求最低 Cost per Task

糾偏： 不同任務有不同的成本敏感度：

高頻率、低價值任務（如客服問答）：成本敏感，追求最低 Cost per Task
低頻率、高價值任務（如法律文書稽核）：質量敏感，可接受較高 Cost per Task
關鍵決策任務（如醫療診斷輔助）：可靠性優先，成本是次要考量

學習路徑

從入門到精通的學習路線

Level 1：概念理解（1-2 天）

理解 Cost per Task 的定義和組成
閱讀本文件
嘗試估算一個簡單任務的 Cost per Task

Level 2：實踐應用（1-2 周）

使用 LangChain/CrewAI 搭建一個簡單 Agent
新增成本追蹤（token 計數 + API 費用計算）
對比不同模型的 Cost per Task

Level 3：深度最佳化（1-3 個月）

學習模型路由策略（簡單任務用小模型，複雜任務用大型模型）
研究 Prompt 最佳化技術（減少 token 消耗）
瞭解推論最佳化架構（vLLM、TensorRT-LLM）

Level 4：架構設計（3-6 個月）

設計生產級 Agent 系統的成本架構
建立 Cost per Task 監控和報警體系
最佳化失敗處理和重試策略

Level 5：戰略決策（6 個月+）

將 Cost per Task 納入企業 AI 採購決策架構
建立 AI ROI 分析模型
制定 AI 部署的長期成本戰略

資源	型別	適合階段
LangChain 文件（成本追蹤章節）	官方文件	Level 2
OpenAI Cookbook（成本最佳化）	教程	Level 2-3
vLLM/SGLang 文件	技術文件	Level 3
AI Infra 相關論文（推論最佳化）	學術論文	Level 4
各雲端廠商 AI 成本管理白皮書	行業報告	Level 4-5

一句話總結

Cost per Task 是將 AI 從”技術指標”轉化為”商業指標”的橋樑——它回答的不是”模型有多強”，而是”用 AI 幹這件事，到底劃不划算”。

延伸閱讀與來源

概念來源與發展

Task-oriented AI evaluation：傳統 NLP 領域的任務導向評估方法，Cost per Task 是其經濟化延伸
AI Agent economics：2024 年興起的研究方向，關注 Agent 系統的經濟可行性
LLM cost optimization：各大型模型廠商和雲端廠商的技術部落格中常見話題

技術參考

推論最佳化架構：vLLM (GitHub)、TensorRT-LLM (NVIDIA)、SGLang
Agent 架構：LangChain、CrewAI、AutoGen、LangGraph
模型路由：Martian、Portkey、LiteLLM

行業報告

AI Infrastructure Alliance：AI 基礎設施相關報告
各雲端廠商 AI 成本分析：AWS、Azure、GCP 的 AI 服務定價和成本最佳化指南
各研究機構 AI 市場報告：注意不同機構的定義和統計口徑可能不同

資料來源說明

本文件中的具體數字均為行業經驗估算或基於公開資訊的推斷，未引用單一權威資料來源
如需精確資料，建議參考各廠商官方定價頁面和財報資料
成本佔比、範圍等資料因場景、時間、供應商差異顯著，僅供參考