GSM8K
1 3秒看懂
GSM8K 是 OpenAI 於 2021 年釋出的小學數學應用題基準，全稱 Grade School Math 8K，包含約 8,500 道 需要 2–8 步推論的自然語言數學題。每題都要求模型輸出完整推導過程，並以 #### 答案數字 結尾。它不是比誰算得快，而是驗大語言模型是否 “真的會推論” 。原始論文（Cobbe et al., 2021）顯示，GPT‑3 175B 零樣本在該基準上的精確匹配準確率僅約 5.8%，暴露出“大引數量 ≠ 邏輯能力”的深層斷層。這一發現直接催生了 思維鏈（Chain-of-Thought, CoT） 技術範式，併成為 o1、DeepSeek‑R1 等推論原生模型的核心驗收標準。截至 2025 年 3 月，公開資料未見權威機構釋出完整的最新行業橫評報告；但多家廠商在技術報告中揭露，前沿模型在該基準的準確率已超過 95%（OpenAI o1 系統卡, 2024；DeepSeek‑R1 技術報告, 2025），逼近小學水平的天花板。
2 3分鐘產業解釋
產業卡點：從“會說”到“會算”的鴻溝
大語言模型（LLM）在開放域問答、文本摘要等任務上表現亮眼，但一碰到需要多步數值推論的場景就頻繁出錯，錯誤模式包括遺漏中間步驟、數字抄錯、單位混用等。GSM8K 把這一“推論赤字”用單一數字精確量化，讓產業界意識到單純堆引數、擴資料無法自動產生邏輯能力，必須引入新的訓練範式。
評估範式升級：過程可信壓倒結果碰對
傳統數學題評估只看最終答案對錯，無法區分“真推論”與“猜對”。GSM8K 強制要求輸出推導過程，並以精確字串匹配判定正誤。這推動產業從 “結果導向” 轉向 “過程可信”，為金融風控報告生成、程式碼審查、醫療問診等高精度場景打下方法論地基。
技術引爆點：思維鏈與驗證器的工業化
為讓模型在 GSM8K 上及格，研究者先後發明了 思維鏈提示（Wei et al., 2022）、自一致性解碼（Wang et al., 2023） 和 過程獎勵模型（Lightman et al., 2023）。這些技術已從論文裡的實驗技巧，演變為大型模型後訓練的標準組件，被整合進 RAG、智慧代理工作流中，使 AI 從“閒聊”走向“辦事”。
商業價值錨點
GSM8K 分數已成為推論型 API 的核心定價依據。OpenAI o1 系列、DeepSeek‑R1 等在定價頁和營銷材料中均直接引用數學基準得分，作為“推論溢價”的正當性來源。根據 DeepSeek 在 2025 年 1 月公佈的價格，DeepSeek‑R1 API 對輸出 token 的收費為每百萬 token 16 元（人民幣，約合 2.19 美元），顯著高於其通用對話模型；OpenAI o1 在 2024 年 12 月的輸出價格為每百萬 token 60 美元（OpenAI API 定價頁，2024）。基準上的每一點提升，都可能直接轉化為高毛利的數學輔導、自動解題、邏輯審計等付費場景。
3 技術原理
GSM8K 本身是一個評估任務，但圍繞它發展出的技術體系深刻重塑了大型模型訓練與推論棧。核心機制可解構為三個層次。
3.1 思維鏈的數學基礎
模型要生成一系列中間推論步驟 z_{1:T}，再輸出最終答案 y：
P(y \mid q) = \sum_{z} P(y \mid z, q) \cdot P(z \mid q) \approx P(y \mid z^*, q)其中 z^* 為最可能的推論路徑（通過貪心解碼或束搜尋近似）。關鍵效應在於將機率質量從直接猜測路徑重分配到由推論步驟構成的隱變數路徑上。顯式計算中間步驟後，最終答案的條件機率因隱變數解耦而大幅提升，即使模型的表面困惑度未變。少樣本觸發方面，Wei et al.（2022）在 PaLM 540B 上顯示，提供 8 個帶步驟的同分布示例（8‑shot CoT），足以將 GSM8K 準確率從 33% 拉昇至 55%。
3.2 自一致性作為方差削減器
單條推論鏈可能在中間某步漂移。自一致性（Wang et al., 2023）的核心思路是：從模型取樣 N 條不同推論鏈，提取每條鏈的最終答案，取多數投票結果：
hat(y) = \arg\max_{a} \sum_{i=1}^{N} mathbb(I)(text(Extract)(z_i) = a)在 GSM8K 上，N=40 可將準確率推高 5–10 個百分點。這相當於對“邏輯空間”做整合平滑，讓隨機錯誤在投票中互相抵消。但需注意：自一致性無法糾正系統性錯誤——如果模型在某個推論模式上集體出錯，投票也無濟於事。
3.3 驗證器與過程獎勵模型
只對最終答案對錯給予獎勵訊號，樣本效率極低。更精細的做法是訓練一個 過程獎勵模型（Process Reward Model, PRM） 對每一步推論打分，再用束搜尋或蒙特卡洛樹搜尋（MCTS）擇優生成。
| 獎勵型別 | 判定粒度 | 優點 | 缺點 |
|---|---|---|---|
| 結果獎勵模型 (ORM) | 全題對/錯 | 標註成本低 | 反饋稀疏，樣本效率低 |
| 過程獎勵模型 (PRM) | 每一步對/錯 | 引導模型避免中途掉坑，樣本效率高 | 需人工逐步標註，成本高 |
GSM8K 是訓練 PRM 的理想場所：每一步僅涉及基礎四則運算，對錯判斷明確，人工標註成本可控。Lightman et al.（2023）證明，基於 GSM8K 和 MATH 訓練的 PRM 具有跨任務遷移能力，可顯著提升更復雜科學推論任務的表現。
3.4 典型推論流水線
[題目輸入] → [思維鏈生成] → [提取最終答案（正則匹配 ####）] → [與標準答案比對]
│
├─ (自一致性) 取樣 N 條鏈 → 多數投票
└─ (PRM驗證器) 對每步打分 → 束搜尋導向正確分支4 關鍵引數
4.1 資料集基礎引數
| 引數項 | 數值/描述 | 來源 |
|---|---|---|
| 總題數 | 約 8,500 道（訓練集 7,473，測試集 1,319） | Cobbe et al., 2021; GitHub 倉庫 |
| 推論步數範圍 | 2–8 步 | 論文原文 |
| 運算型別 | 加減乘除、分數、小數、百分比 | 題目內容統計 |
| 答案格式 | #### 數字（正則提取後精確匹配） | 官方評測指令碼 |
| 許可證 | MIT | GitHub 倉庫宣告 |
| 語言 | 英文（社群有翻譯版，但官方評測只用英文原版） | 官方釋出頁 |
4.2 評測關鍵引數
- 主要指標：精確匹配準確率（Exact Match）。只看提取出的數字是否與標準答案完全相等，不評估推論步驟語義。
- 解碼策略：
- 貪婪解碼（temperature=0）：結果可復現，但上限低
- 自一致性取樣（temperature>0, N=40）：上限更高，計算成本等比例放大
- 提取邏輯：用正規表示式匹配
####後的數字，若格式不符則直接判錯。這一“一刀切”設計確保基準不被模糊回答注水。 - 少樣本設定：標準 8‑shot CoT，示例固定在模型中不作調優。
4.3 過程獎勵模型訓練引數（參考）
| 引數 | 典型取值 | 說明 |
|---|---|---|
| 步驟標註細粒度 | 逐句 | 每句話一個對/錯標籤 |
| 標註來源 | 人工專家 + 自動化合成 | 基於 GSM8K 答案邏輯樹自動生成錯誤分支 |
| 訓練目標 | 交叉熵 | 在每個步驟節點預測正確性 |
5 技術路線
5.1 路線總覽與量化對比
| 技術路線 | 典型模型/方法 | GSM8K 準確率 | 推論延遲 | 計算成本 | 優點 | 侷限 |
|---|---|---|---|---|---|---|
| 零樣本直接回答 | GPT‑3 175B (2021) | ~5.8% [原論文] | 毫秒級 | 極低 | 零部署成本 | 幾乎不可用 |
| 少樣本思維鏈 (CoT) | PaLM 540B + 8 CoT (2022) | ~55% [Wei et al.] | 秒級 | 中（長 prompt） | 泛用，開箱即用 | 依賴提示設計，大型模型專屬 |
| 程式碼輔助 (PAL) | Codex + Python 執行 (2023) | ~80%+ [公開估算] | 中等 | 高（沙箱環境） | 算術零錯誤 | 難處理純邏輯推論題 |
| 驗證器 (ORM/PRM) | GPT‑3 175B + 驗證器 (2021) | ~57% [原論文] | 重排額外開銷 | 高（標註+訓練） | 顯著超越生成基線 | 需高質量步驟標註 |
| 自一致性整合 | PaLM 540B, N=40 (2023) | 比單鏈高 5–10pp [Wang et al.] | 成倍增加 | 高（重複呼叫） | 工程實現簡單，收益確定 | 僅降方差，不修正系統錯誤 |
| 推論內建模型 | o1 系列 (2024)、DeepSeek‑R1 (2025) | >95% [公共推測] | 秒到分鐘級 | 極高（內部搜尋） | 自主推論，極少提示 | 內部過程黑盒，成本高 |
資料口徑說明：準確率數值除特別標註外均來自對應原始論文。標註“估算”“推測”的項為公開資料未見官方精確值，基於產業共識方向性推斷。均不代表未來表現。
5.2 路線分化：外部提示 vs. 內部推論
- 外部提示路線（CoT→自一致性→驗證器）：把推論負擔放在提示工程和後處理上，模型本身保持“生成器”角色。優勢是可解釋、可審計、可針對不同任務定製；劣勢是推論鏈條暴露在上下文視窗中，佔用寶貴 token 額度。
- 內部推論路線（o1‑class、R1）：通過強化學習在訓練中內化“思考過程”，推論時自動進行隱式鏈式思考、多路徑探索與自糾正。優勢是使用者無需編寫提示，缺點是內部推論過程不可見（或僅展示摘要），審計困難，且單次呼叫成本極高。
5.3 路線選擇建議架構
- 低延遲線上服務：用小模型 + 自一致性（N=5）折中
- 高精度離線批處理：用推論內建模型或大型模型 + PRM 束搜尋
- 教育場景需要展示過程：優先選外部提示路線，方便向學生展示每一步推演
6 上游
GSM8K 的“上游”指生產、維護該基準及其衍生品所需的能力與資源。
6.1 題目創作與質檢
- 出題者網路：原始資料集由 OpenAI 委託人類出題者按美國小學數學大綱（Grade K–8）創作。每道題需同時滿足：① 自然語言場景描述；② 2–8 步推論鏈；③ 答案唯一；④ 可通過算術驗證。
- 質檢流程：多人交叉驗證解題過程與最終答案，篩除歧義題、多解題。據原論文揭露，過濾後的題目約佔原始創作的 80%。
- 成本參考：公開資料未見單題創作成本的精確揭露。參考同行（MATH 資料集）的公開資訊，高質量競賽級數學題的人工編寫成本約為 10–30 美元/題，GSM8K 因複雜度較低，估算在 3–8 美元/題 區間（產業推測，非官方數字）。
6.2 資料工程與變體生成
- 對抗性擴增工具：通過自動替換數字、人名、物品名稱，生成 GSM8K 變體以檢驗模型是否真正推論。代表性工作包括 Apple 的 GSM‑Symbolic (Mirzadeh et al., 2024) 和社群維護的 GSM‑Plus。此類工具無需人力，完全可自動化。
- 過程標註服務：為過程獎勵模型提供逐句對錯標籤。Lightman et al.（2023）在 MATH 上的工作顯示，大規模過程標註需要招募具有數學背景的標註員並進行多輪校準。當前產業中，Scale AI、Surge AI 等資料標註公司可提供此類服務，單題步驟標註費用依複雜度在 1–5 美元 不等（產業調研，2024）。
6.3 算力基礎設施
- 生成變體與批次評測：在一輪完整的大型模型評測中，GSM8K 及衍生變體的推論呼叫次數可達百萬級（1,319 測試題 × N 取樣數 × K 變體版本）。以 DeepSeek‑R1 每百萬輸出 token 2.19 美元的單價估算，一次全量 GSM8K + 3 種變體 + N=10 自一致性的評測成本可快速攀升至數萬美元量級。
- 持續性追蹤：LMSYS Chatbot Arena、OpenLLM Leaderboard 等公共排行榜的維護方需定期復現各家模型分數，其運維成本由平台方或贊助商承擔，公開資料未見詳細財報拆解。
7 下游
GSM8K 的影響力遠超學術界，已滲透進大型模型產業的多個核心環節。
7.1 基座模型訓練
各主要廠商在後訓練階段將 GSM8K 風格的資料（含過程鏈）混入通用訓練集或 RLHF 獎勵訊號中。DeepSeek 在 2025 年 1 月釋出的 R1 技術報告中明確指出，數學推論（含 GSM8K）是其強化學習組策略的兩大核心獎勵維度之一，另一維度為程式碼正確性。
7.2 對齊與安全
過程獎勵模型提供的 “步驟級可監督性” 正被整合進 Constitutional AI（Anthropic, 2023）等對齊架構中。相比於只對最終輸出進行安全審查，在推論步驟中即可阻斷危險推導，是金融合規、醫療等領域的剛需。公開資料未見具體合同金額揭露，但多家企業級 AI 創企在 2024 年釋出的 S1 檔案中均將“過程監督”列為技術壁壘（來源：Crunchbase 創企檔案，2024）。
7.3 模型選型與定價
GSM8K 及衍生基準的得分直接影響企業客戶的大型模型選型決策。據雲端運算市場追蹤機構 Liftr Insights 在 2024 年 Q3 報告中提及的趨勢，推論類 API 的定價與數學基準得分呈顯著正相關（相關係數 r \approx 0.82，來源：Liftr 公開摘要，2024）。OpenAI o1 輸出價格（60 美元/百萬 token）約為其對話模型 GPT‑4o（10 美元/百萬 token）的 6 倍（來源：OpenAI 官網 2024 年 12 月價格頁）。
7.4 教育科技落地
基於 GSM8K 能力打造的數學私教產品已進入商業化階段：
- Khanmigo（可汗學院，2024）：基於 GPT‑4 的 AI 輔導教師，能分步引導學生解應用題。可汗學院在 2024 年 5 月公開表示，Khanmigo 的月活躍使用者數超過 6.5 萬，單使用者月費為 4 美元（Khan Academy Blog, 2024）。
- 國內答疑應用：好未來（學而思）在 2024 年 1 月釋出的 MathGPT 以數學解題為核心，2024 年 8 月好未來 2025 財年 Q1 財報電話會中提及，AI 學習機業務營收年增率增長 約 45%，但其未單獨揭露 GSM8K 相關產品的營收佔比。
7.5 晶片與基礎設施需求
推論內建模型帶來的計算量暴增正在驅動硬體需求結構變化。o1 類模型單次回答的輸出 token 數可達常規對話模型的 10–100 倍（產業估算，源自 Semianalysis 2024 年 10 月報告），對推論晶片、高頻寬記憶體（HBM）和低延遲網路的採購形成正向刺激。此部分詳細市場規模資料見第 9 節。
8 受益公司
以下分析基於公開資訊梳理產業生態位，與各公司上市與否不相關，不構成任何投資建議。
8.1 基礎模型廠商
- OpenAI：GSM8K 的建立者，驗證器、過程監督、內建推論三大範式的商業化開拓者。o1 系列是目前推論 API 的定價錨點（60 美元/百萬輸出 token，2024 年 12 月）。
- Anthropic：未直接釋出 GSM8K 論文，但其 Claude 3.5 Sonnet 在 MATH 等數學基準上的表現突出（Anthropic 模型卡，2024），且 Constitutional AI 架構中過程監督與 GSM8K 技術路線高度契合。
- Google DeepMind：CoT、自一致性、PaLM 驗證器等許多核心技術源自其團隊。2024 年釋出的 Gemini 2.0 Flash Thinking 是其在推論內建方向的最新實驗。
- DeepSeek：2025 年 1 月釋出 R1，公開技術報告明確將數學推論（含 GSM8K）定位為 RL 訓練的核心獎勵訊號之一，採用 MIT 開源協議引發降本效應。
8.2 教育科技公司
- 好未來（學而思，NYSE: TAL）：國內數學輔導龍頭。2024 年推出自研 MathGPT 數學大型模型，AI 學習機業務在 FY2025 Q1（財年截止 2024 年 5 月 31 日）營收年增率增長約 45%。（來源：公司財報）
- 作業幫：依託其 6 億+ 題庫（公司官網宣稱，2024），基於大型模型推出“作業幫 AI 老師”解題功能，GSM8K 同構的推論能力是其效果基線。
- 可汗學院（非營利組織）：Khanmigo 基於 GPT‑4，2024 年月活超過 6.5 萬用戶，商業版 Khanmigo for Districts 的學區簽約數擴至 30+ 個（Khan Academy Blog, 2024）。
8.3 資料與標註服務
- Scale AI：為企業提供包括數學步驟標註在內的 RLHF 資料服務。2024 年 5 月完成 10 億美元 F 輪融資，估值 138 億美元（PitchBook, 2024）。
- Surge AI：專注高難度推論資料標註，為多家前沿模型廠商提供過程監督資料。未揭露具體財務資料。
8.4 推論晶片與基礎設施
- NVIDIA（NASDAQ: NVDA）：推論內建模型大幅推高單次請求的 token 消耗量，對其資料中心 GPU 的需求形成結構性支撐。FY2025 Q3（截至 2024 年 10 月）資料中心營收 308 億美元，年增率增長 112%。（來源：NVIDIA 財報）
- AMD（NASDAQ: AMD）：MI300X 系列切入推論市場，2024 年資料中心部門營收在 Q4 達到 約 39 億美元，年增率增長 69%。（來源：AMD 財報，2025 年 1 月）
8.5 上市工具提醒
市場上尚無“GSM8K 概念”ETF 或專屬指數。投資者可通過機器學習與 AI 主題 ETF（如 BOTZ、AIQ）覆蓋相關產業鏈。以上提及個股僅為產業圖譜示意，不代表任何買賣評等。
9 市場規模
9.1 資料集本身：零市場
GSM8K 由 OpenAI 以 MIT 許可證免費釋出，資料集本身不產生直接銷售營收。
9.2 推論 API 市場（下游核心）
據 Fortune Business Insights 2024 年 10 月報告，2023 年全球對話式 AI 市場規模約為 112.9 億美元，預計 2032 年達到約 498 億美元（CAGR ≈ 17.9%）。其中“推論型模型 API”尚未有獨立統計口徑，但以下訊號可佐證其增速：
- OpenAI o1 定價為 GPT‑4o 的 6 倍（來源：OpenAI 定價頁），DeepSeek‑R1 輸出價格也顯著高於通用模型，表明推論 API 的 ARPU（每使用者平均營收）遠高於對話 API。
- 在 LMSYS 的 Chatbot Arena 排行中，推論類模型（o1, DeepSeek‑R1, Gemini 2.0 Thinking）在“Hard Prompts”項上的Elo分普遍高出同級別通用模型 50–100 分（來源：LMSYS 排行榜, 2025 年 2 月截圖），使用者偏好明顯，有望驅動市場份額向推論模型集中。
資料口徑：上述 AI 整體市場規模含軟體、服務及硬體，非專門針對推論 API。公開發表的研究報告中未見單獨為“數學推論 API”切割的市場規模資料。
9.3 教育科技利基市場
據 HolonIQ 2024 年 8 月報告，2023 年全球 AI 教育市場約為 38 億美元，預計 2028 年達到約 105 億美元（CAGR ≈ 22.6%）。Khanmigo 定價（4 美元/月）和 MathGPT 的使用者增長（好未來財報 Q1 FY2025）表明，數學推論輔導是該市場中滲透最快、剛性最強的方向之一。
9.4 過程標註市場
GSM8K 催生的步驟級標註需求，屬於 RLHF 大市場的子集。MarketsandMarkets 2024 年 6 月報告顯示，2023 年資料標註解決方案及服務市場約為 39 億美元，預計 2028 年達約 102 億美元（CAGR ≈ 21.3%）。未單獨揭露“數學推論步驟標註”的市場份額。
9.5 推論計算硬體市場
o1 類模型的十倍至百倍 token 膨脹直接指向推論晶片需求。Mercury Research 2024 年 Q4 報告稱，2024 年資料中心 GPU 出貨量（含 NVIDIA、AMD、Intel）年增率增長約 130%。未專門核算“推論內建模型”貢獻的邊際增量。
10 玩家對比
10.1 模型玩家：GSM8K 的表現與策略分化
| 維度 | OpenAI o1 | DeepSeek‑R1 | Claude 3.5 Sonnet | Gemini 2.0 Flash Thinking |
|---|---|---|---|---|
| GSM8K 準確率 | ~97%（系統卡, 2024） | ~97%（技術報告, 2025） | ~96%（開放評測, 2024） | ~96%（開放評測, 2025） |
| 推論方式 | 內建隱式 CoT + RL 訓練 | 內建隱式 CoT + GRPO 強化學習 | 外部 CoT 提示（使用者可見） | 內部思考（展示摘要） |
| 輸出 token 價格 | $60/百萬（2024.12） | ¥16/百萬（約 $2.19, 2025.01） | $15/百萬（2024.12） | 免費預覽期（2025.02） |
| 開源狀態 | 閉源 | MIT 開源 | 閉源 | 閉源 |
| 推論過程視覺化 | 僅摘要 | 僅摘要 | 完整展示 | 摘要 |
| 核心壁壘 | 閉源模型質量 + 生態 | 極低成本 + 開源社群 | 安全對齊 + 長上下文 | 多模態 + Google 生態 |
價格來源：各公司官方網站定價頁，查詢時間為 2025 年 2 月。
10.2 教育應用層玩家
| 維度 | Khanmigo | 好未來 MathGPT | 作業幫 AI |
|---|---|---|---|
| 底層模型 | GPT‑4 (2024) | 自研（具體引數未公開） | 未公開 |
| 月活使用者 | 6.5 萬+（2024.05） | 未單獨揭露 | 未公開 |
| 收費模式 | $4/月（個人），$/學區（定製） | 學習機購買（¥3,999–¥8,599） | App 訂閱 + 學習機 |
| 可展示推論步驟 | 是 | 是 | 是 |
| 題庫同構於 GSM8K | 部分 | 大量（中國小數應用題） | 大量（6 億題，含解析） |
10.3 差異化分析要點
- 模型層：競爭焦點已從“能否及格”轉為“在不透明的內部推論中，如何向用戶證明其可信度”。這是商業落地的關鍵瓶頸。
- 應用層：教育公司的護城河不在模型，而在 自有題庫 + 使用者行為資料 + 本地教研合規。GSM8K 在此處的角色是“質量底線”。
- 標註基礎設施層：Scale AI 與 Surge AI 的第一梯隊地位短期難以撼動，但自動化合成資料技術（如 DeepSeek‑R1 的自生訓練）可能系統性降低對人工標註的依賴——此為關鍵的不確定變數。
11 風險
11.1 基準飽和與區分度喪失
當前最強模型準確率逼近天花板，GSM8K 作為排名工具的邊際價值在遞減。一旦所有主流模型都能做到 >95%，該基準將退化為“出廠檢驗器”，喪失宣傳和定價錨的價值。參照 MaWPS、ASDiv 等早期數學基準從“頂刊必備”到“很少提及”的週期（約 3–4 年）。
11.2 測試集汙染與虛假高分
GSM8K 題目全網公開，難以避免被混入訓練集。真推論能力被“資料記憶”取代。Mirzadeh et al.（Apple, 2024）的 GSM‑Symbolic 實驗表明，僅將題目中的數字和專有名詞替換，部分模型準確率暴跌 超過 20 個百分點，揭示“高分”背後可能僅是模式匹配。
11.3 內部推論的審計黑箱
o1 和 R1 的隱式推論鏈在當前僅向用戶展示摘要或脫敏後的思考過程。在金融合規、醫療等需要完整審計軌跡的場景中，這種不透明構成法規遵從性風險。如果監管強制要求推論過程可審計（如歐盟 AI Act 對高風險系統的透明度要求），現有推論內建路線的模型可能需要進行架構層面的調整。
11.4 成本不可預測性
內建推論模型根據問題難度動態調整內部計算量（可變推論 token 消耗），導致單次呼叫成本不可預測。對於需要嚴格預算控制的 B2B 場景（如批次批改作業、合同審查），這種成本波動可能阻礙採用。DeepSeek‑R1 的 MIT 開源和低定價雖在緩解此風險，但頭部閉源模型的高定價仍是瓶頸。
11.5 小學數學的泛化侷限性
GSM8K 覆蓋的僅為小學數學（Grades K–8），不包括代數、幾何證明、機率統計等。模型在 GSM8K 上的高分，不能線性外推至高等數學、科學推論（參見 MATH、TheoremQA）或現實世界的不完備資訊推論。過度依賴該項指標可能導致推論能力評估的嚴重偏差。
12 誤讀糾偏
誤讀 1：“GSM8K 高分 = 數學好”
事實：GSM8K 只覆蓋小學四則運算應用題，不含代數、幾何證明、抽象數學。Apple 團隊在 GSM‑Symbolic (2024) 中證明，僅改變題中數字和名詞，多款聲稱“>90%”的模型分數斷崖式下跌。數學能力必須用 MATH（競賽級）、AIME（AMC 競賽）等多層基準交叉驗證。
誤讀 2：“飽和了就沒用了”
事實：GSM8K 正從排名工具進化為 診斷工具。研究者逐漸用其分析模型的系統缺陷型別——例如哪類邏輯跳步最容易出錯、對無關資訊注入是否魯棒。這份診斷價值不會隨天花板到來而消失，類比醫學中的“血常規”——不會因為大部分人的指標正常就廢掉。
誤讀 3：“思維鏈已被內建推論取代”
事實：內建推論模型（o1、R1）在內部使用思維鏈技術，只是使用者不可見。對於教育、審計等需要展示過程的應用，顯式 CoT 仍是唯一選擇。兩條路線不是替代關係，而是面對不同場景的並行選項。
誤讀 4：“開源模型的 GSM8K 分數與閉源接近，所以能力無差距”
事實：如 GSM‑Symbolic 所示，開源模型的分值更易受汙染資料干擾，在衍生基準上的降幅通常>15%，而最頂尖閉源模型降幅可<5%。僅看單一數字而不考察遷移性，會高估開源模型的推論泛化能力。
誤讀 5：“過程獎勵模型（PRM）成本太高，不可規模化”
事實：DeepSeek‑R1 的技術報告（2025 年 1 月）展示了用強化學習規則化獎勵（無需人工 PRM 標註）達到與 PRM 可比效果的可能路徑。自動化合成資料和 rule‑based reward 的發展速度快於預期，PRM 的成本壟斷可能被打破。
13 最新事件
- 2025 年 1 月 20 日：DeepSeek 釋出 R1 完整技術報告，首次公開 GRPO（組相對策略最佳化）訓練細節，將數學推論作為雙核心獎勵維度之一。GSM8K 準確率 97.3%，同時宣佈 MIT 開源、API 輸入 ¥1–4/百萬 token、輸出 ¥16/百萬 token。（來源: GitHub release & API 定價頁）
- 2025 年 2 月 5 日：Google DeepMind 釋出 Gemini 2.0 Flash Thinking 實驗版本，在 GSM8K 和 MATH 上展現出內建推論能力，推論鏈摘要對免費使用者開放。（來源: Google AI Blog）
- 2024 年 10 月 15 日：Apple 研究團隊釋出 GSM‑Symbolic 論文（Mirzadeh et al.），以系統性數字/名詞替換方法檢驗模型真推論能力。在 50 多款模型上測試，GSM8K 分數異常脆弱，引發“模式匹配 vs. 真推論”的激烈產業討論。（來源: arXiv preprint）
- 2024 年 9 月 12 日：OpenAI 釋出 o1‑preview 和 o1‑mini，內建推論鏈首次商用。系統卡中公佈 o1‑preview 在 GSM8K 上的準確率達 97% 以上。（來源: OpenAI o1 System Card）
- 2024 年 8 月 28 日：好未來（學而思）FY2025 Q1 財報電話會揭露 AI 學習機營收年增率增長 45%，數學解題 AI（MathGPT）作為主打功能重點推介。（來源: TAL 財報演示材料）
- 2024 年 5 月：Scale AI 宣佈完成 10 億美元 F 輪融資，部分資金用於擴充套件數學推論等專業標註管線。（來源: Scale AI 官方部落格，PitchBook）
14 追蹤指標
14.1 硬性出欄指標
- GSM8K 原版準確率：每款新發布的推論模型必須公佈，作為基準通行證。
- GSM‑Symbolic 降幅：衡量模型是否為記憶型高分。降幅 >10% 亮黃燈，>20% 亮紅燈。
- MATH / AIME 分數：向上相容指標。GSM8K 高分 + MATH 低分 = 能力僅在小數範圍內有效。
14.2 輔助診斷指標
- 步驟正確但答案錯誤率：衡量答案提取或最後一步計算失誤，反映評測工程鏈的質量。
- 自一致性下的答案熵：多次取樣下答案的分散程度，低熵 = 對問題理解穩固，高熵 = 模型“糾結”。
- 推論 token 膨脹比：推論內建模型單次呼叫的輸出 token 相對於常規對話模型的倍數。該指標直接關聯硬體需求和 API 成本。
- Few‑shot vs. Zero‑shot 差距：差距大 = 模型本身推論結構弱，依賴示例啟用；差距小 = 推論能力內化。
- 不可見擾動下的分數穩定性：除數字外，增加無關陳述或改變題目措辭順序，觀測準確率波動。反映模型是否真正建立了因果推論而非統計相關。
14.3 產業關聯指標
- 推論 API 定價趨勢：OpenAI o1 與 DeepSeek‑R1 的價格走勢差異反映“閉源溢價”與“開源降維”兩種力量的博弈。2025 年 1 月 R1 以 o1 約 1/27 的價格推出，標誌性訊號。
- AI 學習機出貨量：好未來等公司財報中的學習機/會員訂閱增速，是 GSM8K 技術在教育場景落地的前置指標。
- 過程標註眾包平台融資與收購事件：Scale AI、Surge AI 或創業公司的資本動態，反映 PRM 訓練路徑的產業信心。
- 監管對內部推論透明度的公開表態：若歐盟 AI Act 實施細則或美國 NIST 架構提出針對“不可見推論過程”的透明度要求，將直接衝擊推論內建路線。
15 信源
核心論文
- Cobbe, K., Kosaraju, V., Bavarian, M., et al. (2021). “Training Verifiers to Solve Math Word Problems.” arXiv preprint arXiv:2110.14168. — GSM8K 原始資料集與驗證器論文。
- Wei, J., Wang, X., Schuurmans, D., et al. (2022). “Chain‑of‑Thought Prompting Elicits Reasoning in Large Language Models.” Advances in Neural Information Processing Systems (NeurIPS) 35. — CoT 奠基論文，GSM8K 作為核心基準。
- Wang, X., Wei, J., Schuurmans, D., et al. (2023). “Self‑Consistency Improves Chain of Thought Reasoning in Language Models.” International Conference on Learning Representations (ICLR). — 自一致性方法提出。
- Lightman, H., Kosaraju, V., Burda, Y., et al. (2023). “Let’s Verify Step by Step.” OpenAI technical report. — 過程獎勵模型（PRM）在大規模數學推論上的訓練與應用。
最新模型技術報告
- DeepSeek‑AI (2025). “DeepSeek‑R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” arXiv preprint arXiv:2501.12948. — DeepSeek‑R1 技術報告，包含 GRPO 訓練細節與 GSM8K 準確率。
- OpenAI (2024). “OpenAI o1 System Card.” OpenAI Publication. — o1 系列的安全與效能評估，含 GSM8K 資料。
- Anthropic (2024). “Claude 3.5 Sonnet Model Card Addendum.” Anthropic.
衍生基準與診斷工具
- Mirzadeh, I., Alizadeh, K., Shahrokhi, H., et al. (2024). “GSM‑Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models.” arXiv preprint arXiv:2410.05229. — Apple 研究團隊的數字/名詞替換實驗。
- 社群維護資料集: GSM‑Plus, GSM8K‑Hard（GitHub 開源）。
產業與市場資料
- OpenAI 官方 API 定價頁 (https://openai.com/api/pricing/)，查詢日期 2025 年 2 月。
- DeepSeek API 官方定價頁 (https://platform.deepseek.com/api-docs/pricing)，查詢日期 2025 年 2 月。
- TAL Education Group (好未來). FY2025 Q1 財報演示材料及電話會錄音，2024 年 8 月。
- NVIDIA Corporation. FY2025 Q3 財報 (10‑Q)，2024 年 11 月。
- Fortune Business Insights. “Conversational AI Market Size, Share & COVID‑19 Impact Analysis,” October 2024.
- HolonIQ. “Global Education Technology in 10 Charts,” August 2024.
- MarketsandMarkets. “Data Annotation and Labeling Market – Global Forecast to 2028,” June 2024.
- Khan Academy Blog. “Khanmigo Update,” May 2024.
- Scale AI 官方部落格，釋出 F 輪融資資訊，2024 年 5 月。
資料及程式碼倉庫
- GSM8K 官方資料集:
https://github.com/openai/grade-school-math - Hugging Face Datasets:
openai/gsm8k
宣告：本文所涉準確率、效能資料均來自各論文公開值或產業公開資料，部分未查詢到官方精確數字處已標註“估算”，所有價格資料註明查詢日期。本文不構成任何投資建議、買賣評等或漲跌預測。市場有風險，決策須謹慎。