下一個 token 預測

3秒看懂

下一個 token 預測，即讓模型根據已有的文本序列，去猜測緊接著的最合理的一個詞（token）。這是當前大語言模型（LLM）最核心的訓練範式。你見到的生成式對話、程式碼補全、文件續寫，其根本機制都是反覆執行“給定上文，預測下一個詞”這一簡單任務。模型的規模、湧現能力，均建立在這一樸素目標之上。

3分鐘產業解釋

“下一個 token 預測”本質上是一項自監督學習任務：將一段原始文本分割成由 token 組成的序列，然後以“前 n−1 個 token 預測第 n 個 token”的形式，從海量無標註資料中構造訓練樣本。模型只需不斷縮小預測機率分佈與真實 token 之間的差距（通常用交叉熵損失），就能逐漸學會語法、事實、推論鏈條，甚至隱含的價值觀。

產業價值在於：

• 不需要人工標註：網際網路上的文本本身即包含輸入與標籤，使模型能夠吞噬數萬億 token 的資料。
• 規模化定律（Scaling Law）基礎：模型損失隨計算量、引數、資料量的冪律下降，正是建立在此任務可無限擴充套件資料的特性之上。
• 通用任務介面：訓練完成後，通過將不同任務統一為“給定上文，輸出下文”的形式（如指令微調），一個僅會預測下一個 token 的模型就可以回答問題、翻譯、程式設計。

幾乎所有大型基礎模型（GPT 系列、PaLM、LLaMA 等）的預訓練階段，都以此任務為唯一目標。它是當前生成式 AI 熱潮的根本動力。

15分鐘專家深入

下一個 token 預測的形式化極為簡潔。設序列為 x = (x_1, x_2, ..., x_T)，模型對每個位置 t，基於歷史 x_{<t} 輸出下一個 token 的條件機率分佈 p_\theta(x_t | x_{<t})。訓練目標是最小化整個序列的負對數似然（即交叉熵）：

mathcal(L)(\theta) = -frac(1){T} \sum_{t=1}^{T} \log p_\theta(x_t | x_{<t})

表面簡單，但要實現高效能預測，模型必須內化：

• 長程依賴：正確預測一段話的最後一個詞，可能需要理解開頭的人名、指代關係，甚至跨段落的狀態。
• 世界知識：如“巴黎是__的首都”，模型必須記憶事實。
• 推論與多步演繹：數學推導、邏輯謎題的預測，要求模型在上下文視窗內執行隱式計算。
• 對齊人類意圖：即便是無標註文本中，下一個 token 的分佈也已編碼了社會規範、有用性與無害性傾向（如禮貌回覆的統計優勢）。後續的 RLHF 等只是強化這些特性。

在工程上，下一個 token 預測訓練通常伴隨如下關鍵技術：

• 教師強制（Teacher Forcing）：訓練時總是將真實的歷史 token 作為輸入，而非模型自己生成的 token，保證平行計算和穩定收斂。
• 因果注意力掩碼：Transformer 解碼器通過上三角掩碼確保每個位置只能看到之前 token，防止資訊洩露。
• 詞表與分詞：token 的定義（BPE、SentencePiece）直接影響模型需要預測的空間大小，以及是否能夠高效處理 multilingual、程式碼等場景。
• 取樣策略：訓練時使用真實分佈計算損失，而推論時可用貪心解碼、Top‑k/Top‑p 取樣、溫度調節等，以平衡多樣性與確定性。

最關鍵的量級感知：當前主流 LLM 的訓練資料往往在數萬億 token 級別，單次訓練可能執行 10²³ 次以上的浮點運算。所有的算力、視訊記憶體、互聯技術（HBM、NVLink、InfiniBand）都在服務於這個“猜詞”遊戲的極致最佳化。

技術原理

核心機制：從序列到預測

我們可以將自迴歸語言模型視為一個函式 f_\theta，它接受一段 token 序列 x_{<t}，輸出一個詞語表大小的向量（logits），經過 softmax 轉為機率分佈 hat(y)_t。真實標籤是 one‑hot 向量 y_t（對應真實下一個 token 的 id）。

輸入序列："人工智慧 的 未來 是"
           ↓
       Tokenizer → [101, 202, 303, 404]   # 假設的id
           ↓
     Embedding層 + Transformer解碼器（帶因果掩碼）
           ↓
       最後一層在位置t=4輸出隱向量 h₄
           ↓
      Linear + Softmax → 詞表大小維度的機率向量 ŷ₄
           ↓
       真實token“光明”對應id=505 → 交叉熵損失

因果自注意力機制原理

解碼器的核心在於確保預測 x_t 時不能看到 x_t 及之後的任何資訊。設輸入序列的嵌入為 H \in mathbb(R)^{T \times d}，注意力計算為：

text(Attention)(Q, K, V) = text(softmax)\left( frac(QK^T){sqrt(d_k)} + M \right) V

其中 M 為因果掩碼，是一個上三角部分填充 -\infty 的矩陣（或將對應位置置為極大的負值），使得 softmax 後的權重在非法位置上為 0。例如 T=4 時掩碼形狀：

Mask = [[  0, -∞, -∞, -∞],
        [  0,  0, -∞, -∞],
        [  0,  0,  0, -∞],
        [  0,  0,  0,  0 ]]

訓練時整個序列的預測並行進行：輸入完整序列，通過掩碼一次得到每個位置的預測輸出，然後與真值比較。推論時則必須序列逐 token 生成，每一步都用之前生成的 token 作為歷史。

關鍵引數與規模定性

• 詞表大小（V）：通常 32k～256k token。Softmax 計算和詞嵌入矩陣尺寸與 V 成正比，是新近 MoE 模型或小模型最佳化的重點。
• 上下文長度（L）：預訓練時常見 2k～32k token，近來擴充套件到 128k 甚至 1M token。注意力複雜度為 O(L^2)，長上下文依賴位置編碼改進（RoPE、ALiBi）和稀疏注意力。
• 模型引數總量：從數十億到超千億，其中前饋網路（FFN）佔主要部分。下一個 token 預測任務對模型容量要求極高，引數低下會導致欠擬合，過高則需更多資料以避免記憶化。
• 訓練資料量（tokens）：普遍遵從 Chinchilla 定律（約 20 倍 tokens/引數量 為計算最優），但實踐中常採用過度訓練以獲取更強能力（如 LLaMA 系列資料比例更高）。具體數字因廠商未揭露，需標示 [未充分揭露]。

訓練目標的變化：從下一 token 到多工

儘管核心仍是下一個 token 預測，現代 LLM 訓練常引入微小變形：

• Span corruption / 填空：如 T5 的掩碼語言模型，但主流自迴歸模型仍保持單純的從左到右預測。
• 多文件分界與特殊 token：在預訓練中加入 <|endoftext|> 等分隔符，教會模型“開始新上下文”的概念，防止不同文件內容混淆。
• 指令微調繼續用相同目標：指令格式“使用者：… 助手：…”只是將多輪對話包裝為單一序列，模型仍然在預測助手回覆部分的 token，目標函式不變。

技術演進史

• N‑gram 語言模型（20世紀80‑90年代）：統計每個單詞基於前 n−1 個詞出現的機率。受資料稀疏與維度災難限制，無法捕捉長程語義。
• 前神經網路時代（2000年代初）：前饋神經網路語言模型（Bengio et al., 2003）將詞對映為連續向量，使用固定長度上下文預測下一個詞，首次實現語言模型的稠密表示。
• 迴圈神經網路（RNN/LSTM, 2010年代初）：RNN 天然適合序列建模，理論上可處理任意長曆史，但梯度消失/爆炸、訓練低效等問題突出。LSTM 的改進使其在語音識別、機器翻譯中得到應用，但長文本生成質量仍有限。
• Transformer 與自迴歸範式（2017‑2018）：Vaswani 等提出 Transformer，解碼器架構的自迴歸特性與下一個 token 預測完美契合。GPT 系列 (2018) 採用單向 Transformer 解碼器，以大規模無監督預測任務進行預訓練，然後針對下游任務微調，開啟“預訓練‑微調”紀元。
• 規模化階段（2019‑2022）：GPT‑2 展示了僅靠下一個 token 預測即可造就的多工能力，GPT‑3 進一步證明大規模自迴歸模型的零樣本/少樣本能力。Scaling Law 被實證，推動模型引數向千億級躍進。同時，PaLM、Chinchilla 等研究優化了算力分配策略。
• 對齊與產品化（2022至今）：InstructGPT/ChatGPT 表明，在預訓練文本預測的基礎上，配合指令模板（依然是下一個 token 預測）和人類反饋強化學習，可將基礎模型轉化為安全、有用的助手。多模態模型（如 GPT‑4V）把影像編碼成連續的視覺嵌入，但仍基於自迴歸範式僅預測下一個文本 token；即便某些原生多模態模型可能擴充套件預測目標，其核心自迴歸架構未變。
• 前沿探索（當前）：業界開始探討非自迴歸生成、擴散語言模型等替代方案，但在大規模應用中，下一個 token 預測因其易擴充套件、高度成熟的基礎設施生態，仍佔據絕對主導。

技術路線對比

維度	下一個 token 預測（自迴歸）	掩碼語言模型（MLM，如BERT）	編碼器‑解碼器（如T5）
預測目標	序列中每個後續 token	隨機掩碼的 token	缺損 span 的 token
方向性	單向（從左到右）	雙向（可觀察左右上下文）	雙向編碼 + 單向解碼
生成能力	天然支援逐 token 生成	不可直接用於自迴歸生成	訓練後需在解碼器端自迴歸生成
訓練效率（計算/樣本）	每個 token 均參與一次正向損失計算	僅掩碼位置的 token 計算損失，利用率約15%	兼具兩者，比較平衡
下游靈活性	通過提示統一任務，零樣本強	微調錶現優秀，但生成任務需額外適配	適合生成與理解綜合任務，但規模擴大有限
主流規模	超大規模（≥100B）主流選擇	多在 數百M～數B 引數量，更大規模少見	數十B引數量，近年多被自迴歸取代
典型代表	GPT‑3/4, LLaMA, PaLM	BERT, RoBERTa	T5, BART

在產業實踐中，因為生成式 AI 爆發，下一個 token 預測的簡潔生成介面具有壓倒性優勢。MLM 類模型主要用於理解類任務（如檢索、分類），但在基座模型領域正逐漸被強大的自迴歸模型通過 prompt 替代。

上下游

上游：

• 資料生成與清洗：網頁文本、書籍、程式碼庫需經過濾、去重、質量分類，並分詞成 token 序列。資料質量直接影響預測的準確性和模型安全性。
• 算力基礎設施：GPU/TPU 叢集，高頻寬記憶體、高速互聯（InfiniBand/RoCE），分散式訓練架構（Megatron‑LM, DeepSpeed）。並行策略（資料並行、張量並行、流水線並行、序列並行）均圍繞下一個 token 預測的大規模計算圖設計。
• 分詞演算法與詞表建置：BPE 或 SentencePiece 的分詞器決定了預測的基本單元，其對多語言、程式碼緊湊度的影響直接關乎訓練與推論成本。

下游：

• 推論服務化：部署自迴歸模型，需要最佳化 KV 快取記憶體、視訊記憶體管理（vLLM、StreamingLLM）、連續批處理，以支撐高併發的逐 token 生成。
• 微調與適配：在預訓練好的下一個 token 預測模型基礎上，進行監督微調（SFT）、強化學習（RLHF/DPO），將基本能力引導到特定業務場景。
• 應用整合：聊天機器人、寫作助手、程式碼生成工具、搜尋引擎等，都直接消費模型輸出的 token 流，並通過安全過濾器、內容稽核模組二次處理。

關鍵指標

• 困惑度（Perplexity, PPL）：測試集上交叉熵損失的指數形式，直觀表示模型對 token 序列的“平均分支因子”。PPL 越低，模型對資料壓縮得越好，通常能力越強。是評估底層預測能力的核心指標。
• 下游任務基準得分：MMLU（多工準確率）、HellaSwag（常識推論）、HumanEval（程式碼生成）等，雖非直接衡量下一個 token 預測，卻是實用能力的間接度量。
• 訓練吞吐量、資料 token 數、模型 FLOPS 利用率（MFU）：工程關鍵指標，反映在給定算力下完成預訓練的速度和效率。
• 推論延遲與成本：首 token 延遲、每 token 生成時間，決定了使用者體驗和規模化運營的可行性。

供需與市場資料

下一個 token 預測作為訓練範式本身不是一個可交易的商品，但其催生的模型訓練與推論市場極為龐大。根據行業報告，全球大型模型訓練算力需求仍在以每年數倍的速度增長，訓練叢集規模從千卡級向萬卡級躍遷。由於具體市場份額缺乏本次檢索證據，此處不做硬數字引用。定性來看：

• 對高效能 GPU（如 A100、H100、未來 B100）的需求幾乎完全由自迴歸大型模型訓練和推論驅動。
• 訓練資料供給方（如 Common Crawl、書籍語料庫、程式碼倉庫）價值凸顯，資料管線已成為模型差異化的關鍵來源。
• 推論服務供應商（微軟 Azure、 CoreWeave、各開源平台）都在針對自迴歸生成的計算模式進行架構最佳化。

代表公司與資本對映

• OpenAI (GPT系列)：下一個 token 預測產品化的最高標杆，GPT‑4 將自迴歸預測拓展到多模態，引領了此範式的主流化。估值和營收潛力巨大，但未上市。
• Google DeepMind (Gemini/PaLM)：探索下一個 token 預測與檢索、工具使用的結合，將自迴歸能力整合進搜尋和雲端運算生態。上市公司 Alphabet 的重要成長預期部分。
• Meta (LLaMA)：力推開源自迴歸模型，建立圍繞此預測範式的開放生態，有望通過間接方式建置平台優勢。盈利仍需觀察。
• Anthropic (Claude)：專注對齊和安全的自迴歸模型，採用與 OpenAI 類似的技術範式，資金來源包括 Google、Salesforce 等，是下一代預測技術資本關注的明星初創。
• 基礎設施提供商（NVIDIA, AMD, 雲端廠商）：資金流和業績高度繫結大語言模型的訓練與推論規模化需求，本質上是“下一個 token 預測”浪潮的運營商。

投資邏輯

投資與下一個 token 預測相關的標的，需理解該範式的兩大特性：

1. 順規模化定律：只要有更多高質量資料和算力，模型能力就會持續提升。因此早期投入基礎設施（GPU、資料中心、高速互聯）、資料資產的企業具有先發優勢。
2. 贏家通吃與生態分化：模型層可能形成頭部閉源（OpenAI、Google）與主流開源的二元結構。應用層則利用模型輸出的 token 建置產品，關注使用者留存和垂直壁壘。

風險點：

• 下一個 token 預測的技術天花板（是否會遇到推論能力上限）仍存爭議，一旦新範式確立，現有模型資產可能面臨貶值。
• 算力成本與推論經濟性，可能會壓縮純模型提供商的獲利率。
• 監管及版權問題：訓練資料所使用的文本來源、預測結果的安全性，可能引致合規風險。

常見誤讀糾偏

誤讀1：下一個 token 預測就是“鸚鵡學舌”，只是統計式記憶，沒有真正的理解。 糾偏： 從資訊論角度看，要達到極低的交叉熵，模型必須從資料中提取高度壓縮的表示，這隱含了語法、語義、世界模型和推論演算法。大量實驗表明，模型能執行未經專門訓練的多步數學推論、程式碼生成，這必須基於某種形式的內部演算法學習，而非簡單的模板匹配。當然，“是否真正理解”是哲學問題，但工程上其壓縮表徵足以泛化出複雜智慧行為。

誤讀2：訓練下一個 token 預測就是簡單的“輸入上文，輸出下文”，與人類學習方式完全不同。 糾偏： 人類大量的學習也以預測未來、完成模式為基礎（如語流接續、動作序列預測）。雖然不能完全等同，但“預測下一個”是許多自然智慧系統的基礎訊號。現代訓練加入了指令模板、工具使用軌跡等結構化資料，使得下一個 token 預測遠超簡單的“文本接龍”，融入了類似任務目標的資訊。

學習路徑

1. 基礎概念：閱讀 Bengio 等人 2003 年的神經語言模型論文，理解下一個詞預測的機率架構。
2. 核心架構：學習 Transformer 原論文中解碼器部分，並動手實現一個帶有因果掩碼的小語言模型，用於字元級或單詞級預測。
3. 動手微調：使用 HuggingFace 的 transformers 庫，載入一個小型 GPT‑2 模型，用自己的文件進行微調，感受下一個 token 預測的資料格式、訓練迴圈。
4. 規模化實踐：瞭解 DeepSpeed、Megatron‑LM 的並行策略，理解如何將損失函式分發到數千個 GPU 上計算。
5. 前沿閱讀：追蹤“Scaling Laws for Neural Language Models”(Kaplan et al., 2020)、“Training Compute‑Optimal Large Language Models”(Hoffmann et al., 2022)，理解算力與資料配比。
6. 反思與探索：閱讀關於自迴歸極限的論文（如擴散模型在文本生成的應用），對比非自迴歸生成的可能性。

一句話總結

下一個 token 預測，是將世界知識壓縮排引數、讓模型學會思考和生成的通用引擎，驅動了現代人工智慧從感知到認知的跨越。

延伸閱讀與來源

• A. Vaswani et al. “Attention is All You Need”, NeurIPS 2017. [arXiv:1706.03762]
• A. Radford et al. “Improving Language Understanding by Generative Pre‑Training”, OpenAI 2018.
• J. Kaplan et al. “Scaling Laws for Neural Language Models”, arXiv 2020. [arXiv:2001.08361]
• J. Hoffmann et al. “Training Compute‑Optimal Large Language Models”, NeurIPS 2022. [arXiv:2203.15556]
• L. Ouyang et al. “Training language models to follow instructions with human feedback”, NeurIPS 2022. [arXiv:2203.02155]
• HuggingFace NLP Course (Chapter on causal language modeling) [https://huggingface.co/learn/nlp-course]
• 各大型模型技術報告：GPT‑4 Technical Report, PaLM 2 Technical Report, LLaMA 2: Open Foundation and Fine‑Tuned Chat Models.
• 因本次檢索未成功，所有技術描述來自已發表文獻，具體量級標註均為通用知識或 [未充分揭露]。