Decoder‑only 架構

1. 三秒看懂：單向生成的暴力優雅

Decoder‑only 架構已不僅是技術選型，而是大語言模型時代預設可控的生成範式。它只保留 Transformer 的解碼器，用單向因果自注意力從左到右逐 token 預測下一個詞，將一切自然語言任務統一為“從前文推斷後文”。這種極致簡化帶來了驚人的通用性，使得對話、寫作、程式碼生成、數學推論等開放式生成任務第一次獲得了統一的模型基座。以 GPT‑4、Claude、LLaMA、Gemini 為代表的產品矩陣，在 2024 年支撐起全球 AI 推論呼叫量的 90% 以上，成為企業數字化轉型、內容生產、科學研究以及國防安全等領域的核心基礎設施。截至 2025 年初，全球已部署的 Decoder‑only 大型模型引數總量超過 50 萬億，日均產生超過 3 萬億 token 的生成輸出，並仍在以每季度 40% 的速度增長。可以說，理解 Decoder‑only 的每一個設計細節，就等於拿到了通往下一代人工智慧產業的路線圖。

2. 產業背景：從學術玩具到基礎設施的定義權

Decoder‑only 架構的崛起並非偶然，而是算力、演算法和資料三浪疊加的產物。2017 年 Transformer 原始設計包含編碼器與解碼器，用於機器翻譯等序列到序列任務。2018 年 GPT 首次嘗試僅用解碼器進行無監督預訓練，在零樣本遷移能力上意外展現潛力。此後隨著 OpenAI 釋出 GPT‑2、GPT‑3，單向自迴歸模型展現出平滑的擴充套件律，迅速成為產業界的共識方向。2023 年至 2024 年，全球 AI 伺服器支出飆升至 248 億美元，其中大規模模型訓練和推論消耗了超過 75% 的預算，而該類算力幾乎全部為 Decoder‑only 模型服務。這種單一技術路線的支配地位，直接重塑了全球半導體供應鏈：HBM 高頻寬記憶體需求暴增，2024 年僅 SK 海力士一家全年 HBM 營收即達到 130 億美元，絕大多數訂單用於配置輝達 H100/B200 的 8 卡伺服器；CoWoS 先進封裝產能被台積電排至極限，月產能從 2023 年初的 9 萬片晶圓擴張至 2024 年底的 32 萬片；NVLink、InfiniBand 等高速互聯市場也被帶火，NVIDIA 單季度資料中心營收突破 220 億美元。Decoder‑only 的定義權已經等價於大型模型時代基礎設施的定義權，任何試圖挑戰這一架構的方案，都不得不先趟平這條由無數企業重金鋪就的產業鏈。

3. 統一生成範式：把所有任務變成“下一個詞”

從產業效率角度看，Decoder‑only 最天才的貢獻在於用一種方式吞噬了所有 NLP 任務。傳統編碼器‑解碼器架構需要分別設計源序列理解和目標序列生成兩個模組，而 Decoder‑only 直接把輸入和輸出拼接成一段連續的文本，把分類、翻譯、摘要、問答全部重鑄為文本續寫。例如，只需將“將以下英文翻譯成中文：Hello world. 翻譯結果：”送入模型，模型就自動預測“你好世界”。這種範式消除了任務特定的頭部設計，使得同一模型無需修改即可在數百種語言、數十類任務間零樣本切換。對企業而言，這意味著維護單一推論流水線即可覆蓋客服、營銷文案、程式碼助手、合同審查等多個業務場景，極限壓低了工程複雜度和人力成本。產業界由此誕生了“提示詞工程師”這一新興角色，其本質就是用自然語言為 Decoder‑only 模型注入任務先驗，替代過去需要獨立訓練出的小模型。2024 年，某頭部雲端廠商基於同一套 LLaMA 3 70B 架構，用不同的 system prompt 同時為 47 個內部應用供給推論服務，平均每個任務的定製成本從原來的 3 個月降至 1 天，充分展示了統一範式的工程威力。

4. 擴充套件律：越大越好，而且可預期

Decoder‑only 具備清晰且平滑的擴充套件律（Scaling Law），這是其商業價值的基石。2020 年 Kaplan 等人發現自迴歸語言模型的交叉熵損失與模型引數量、訓練資料量、計算量之間存在冪律關係，2022 年 DeepMind 的 Chinchilla 定律進一步給出最優配比：每 1B 引數大約需要 20B 訓練 token。此後，GPT‑4 據稱達到 1.76 萬億引數，訓練 token 量超 13 萬億；Llama 3 的 405B 版本使用 15 萬億 token 訓練，在 MMLU、HumanEval 等基準上與閉源模型爭鋒。擴充套件律使得研發部門可以基於小規模實驗精準預估萬億引數模型的效能，極大降低了商業決策的不確定性。2023 年至今，全球主要 AI 實驗室每年花費數十億美元專注於沿著“引數量 × 資料量 × 訓練時長”三維展開的確定性路徑上前進。這種可預期性甚至重構了資本市場對 AI 的估值模型：算力的線性投入帶來確定的能力提升，使科技巨頭敢於提前預訂全球 80% 的高階 GPU 產能，形成滾雪球式的護城河。到 2025 年，訓練一次前沿模型的成本已突破 10 億美元，但擴充套件律仍在有效區，證明這場軍備競賽遠未觸及天花板。

5. 部署成本與生態的極致簡化

與編碼器‑解碼器雙模型架構相比，Decoder‑only 的推論僅需執行一個模型，視訊記憶體佔用、通訊開銷和服務編排複雜度均大幅降低。在生成過程中，已計算的 key 和 value 張量可存入 KV‑cache，避免每一步重新計算歷史 token 的表示；雙模型則必須分別維護兩個快取或者多次傳輸中間狀態，難以適配高併發 API 場景。實際部署中，一個 70B 引數的 Decoder‑only 模型進行 INT4 量化後，單張 A100 即可承載 4k 上下文的多使用者併發推論，而對等生成能力的編碼器‑解碼器模型通常需要至少兩張卡或更多複雜排程。這種輕量化使雲端端推論成本極具競爭力：2024 年 OpenAI 將 GPT‑4o 的 API 呼叫價格下調至每百萬 token 5 美元（輸入）和 15 美元（輸出），仍保持可觀毛利。此外，生態協作成本同樣大幅簡化。幾乎所有推論架構（vLLM、TensorRT‑LLM、SGLang）和模型格式（GGUF、GPTQ）均圍繞 Decoder‑only 最佳化，第三方微調工具鏈（LoRA、QLoRA）的外掛式介面也是統一標準。企業選擇 Decoder‑only，就等於選擇了全球最大社群的資源池，任何時候都能獲得最快的適配速度和問題解決路徑，這種生態級鎖定效應是任何技術替代方案短期內無法打破的。

6. 技術原理：棧式結構的總覽

解碼器唯一模型由 N 個結構完全相同的解碼器層堆疊而成，構成一條深度流水線。輸入一串 token 索引序列，首先經過 Token Embedding 對映為高維向量，同時疊加上位置編碼（當前標準為 RoPE），形成輸入表示。然後依次穿過 N 層，每層內先進入因果多頭自注意力模組，捕捉當前位置與歷史上下文的關聯；再送入前饋神經網路進行非線性投影，增強表徵容量。兩個子模組均使用殘差連線相加，並採用 Pre‑Norm（即在子模組之前進行層歸一化）以穩定深層梯度流。最後通過一個線性投影將最後一層隱藏狀態對映到詞表大小，再經 softmax 得到下一個 token 的機率分佈。這種極其簡潔的重複結構看似普通，卻暗合分散式計算的完美對稱性：每一層的總引數量和計算量完全相同，使層間切分、裝置對映和通訊排程可以達到理論最優均衡，這是它能從百億引數順暢擴充套件到萬億引數的關鍵。

7. 因果自注意力與位置編碼的內在機理

因果多頭自注意力是整個架構的核心。面對一個長度為 L 的序列，我們首先通過三個線性對映矩陣 W_Q、W_K、W_V 將每個位置的表徵 h 投影為查詢 Q、鍵 K、值 V。計算注意力權重的公式為：

text(Attention)(Q,K,V) = text(softmax)\!\left(frac(QK^T){sqrt(d_k)} + M\right)V

其中 d_k 為每個頭的維度，起到尺度歸一化作用，避免點積過大導致 softmax 進入飽和區。M 是一個嚴格上三角為 -∞ 的掩碼矩陣，確保在預測位置 i 時，權重對 j>i 的位置為零，即只能利用過去和當前資訊，保留下文完整的因果性。這種強制單向機制不僅貼合語言的自然順序生成，更讓訓練可以利用一次性平行計算所有位置的損失，無需像 RNN 一樣序列迭代，大幅提升了訓練吞吐量。與此同時，位置編碼經歷了從絕對正弦編碼到可學習編碼再到 RoPE（旋轉位置編碼）的演進。RoPE 通過將 Q、K 向量乘以位置相關的旋轉矩陣，巧妙地把相對位置資訊編碼到內積中：

Q_i K_j^T = f(i-j)

這使得模型天然具備相對位置感知和外推能力，可以從訓練時的 4k 上下文平滑擴充套件到推論時的 32k、128k 甚至百萬 token，而無需重新訓練位置嵌入表。這也是為什麼以 LLaMA 系列為代表的現代 Decoder‑only 模型可以輕鬆應對長文件處理和持久對話。

8. 前饋網路與啟用函式的演進

每層自注意力之後緊跟一個前饋網路（FFN），負責對每個位置獨立進行深度非線性變換，通常為兩層 MLP，中間維度擴大至隱藏維度的 2.5~4 倍。早期設計採用簡單的 ReLU 或 GELU 啟用函式，但 2020 年後 SwiGLU（SiLU 加門控線性單元）逐漸成為標配。SwiGLU 將中間維度分為兩路，一路經 SiLU 啟用，另一路保持不變，再逐元素相乘，最後線性投影回原始維度。這種門控機制在不顯著增加計算量的同時大幅提升了訓練穩定性和最終效能，尤其在多語言和程式碼任務上表現突出。Llama 的第一代仍採用 SwiGLU 增強的 FFN，而到了 Llama 3 系列和若干 MoE 模型，FFN 的結構更是演變為可插拔的專家模組。為提高參數效率，部分模型將部分 FFN 替換為 MoE，由路由網路根據 token 特徵動態選擇 top-k 個專家執行計算。這既能將總引數量推升至數千億甚至萬億，又保持單次前向計算的 FLOPs 可控，讓模型“大而不慢”。但 MoE 的引入也帶來了負載不均衡、專家訓練塌陷、通訊複雜等新挑戰，後文將進一步討論。

9. 自迴歸生成訓練與損失函式

訓練過程宏觀上就是一句句的“完形預習”。假設給定一個 token 序列 x = (x_1, x_2, …, x_T)，模型根據前文 x_{<t} 預測 x_t 的機率分佈 P(x_t|x_{<t};θ)。整個序列的負對數似然損失為：

mathcal(L) = -frac(1){T}\sum_{t=1}^{T} \log P(x_t|x_{<t}; \theta)

由於因果掩碼的存在，我們只需輸入完整序列一次，前向傳播後得到的第 i 個位置的輸出 logits 就可以計算第 i+1 個 token 的損失，所以訓練是完全並行化的。反向傳播時梯度可同時流過所有時間步，最大化訓練效率。資料準備上，所有文本被預處理成固定長度（如 4096、8192 或更長）的樣本，通過跨文件打包（document packing）減少 padding 浪費。最佳化器多選用 AdamW，搭配餘弦退火學習率排程和梯度裁剪。近年來，訓練配方還引入了一些穩定技巧：Z-loss 正則化、QK 歸一化、logit 軟上限等，以防止在數萬億 token 訓練中出現損失尖峰甚至訓練中斷。正是這種簡潔而魯棒的訓練範式，使得全球多個團隊可以相對獨立地復現並擴充套件 Decoder‑only 模型，推動了開源社群的繁榮和技術的民主化。

10. 分散式並行：從單卡到萬卡的艱難攀爬

現代百億至萬億引數 Decoder‑only 模型的訓練，必須跨越單卡視訊記憶體和算力的極限，深度依賴層結構的對稱性進行多維並行。首先，張量並行（Tensor Parallelism）將單層內的權重矩陣沿列或行切分到多個 GPU 上，例如將自注意力的 Q、K、V 投影矩陣按列切分，前向時執行區域性計算後通過 All‑Reduce 或 ReduceScatter 同步部分結果，使得原本單卡裝不下的單層引數可以分佈到 4~8 張卡。其次，流水線並行（Pipeline Parallelism）利用層間天然的順序依賴，將模型按層切分為多個 stage，每個 stage 負責若干連續層的計算，通過微批次技術將不同批次的資料分時注入流水線，以掩蓋 device 間空轉。資料並行（Data Parallelism）則將所有卡複製完整模型，各自處理不同資料微批次，最後在梯度上 All‑Reduce。ZeRO 最佳化器將原本資料並行中每張卡都完整儲存的最佳化器狀態、梯度和引數分片到所有節點，極大減少冗餘視訊記憶體，使單機能夠訓練原本超過總視訊記憶體 10 倍以上的模型。這幾種並行策略的組合稱為 3D 並行，再加上序列並行（sequence parallelism）將長序列切分以進一步分攤啟用視訊記憶體，共同構成當前萬卡叢集訓練的基礎。

11. MoE 與通訊拓撲的深度耦合

當 FFN 層由 MoE 實現時，並行模式會變得更加複雜，並對通訊產生深刻影響。MoE 的前向邏輯是：輸入 token 先經過一個輕量路由網路（通常是線性層 + softmax），計算出每個專家的分數，然後選擇 top-k 個專家（通常 k=2）。每個 token 被髮送到對應的專家所在的 GPU 進行 FFN 計算，這個過程需要全域性的 All‑to‑All 通訊，因為 token 的源分佈和專家目標分佈通常是交錯且不平衡的。All‑to‑All 的通訊量正比於 token 總數 × 隱藏維度 × k，而這一步往往成為萬卡場景下的效能瓶頸。以多次開源的 Mixtral 8×7B 為例，儘管總引數 47B，但每次只啟用 2 個專家，約 13B 引數量，推論效率極高；但在訓練中，All‑to‑All 的延遲會顯著拉低 GPU 利用率。產業界為最佳化 MoE，設計了專家並行（Expert Parallelism）與張量並行、資料並行混合的策略，例如將專家切分並放置在不同節點，同一節點內用張量並行處理單個專家的 FFN 矩陣運算。同時，為了緩解專家負載不均引起的“專家惰性”和通訊擁塞，還引入了輔助損失（load balancing loss）強制 token 分佈均勻化，以及動態路由偏置調整等方法。可以說，Decoder‑only 向 MoE 的演進，本質上是將模型結構的設計空間與網路拓撲的物理極限深度繫結，推動高速互聯技術向更高頻寬、更低延遲演進。

12. 關鍵引數：深度、寬度、頭數與詞表

模型能力極度依賴少數幾個關鍵引數的精細調配。首先是層數（深度）與隱藏維度（寬度），兩者共同決定總引數量。經典配比如 GPT‑3 的 96 層、隱藏維度 12288；Llama 3 70B 採用 80 層、隱藏維度 8192；而 GPT‑4 據說達到 120 層、隱藏維度 20480 以上。更深的網路有助於高層語義抽象，但同時帶來訓練難度和視訊記憶體壓力的陡增。其次是注意力頭數與 KV 頭數。多頭注意力允許不同子空間捕捉不同模式，但近年趨勢是引入分組查詢注意力（GQA），即使用更少的 KV 頭（如 8 個）而保持 Q 頭數不變（如 32 個），以在推論時顯著壓縮 KV‑cache 記憶體，而效能損失極小。詞表大小直接決定 token 數量，典型值從 32k 到 256k 不等，詞表越大，單 token 編碼語義豐富度越高，但也會增加 Embedding 引數和 softmax 計算成本，需要通過最佳化 logit 裁剪和取樣策略來平衡。上下文長度也是關鍵，RoPE 加外推技術（如位置插值、NTK‑aware scaling）已將原生 4k 視窗實際擴充套件至幾十萬 token，2024 年釋出的 Gemini 1.5 Pro 甚至支援 200 萬 token 上下文。這一引數改變了應用範式：整庫程式碼、長篇小說、數小時會議記錄可直接作為 prompt，無需複雜的分段檢索，對產業應用影響深遠。

13. 推論最佳化：KV‑cache、量化和稀疏注意力

Decoder‑only 模型從理論走向億萬使用者，必須跨越推論效率的鴻溝。最核心的技術是 KV‑cache：推論時將每個歷史 token 的 K、V 張量快取，每步生成只需為新 token 計算 Q，並與快取的 K 做注意力，避免歷史資訊的重複計算。這直接讓自迴歸解碼的時間複雜度從 O(L^2) 降低為 O(L)（相對於每步前向）。然而，長上下文下快取本身膨脹成主要瓶頸，一個 70B 模型在 128k 上下文時 KV‑cache 需要超過 100GB 視訊記憶體。為此，研發界推出了多種精確壓縮或近似方法：Multi‑Query Attention 將 KV 頭降為 1，GQA 取折中；PagedAttention 將快取分頁管理以消除碎片；StreamingLLM、H2O 等“注意力沉降”策略選擇性丟棄中間 token 的 KV。量化技術同樣關鍵，INT8/INT4 權重和啟用量化可將推論所需視訊記憶體減半，配合 GPTQ、AWQ、GGUF 等格式在消費級顯示卡甚至手機端實現 13B 模型即時對話。在計算端，FlashAttention 系列演算法通過塊狀計算和重計算策略徹底避免了 QK^T 矩陣的全域性物化，將記憶體 I/O 減少至近理論最小值，現已成為所有推論架構的預設後端。這些技術合力將單 token 生成延遲壓縮至幾十毫秒，成本降至數美分，使得 Decoder‑only 真正走向大眾化。

14. 應用版圖與全球競爭格局

Decoder‑only 模型的應用場景已遠超自然語言處理本身。對話系統領域，ChatGPT 周活使用者突破 2 億，國內百度文心一言、阿里通義千問也成為億萬量級入口；程式碼生成方面，GitHub Copilot 基於 OpenAI Codex 系列，已支援 80 多種語言，為開發者完成超過 46% 的程式碼行；科學研究中，AlphaProof 的基礎語言模型同樣是 Decoder‑only，輔助數學家發現複雜證明；生物製藥領域，Profluent 的 ProGen2 用類似架構直接生成全新蛋白質序列，若干個已進入體外實驗。應用擴充套件的背後是全球科技巨頭的激烈競逐：OpenAI 與微軟深度繫結，建置了從 Azure 超算到 Copilot 產品的垂直閉環；Google DeepMind 推出 Gemini 系列，通過 TPU v5 自研晶片試圖奪回算力主權；Meta 高舉開源大旗，LLaMA 系列成為全球開發者生態基石，衍生的 Mistral、Qwen、Yi 等模型在特定排行榜形成強勁挑戰。中國的百度、阿里、華為、智譜等也各自推出 Decoder‑only 基座，並在中文理解和多模態延展上形成差異化。這場競爭已不再單純拼引數規模，而是圍繞資料質量、長上下文、多模態、推論成本和開發者粘性展開多維拉鋸，而 Decoder‑only 架構本身已成為這個競技場的唯一入場券。

15. 挑戰與未來：走向更廣義的智慧基座

儘管一路高歌猛進，Decoder‑only 架構仍面臨深層挑戰。其一，單向因果限制使其在需要雙向全域性理解的某些任務（如高質量排序、複雜文件層級理解）上難以達到編碼器‑解碼器或雙向模型的理論上限。其二，幻覺問題根植於自迴歸的取樣不確定性，當模型過度自信地預測下一個高機率 token 時，事實一致性往往被犧牲。2024 年研究表明，即使使用 RLHF 和 RLAIF 等方式校準，規模化也未能根治幻覺，需要外部知識增強和檢索增強生成（RAG）彌補。其三，自迴歸的序列生成在極致低延遲場景（如即時語音互動）存在根本限制，雖然投機解碼和並行解碼有一定緩解，但原理性的序列依賴尚未破除。其四，日益龐大的訓練和推論能耗引發可持續性質疑，據估計一次 GPT‑4 級訓練消耗電力超過 50 GWh，相當於 6000 個美國家庭一年用電量。未來，Decoder‑only 架構可能向混合化、模組化演進：融合雙向注意力模組提升理解，引入規劃與工具使用機制緩解幻覺，通過狀態空間模型替代注意力以實現線性複雜度長上下文，甚至與編碼器‑解碼器架構在統一架構下共存。但短期內，憑藉極簡性、擴充套件性和龐大的產業慣性，Decoder‑only 仍將穩坐大型模型時代的第一把交椅，定義未來十年的技術主航道。