大語言模型

3 秒看懂

大語言模型（Large Language Model, LLM）是一種基於海量文本資料訓練的超大規模人工神經網路。其核心運作機制可簡化為“自迴歸文本預測”——即模型根據已輸入的上下文，逐詞預測並生成最可能的下一個詞元。憑藉高達數千億乃至萬億級別的引數規模，LLM展現出了接近人類的泛化語言智慧，能夠在對話、寫作、程式設計、數學推論、邏輯規劃等多領域執行復雜任務。產業層面，LLM是當前生成式人工智慧浪潮的基座，也是驅動全球AI算力需求指數級增長的核心引擎。

3 分鐘產業解釋

LLM的本質價值並非對海量知識的靜態儲存與檢索，而在於其通過自監督預訓練習得的對世界知識、語言結構、常識邏輯及推論路徑的深層建模與壓縮能力。其技術實現路徑通常分為兩個主要階段：

1. 預訓練階段：在海量網際網路級語料（涵蓋網頁、書籍、學術論文、程式碼庫等）上進行，模型的學習任務被設計為“預測序列中的下一個詞元”。通過這一過程，模型建置起對世界的機率化表徵。
2. 後訓練/對齊階段：在預訓練模型基礎上，通過有監督指令微調和基於人類反饋的強化學習或直接偏好最佳化（DPO）等技術，使模型的輸出更符合人類指令、偏好、價值觀及安全規範。推論時，LLM以自迴歸方式工作，每生成一個新的詞元，就將其拼接到先前的序列中，作為下一步預測的輸入，迴圈往復直至生成完整回應。

產業影響已遠超自然語言處理本身，正系統性地重構人機互動範式與數字產業鏈：

• 互動入口的變革：以ChatGPT、Claude、Gemini為代表的對話式AI正成為新一代資訊獲取與任務執行入口，對傳統搜尋引擎、知識庫及軟體互動介面構成根本性衝擊。程式碼生成（如GitHub Copilot）、文件摘要、會議紀要等應用已成為生產力工具的新範式。
• 算力需求的爆炸式增長：訓練一個千億引數的密集模型，需部署數千張以輝達H100等為代表的高效能GPU叢集，持續執行數週乃至數月。推論階段，為服務全球數億使用者的高併發請求，同樣需要萬卡級推論叢集支援。這直接拉動了高頻寬儲存器、先進封裝（如台積電CoWoS）及AI專用晶片的全產業鏈產能緊張。
• 產業生態的重構：產業正從傳統的“晶片-雲端-應用”鏈條，演變為“AI晶片/基礎設施-模型即服務-應用層”的三層解耦架構。雲端服務商、模型開發商、應用及工具鏈廠商的角色正在重新洗牌，模型能力成為定義生態的關鍵控制點。

LLM領域的核心壁壘已從早期的模型架構創新，轉向涵蓋資料工程、大規模訓練系統穩定性與效率、以及複雜對齊技術在內的系統性工程能力。

技術原理

核心架構：僅解碼器Transformer

當代絕大多數主流LLM均採用Transformer的“僅解碼器”變體架構。其核心計算單元是堆疊數十甚至上百層的Transformer塊，每個塊內部由以下關鍵元件構成：

• 掩碼多頭自注意力機制：這是LLM長距離依賴建模能力的核心。它允許當前詞元在生成時，計算與歷史上文所有詞元的關聯權重，並通過掩碼矩陣確保計算是因果的（即不瀏覽未來資訊）。其計算複雜度與序列長度n的平方成正比，記為O(n²d)（其中d為維度），這成為長上下文處理時的主要計算與儲存瓶頸。
• 前饋網路：位於自注意力層之後，對每個詞元的位置進行獨立的非線性特徵變換。典型結構為兩個全連線層，中間夾一個啟用函式（如SwiGLU）。該部分承載了模型大部分的引數儲存容量。
• 層歸一化：在現代LLM中，通常採用前置歸一化結構，對輸入資料進行標準化處理，以穩定深層網路的訓練過程。
• 位置編碼：由於自注意力機制本身不具備對序列順序的感知能力，需要顯式注入位置資訊。旋轉位置編碼是當前的主流方案，它通過複數旋轉在注意力計算中乘積性地編碼相對位置，對模型處理不同長度的序列有良好的外推能力。

訓練機制：從資料到智慧的轉化

1. 預訓練目標：模型訓練的目標是最大化訓練資料中整個序列的聯合機率。用公式可表達為：L(θ) = Σ log P(token_t | token_<t; θ)。模型通過反向傳播和梯度下降，不斷調整其引數θ，以提升對下一個詞元預測的準確性。
2. 最佳化與精度：主流最佳化器為AdamW，它將權重衰減與自適應學習率解耦。訓練普遍採用混合精度方案，前向和反向傳播使用BF16或FP16降低視訊記憶體佔用和加速計算，而引數更新和最佳化器狀態保留在FP32以維持精度。動態損失縮放等技術用於保障數值穩定性。
3. 三維並行策略：為支撐萬億級引數模型的訓練，必須將模型狀態、資料和計算在數千乃至數萬張GPU上協同排程，業界成熟方案為三種並行的疊加：
   • 資料並行：每張GPU持有模型完整副本，處理不同的輸入資料子集，梯度在所有GPU間同步。
   • 張量並行：將單層Transformer內的引數矩陣切分到多張GPU，每張卡負責部分計算，層內進行高頻寬通訊來聚合結果。
   • 流水線並行：將模型的不同層組分配到不同GPU組，輸入資料被切割為微批次，在層組間流水執行，將通訊限制在層組邊界。

對於混合專家（MoE）模型，因其路由機制，會額外引入全對全通訊，以將不同詞元分發到不同專家進行計算，通訊拓撲和負載均衡成為關鍵挑戰。穩定執行萬卡級GPU叢集進行數月訓練，涉及到從網路拓撲（如NVLink、InfiniBand）、儲存到並行架構（如Megatron-LM、DeepSpeed）協同設計的極致工程調優。

推論最佳化：降低成本與延遲

LLM推論面臨的核心挑戰在於高記憶體頻寬需求和自迴歸式序列生成導致的延遲。

• KV快取：為免去對歷史詞元的重複計算，每次生成的詞元其鍵和值向量會被緩存於視訊記憶體。隨著上下文增長，KV快取呈線性增長，成為限制併發量和最大序列長度的主因。
• 核心最佳化技術：推論最佳化已是LLM工程領域的核心技術棧，方向包括：
  • 計算注意力：如FlashAttention系列演算法，通過分塊計算和重計算策略，最小化對高頻寬視訊記憶體的讀寫次數，顯著加速並節省視訊記憶體。
  • 模型量化：在可接受的精度損失下，將模型權重的數值表示從FP16壓縮為INT8或INT4，以降低模型體積和記憶體頻寬壓力。
  • KV快取壓縮：通過對歷史鍵值對進行分組、淘汰或跨層共享，減少儲存開銷。
  • 批處理與排程：通過連續批處理等策略，將多個使用者的請求動態組成硬體計算批次，提升GPU利用率。

對齊技術：使模型符合人類意圖

單純的預訓練模型無法區分指令與查詢，其產出常有偏見或產生幻覺。對齊是其能力得以產品化的關鍵一步。

1. 典型的RLHF流程：

   • 收集人類對同一條提示的不同回覆的偏好排序，訓練出一個獎勵模型，它能給任何回覆打一個代表人類偏好的分數。
   • 使用近端策略最佳化演算法，用獎勵模型的輸出作為訊號，去微調預訓練語言模型自身，使得其產出能獲得更高獎勵分。
   • 同時，在每個PPO迭代中，引入Kullback-Leibler散度懲罰項，防止模型為追逐高分而過擬合獎勵模型的漏洞，從而偏離其基礎語言能力太遠。

2. 替代方案：直接偏好最佳化（DPO）：DPO通過巧妙的數學變換，省去了顯式訓練一個獨立獎勵模型的步驟，直接利用人類偏好資料最佳化策略模型，流程更簡單且穩定，已成為開源社群和對齊研究的熱門方向。

關鍵引數

評估和比較LLM時，需綜合考量以下多維度引數，具體數值請以各廠商釋出的最新技術報告與實測結果為準。

• 模型能力基準：
  • 知識廣度與深度：以MMLU（多工語言理解資料集）為代表，衡量模型在57個學科領域（涵蓋STEM、人文社科）的零樣本或少樣本準確率。
  • 推論與邏輯：以GSM8K、MATH代表數學推論能力；以ARC、Big-Bench Hard代表常識與複雜邏輯推論能力。
  • 程式碼生成：以HumanEval、MBPP等資料集的通過率評估模型基於文件串生成功能正確程式碼的能力。
  • 多語言能力：以Flores、MGSM等多語言基準評估模型在非英語場景下的遷移表現。
  • 人類偏好勝率：以LMSYS Chatbot Arena為代表，通過數萬使用者背靠背盲測，得到模型的綜合Elo分數，是衡量其綜合可用性、風格和安全性的關鍵指標。
• 訓練成本與效率指標：
  • 總訓練計算量：通常以浮點運算次數計量。根據規模定律，約等於 6 × 模型引數量 × 訓練資料詞元數，是衡量算力投入的直接標尺。
  • 算力投入：常用“總GPU·小時”作為統一計量單位。例如，Meta Llama 3 405B模型在2024年公開的資料中，稱其在1.6萬張H100 GPU上進行了總計3080萬GPU小時的預訓練開支（來源：Meta 2024年技術報告）。
  • 模型浮點運算利用率：衡量在大規模分散式訓練中，GPU實際完成的浮點運算佔其理論峰值的比例，是評估訓練系統效率的關鍵工程指標。業界頭部的公開報道中，MFU可達50%以上。
• 推論效能指標：
  • 首詞元延遲：使用者發起請求到看到第一個字元響應的時間，直接影響體感，通常需控制在數百毫秒內。
  • 生成吞吐量：在特定併發下，模型每秒可生成的詞元總數，決定了服務的單位成本。單位通常為tokens/s/server。
  • 上下文視窗長度：指模型單次可理解的最大文本長度，行業正從128k/256k向100萬token乃至更長視窗演進，直接影響其處理整本文件、大型程式碼庫的能力。
• 安全與對齊指標：包括但不限於有害內容輸出率、幻覺率、提示注入攻擊成功率、對不當請求的拒絕準確率等。這些指標通常由模型廠商內部使用紅隊測試評估，如Anthropic釋出模型卡中包含此類結果。

技術路線

當前主流LLM的技術路線並非單一，而是在不同架構和資源約束下分化出多種方向，各有權衡。以下對比基於公開論文及行業分析：

維度	密集模型	混合專家模型	新興探索：狀態空間模型等
總引數量	7B–405B（截至2024年主流）	8×7B（~47B）–萬億級	數十億至百億級為主
每詞元啟用量	等於總引數量，算力需求高	通常為總引數的1%–20%，效率高	與總引數量相當或更少，理論上計算和記憶體開銷恆定
訓練效率與挑戰	訓練算力正比於總引數，三維並行壓力大	可能需更高總算力，全對全通訊是瓶頸，負載均衡易坍塌	對長序列天然高效，收斂性仍需提升
推論效率	KV快取隨上下文長度線性增長，視訊記憶體頻寬是瓶頸	啟用引數較少，但需載入全部專家至視訊記憶體，容量要求高	KV快取極小或恆定，在長序列推論上優勢顯著
典型應用場景	追求極致單一任務深度的通用模型	多語言、多工混合路由，追求價效比的規模化服務	處理超長DNA序列、長影片流、本地端側低延遲部署
主要挑戰	高昂的訓練和推論總成本	路由坍塌、節點間負載不均衡、通訊開銷大	在某些檢索和事實性密集型任務上的效果仍在追趕

來源：綜合Anthropic、Meta、Google、Mistral AI等公司2023-2024年公開技術報告及學術論文定性總結，非特定產品實測比較。

上游

大語言模型產業鏈上游涵蓋構成其物理載體和“燃料”的所有硬體、基礎設施及資料服務。

• 核心算力晶片：以輝達H100、B200等GPU為主流，其供應能力和迭代速度決定了模型訓練和推論的成本與效能上限。AMD Instinct MI300X等晶片也開始獲得一定市場份額。此外，各雲端廠商和巨頭（如GoogleTPU、微軟Maia、亞馬遜Trainium）均在自研AI晶片，形成差異化供應格局。
• 儲存與互聯：
  • 高頻寬記憶體：HBM是GPU不可或缺的近存快取，其容量和頻寬直接制約大型模型單卡能裝載的模型體積。該市場長期由SK海力士和三星電子主導，產能擴張節奏（據SK海力士與三星2024年財報及說明會揭露）是AI晶片出貨量的前置指標。
  • 先進封裝：台積電的CoWoS封裝技術是連線GPU核心與HBM的關鍵，其2024-2025年產能持續翻倍，但仍處於供不應求狀態。光模組等高速互聯元件的需求亦隨之拉昇，為800G/1.6T速率迭代提供市場支撐。
• 資料與工具：
  • 預訓練資料：來源包括網際網路爬蟲資料（如Common Crawl）、新聞、書籍、學術論文、程式碼庫（GitHub等）以及合成數據。資料質量篩選、去重、去毒及版權合規處理已成為比模型架構更耗資源的工程環節。
  • 資料服務：對齊階段依賴大量高度專業化的人工標註和反饋資料。Scale AI、Surge AI等資料服務商因此獲得高增長。
• 資料中心基礎設施：部署萬卡級叢集需配套高密度電力供應（單機櫃功率往40kW+發展）和先進液冷散熱方案。公開資料可見，微軟、Google、Meta等雲端商將在2024-2025年持續加大對新建資料中心和改造工程的資本支出展望（來源：各公司季度財報電話會）。

下游

LLM的下游應用正從早期“嚐鮮”逐步走向場景化落地，並分化為兩個主要方向。

• 個人生產力工具：AI原生對話助手（如ChatGPT, Gemini, Claude）成為搜尋、寫作、腦暴、長文分析的個人助理。程式碼輔助工具（GitHub Copilot、Cursor等）已顯著改變開發者工作流，微軟FY2024 Q4財報顯示，GitHub Copilot的營收達數億美元級別。
• 企業級應用整合：
  • 知識工作自動化：基於檢索增強生成（RAG）技術的企業知識庫問答、合同分析、會議紀要自動生成與追蹤。
  • 垂直行業精調：金融領域的財報分析、法務領域的文書生成與稽核、醫療領域的輔助診斷和醫患互動。
  • 新型使用者介面：將LLM作為核心互動層，重塑軟體、電商、遊戲等行業應用，實現對話式操作或動態內容生成。
• 具身智慧與物理世界互動：為機器人和自動駕駛系統提供頂層規劃、任務拆解和複雜指令理解的大腦，將自然語言指令轉化為一系列物理執行步驟。

受益公司

此處基於產業鏈位置和公開市場資訊梳理，不構成任何投資建議。

• 基礎設施及晶片層：
  • 輝達：其AI訓練/推論解決方案事實性主導市場，2024財年資料中心營收達475億美元，為直接對映標的。
  • SK海力士、三星電子：AI儲存硬需求的核心供應商，其HBM產能和良率是業績關鍵變數。
  • 台積電、博通、中際旭創等：分別從先進封裝、ASIC設計、高速光模組的旺盛需求中受益。
• 雲端運算平台：
  • 微軟：通過深度繫結OpenAI，將模型能力全面融入Azure雲端和Office 365等產品生態（Copilot系列），獲取訂閱和雲端使用量雙重收益。
  • 亞馬遜AWS：作為託管模型服務商和自研晶片推廣者，以及Anthropic的最大投資方，建置了廣泛的模型生態。
  • Google雲端：擁有從自研TPU到Gemini系列模型的垂直整合優勢。
• 模型及應用層：
  • OpenAI, Anthropic：前者憑藉先發優勢和消費者規模，後者憑藉安全和企業市場，形成閉源模型領先陣營。其營收均來自API呼叫量和C端會員訂閱，但兩公司私募市場估值的增長反映了市場對前置投入的折現，而非當期財務表現。
  • Meta：作為開源模型的最大推手，通過LaMA系列賦能社群生態，其商業回報體現在廣告系統效率提升、推薦系統改進等內部賦能。
  • Salesforce， Adobe， ServiceNow等應用軟體巨頭：通過將GenAI功能嵌入其CRM、創意工具、IT服務管理平台，實現產品提價和使用者粘性增強。

市場規模

對LLM直接相關市場規模的估測，口徑差異巨大，需分層次看。

• 大型模型訓練市場：傑富瑞2024年估算，全球頭部AI模型年度訓練總支出有望在未來幾年內達到數百億美元級別。這主要由少數頭部玩家的鉅額CAPEX推動。
• 生成式AI軟體與服務市場：據IDC 2024年預測，全球生成式AI相關支出（含軟體、服務、相關伺服器硬體）在2023年約160億美元，到2027年將增長至1430億美元，複合年增長率達73.3%。該口徑覆蓋範圍較寬，包括了各行業應用。
• LLM API及按量付費市場：此細分市場增長最快但透明性較低。根據各廠商公開的API定價趨勢，推論單位成本正以每年超過50%的速度下降，刺激呼叫量指數級增長。例如，OpenAI的GPT-4系列在2024年多次下調價格（來源：OpenAI官方定價頁公告），推動企業試錯和規模化部署成本降低。

玩家對比

當前市場呈現“閉源雙頭”與“開源眾強”競爭的格局。

• 閉源陣營：

  維度	OpenAI	Anthropic
  旗艦模型	GPT-4o系列	Claude 3.5系列
  核心定位	通用智慧、全模態、平台化	安全對齊、可靠、長上下文
  商業模式	消費者訂閱+C端付費、企業API	企業API、與AWS生態共建
  長處	生態最完善，消費者心智強	上下文視窗長度領先，安全性佳

• 開源陣營代表：

  維度	Meta	中國代表：深度求索（DeepSeek）
  旗艦模型	Llama 3 系列	DeepSeek-V3, DeepSeek-R1
  核心定位	建置開放生態，賦能內部產品	極限價效比、開源、推論能力
  長處	社群最活躍，衍生模型數量極多	特定推論任務效能優異，訓練成本遠低於同儕
  市值/估值對映	內部商業化，無直接API營收	通過API獲取早期營收，私募市場高關注

  中國其他主要玩家：阿里巴巴的通義千問系列憑藉電商及雲端生態的結合，在企業客戶側有場景優勢；字節跳動的豆包大型模型以極低API價格和與自身海量應用生態的結合為特色，拉動呼叫量增長。此處僅作定性梳理，產品名及市場策略來源於各公司2024年公開發布內容。

風險

• 技術路線風險：行業尚未收斂於統一最優架構。MoE、狀態空間模型、密集模型的演進路徑存在不確定性，企業在某一技術棧上的大量投入可能因範式轉換而“沉沒”。
• 商業化不確定性：訓練成本極高，但在API價格戰下，模型層盈利時點尚不明確。IDC 2024年調研顯示，儘管企業GenAI專案試點廣泛，但實現正向投資回報率的案例仍屬早期，大量企業可能因看不到清晰回報而縮減算力預算。
• 監管與合規：歐盟《人工智慧法案》、中國AIGC監管等正對模型透明度、訓練資料版權和高風險應用提出嚴格要求。使用受版權保護資料訓練模型的法律風險懸而未決，可能帶來額外合規成本和訴訟風險（如《紐約時報》訴OpenAI案，截至2025年初仍無最終裁決）。
• 開源衝擊與價值遷移：開源模型正在極速追趕閉源能力，這可能將價值從模型層向基礎設施層和應用資料層遷移，削弱閉源模型廠商的議價權。
• 幻覺與安全：模型產生事實性錯誤（幻覺）和易受提示攻擊的安全問題，是企業端高可靠性場景部署的核心阻礙。

誤讀糾偏

• 誤讀：“LLM就是大一點的文本預測器，沒有真正的理解。” 事實：雖然其訓練訊號源於“下一個詞預測”，但在資料和引數規模越過閾值後，模型湧現出了組合泛化、邏輯推論等能力。人工智慧領域的理解通常強調其能基於世界模型進行“預測”和“操作”，LLM通過預測文本實現對物理和社會世界規則的壓縮，這是對“理解”的一種功能性實現路徑，而非簡單的資料復讀。
• 誤讀：“MoE模型的啟用引數就是總引數除以專家數。” 事實：由於模型中的共享層（如注意力層、第一層嵌入和最後一層歸一化）對所有詞元都會啟用，並不參與路由。每個詞元啟用的引數實為：全量共享層引數 + 被路由到的單個或多個專家的FFN引數之和。因此，啟用引數佔比受架構設計影響極大，並不能簡單地用總引數量除以專家數量來計算。
• 誤讀：“所有大型模型都已經多模態化了。” 事實：多模態是重要方向，但語言模型與擴散模型、視覺編碼器的有機整合仍需解決模態對齊、幻覺和訓練穩定性等難題。當前許多產品是在語言核心外圍接入視覺等模型組合完成的，與原生統一多模態大型模型在整合深度上存在差異。

最新事件

• 推論能力與測試時計算擴充套件：2024年下半年至2025年初，以OpenAI o1系列和DeepSeek-R1為代表的新模型，展示了一條新的能力擴充套件路徑。即不單靠增加預訓練規模，而是讓模型在推論（回答問題）時進行慢思考，生成內部思維鏈來探索多種解題路徑。這使得對推論時的算力消耗和延遲成為新的設計維度。
• 算力競賽加劇：Meta CEO扎克伯格於2025年1月公開宣佈，公司2025年AI相關資本支出計劃高達600-650億美元。微軟、Google和亞馬遜也相繼公佈了類似量級的AI基礎設施投資展望，顯示出全行業對Scaling Law仍有效的堅定假設。據Omdia估計，2024年全球AI伺服器的總資本支出約有2290億美元。
• “DeepSeek效應” ：2024年末至2025年初，中國模型廠商深度求索釋出的DeepSeek-V3和R1模型，據其技術報告聲稱以遠低於頭部公司的預算（訓練V3僅用約557萬美元的公開雲端GPU時）實現了效能的追平。這引發了對行業鉅額CAPEX效率的全球性討論，但也成為推動模型高效推論演算法和開源生態的催化劑。
• AI Agent（智慧代理）深化：Anthropic釋出“Computer Use”功能、Google演示Project Mariner，多家公司正推動模型從聊天機器人向能操作軟體、瀏覽網頁的自主智慧代理演化，這被視為2025年最重要產品化方向。
• 注：以上相關CAPEX計劃資訊均源自各公司2025年1月季度電話會或官方部落格。
• 來源：公開網路檢索。

追蹤指標

• 硬體層：輝達季度資料中心營收（反映整體需求）；SK海力士/三星HBM產能和良率提升節點；台積電CoWoS產能擴張及利用率；北美主要雲端商資本支出展望（微軟、亞馬遜、Google、Meta）。
• 模型能力層：LMSYS Chatbot Arena排行榜排名變化；MMLU、HumanEval、GSM8K等基準新進模型最好成績；前沿模型首次通過某項公認難度的科學/數學基準；開源模型與最強閉源模型間的相對效能差值。
• 應用與商業化層：OpenAI、Anthropic等初創公司定期揭露的營收規模和付費使用者數；主要雲端平台AI服務營收佔雲端總營收比重的季增率提升速度；頭部企業應用軟體AI外掛客戶採用率。
• 成本層：OpenAI GPT系列、各開源模型API的每百萬Tokens推論混合價格；訓練同級別模型所消耗的計算量變化趨勢；萬卡叢集的公有雲端租賃價格和模型浮點運算利用率提升情況。
• 風險層：全球主要AI監管法案的通過及實施時間軸；涉及LLM的重大版權訴訟案進展；知名AI安全事件或重大技術缺陷報告（如重大偏見、提示攻擊氾濫）。

信源

• 學術與機構來源：
  • Vaswani et al., “Attention Is All You Need”， 2017. NeurIPS.
  • Brown et al., “Language Models are Few-Shot Learners”， 2020. NeurIPS.
  • Ouyang et al., “Training language models to follow instructions with human feedback”， 2022. NeurIPS.
  • Touvron et al., “LLaMA: Open and Efficient Foundation Language Models”， 2023. arXiv.
  • IDC, “Worldwide Generative AI Spending Guide”， 2024.
• 企業與行業來源：
  • 輝達、台積電、SK海力士、微軟、亞馬遜、Google、Meta等季報及財年報告。
  • OpenAI、Anthropic、Meta AI、DeepSeek等官方技術報告及部落格。
  • Omdia, Tom‘s Hardware, SemiAnalysis等半導體與資料中心產業分析機構的公開資料及估算。