微調

3 秒看懂

微調 (Fine-Tuning) 是深度學習領域的一種遷移學習技術：先拿一個在大規模通用資料上訓練好的預訓練模型（如 GPT、BERT、ResNet），再用一個更小、更專的任務資料集對模型進行額外訓練，使其引數適配該特定任務。微調通常只涉及少量訓練輪次，學習率遠低於預訓練階段。

一句話：“站在巨人肩膀上，用小資料、小算力把一個通才模型變成專才。”

---

3 分鐘產業解釋

預訓練模型是“花大錢、燒大卡”煉出來的基礎引擎，而微調是讓這具引擎快速裝入不同車架、跑不同賽道的標準化工藝。其產業邏輯：

1. 極大降低專用場景的門檻
   訓練一個從零開始的千億引數模型需要數千張 GPU 執行數月，微調往往僅需幾張到幾十張 GPU、數小時到數天，並且所需領域標註資料可能只有數百到數千條。這使得中小型企業也能利用頂尖模型能力。

2. 催生兩類產業範式

   • 基座模型廠商（如 OpenAI、Meta、DeepSeek）提供通用預訓練權重與微調介面。
   • 應用/垂直行業廠商在此基礎上微調出客服、法律、醫療、程式碼等專用模型。

3. 微調正在由“全引數微調”向“引數高效微調 (Parameter-Efficient Fine-Tuning, PEFT)”快速演進
   LoRA、QLoRA、Adapter 等方法只調整總引數量的千分之幾甚至更少，視訊記憶體開銷大幅下降，使得在消費級顯示卡上微調大型模型成為常規操作。

4. 與提示工程、RAG（檢索增強生成）形成三角互補
   簡單任務用提示工程；需要動態知識的用 RAG；需要風格、行為深度定製的用微調。三種手段在產業中常結合使用。

---

15 分鐘專家深入

微調看似只是“再訓練一點點”，但其中的資料構造策略、最佳化器選擇、學習率排程、災難性遺忘控制、與預訓練分佈的匹配度，以及面向不同架構（僅解碼器、編碼-解碼器、擴散模型）的微調策略，構成了一整套工程與科學體系。

微調的核心型別

• 全引數微調 (Full Fine-Tuning)
  更新模型所有權重。代表性強，效果通常最好，但視訊記憶體和儲存開銷等同於預訓練或更大（因最佳化器狀態）。

• 特徵提取式微調 (Linear Probing / Head Tuning)
  凍結骨幹網路權重，只訓練一個任務特定的分類頭或輸出層。訓練極快，但上限受限於特徵分佈與目標任務的匹配度。

• 部分層微調 (Partial Fine-Tuning)
  如只解凍最後 N 層 Transformer 塊，其餘凍結。在效果與開銷之間折中。

• 引數高效微調 (PEFT)
  引入極少量可訓練引數，而原始模型權重保持凍結。當前主流方法包括：

  • LoRA (Low-Rank Adaptation): 在權重矩陣旁路中用低秩分解矩陣捕獲任務特定的變化。
  • QLoRA: 在 LoRA 基礎上加入 4-bit 量化和分頁最佳化器，實現在單張消費級 GPU 上微調 65B 模型。
  • Adapter: 在 Transformer 子層之間插入小型瓶頸模組。
  • Prefix Tuning / Prompt Tuning: 在輸入或每層前追加一組可學習的連續向量。

• 指令微調 (Instruction Tuning)
  用（指令，輸入，輸出）格式的多樣化任務集合訓練模型，使其能遵循自然語言指令，提高零樣本泛化能力。是 ChatGPT 類產品能力的關鍵環節。

• RLHF/DPO 對齊微調
  使用人類偏好資料，通過強化學習（PPO）或直接偏好最佳化（DPO）等演算法調整模型輸出風格、安全性、拒絕邊界等。技術細節牽涉獎勵模型訓練、KL 散度約束等。

訓練配方關鍵因素

• 學習率通常設為預訓練的 $$ 1/10 $$ 至 $$ 1/100 $$，採用餘弦退火或線性衰減，並配有 warmup。
• 批次大小、序列長度可能參照下游任務屬性調整。
• 當微調資料遠少於預訓練語料時，需監控驗證集困惑度或下游指標以防止災難性遺忘（即模型在新任務上效能提升，卻嚴重喪失原有通用能力）。技術緩解手段包括經驗重放、彈性權重鞏固 (EWC)、或者混入通用資料。
• 對於生成式模型，微調常伴隨溫度、top-p 等解碼策略的調整。

---

技術原理

微調本質上是在預訓練權重 \theta_{pre} 上執行一個受約束的最佳化過程，得到 \theta_{ft} = \theta_{pre} + \Delta\theta。其中，任務適配增量 \Delta\theta 在引數空間中被先驗知識和有限資料所約束。

全引數微調的最佳化視角

預訓練模型捕獲了廣泛的知識結構，損失景觀在高維引數空間中具有平坦、良好的泛化盆地。微調可以被視為在該盆地的區域性區域內尋找針對特定任務損失 L_{task} 的最低點：

\theta_{ft} = \arg\min_{\theta} L_{task}(\theta), \quad \text{初始點} = \theta_{pre}

由於下游資料有限，直接最佳化容易走出泛化良好的盆地，掉入尖銳區域性極小值。因此需要較低學習率和早停。

LoRA 的低秩假設

對於一層權重矩陣 W_0 \in \mathbb{R}^{d \times k}，LoRA 假定任務特定的權重更新 \Delta W 具有低“內在秩”：

$$ W = W_0 + \Delta W = W_0 + BA $$

其中 B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)（通常 $$ r=8 $$ 或 $$ 16 $）。前向傳播時輸出 \ h = W_0 x + BAx `。訓練時 ` W_0 ` 凍結，僅更新 $ A $$ 和 $$ B $$。可訓練引數量僅約 r \times (d+k) ，相較 d \times k ` 大幅減小。

# 對 Transformer 注意力層權重執行 LoRA 前向計算的簡化虛擬碼
# 原始計算: attn_output = W_q @ x
# LoRA 擴充套件:
lora_output = (lora_B @ lora_A) @ x   # lora_B: d×r, lora_A: r×k
scaled_output = lora_output * (alpha / r)
final_output = frozen_W_q @ x + scaled_output

災難性遺忘的理論直覺

微調使得引數朝著減少 L_{task} 的方向移動，破壞了原始引數配置中隱含的、對通用文本分佈的編碼。引數空間中的移動幅度越大，對原始知識的破壞越嚴重。PEFT 方法通過硬性凍結大部分引數或限制 \Delta\theta 範數（如通過小的學習率、及早停、正則化項）來限制移動幅度，從而保留預訓練能力。

技術演進史

• 2012 – 2015 年: 微調在計算機視覺誕生 AlexNet 時代就有“在 ImageNet 上預訓練，在 Pascal VOC 上微調”的經典範式。微調主要指替換分類頭並整體微調卷積網路。

• 2018 年: NLP 領域遷移學習成熟 ELMo 使用雙向 LSTM 提供上下文表示作為特徵。ULMFiT 提出了區分性學習率、逐步解凍等系統化微調策略。BERT 的出現將“預訓練 + 微調”定為 NLP 標配。

• 2019 – 2020 年: 大規模生成式預訓練興起 GPT‑2、T5 等模型證明了零樣本/少樣本能力，但也指向一個問題：隨著模型體積爆炸，全引數微調變得極不經濟。

• 2021 年: 引數高效微調的春天 Adapter, Prefix Tuning, Prompt Tuning, LoRA 相繼出現。LoRA 因其簡單、能融入原始權重不增加推論延遲的特性迅速普及。

• 2022 年至今: 指令微調和對齊微調 InstructGPT (2022) 開創 RLHF 範式。之後 LLaMA 系列、Mistral 等開源模型生態中，指令微調成為產品化的關鍵一步。同期 QLoRA 等將大型模型微調帶入“平民化”時代。

• 近期 (2024 年之後) 微調物件擴充套件到多模態模型、擴散模型、程式碼模型。合成數據參與微調，自動資料配比與超引數搜尋的自動化工具鏈快速成熟。

技術路線對比

微調方法	可訓練引數佔比（估算）	視訊記憶體需求（相對全微調）	典型訓練吞吐	多工能力	推論延遲影響	代表工具/庫
全引數微調	100%	最高（梯度、最佳化器狀態）	低（大型模型下）	需每個任務儲存完整模型	無額外開銷	DeepSpeed, FSDP
線性探測	<1%	極低	極高	較差	無	Hugging Face 內建
Adapter	約 2 – 8% （取決於瓶頸維度）	顯著低於全微調	較高	可組合多工介面卡	微小額外開銷	AdapterHub
LoRA	通常 <1% (r=8 時)	低（無需儲存大部分最佳化器狀態）	高	可通過熱插拔低秩矩陣多工	可與原權重合並，無推論延遲	PEFT, bitsandbytes
QLoRA	同 LoRA	極低（基模型 4-bit）	中（量化/反量化）	同 LoRA	無額外延遲	bitsandbytes, PEFT
指令微調（全引數）	100%	與全引數微調相同	取決於並行策略	強	無	各架構
RLHF (PPO)	全部或部分（取決於凍結策略）	極高（需同時載入策略、參考、獎勵模型）	低	對齊專一	無	TRL, DeepSpeedChat

注：以上指標為定性對比，具體數值因模型架構、並行策略、架構實現差異而不同，[表中佔比、吞吐為行業典型估算]。

---

上下游

上游

• 預訓練模型：基座模型（開源或閉源）的質量和許可決定了微調的天花板。
• 領域資料：微調資料的質量、多樣性、標註精度至關重要。資料配比、去噪、去重、格式標準化是上游關鍵工序。
• 算力/雲端服務：GPU 租賃、雲端服務商提供的微調 API（如 Vertex AI、Azure ML）降低了基礎設施門檻。
• 微調工具鏈：Hugging Face PEFT、TRL、Axolotl、LLaMA-Factory、unsloth 等開源工具極大地簡化了流程。

下游

• 垂直行業模型落地：金融分析、醫療問答、法律文書、教育輔導、程式設計助手等。
• 企業定製助手/Agent：基於企業私有資料微調出符合品牌語調、業務流程的對話系統。
• 邊緣端部署：通過微調把一個通用模型收縮為特定功能小模型，或使模型適配低位元量化後在手機/PC 本地執行。
• 模型服務提供商 (MaaS)：對外售賣微調好的系列模型 API。

---

關鍵指標

• 下游任務指標：準確率、F1、ROUGE、BLEU、人對齊評分（如 GPT‑4 評分的 MT‑Bench）、任務完成率等。
• 困惑度 (Perplexity)：反映模型對測試資料的語言建模能力，常用於事前篩選或早期停止。
• 災難性遺忘程度：微調前後通用基準（如 MMLU、HellaSwag）的分差。越小越好。
• 訓練/推論效率：微調總時間、每樣本延遲、吞吐量（token/s）、GPU·時消耗。
• 可訓練引數比：PEFT 方法中，該比值越低代表效率越高。
• KL 散度（對齊任務中）：衡量微調模型輸出分佈相對於參考模型的偏離程度。

---

供需與市場資料

• 市場熱度：根據公開技術報告和行業觀察，2023 年以來各大開源社群（如 Hugging Face）上微調後的模型數量呈指數增長；企業端超過 60% 的大型模型應用專案包含微調環節[行業調查報告估算，未指定單一來源]。
• 人才需求：提示工程師崗位熱度有所下降，“大型模型微調工程師”成為 AI 應用崗的高頻詞，要求掌握 LoRA/QLoRA、DeepSpeed、資料處理管線等技能。
• 算力需求：從全量微調向 PEFT 的遷移使得單次微調 GPU 需求大幅降低，但總體需求因專案數量爆發而持續增長。微調 API 和微調平台服務成為雲端廠商新的增長點。
• 資料市場：高質量領域微調資料整合為稀缺資源，資料標註、資料配比最佳化、合成數據生成等配套服務興起。

由於檢索未成功，上述具體佔比和數字為基於行業常識的估值，[未充分揭露具體廠商市佔率]。

---

代表公司與資本對映

• OpenAI：提供 GPT 系列模型的微調 API，支援全引數與即將推出或已經支援的部分定製方法。其 RLHF 技術棧被廣泛模仿。
• Meta：開源的 LLaMA 系列是該領域最重要基座之一，其論文《LLaMA: Open and Efficient Foundation Language Models》《LLaMA 2: Open Foundation and Fine-Tuned Chat Models》詳細描述了指令微調流程，驅動了海量二次微調專案。
• 微軟：通過 Azure AI 提供微調服務，並在 Phi 系列小模型中強調資料質量在於微調中的關鍵作用。
• Hugging Face：不是模型廠商，但憑藉 Transformers、PEFT、TRL 等庫成為微調生態的“事實標準”基礎設施提供者。
• Google DeepMind：Gemma、Gemini 家族均有微調支援；在引數高效方法上有 QLoRA 的思想前身研究及多種 Adapter 工作。
• 國內廠商：智譜、百川、月之暗面、DeepSeek 等均開放模型微調能力或提供 API 微調；阿里、百度、騰訊在各自雲端平台整合微調工具鏈。
• 創業公司：Weights & Biases（實驗追蹤）、Scale AI（資料標註/微調資料）、AnyScale（Ray/分散式微調平台）等均受益於微調生態。

---

投資邏輯

1. 基座模型仍是價值最高的環節，但微調創造了市場化變現的“最後一公里”。能提供簡單易用、低成本、高成功率的微調平台或工具鏈的公司具備強粘性和網路效應。
2. “微調即服務”(Fine-Tuning as a Service) 是雲端端 GPU 附加值的重要提升方式，把裸算力轉化為可運維的微調訓練作業管理。
3. 高質量垂直資料資產成為護城河。擁有稀缺領域資料並能通過微調工藝反覆提純的企業，其微調模型難以被通用模型替代。
4. 引數高效微調技術降低門檻，擴大總可觸達市場 (TAM)，利好應用層創業，但同時也導致應用層模型同質化，最終競爭將回到資料飛輪和產品體驗。
5. 安全與可控性：對齊微調（RLHF/DPO）是監管敏感的環節，相關資料標註、審計、安全評測工具可能成為獨立賽道。

---

常見誤讀糾偏

• 誤讀 1：“微調只是又訓練了一會兒，不用管資料質量。”
  糾偏：微調極度依賴資料質量和分佈。少量錯誤資料就可能引發模型偏離（例如產生微妙的幻覺、風格崩塌）。資料清洗、去雜、平衡化比預訓練階段更敏感，因為微調缺乏預訓練時的大規模多樣資料對沖效應。

• 誤讀 2：“使用了 LoRA 就沒有災難性遺忘。”
  糾偏：LoRA 大幅降低了遺忘風險，但當微調資料集極端背離預訓練分佈時，或者學習率、秩 $$ r $$ 選擇不當，依然會導致基礎知識或通用能力的顯著退化。仍需進行遺忘監控。

• 誤讀 3：“任何模型都能通過指令微調變成 ChatGPT 級別助手。”
  糾偏：指令微調的前提是基座模型具備足夠的語言理解與知識容量。如果基座本身就弱，微調只是“教它格式”，無法賦予其深層次推論能力。另外，對齊微調需要大量高質量人類偏好資料，並非僅僅指令化形式。

• 誤讀 4：“微調是一次性動作，之後模型就固定了。”
  糾偏：實際產業中，模型會經歷持續的多階段微調：預訓練 → 領域適應微調 → 指令微調 → 對齊微調。之後還可能進行定期增量微調以適應新資料，或者採用 LoRA 熱插拔方式在多工間切換。

---

學習路徑

1. 基礎準備：掌握 Python、PyTorch，理解 Transformer 結構、注意力機制、預訓練與自監督學習基本概念。
2. 跑通第一個微調：使用 Hugging Face Transformers 微調一個 BERT 分類器或 GPT‑2 生成模型，體會資料載入、訓練迴圈、評估流程。
3. 理解全引數微調工程：學習 DeepSpeed ZeRO、FSDP 基礎，瞭解混合精度訓練、梯度檢查點等技術在處理大型模型全微調時的作用。
4. 系統學習 PEFT：閱讀 LoRA 論文及其程式碼實現，理解 PEFT 庫中 LoRA/IA3/AdaLoRA 等的統一介面。用 QLoRA 親手微調一個 7B 模型。
5. 深入指令微調：研究 Alpaca、Vicuna、WizardLM 等專案的指令資料構造與微調配方，理解資料多樣性、任務混合比例如何影響零樣本泛化。
6. 研究對齊方法：學習 RLHF 流水線（SFT → 獎勵模型 → PPO），接著搞懂 DPO、KTO 等簡化方法，用 TRL 庫動手實操。
7. 進階：閱讀關於災難性遺忘、終身學習、增量微調的文獻；瞭解如何評估微調模型（Open LLM Leaderboard、AlpacaEval、Chatbot Arena 等方法論）。

---

一句話總結

微調是讓通用大型模型落地為專用生產力的核心技術槓桿，它把從資料到能力的轉化效率推到了極致，正從“大廠的獨門手藝”演化為“人人都可掌握的標準技能”。

---

延伸閱讀與來源

• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT‑3).
• Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models.
• Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized Language Models.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback (InstructGPT).
• Touvron, H. et al. (2023). LLaMA 2: Open Foundation and Fine-Tuned Chat Models.
• Hugging Face 社群文件：PEFT、TRL、Transformers.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5).

（由於檢索未成功，上述文獻均為領域內公認核心論文，未包含本次聯網新發現的非公開資料。）