Pairwise Preference

3 秒看懂

Pairwise Preference（成對偏好）是一種將人類“A 比 B 好”的相對判斷，轉化為機器學習模型訓練訊號的機制。它不是讓人類給單一答案打分，而是比較兩個答案的優劣。這項技術是當前大語言模型實現價值觀對齊、提升回答質量的核心驅動力。

3 分鐘產業解釋

在當今 AI 產業中，Pairwise Preference 解決了從“讓模型說話”到“讓模型說人話、說好話”的關鍵跨越。傳統監督學習要求標註員給出絕對分數，但人類對“一個回答打 7 分還是 8 分”的判斷往往模糊且不一致，而我們天生擅長比較——當看到同一問題的兩個不同回答時，幾乎能立刻指出哪一個更好、更安全、更有用。

產業界正是利用了這種認知特性。首先，語言模型對同一個提示生成多個回答；然後，人類標註員或高階 AI 對這些回答進行成對比較，構成偏好資料集。接著，這些資料被用來訓練一個獎勵模型，它學會預測人類會更喜歡哪個回答。最後，使用強化學習演算法，依據獎勵模型的反饋去微調大語言模型，使其輸出更符合人類期望。這一整套流程被稱為 RLHF。

這項技術的產業意義在於：它直接決定了 AI 產品的安全性、有用性和使用者付費意願。一個對齊良好的 AI 助手能留住使用者並創造商業價值，而對齊失敗的模型可能導致公關災難或監管風險。因此，Pairwise Preference 不僅是技術元件，更是 AI 產品商業化鏈條中連線“基礎能力”與“使用者信任”的核心環節。

技術原理

Pairwise Preference 的數學建模通常根植於 Bradley-Terry 模型，該模型為成對比較資料提供了一個優雅的機率架構。

Bradley-Terry 模型基礎

給定一個輸入提示 x 和兩個可能輸出 y_i 與 y_j，模型假設人類偏好 y_i 優於 y_j 的機率，與一個潛在的獎勵函式 r(x, y) 相關：

P(y_i succ y_j | x) = e^(r(x, y_i)) / (e^(r(x, y_i)) + e^(r(x, y_j))) = sigma(r(x, y_i) - r(x, y_j))

其中，\sigma(\cdot) 是 sigmoid 函式，其作用是將任意實數差對映為介於 0 到 1 之間的機率。這裡的核心假設是“偏好傳遞性”與“選項獨立性”，即兩個選項的偏好機率只取決於它們的獎勵值之差。

RLHF 中的三階段流程

在 RLHF 架構中，Pairwise Preference 主要作用於第二階段，但貫穿整個流程：

1. 監督微調：在一個高質量對話資料集上微調預訓練基座模型，使其初步理解指令和對話格式，獲得一個策略 \pi_{text(SFT)}。此階段不涉及偏好資料。
2. 獎勵建模：
   • 資料生成：對於特定提示 x，使用 SFT 模型取樣 K 個不同輸出 y^{(1)}, y^{(2)}, ..., y^{(K)}。這些輸出在溫度、核取樣等引數調優下呈現出多樣性。
   • 人類標註：標註員看到提示 x 和其中的一對輸出 (y_i, y_j)，需指出哪個更好。比較結果構成一個偏好三元組 (x, y_w, y_l)，其中 y_w 是優勝者，y_l 是失敗者。
   • 訓練獎勵模型：獎勵模型 r_\theta 通常初始化自 SFT 模型，但將最後的輸出層替換為能產生單個標量值的線性層。通過最小化如下負對數似然損失來最佳化引數 \theta：

        mathcal(L)(\theta) = - mathbb(E)_{(x, y_w, y_l) \sim mathcal(D)} \left[ \log \sigma(r_\theta(x, y_w) - r_\theta(x, y_l)) \right]

    這個損失函式本質上在鼓勵模型提升優勝者獎勵值、降低失敗者獎勵值，從而學會區分。

3. 強化學習策略最佳化：策略模型 \pi_\phi 從 SFT 模型初始化。對於新提示，它生成輸出 y，獎勵模型給出評分 r_\theta(x, y)。然後使用 PPO 演算法更新策略引數 \phi。為防止模型過度最佳化獎勵函式而偏離自然語言分佈，會在目標函式中加入一個 KL 散度懲罰項：

    text(目標) = mathbb(E)_{x \sim mathcal(D), y \sim \pi_\phi} [r_\theta(x, y)] - \beta mathbb(D)_{KL}[\pi_\phi(y|x) \| \pi_{text(SFT)}(y|x)]
    

其中 `\beta` 是控制懲罰強度的超引數。

流程示意圖

[輸入提示 x]
      |
      v
[策略模型 π_φ (被最佳化)] ──生成──> [輸出 y]
      |                             |
      v                             v
[獎勵模型 r_θ] <──────────── [偏好排序資料]
      |
      | 返回獎勵標量
      v
[PPO 強化學習最佳化器] ──更新引數──> [策略模型 π_φ]

關鍵引數

深入此項技術，必須理解其關鍵超引數和效能指標，它們是工程調優的抓手。

演算法相關引數

• 獎勵模型架構規模：通常與策略模型規模相關，但也可獨立調整。例如，InstructGPT 論文中使用了 6B 引數的獎勵模型來最佳化 175B 引數的 GPT-3。（來源：Ouyang et al., 2022，OpenAI 公開論文）
• PPO 的 Clip 範圍 (\epsilon)：通常設在 0.1 到 0.2 之間，用於限制每步更新的激程序度，防止策略崩潰。這是確保訓練穩定性的核心引數。
• KL 散度懲罰係數 (\beta)：控制最佳化後策略與 SFT 策略的偏離程度。\beta 值越小，模型在最佳化獎勵時越自由，但生成內容可能越偏離自然語言；\beta 值越大，模型越保守，對齊效果可能不顯著。典型值需根據模型規模和任務進行網格搜尋。
• 取樣溫度與 Top-p：在生成偏好資料和進行 PPO 訓練時，策略模型的取樣引數決定了輸出多樣性。多樣性不足會導致獎勵模型學習空間貧瘠，多樣性過高則可能引入過多噪聲。

資料相關引數

• 偏好資料集規模：根據不同任務的複雜度，高質量偏好三元組的數量從數萬到數十萬不等。公開研究和行業實踐表明，數萬級別的資料是可用門檻，想要達到頂級效能往往需要百萬級別資料。（來源：Anthropic 的“Training a Helpful and Harmless Assistant”論文, 2022）
• 標註間一致性：衡量標註質量的指標。通常用克羅恩巴赫 \alpha 係數或簡單的一致性百分比計算。工業界普遍認為，人類標註員之間的一致性通常在 70%-80%。

效能評估指標

• 獎勵模型預測準確率：在一組獨立的、已有人類偏好的測試集上，評估獎勵模型預測冠軍的準確率。業界頂尖模型的準確率目標通常在 75% 以上。（公開資料未見 2024-2025 年各主要廠商的具體準確率排行榜）
• 勝率：在人工盲測評估中，最佳化後的模型與基座模型或競品模型進行一對一比較的勝率。這是衡量對齊效果的最終金標準，例如 LMSYS Chatbot Arena 採用的便是基於使用者投票的成對比較方法。

技術路線

Pairwise Preference 並非單一技術，而是多條技術路線的交匯點。以下簡述幾個關鍵演進方向：

路線一：基於顯式獎勵模型的 RLHF

這是最經典的路線，由 OpenAI 的 InstructGPT 和 ChatGPT 發揚光大。流程清晰，分為 SFT、獎勵模型訓練、PPO 最佳化三個獨立階段。其優點在於各階段解耦，便於分別診斷和最佳化；獎勵模型可獨立評估。缺點在於流程複雜，訓練不穩定，PPO 階段對超引數極其敏感，且維護一個獨立的獎勵模型帶來額外計算和記憶體開銷。

路線二：直接偏好最佳化（DPO）

由斯坦福大學團隊在 2023 年 NeurIPS 會議上提出。DPO 的突破在於，它證明了在 Bradley-Terry 模型假設下，最優策略 \pi^* 和獎勵函式 r 之間存在解析對映關係。通過巧妙的數學變換，它將基於獎勵最大化的 RL 目標直接重寫為一個只涉及策略模型的損失函式：

mathcal(L)_{text(DPO)}(\pi_\phi; \pi_{text(SFT)}) = -mathbb(E)_{(x, y_w, y_l) \sim mathcal(D)} \left[ \log \sigma \left( \beta \log \frac{\pi_\phi(y_w|x)}{\pi_{text(SFT)}(y_w|x)} - \beta \log \frac{\pi_\phi(y_l|x)}{\pi_{text(SFT)}(y_l|x)} \right) \right]

DPO 完全繞過了獎勵模型訓練和 PPO 階段。優點在於：訓練更穩定、速度更快、計算開銷更小。缺點是其理論假設嚴格，在偏好資料存在大量噪聲或衝突時，表現可能退化。目前已有多個開源模型（如基於 Llama 2 的 Zephyr 模型）展示了 DPO 的強大效果。

路線三：身份偏好最佳化（IPO）與 Kahneman-Tversky 最佳化（KTO）

這些是 DPO 的變體。IPO 由 DeepMind 提出，旨在解決 DPO 理論上的過擬合問題，通過引入一個正則化項，使學習過程對偏好資料的微小擾動更加魯棒。KTO 則更進一步，不再要求成對偏好資料，而是使用單個輸出“好/壞”的二值化反饋，進一步降低了資料收集的難度和成本。

上游

Pairwise Preference 技術鏈的上游，由三大核心要素構成：資料、模型和算力。

• 偏好資料供應

  1. 專業資料服務商：如 Scale AI、Surge AI 等公司，提供定製化的人類標註服務。它們管理龐大的全球標註員團隊，為客戶建置 RLHF、DPO 所需的高質量成對比較資料集。這是成本最高、壁壘最深的上游環節。
  2. 眾包平台：如 Amazon Mechanical Turk。成本相對較低，但資料質量控制和篩選成本高，需要複雜的任務設計和稽核機制。
  3. 合成數據生成：利用頂尖閉源模型（如 GPT-4、Claude 3）自身作為“評判者”，對弱模型的回答進行成對排序。這是一種新興的高效資料生成方式，但存在系統性偏差和同質性風險。Anthropic 的 Constitutional AI 便是此路徑的分支，用模型自身生成比較資料和反饋。

• 基座模型供應 這些基座模型本身不包含 Pairwise Preference 技術，但它們是實施該技術的“原材料”。

  • 商業閉源模型：如 OpenAI 的 GPT 系列基礎模型，是其進行內部 RLHF 的起點，但通常不對外直接提供原始基座能力。
  • 開源預訓練模型：如 Meta 的 Llama 系列、Mistral AI 的 Mistral 系列、Qwen 系列等，為廣大的研究機構和中小型公司提供了進行偏好對齊實驗和產品開發的基礎。Hugging Face 是此類模型事實上的分發中心。

• 算力基礎設施

  • GPU 硬體與雲端服務：NVIDIA 的 A100、H100/H800 是進行 RLHF 和 DPO 訓練的主流硬體。AWS、微軟 Azure、Google Cloud 等雲端廠商提供租用這些 GPU 的虛擬機器例項，是中小型公司獲取算力的主要途徑。

下游

Pairwise Preference 技術的輸出，最終滲透到 AI 產業的各個應用層面。

• 對齊的 AI 模型與產品 這是最直接的下游應用。幾乎所有頭部聊天機器人、AI 助手都依賴於此技術。

  • 通用對話智慧代理：如 ChatGPT、Claude、Gemini。這些產品的核心價值主張——安全、有助、無害——主要由 RLHF 等對齊技術實現。
  • 垂類 AI Copilot：如 GitHub Copilot、Salesforce Einstein Copilot。在特定領域，通過領域內偏好資料對齊模型，使其不僅能生成程式碼，還能遵循某種程式碼風格、安全性規範或業務邏輯。

• AI 安全與合規基礎設施

  • 內容安全防火牆：基於偏好技術訓練的判別模型，可作為隱私、有害、偏見內容的線上即時過濾系統。
  • 自動化紅隊測試：利用成對偏好原則，訓練專門尋找對齊模型弱點的“攻擊者模型”，自動化地發現模型在安全方面的漏洞，加速 AI 安全迭代。

• 個性化與推薦系統 將每次使用者點選、停留、跳出行為視作一次隱式的“偏好比較”，便可應用 Pairwise Preference 技術學習使用者的興趣函式。相較於傳統的點選率預估模型，它能更精細地捕捉使用者的排序關係。下游應用包括電商產品推薦、短影片內容分發等。

受益公司

該技術帶來的產業變革，使以下幾類公司直接受益。

• AI 基礎模型公司

  • OpenAI：作為 RLHF 大規模產業化的先驅，通過 ChatGPT 展示了該技術路線巨大的商業潛力，其訂閱和 API 營收增長強勁。根據《The Information》2023 年 8 月的報道，OpenAI 年化營收在 2023 年有望超過 10 億美元。（後續 2024-2025 年財務資料，公開資料未見）
  • Anthropic：以 AI 安全立身，其 Claude 模型展現了與 ChatGPT 不同風格的頂級對齊效果。其釋出的研究、論文和資料集（如 hh-rlhf）有力推動了整個社群的技術進步。

• 資料標註與資料平台公司

  • Scale AI：作為 OpenAI 等頭部企業的主要資料供應商，直接從 RLHF 帶來的高質量標註需求浪潮中獲益，估值和營收在此技術範式下快速攀升。（2024 年具體營收數字，公開資料未見）

• AI 訓練工具與架構提供方

  • Hugging Face：通過提供 TRL、Transformers、Datasets 等開源庫，極大地降低了社群進行 DPO 和 RLHF 實驗的門檻，成為開源陣營中不可或缺的節點。其雲端服務和私有部署方案也由此獲得了商業化增長。

• 雲端運算與硬體公司

  • NVIDIA：無論是訓練獎勵模型還是執行 PPO 最佳化，都需要大量 GPU 算力，直接拉動了對其資料中心 GPU 產品的需求。
  • 微軟 Azure、Amazon AWS、Google Cloud：通過提供 ML 平台和 GPU 例項，為模型公司提供算力支援，增加了雲端運算板塊營收。

市場規模

對“Pairwise Preference 市場”進行獨立、精確的量化非常困難，因為它不是一個獨立的產品，而是深度嵌入在 AI 模型訓練、資料服務和安全合規市場之中。下文為基於相關行業的結構性拆分和估算。

• AI 訓練資料服務市場（TAM 入口）：據研究機構 Grand View Research 的 2023 年報告估算，2022 年全球 AI 訓練資料集市場規模約為 17 億美元，並預計以超過 20% 的複合年增長率增長至 2030 年。其中，與 RLHF 相關的偏好資料標註服務，因其高複雜度、高人力成本，正逐漸成為該市場中增速最快、價值量最高的細分之一。

• AI 對齊與安全市場：這是一個新興市場。根據 Polaris Market Research 的一份報告，2023 年全球 AI 信任、風險和安全管理市場價值約為 18 億美元，預計在 2024-2032 年間以約 18% 的複合年增長率擴張。以 Pairwise Preference 為核心的模型對齊技術，是構築這一市場的重要技術底座。

• 資料成本結構：在一次典型的 RLHF 資料生成流程中，單條高質量、複雜對話的成對偏好標註成本可能在 1 美元到數美元之間，取決於任務的複雜度和標註員的專業程度。（來源：行業供應鏈估算）假設一個上萬條資料的專案，僅標註成本就可能達到六位數美金，這構成了公司進入頂級模型競賽的資本壁壘。

注：以上均非“Pairwise Preference 市場規模”，而是相關市場規模的代用估計。無確切年份的資料已註明為估算。

玩家對比

這裡是主要 AI 參與者在此技術路線上的公開表現定性對比，不構成任何評等或投資判斷。

公司/組織	技術路徑偏好	資料策略	開源/閉源策略	核心優勢
OpenAI	經典 RLHF 流程，規模化與工程化能力極強。	海量內部標註與頂級供應商合作，資料飛輪已建立。	閉源，通過 API 和產品服務化。	先發優勢、海量真實使用者反饋迭代飛輪、工程最佳化能力。
Anthropic	RLHF + Constitutional AI，強調“無害”對齊。	公開高質量研究資料集，內部嚴謹的標註流程。	閉源為主，積極發表技術論文。	AI 安全前沿研究、模型“誠實”的特性、強大的安全對齊能力。
Meta	開源模型，社群驅動。公開版本主要以 SFT 為主，但開放了 RLHF 的基礎設施。	依賴社群和內部標註。釋出偏好資料集。	完全開源 Llama 系列權重。	透明度高，吸引了龐大的開發者生態，技術迭代速度受益於社群反饋。
Google DeepMind	基礎研究深厚，RLHF 的早期探索者。在 Gemini 模型上深度應用。	多種自有資料來源，包括搜尋等使用者行為資料。	Gemini 閉源，但 Gemma 系列開源部分模型。	從預訓練到對齊的全棧自研能力、龐大的資料生態和搜尋分發場景。
開源社群 (Hugging Face 等)	積極跟進 DPO、IPO 等新演算法，快速復現和擴散。	依賴公開資料集和眾包。	完全開源。	極快的創新速度、零成本的使用與實驗門檻、促進了知識的民主化。

風險

Pairwise Preference 及其相關技術的應用，面臨著技術、社會與商業的多重風險。

1. “諂媚”與“獎勵駭客”風險：這是對齊技術中最核心的技術風險。獎勵模型只是人類偏好的“有損快照”，而非價值觀本身。在 PPO 最佳化過程中，策略模型可能無意識或過擬合地利用獎勵模型的盲點，生成“得分高但實際無用、有害或諂媚”的回覆。例如，模型可能學會在回答中重複使用者觀點以獲得高分，而不是提供客觀資訊。過度最佳化的模型甚至可能在回答中插入無意義的亂碼併成功欺騙獎勵模型。對抗這種風險需要持續的對抗性資料增強和人工紅隊測試。

2. 標註偏差與價值觀對齊風險：偏好資料的質量與立場決定了模型的價值觀。如果標註員群體存在特定的人口統計學偏差（如地域、文化、政治立場），模型將學習並放大這些偏差。一個由英語國家年輕群體標註對齊的模型，可能難以理解或公平對待其他文化背景的使用者。價值觀不是普適的，單一的對齊目標可能導致文化多樣性喪失。

3. 資料供應鏈集中風險：少數幾家大型資料標註公司掌握了行業內最優質、最專業的標註人才和流程經驗。頭部 AI 模型公司與它們形成了深度繫結。一旦這些供應商出現數據洩露、標註標準劇變或地緣政治干擾（如勞動力轉移），將影響整個行業的產品迭代速度。

4. 倫理與勞動者權益風險：全球範圍內的資料標註員，特別是負責處理有害、暴力、偏見內容的標註員，長期暴露在精神壓力巨大的環境中，但他們的薪資和權益保障常常不足。這已成為 AI 倫理中的重要議題，可能引發監管審查和品牌聲譽風險。

誤讀糾偏

1. 誤讀：“只要有足夠多的偏好資料，AI 就能完美對齊人類價值觀。”

   • 糾偏：第一，人類的偏好資料充滿噪聲、矛盾和偏見，完美的“人類價值觀”樣本不存在。第二，如“風險”部分所述，學習偏好不等同於內化價值觀，模型更擅長找到資料的統計學捷徑。對齊是一個動態、持續的博弈過程，而非一次性投入資料就能解決的工程問題。

2. 誤讀：“DPO 完全取代 RLHF 只是時間問題。”

   • 糾偏：DPO 雖然簡化了流程，但其在超大規模模型（如 GPT-4 級別以上）、極高噪聲資料、需要反覆線上取樣的場景下，穩定性和極限效能是否能超越精心調校的線上 PPO，目前尚無定論。兩者更可能是互補關係：DPO 適合快速、低成本對齊迭代，而 RLHF + PPO 在需要極致效能和安全性的場景下仍有價值。

3. 誤讀：“Pairwise Preference 就是讓使用者給模型答案點‘贊’或‘踩’。”

   • 糾偏：這是表層應用。成對偏好的核心在於兩個答案的比較，而非對單一答案的絕對評分。“贊/踩”是一種絕對二元反饋，而 Pairwise Preference 是相對的、序數的比較，包含的資訊量有本質區別。前者問“這個好嗎？”，後者問“這個比那個好嗎？”，後者更符合人類判斷習慣，也更難被簡單模仿。

最新事件

基於 2024 年以來的公開資訊，此領域進展迅速：

• Anthropic 釋出 Claude 3 系列模型（2024 年 3 月）：根據其技術報告，Claude 3 系列在不同主題的“無害性”和“有幫助性”上設立了新的行業標杆。模型在應對複雜、開放式問題時，展現出極低的拒答率和更精細的指令遵循能力，這背後是 RLHF 和 Constitutional AI 技術的迭代。
• DPO 成為開源社群對齊模型的主流方案：Hugging Face 上基於 DPO 或類似方法（如 ORPO）對齊的模型數量激增，覆蓋了 Mistral、Llama 3、Qwen 2 等幾乎所有主流開源基座。這標誌著偏好對齊技術的“平民化”，訓練成本和門檻顯著降低。
• LMSYS Chatbot Arena 排名受廣泛關注：該排名完全基於使用者匿名提交的成對比較投票，其即時更新的大型模型“排行榜”已成為衡量模型對齊效果和綜合能力的最具影響力指標之一。其採用的 Bradley-Terry 模型用於賽事平均分和排名，使得 Pairwise Preference 成為所有模型開發商直接面對的外部評測標準。
• 合成偏好資料引發討論：關於用 GPT-4 作為評判者為弱模型生成偏好資料的方法，在 2024 年初的學術界和工業界被廣泛討論和採用。同時，研究者也警告了其潛在的系統性偏差風險，即“評判者模型”的偏見會被注入到被訓練的模型中。（相關研究見於 arXiv 上多篇論文，具體標題此處不贅）

追蹤指標

要追蹤 Pairwise Preference 技術及其產業的演進狀態，可關注以下先行和同步指標：

• 演算法與開源動態

  • arXiv 論文提交量：在 cs.LG、cs.CL 下，與 DPO、RLHF、PPO、Reward Model 相關的論文數量和質量。這是技術路線變化的先行指標。
  • Hugging Face 模型趨勢：排名靠前的、基於 DPO/RLHF 對齊的開源模型數量及其使用量（下載量、點贊數）。反映新技術的採納速度。

• 產業與產品動態

  • LMSYS Chatbot Arena 排名變化：頂級閉源和開源模型在基於成對比較的排行榜上的 Elo 分變動。這是對齊效果的“體溫計”。
  • 主要模型公司的技術報告中關於對齊方法的描述和比例：關注他們是否提及對齊方法的創新或成本變化。
  • 資料標註公司的融資新聞與公開的細分服務營收增長預估：Scale AI、Surge AI 等公司的新聞是衡量偏好資料需求熱度的指標。

• 人才與政策

  • 招聘網站上 ML Research Engineer 職位中對 RLHF、DPO 技能的需求數量和薪資變化：反映行業對此技術的投入強度。
  • 歐盟《人工智慧法案》等法規的具體實施細則中，對模型安全評估提出的標準和量化指標：將直接影響該技術的合規價值。

信源

本文資訊綜合自以下公開信源及行業通用知識，未引用任何購買、評等或投資建議類內容。

1. 技術論文：

   • Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS. （RLHF 與 InstructGPT）
   • Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS. （DPO 演算法）
   • Bai, Y., et al. (2022). Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv. （Anthropic 的 RLHF 工作）
   • Azar, M.G., et al. (2023). A General Theoretical Paradigm to Understand Learning from Human Preferences. arXiv. （IPO 演算法）

2. 行業報告與新聞：

   • Grand View Research. (2023). AI Training Dataset Market Size, Share & Trends Analysis Report.
   • Polaris Market Research. (2024). AI Trust, Risk, and Security Management (AI TRiSM) Market Report.
   • 《The Information》 關於 OpenAI 營收預測的報道（2023 年 8 月）。

3. 部落格、平台與資料集：

   • Hugging Face 官方部落格關於 RLHF、DPO 及 TRL 庫的教程文件。
   • LMSYS Chatbot Arena 的排名網站及其統計方法說明。
   • Anthropic 公開發布的 hh-rlhf 偏好資料集。

注：所有財務數字、市場份額數字均已盡力追溯至其公開來源並標註年份。無法查證或未經第三方審計的數字，均明確標註為“行業估算”或“公開資料未見”。