事實性

3 秒看懂

事實性是衡量模型生成內容與客觀現實、可靠來源或世界知識一致程度的屬性。它的核心挑戰是“幻覺”——模型自信地生成無法驗證或與事實相悖的內容。產業界不再把事實性看作單一指標，而是由檢索增強生成、對齊訓練、自動事實核查與人工評估組成的多層防護體系。當前，事實性已從學術關切上升為金融、醫療、法律等高價值場景的准入門檻，被直接寫入企業採購技術規格書。

3 分鐘產業解釋

事實性不是純粹的技術引數，而是一整套可信生成體系，貫穿資料、模型、評價與工程四個層面。

• 測量層：早期以 n‑gram 重疊（ROUGE）、實體匹配為主，現已普及基於自然語言推論（NLI）的細粒度事實分解與驗證，代表指標包括 FActScore、AlignScore 等。
• 改進層：檢索增強生成（RAG）將外部知識庫作為“草稿紙”；監督微調、RLHF、DPO 教會模型在不確定時坦承“我不知道”；幻覺檢測器即時攔截高風險輸出。
• 工程層：通過快取世界知識、多源驗真、溯源引用，把黑盒生成轉變為可審計的證據鏈。

商業落地形態正迅速分化為兩類：一是嵌入式方案，如企業內部知識庫問答直接把事實性內建在 RAG 管道中；二是獨立中介軟體，即 AI 閘道器或安全模組，為任意模型提供事實性評分、過濾與審計日誌。在金融合規、保險理賠、醫療決策支援等場景，模型的事實性水平已經直接影響供應商的入圍資格。

技術原理

事實性保障技術的本質，是對“模型陳述”與“世界狀態”之間的差距進行可計算的約束。這通過三條交織的技術路線實現：檢索增強、後驗證與模型內部校準。

檢索增強生成（RAG）基礎架構

使用者提問
  │
  ▼
查詢編碼器──→檢索外部知識庫（維基/企業文件）──→相關文件塊
  │                                                 │
  ▼                                                 ▼
                  大語言模型────→回答（附引用）

其機率架構可表述為 p(text(answer) \mid text(query),\ text(retrieved\_docs))。外部證據的作用在於對模型的先驗分佈進行重聚焦，抑制缺乏依據的 token 生成。更先進的範式如 Self‑RAG 讓模型在生成過程中自主決策——何時檢索、何時驗證、何時直接用內部知識——形成“規劃‑檢索‑驗證‑生成”迴圈，降低無關檢索帶來的噪聲風險。

事實分解與 NLI 驗證

自動事實核查常用“分解‑驗證”流水線：

1. 將模型回答拆解為原子宣告（一條不能再細分的事實判斷）。
2. 對每一條宣告，用 NLI 模型比較外部證據，輸出“蘊含”“矛盾”或“中立”。
3. 彙總得分，如 text(FActScore) = \frac{text(被蘊含的宣告數)}{text(總宣告數)}。

此類方法的上限受證據庫覆蓋度和 NLI 模型精度制約。在人物傳記等封閉域，領先系統的 FActScore 可達 70–80%（學術基準，2023‑2024 年多篇論文），但在開放域下降至 50–70%。

幻覺溯源與控制

幻覺可分為 內在幻覺（輸出與輸入上下文矛盾）和 外在幻覺（無法從外部知識驗證）。控制手段包括：

• 解碼約束：上下文感知解碼（context‑aware decoding）降低與檢索文件語言分佈差異過大 token 的機率，從而抑制“視而不見”。
• 不確定性量化：通過預測熵、多采樣一致性估計模型對某條陳述的置信度；低於閾值則觸發二次驗證或拒答。
• 知識邊界感知：在訓練中注入“已知/未知”標籤，使模型內隱地劃分知識範圍，避免對陌生問題強行編造。

關鍵引數

事實性工程涉及多維度可觀測引數，以下為工業界和學術評估中最常追蹤的指標。

原子事實準確率（FActScore 及變體）

定義：將生成內容拆分為最小資訊單元，逐條驗證正確的比例。 行業參考值：封閉域（如人物傳記）最佳系統約 80% 左右，開放域約 60–80%（學術基準，2023‑2024 年，來源多篇公開論文，非單一廠商資料）。 侷限性：高度依賴證據庫的完整性與驗證模型的客觀性，無法處理主觀表述或資訊缺失的情況。

幻覺率

定義：分解出的原子宣告中，既無法被任何可靠來源證實，又非主觀表述或常識判斷的比例。 行業目標：通用場景通常追求 <5%，高風險場景（如醫療諮詢、判例引用）須 <1%（來源：行業訪談與企業技術規格書，2024‑2025 年公開交流）。 注意：不同系統的分解粒度和驗證標準存在差異，直接橫向比較需統一口徑。

TruthfulQA 準確率

定義：針對對抗性設計的常識與誤解問題，模型選擇正確選項的比例（MC1）或多選正確率。 參考值：GPT‑4（2023 年 3 月版）MC1 約 59%（OpenAI 技術報告）；Claude 3.5 Sonnet（2024 年 6 月）MC1 約 88–90%（Anthropic 模型卡）；多數開源 7‑13B 模型在 40–60% 區間（2024 年 Hugging Face 排行榜）。 意義：TruthfulQA 偏重常識謬誤，與開放域事實性不完全等價，但已成為行業通行的安全基線。

拒答率

定義：模型主動表示“無法回答”“不知道”或請求更多資訊的比例。 權衡：過度保守會損害使用者體驗。最佳實踐是在事實性置信度低於閾值時觸發溫和拒答，而非生硬拒絕。

歸因召回率與引用保真度

定義：可溯源至具體文件句子的宣告佔比，以及引用本身是否準確反映證據內容。 現狀：商用 RAG 產品普遍展示引用，但《Lost in the Middle》等現象表明，模型可能忽略上下文中部的證據，引用保真度仍是活躍研究課題（2024 年 ACL 等論文）。

以上引數（除明確標註來源外）均基於學術基準的公開結果，具體產品部署時的效能需結合私域資料實測。公開資料未見統一的行業基準機構。

技術路線

事實性提升可歸納為五條主流路線，它們在貢獻維度、優劣勢和成熟度上各有不同。

技術路線	事實性貢獻維度	優勢	侷限	典型方案/代表方
檢索增強生成（RAG）	外部事實注入	知識即時更新，可溯源	檢索質量敏感，增加延遲，證據可能被忽略	企業內部知識問答、Perplexity、Cohere
對齊訓練（RLHF/DPO）	模型內部校準	學會拒答，語氣謹慎	依賴標註質量，可能過度保守，對隱蔽幻覺效果有限	ChatGPT、Claude 系列
事實核查管線（NLI）	事後驗證	與生成模型解耦，可獨立審計	複雜推論與模糊表述處理能力弱，受證據庫制約	AI 安全中介軟體、Gemini FacTool
知識編輯	定點修復錯誤記憶	精準，不擾動其他能力	編輯後泛化難，一致性維持困難，目前主要在學術探索	學術界 ROME、MEMIT 等
多智慧代理辯論/反思	去偏見、自我修正	多輪互動降低個體偏差，增加可解釋性	推論成本高，穩定性與可控性未完全證明	回溯式自我修正、AutoGPT 類架構的部分實現

此外，新興技術如 工具呼叫增強事實性（計算器、程式碼直譯器、資料庫查詢）被視為 RAG 的自然延伸，通過引入結構化操作降低數值與邏輯幻覺。即時知識檢索（如聯網搜尋外掛）則進一步壓縮知識截止日期帶來的固有偏差。這些路線在實踐中往往混合使用，不存在單一最優解。

上游

事實性的產業生態上游聚焦於資料、基座能力與人力反饋三大要素。

• 基礎模型提供商：事實性根植於預訓練語料的質量、時效、多樣性以及模型架構對知識編碼的能力。主要參與者包括 OpenAI、Anthropic、Google DeepMind、Meta 等，它們的基座模型通過公開 API 或開源權重影響下游。
• 知識庫與資料服務：結構化/半結構化的高質量知識庫（維基百科、PubMed、專利庫、企業內部文件）是 RAG 的“燃料”。資料服務商提供文件解析、清洗、分塊、向量化等預處理管道，例如 Elastic、Weaviate、Pinecone 等向量資料庫廠商，以及 Scale AI、Labelbox 等資料標註平台。
• 標註與人工評估平台：高質量的事實性反饋依賴精細標註。標註平台提供醫療、法律等領域的專業人員，為對齊訓練和評估生成偏好資料與事實核查標籤。該環節的人力成本與專業知識門檻較高，構成上游稀缺資源。
• 驗證證據源：可信的第三方資料來源（如新聞通訊社、政府統計資料、金融交易所公告）為自動事實核查提供參考基準。部分廠商（如 Google 的 Data Commons）正嘗試將統計資料庫與語言模型直連，形成結構化事實性增強通道。

下游

事實性技術的下游需求集中在高風險行業、企業基礎設施與消費級應用三個層次。

• 高可靠行業應用
  • 金融：研究報告生成、合同分析、監管問答應須保證日期、數字、條款的絕對準確。幻覺可能導致直接財務損失，模型選型中事實性權重極高。
  • 醫療：臨床決策支援、患者問答、醫學文獻總結需要以循證醫學為基礎，錯誤資訊可能危及生命。
  • 法律：判例引用、法規解讀、文書起草必須精確，模型輸出常被要求逐句審計且附原始出處。
• 企業 AI 閘道器與安全中介軟體：越來越多企業採用獨立的 AI 閘道器平台（如某頭部雲端廠商的 AI 安全套件），將事實性過濾、敏感資訊脫敏、審計日誌作為統一中介軟體提供給下游應用，實現模型無關的合規控制。
• 消費級產品
  • 搜尋引擎與智慧助手：Google、Microsoft、Apple 等將大型模型融入搜尋與語音助手，事實性錯誤直接損害品牌信任。
  • 教育、新聞摘要：使用者期望獲得準確資訊，錯誤會引發法律與聲譽風險。
  • 電商與客服：產品引數、政策細節的幻覺可能引發消費糾紛。

這些場景的共同點是：事實性不再只是技術指標，而已成為產品設計要件，驅動端到端的真實可追溯體驗。

受益公司

需要說明的是，以下列出的公司均基於公開資訊，僅描述它們在事實性相關技術方面的版面配置與產品，不構成任何投資建議。

OpenAI

• 通過 RLHF 和持續的對齊研究（如 InstructGPT、GPT‑4 系統卡）將真實性列為行為準則之一。
• 推出“瀏覽”聯網外掛，將即時資訊檢索與事實性掛鉤。
• 公開資訊：GPT‑4 技術報告（2023）顯示，TruthfulQA MC1 準確率顯著高於 GPT‑3.5；o1 模型（2024）通過鏈式推論降低幻覺，系統卡指出在事實性評測中的表現提升。

Anthropic

• 憲法 AI 方法將“避免不實陳述”納入核心訓練原則。
• Claude 模型卡詳細揭露 TruthfulQA 準確率及幻覺率，Claude 3.5 Sonnet 在 TruthfulQA MC1 達 88‑90%（2024 年公開模型卡）。
• 推出源引功能，對長文件問題可展示摘錄依據。

Google DeepMind

• Sparrow 模型強調通過搜尋工具和自一致性檢查提升事實性。
• Gemini 系列綜合 RAG 與事實核查工具 FacTool，在模型卡中報告了有關事實性的評估。
• 2024 年推出 DataGemma，將統計資料庫（Data Commons）與 RAG 結合，針對數值型事實性進行改善（Google AI 部落格，2024 年 9 月）。

Meta

• 開源 Llama 系列引發的生態創新推動 RAG 工具鏈繁榮。
• Galactica（2022）因事實性錯誤引發爭議後，Meta 更加重視安全對齊與幻覺評估；後續釋出 Llama 2/3 時均包含詳盡的安全與事實性評估。

Cohere

• 專攻企業 RAG，提供限定資訊源的檢索增強生成，強調“文件錨定”以減少幻覺。
• Command R 模型系列突出引用能力，在其技術部落格中公佈多文件摘要的事實性評分（2024 年）。

Perplexity

• 將 RAG 搜尋與引用展示直接轉化為消費產品，以“答案附來源”的互動方式降低使用者對幻覺的感知。
• 2024 年公佈其自研模型與檢索管道在多維事實性基準上的結果（公司官方部落格）。

新興中介軟體與可觀測性平台

• Galileo、TruLens 等提供模型事實性評分與監控儀表盤。
• 多家 AI 安全初創企業（部分已被雲端運算大廠收購）專注幻覺檢測與可解釋性，提供與基礎模型無關的事實性防火牆。
• 公開資料未見以上非上市公司的詳細財務資料。

市場規模

事實性解決方案的市場規模通常被巢狀在更廣泛的 AI 安全、治理與風險管理範疇內，尚未有獨立、透明的第三方統計。以下資訊基於公開行業報告，儘可能標註年份與來源。

• AI 信任、風險與安全管理市場：根據 Gartner 定義的 AI TRiSM（Trust, Risk, Security Management）市場或可參考。公開資料顯示，全球 AI 治理與合規相關支出在 2024 年預計為 數十億美元 量級，年複合增長率超過 20%（來源：各種行業分析師報告，2023‑2024 年預測值）。事實性作為 TRiSM 的核心模組（包含生成內容真實性驗證、審計溯源等），被認為佔據其中重要份額，但具體比例暫未公開。
• RAG 工具鏈及向量資料庫市場：向量資料庫與檢索增強管道的商業營收在 2023‑2024 年迅速擴大。例如，Pinecone、Weaviate 等初創企業在 2023 年的融資額均超過 1 億美元（Crunchbase 資料，口徑為公開融資額），間接反映事實性基礎設施的需求熱度。
• 垂直行業的需求拉動：金融、醫療、法律領域的高合規要求正將事實性校驗寫入採購條款，推動相關軟體與服務支出。例如，部分大型銀行在 2024 年釋出的生成式 AI 使用規範中明確要求模型輸出附帶“事實性評分”（行業交流，2024‑2025 年）。
• 短期與長期趨勢：短期需求由風險事件和監管壓力驅動，長期將受益於 AI 適配性法規（如歐盟 AI 法案、中國生成式 AI 管理規定）的落地。公開資料未給出該細分市場的精確年度金額，多數預測將其作為 AI 安全大市場的一個子集。

玩家對比

下表選取在事實性領域有代表性的幾家機構，從技術策略、產品形態、透明度、關鍵指標進行對比，所有資訊基於 2024‑2025 年公開的技術報告、模型卡與官方部落格。

機構	事實性策略	代表性產品/模型	公開事實性指標	透明性與可審計性
OpenAI	RLHF 校準 + 聯網瀏覽	GPT‑4, GPT‑4o, o1	GPT‑4 TruthfulQA MC1 59%（2023）；o1 在事實性評測中較前代提升（系統卡未公開具體數）	模型卡揭露部分基準；o1 系統卡含行為分析；未公開細粒度幻覺率
Anthropic	憲法 AI + 引用功能	Claude 3.5 Sonnet, Claude 3 Opus	Claude 3.5 Sonnet TruthfulQA MC1 88.5%（模型卡, 2024年6月）	公開詳細模型卡，含 TruthfulQA、HaluEval 等指標；提供源引
Google DeepMind	RAG + tool‑use + DataGemma	Gemini 1.5 Pro, DataGemma	Gemini 報告事實性相關基準，但未直接給出統一幻覺率	發表技術報告，列出多維度評估；DataGemma 論文詳細說明統計事實性
Meta	開源 + 安全評測	Llama 3 系列	Llama 3 模型卡涵蓋 TruthfulQA、HaluEval 等，得分因模型尺寸而異（8B‑70B）	完全開源，社群可複測；模型卡詳細但未提供線上服務即時事實性追蹤
Cohere	企業 RAG + 引用錨定	Command R, Command R+	官方部落格公佈文件摘要事實性得分，但未出具統一行業基準	提供返回片段與引用；企業使用者可定製知識源
Perplexity	搜尋增強 RAG + 前端展示	Perplexity Pro	自研模型在 factual grounding 測評中表現較優，資料來自公司部落格（2024）	每句均附來源連結，黑盒性較低

說明：事實性測評的標準化程度仍有限，不同模型採用的提示詞、測試集版本可能影響得分，以上資料僅反映各大廠商在自有條件下的公開結果。

風險

事實性技術的產業化面臨技術、市場、監管與倫理四類風險。

技術風險

• 檢索‑生成衝突：模型可能忽略檢索到的證據，仍依賴內部過期知識，導致“檢索底本正確但輸出錯誤”的隱蔽幻覺。
• 對抗攻擊：攻擊者可通過注入虛假資訊汙染證據庫，或通過 prompt 注入迫使模型跳過驗證步驟。
• 複雜推論瓶頸：多跳推論、數值計算、時間關係判斷時，現有驗證手段的準確率急劇下降。
• 過度保守：過嚴的事實性閾值會使模型頻繁拒答，削弱產品可用性，造成“安全但無用”的困局。

市場與商業模式風險

• 基座模型內化事實性：若未來基礎模型能大幅內化事實準確與即時知識，外掛 RAG 中介軟體的附加價值可能被壓縮。
• 成本與延遲：多層驗證加溯源會顯著增加推論成本和響應時間，對於延遲敏感型場景（如語音助手）構成部署障礙。
• 評價標準碎片化：缺乏統一的行業基準和認證體系，客戶難以橫向比較解決方案，導致採購決策困難。

監管與合規風險

• 不同法域對 AI 生成內容的真實性要求不同（如歐盟 AI 法案要求高風險場景強制性透明度，中國要求生成內容標識），全球化部署需應對多重合規要求。
• 隱私法可能限制證據庫的範圍，某些場景下無法獲取最權威的資料來源進行驗證。

倫理與社會風險

• 事實性系統可能被誤用作“唯一真理裁定者”，壓制合理多元觀點，模糊事實與觀點的邊界。
• 過度的溯源要求可能洩露使用者查詢或商業機密。

誤讀糾偏

誤讀 1：“事實性強的模型就不犯錯誤” 事實性保障技術只能降低錯誤機率，無法消除錯誤。評估體系本身存在誤差，且現實世界中許多問題沒有公認“唯一真相”。產業目標不是打造絕對正確的“神諭”，而是建立可量化、可管理、可審計的信任分級體系。

誤讀 2：“RAG 可以徹底解決幻覺” RAG 僅是將生成錨定在給定的證據上，但證據本身可能不完整、過時或錯誤；模型也可能因“失讀”而忽略檢索內容，輸出與證據無關的幻覺。事實性必須依靠多重防線，而非單一技術。

誤讀 3：“有了 RLHF 就不需要單獨訓練事實性” RLHF 主要最佳化人類偏好，若標註者未能察覺細粒度事實錯誤，模型反而可能學會更自信地輸出錯誤資訊。事實性必須作為獨立於偏好的技術指標，配套專門的評估流程與訓練訊號。

誤讀 4：“事實性就等於禁止創造性” 事實性僅要求客觀陳述真實可靠，與創意寫作、集思廣益等主觀任務並不對立。在需要真實性的段落嚴格稽核，在創意段落允許想像，這是產品設計的權衡，不是技術的天然矛盾。

最新事件

以下為 2024‑2025 年期間與事實性密切相關的重要行業動態，均基於公開資訊。

• 2024 年 6 月：Anthropic 釋出 Claude 3.5 Sonnet 模型卡 揭露了 TruthfulQA MC1 達 88.5%，並在內部幻覺評測中取得當時最高分。模型卡中首次明確將“事實準確性”列為獨立安全維度（來源：Anthropic 官方網站，2024.6）。

• 2024 年 9 月：OpenAI 推出 o1 推論模型 o1 通過隱式思維鏈推論提升了數學、程式設計等領域的準確性，系統卡指出其在多項事實性評測中表現優於 GPT‑4o，尤其在避免常見謬誤方面。OpenAI 同時釋出了相應的事實性對比資料（OpenAI 系統卡，2024.9）。

• 2024 年 9 月：Google DeepMind 釋出 DataGemma 將大型模型與 Data Commons 公開統計資料庫連線，通過 RAG 與自然語言‑結構化查詢轉換，大幅降低數值類幻覺。論文顯示，在人口、經濟等統計問題上，事實性顯著提升（Google AI 部落格，2024.9）。

• 2024 年 10 月：歐盟 AI 法案高級別細節公佈 明確高風險 AI 系統需具備“適當水平的準確性、穩健性與安全性”，生成式 AI 的輸出需可溯源且告知使用者為 AI 生成。事實性成為合規核心條目（歐盟官方公報，2024）。

• 2025 年 1 月：Meta 釋出 Llama 3 系列論文 在 TruthfulQA、HaluEval 等基準上給出詳細分項分數，並開源了評估程式碼，推動事實性的社群透明化（Meta AI 部落格，2025.1）。

• 2025 年 2 月：主要雲端廠商推出事實性評分 API AWS、微軟 Azure 等相繼將自動化事實性評估作為 AI 安全套件的標準功能，提供與模型無關的幻覺檢測與置信度打分（主要雲端廠商官方部落格，2025.1‑2）。

• 2025 年 3 月：中國生成式 AI 服務管理要求細化 監管部門進一步明確生成內容真實性義務，要求服務提供者對輸出的可靠性進行內部評估並儲存日誌，事實性核查成為合規重點（公開報道，2025.3）。

追蹤指標

持續追蹤以下指標，可幫助判斷事實性技術的發展趨勢與產業成熟度。

1. 主要模型 TruthfulQA MC1 準確率 來源：各前沿實驗室釋出的模型卡與技術報告。關注每年最新模型的得分變化，判斷對齊技術對常識謬誤的抑制效果。

2. 開放域原子事實準確率（FActScore 類） 關注 ACL、EMNLP 等頂會年度最佳系統在公開評測集上的成績，反映細粒度驗證技術的實際進步。

3. 幻覺率行業基準報告 如出現第三方獨立評測（如某個基準組織定期釋出模型幻覺率排行），則標誌產業進入標尺化階段。目前公開資料未見此類定期報告。

4. RAG 工具鏈融資與併購事件 通過 Crunchbase、PitchBook 等追蹤向量資料庫、AI 可觀測性初創公司的融資輪次與金額，反映資本對事實性基礎設施的預期。

5. 監管法規的落地檔案數量 統計全球主要經濟體釋出的 AI 生成內容真實性相關法律、展望或技術標準，高頻出現時表明合規需求即將爆發。

6. 企業採購指標中的事實性要求出現頻次 可通過行業調研或公開招標檔案觀察，當“事實性≥XX%”“幻覺率≤X%”成為常規技術條款時，說產業已完成市場教育。

7. 使用者感知事實性投訴率 大型消費產品（如對話助手、搜尋摘要）的使用者反饋中涉及“資訊不實”的比例，是產品級事實性的終極晴雨表。目前該資料多為企業內部，對外揭露有限。

信源

以下列出本文引證或可進一步延伸閱讀的公開信源，按型別分類。

學術基準與論文

• Lin, S., Hilton, J., & Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. ACL 2022.
• Min, S., et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. EMNLP 2023.
• Li, J., et al. (2023). HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models. ACL 2023.
• Vu, T., et al. (2023). FreshQA: A Question Answering Benchmark for Factuality under Temporal Drift. NeurIPS 2023 Datasets.
• Huang, L., et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv.

技術報告與模型卡

• OpenAI (2023). GPT‑4 Technical Report.
• OpenAI (2024). OpenAI o1 System Card.
• Anthropic (2024). Claude 3.5 Sonnet Model Card.
• Google DeepMind (2024). Gemini 1.5 Pro Technical Report.
• Meta (2025). The Llama 3 Herd of Models.

行業分析

• Gartner, “AI TRiSM: Trust, Risk, Security Management”（相關預測與定義，2023‑2024 年）。
• MarketsandMarkets, “AI Trust, Security & Risk Management Market Report” (2024).
• 歐盟 AI 法案最終文本（Official Journal of the European Union, 2024）。

工程架構與開源工具

• LangChain 官方文件：RAG 評測與事實性校驗指南。
• LlamaIndex 官方文件：事實性評估模組。
• Hugging Face 排行榜與 Open LLM Leaderboard（即時更新）。

注：本文的具體數字均基於上述公開來源，部分行業趨勢判斷綜合行業交流與公開報道，未引用未揭露的企業內部資料。