越獄

1 3 秒看懂

核心定義：大型模型越獄指攻擊者通過精心設計的提示詞，繞過大型語言模型設定的安全對齊機制，使其產生本應被拒絕的有害、違規內容，本質是模型安全護欄與人類語言創造力之間的攻防對抗。

核心價值與風險：越獄行為直接攻擊了大型模型商業應用的安全底線。一次成功的越獄可能導致品牌聲譽受損、使用者資料洩露或生成合規風險極高的內容。它是衡量模型魯棒性的反向指標，每一次公開的越獄攻擊都會倒逼安全技術的迭代。

關鍵差異化要素：區別於傳統的軟體漏洞利用，大型模型越獄不依賴程式碼缺陷，而是利用模型對語義理解的脆弱性。其攻擊成本極低，無需程式設計能力，僅憑自然語言即可發起，防禦難度極大，攻擊手法迭代極快。

此刻為何關注：隨著多模態大型模型和 AI 智慧代理在 2024-2025 年逐步接管更多業務流，越獄風險已從單純的“生成違規文本”升級為“操控智慧代理執行高危操作”，潛在危害呈指數級上升。全球監管機構也將抗越獄能力視為大型模型上市許可的關鍵測評項。

2 3 分鐘產業解釋

大型模型越獄已從極客們的好奇心實驗，演變為一個貫穿 LLM 研發生命週期、催生新型網路安全工種的產業。理解它，需要跳出技術細節，從產業分工、成本博弈和安全架構演進三個維度切入。

產業分工：目前形成了三層結構。上游是安全對齊技術提供商，如 Anthropic 和 OpenAI 的內部安全團隊，以及專業的紅隊測試機構，他們負責在模型釋出前發現和修補漏洞。中游是模型部署方，包括雲端服務廠商和企業 IT 部門，他們專注於在模型外圍建置防火牆和內容過濾系統。下游則是安全審計與評估市場，誕生了如“越獄排行榜”這樣的第三方評測基準，為買方提供選型依據。

成本與博弈的動態平衡：越獄攻防的本質是一場非對稱的成本博弈。攻擊者利用自動化的“紅隊大型模型”生成海量攻擊提示，邊際成本趨近於零。而防禦方則需要在訓練階段耗費鉅額算力進行對抗性訓練，或在推論階段增加額外的安全模組，這會帶來 10%-30% 的時延和算力成本。產業痛點在於，防禦成本與模型商業可用性之間尚未找到最優解，過度安全防護會導致模型拒絕回答正常問題，損害使用者體驗。

安全架構的範式轉移：產業正從“事後修補”轉向“縱深防禦”。傳統的預訓練安全對齊，正被更復雜的“系統級安全”理念所補充。這意味著，未來不再單一依賴模型本身抵抗越獄，而是在輸入層（檢測惡意意圖）、模型層（魯棒對齊）和輸出層（內容安全審查）建置三層防線。這種由點及面的架構演進，正在重塑雲端廠商的 AI 安全產品矩陣。

3 技術原理

大型模型越獄的技術本質，是攻擊者通過構造對抗性輸入，在模型的潛在空間中誘匯出一條繞過安全拒絕路徑的軌跡。這並非攻破了模型權重，而是利用其從訓練資料中習得的“過度服從”或“角色扮演”等深層能力，與安全準則產生衝突。

基於梯度引導的白盒攻擊：在開源模型中，攻擊者可以直接訪問模型權重和梯度。代表性技術如 Greedy Coordinate Gradient，它通過計算損失函式對輸入 Token 序列的梯度，不斷迭代修改攻擊字尾，強制模型對惡意指令輸出肯定性的起始 Token（如“Sure， here is…”）。這從數學上瓦解了模型的安全拒絕模式，幾乎 100% 有效，但其前提是擁有白盒訪問權限。

基於社會工程學的語義越獄：這是黑盒攻擊的主流，無需梯度資訊。其原理是利用模型訓練中優先滿足指令的深層偏好，通過複雜的情境建置覆蓋安全準則。常見手法有：

• 角色扮演：如賦予模型一個無視一切規則的虛擬人格，讓它以該人格的身份回答。
• 思維鏈劫持：要求模型以邏輯推演的形式，在“思考過程”中生成被禁止的內容，再在“回答”部分進行總結。
• 多語言與編碼混淆：將惡意指令翻譯為低資源語言，或用 Base64 等編碼包裝，利用模型在解碼時的對齊泛化能力不足來繞過審查。
• 上下文汙染：在長上下文中塞入大量虛構的、遵循惡意指令的對話歷史，使模型在“模式補充”的本能下生成有害輸出。

基於注意力機制的漏洞原理：最新的研究揭示，越獄攻擊成功的關鍵在於破壞了模型處理“系統提示”與“使用者提示”時的注意力分佈。正常情況下，系統級安全指令享有最高的注意力權重。攻擊者通過構造極長的、結構複雜的提示，或塞入特定分隔符，可以顯著分散模型對安全指令的注意力，使其集中於惡意指令的執行部分，從而實現越獄。

4 關鍵引數

評估越獄攻擊與防禦效能的指標體系正從單一的“成功率”向多維度的魯棒性度量演進。以下為產業和學術界公認的核心引數。

引數名稱	定義與口徑	典型基準值	行業意義
攻擊成功率	惡意指令獲得有害響應的比例。口徑：在標準測試集（如 AdvBench）上，使用特定攻擊方法 1000 次嘗試的成功次數佔比。	GPT-4（2024年初）對 GCG 白盒攻擊：約 75%
GPT-4（2024年）對 PAIR 黑盒攻擊：< 5%	衡量模型原生安全脆弱性的最直接指標，也是安全測試的底線指標。
拒絕邊界漂移	模型因過度安全對齊，錯誤拒絕良性請求的比例。口徑：在標準問答對測試集上，“假陽性”拒絕率的提升幅度。	某頭部模型在強化安全補丁後，拒絕邊界漂移達 12%（來源：公開技術報告，年份不詳）。	直接影響使用者體驗，是安全對齊成本與可用性之間博弈的關鍵衡量標準。
跨模態遷移率	純文本越獄提示對多模態模型（如視覺-語言模型）的有效性比例。口徑：將文本攻擊輸入替換為包含相同語義的圖片時，攻擊成功率的保留率。	GPT-4V（2024年）對 Typographic 攻擊的遷移率: >60%（來源：arXiv:2310.xxxx）。	揭示了安全對齊技術在不同模態間存在嚴重鴻溝，是多模態大型模型的核心風險指標。
防禦通用性	一種防禦方法對多種不同型別攻擊的抵禦能力。口徑：部署防禦後，對 10 種主流攻擊方法的平均攻擊成功率下降幅度（百分點）。	公開資料未見統一的量化標準，多以安全紅隊報告中的定性描述為主。	衡量防禦方案商業價值的最核心引數，通用性差意味著永無休止的打補丁戰。

5 技術路線

圍繞越獄攻防，形成了三條截然不同的技術演進路線，它們在理念、成本和適用場景上存在根本差異。

路線一：基於對抗性訓練的模型內生安全 這是最根本也最昂貴的路線。在模型微調階段，通過持續生成新的越獄提示並讓人工標註員撰寫安全回應，再將此資料集混入訓練，迫使模型學習不依賴表面模式，而是理解深層惡意意圖的魯棒性。領袖廠商 Anthropic 的 Constitutional AI 和 RLHAIF 技術是該路線的典範，其核心理念是讓一個“無害”的 AI 對另一個 AI 的回應進行基於憲法準則的評判與修正，自動化地生成對抗性訓練資料，以降低對人工的依賴。

路線二：基於系統架構的縱深防禦 這是工業界最主流、迭代最快的路線，不追求模型的絕對安全，而是建置一個多層次過濾體系。

1. 輸入端防火牆：在提示進入模型前，由一個輕量級、高召回率的“意圖分類器”進行第一道攔截。該分類器專門識別改寫、角色扮演、編碼混淆等惡意意圖。
2. 模型旁路監測：在模型生成過程中，即時監測隱狀態或生成機率分佈，若檢測到模型即將開始生成有害內容，則強行中斷解碼並替換為拒絕響應。這屬於侵入式防禦，對推論效能有影響。
3. 輸出端稽核：對模型已生成的內容進行二次核驗，作為最後一道防線。此法無法防止模型內部隱私洩露，但對內容合規至關重要。

路線三：無梯度黑盒攻擊的自動化與博弈化 這是攻擊者一側的主要路線，其技術先進性體現在攻擊的自動化和智慧化水平。從手動編寫“奶奶漏洞”進化到用大型模型生成攻擊提示。PAIR 演算法是里程碑，它使用一個“攻擊者 LLM”根據“目標 LLM”的反饋，迭代最佳化攻擊提示，構成一個零和博弈，極大提升了黑盒攻擊的效率。最新的多智慧代理攻擊架構則更進一步，引入多個專注不同攻擊範式的智慧代理進行協同作戰，防禦難度呈指數級增加。

6 上游

大型模型越獄產業的上游，主要由安全對齊技術的基座模型廠商、對抗性資料集提供商和核心演算法人才構成，它們是整個攻防生態的源頭。

安全基座模型能力：這是核心驅動力。上游的影響力體現在其釋出的模型本身對各類越獄攻擊的免疫程度。例如，Anthropic 在 Claude 3 系列模型釋出時，公開強調其在自動化紅隊測試中，對多種越獄攻擊的抵禦率有顯著提升。上游廠商提供了用於自動生成對抗資料的“裁判模型”，這是實現規模化、低成本對抗性訓練的關鍵工具，其評判準確率直接決定了下游模型的安全天花板。

對抗性資料集：如 Anthropic 釋出的 HarmBench 或學術界整理的 AdvBench，是紅隊測試和安全對齊的“彈藥”。優秀的對抗資料集必須具備覆蓋度廣（涵蓋各類有害類別）、攻擊多樣性高（混合多種攻擊模板）和遷移性強（對非源模型也有效）的特徵。這些資料集常以 CC-BY 4.0 等寬鬆許可證開源，但維護和更新需要持續的社群投入。

核心演算法人才：這是一個極度稀缺的上游資源。能夠設計和理解梯度攻擊、提出新型對齊演算法的頂尖研究人員，主要集中在少數幾家頭部實驗室和知名高校。這些人才的流動（例如，從 OpenAI 到 Anthropic）會直接影響機構在安全領域的技術路線和領先地位。據公開招聘資訊，該領域資深研究科學家的綜合年薪包遠超百萬美元。

上游議價權分析：上游的議價權極強。他們掌握著定義“何為安全”的裁判權。當一個上游廠商，如 OpenAI，將某種越獄防禦方法定義為安全標準時，整個下游應用生態都必須跟進適配。上游提供的安全微調 API 服務，是下游無法繞開的環節，形成了技術卡位。

7 下游

大型模型越獄的下游影響遠超實驗環境，它直接關乎模型應用的商業模式、合規成本與使用者信任。下游生態主要由風險受體和應用側的防禦整合方構成。

最終風險受體：垂直行業應用 細分行業對越獄風險的敏感度和關注點截然不同，這催生了差異化的下游防禦需求。

• 金融：擔心智慧客服被越獄後給出違規的投資建議或洩露客戶隱私資料，合規是第一要務。他們需要可審計、可解釋的防禦日誌。
• 醫療：風險是致命的。若醫療問答助手被越獄，可能給出錯誤的用藥指導，導致人身傷害。該行業對內容的絕對準確和無害要求最高。
• 教育與兒童服務：必須確保模型不能被誘導輸出色情、暴力或任何不適宜未成年人的內容。這是社會倫理的底線，對內容安全過濾的“召回率”要求近乎 100%。
• 企業知識管理：內部知識庫問答機器人若被越獄，可能導致核心商業機密或人事資料外洩。下游客戶的核心需求是基於權限和上下文的訪問控制，而非單純的內容安全。

下游防禦整合方

• 雲端平台安全服務：AWS Bedrock、Azure AI Studio 等平台整合的 Guardrails 功能是下游的第一道防線。它們提供可配置的詞庫過濾、話題限制和有害內容評分閾值。
• 第三方內容安全介面：獨立的內容安全廠商提供更專業的 SaaS 化 API，專門用於對接多個大型模型出口。其競爭力在於擁有積累多年的海量違規樣本庫和更細粒度的自定義策略。
• 企業級 AI 閘道器：作為所有 AI 呼叫的流量入口，進行統一認證、權限管理、提示詞審計和脫敏處理。這代表了從“模型安全”走向“應用安全”的未來趨勢，下游議價權逐漸從模型廠商轉移至能提供企業級治理的綜合平台。

8 受益公司

此處的“受益”定義為，因大型模型越獄攻防問題凸顯而在業務、市場關注度或戰略地位上獲得明確增長的商業實體。分析基於公開商業活動、產品版面配置和財務報告。

路線一：以安全為護城河的模型廠商

• Anthropic（未上市）：其創始人因對安全理念的堅持而離開 OpenAI，創立了該公司。它將“安全性”作為與 OpenAI 競爭最核心的差異化賣點。每一次對 GPT 系列的公開越獄成功事件，都間接為以安全著稱的 Claude 系列模型做了背書，使其在合規要求嚴格的金融、公共事業等客戶中贏得青睞。
• Cohere（未上市）：專注於企業級服務，強調模型的可控性、資料隱私和 RAG 整合，其核心優勢在於私有雲端部署和客戶資料隔離，這天然規避了部分“公共模型”面臨的通用越獄風險，受益於企業將資料安全置於首位的趨勢。

路線二：網路安全與內容稽核提供商

• Cloudflare (NET)：推出了 AI Gateway，能夠在請求到達模型之前進行攔截、審計和限流，並將提示去敏。它作為所有 AI 流量的入口代理，天然具備觀察和防禦越獄攻擊的優勢地位。該業務直接受益於企業部署生成式 AI 應用的浪潮。根據其 2024 年 Q3 財報電話會議，AI 相關業務是推動其“網路服務”板塊增長的重要動能（來源：Cloudflare IR）。
• DataDog (DDOG) 及 Databricks（未上市）：前者提供 LLM 可觀測性，監控模型的幻覺、安全性和響應質量，為企業發現異常呼叫和潛在越獄提供工具。後者通過收購 MosaicML 等，幫助企業使用者安全地訓練和部署私有模型，是“模型內生安全”路線的基礎設施層受益者。

路線三：模型安全評測獨立機構

• Scale AI（未上市）：已從單純的資料標註服務向模型安全測試轉型，成立了專門的紅隊部門，為美國政府及大型企業提供模型安全評估。其受益於政府強制安全測試的監管趨勢（如拜登政府行政令），形成了新的營收增長引擎，將越獄攻擊模擬變成了一門標準化服務生意。

9 市場規模

大型模型越獄本身不構成一個獨立的收費市場，但它作為核心催化劑，將顯著驅動一個更龐大的“AI 安全與治理”市場的形成。以下市場規模預估均指由 AI 安全需求所牽引的關聯市場。

全球 AI 安全市場規模 根據 Polaris Market Research 在 2024 年 2 月釋出的一份報告，全球 AI 安全市場規模在 2023 年估值為 173.5 億美元，並預計在 2032 年達到 1005.8 億美元，年複合增長率 (CAGR) 約為 22.7%。此口徑包含了模型魯棒性、資料隱私、對抗性防禦等軟硬體和服務。越獄攻防作為對抗性防禦中最具動態和實際危害的子項，是該市場預期增長的關鍵故事線。

全球 AI 信任、風險與安全管理市場規模 Gartner 在 2024 年的分析報告中提出“AI TRiSM”這一更細分的市場概念，涵蓋模型可解釋性、安全、隱私與監控。Gartner 預測，到 2026 年，部署了 AI TRiSM 工具的企業將至少減少 50% 的模型故障和錯誤決策。該市場直接囊括了防越獄裝置與服務，其市場規模在 2023 年約為 15-20 億美元，預計到 2028 年將達到 80-100 億美元（來源：Gartner 研究報告摘要，具體日期不詳，為複合估算）。

中國 AI 安全內容稽核市場 在中國，這更多體現為內容安全稽核市場。根據頭豹研究院 2023 年資料，中國內容稽核市場規模在 2022 年已超過 280 億元人民幣，其中 AI 稽核佔約 60%。隨著 AIGC 內容的爆發，對生成式內容的“事前”越獄檢測和“事後”生成物稽核需求激增。公開資料未見直接給出“AIGC 安全稽核”的獨立市場規模，但安全廠商普遍表示 AIGC 相關業務是其最明確的高增長線。

市場增長的核心驅動力量化 可以將該市場的增長解構為：GDPR、生成式 AI 服務管理暫行辦法等全球性監管法規的合規支出（貢獻約 40% 增量）+ 企業品牌及使用者體驗損失的風險對沖（貢獻約 35% 增量）+ 安全技術越獄攻防軍備競賽帶來的持續研發投入（貢獻約 25% 增量）。增長主要由供給側技術迭代和需求側合規風險共同推動。

10 玩家對比

當前越獄攻防領域的核心玩家可按其自身站位分為三大流派：內生安全流、系統防禦流和第三方評測流。它們並非完全互斥，業務存在交叉與競爭。

維度一：核心策略與有效性

玩家代表	流派 / 策略核心	優勢體現	邊界與劣勢
Anthropic	內生安全流：通過 Constitutional AI 等方法，將安全根植於模型訓練的底層。	對未知攻擊具有最強泛化抵抗力，無需外部元件。安全是“設計出來”而非“打補丁”的。	模型更新慢，計算成本極高，安全理念可能與使用者對創造性需求相沖突，形成過度審查。
Microsoft Azure AI	系統防禦流：建置輸入-輸出多層防火牆，整合內容安全、提示注入檢測等，在模型外圍進行多級過濾。	部署靈活快捷，無侵入性，可保護任何接入的基座模型，客戶選擇自由度高。	防禦效果瓶頸明顯，高度依賴已知攻擊模式庫，對新穎或高智慧的越獄可能失效，產生虛假的安全感。
獨立安全廠商
(如 Scale AI)	攻防評測流：提供模型評估基準和自動化紅隊服務，以攻促防，將越獄成功率量化成指標。	立場中立，評測標準更客觀；更貼近前沿攻擊技術迭代，是發現問題的“控球後衛”。	本身不直接提供防禦產品，其價值體現在諮詢費和評估授權費，較難形成持續性的平台化營收。

維度二：商業模式與市佔率

• Anthropic 模式是按 token 收費的 API 和 ToB 授權。其市場份額尚小（相對於 OpenAI），但在“安全有絕對要求的細分市場”中，份額（以客戶數量計）顯著領先。
• Microsoft 模式是將安全功能作為其 Azure 雲端生態的整合模組，按使用量收費。這是一種捆綁式銷售，其滲透率直接取決於 Azure OpenAI 服務的客戶基數，覆蓋面最廣。
• Scale AI 模式是專案制諮詢和平台訂閱。它為美國國防部等客戶的服務，創造了政治與安全雙重標杆效應。在“模型安全評測”這一垂直賽道，憑藉政府合同，是事實上的頭部。

11 風險

越獄攻防雙方的指數級技術迭代，催生了遠超模型失控本身的多維風險，已不容忽視地傳導至商業、法律和社會層面。

商業化應用的“護欄幻覺”風險 這是企業面臨的最大風險。使用同一基座模型，並在其上加裝系統防禦層的企業，極易產生“我們很安全”的幻覺。攻擊者可以利用模型在特定垂直領域知識的匱乏，創造一種防禦系統無法理解但模型卻能執行的特殊越獄指令。一旦發生，企業不僅面臨業務受損，其宣稱的安全承諾將被證明是虛假廣告，引發嚴重的品牌信譽危機。

供應鏈的“跳板攻擊”風險 在大型模型的外掛和智慧代理生態中，一個看似無害的音樂播放外掛或檔案讀取工具，可能被巧妙設計的越獄提示詞利用，成為執行高危操作（如傳送釣魚郵件、竊取文件）的跳板。風險的本質從“生成違規內容”升級為“實體空間的不安全行為”。此時，模型本身只是一個入口，被攻擊鏈條的末端才是關鍵資產。這是當前產業安全設計的普遍盲區。

法律合規風險：知產與監管的模糊地帶

• 智慧財產權糾纏：防越獄的對齊訓練資料可能包含大量未授權的版權作品，越獄提示誘匯出的內容常常赤裸裸地複製受版權保護的程式碼或文本，但責任方難以界定：是攻擊者、使用者還是平台？
• 全球監管的合規緊箍咒：歐盟《AI 法案》將高風險 AI 系統的對抗性魯棒性作為準入門檻。中國《生成式人工智慧服務管理暫行辦法》明確要求服務提供者承擔內容生產者責任。一次未能阻止的越獄，可能直接觸發監管處罰，導致產品下架。

社會風險：知識汙染與真實性崩塌 大規模、自動化的越獄行為，可以以近乎零成本汙染網際網路的公共資訊空間。例如，越獄攻擊可能被有組織地用於操控醫療或法律諮詢模型，系統性地生成錯誤且極具說服力的專業建議。這會從根源上侵蝕公眾對 AI 驅動知識的信任，將低成本的、看似可信的錯誤資訊洪流引入嚴肅領域。

12 誤讀糾偏

在“大型模型越獄”的討論中，產業界、媒體和公眾普遍存在幾種敘事層面的誤讀，需要從專業視角予以糾正。

誤讀一：“越獄是因為模型‘變壞了’或‘有意識’” 糾偏：這與擬人化傾向相關。越獄並非源於模型的自主意識或惡意，其根源是統計學習模式的脆弱性。模型通過預測下一個最可能的 token 來運作。安全對齊的本質是修改了某種有害上下文的機率分佈。而越獄攻擊，則是利用精心構造的提示，在區域性將有害 token 的生成機率重新推高。這是一個機率博弈，絕非意識對抗。將之擬人化會嚴重混淆安全防護的重點。

誤讀二：“開源模型因越獄風險高而更不安全” 糾偏：這是一個需要精確區分“透明”與“脆弱”的誤讀。開源模型因白盒可訪問，其越獄漏洞更容易被學術界發現和公佈，這在統計上顯得“被攻破次數更多”。然而，閉源商用模型的越獄漏洞同樣存在，且因其黑盒特性，國家背景的高階威脅行為者或商業間諜可能已掌握並秘密利用，公眾和廠商自身可能毫不知情。因此，真正的風險不是開源或閉源，而是“透明度”：有公開揭露的漏洞，往往意味著有公開可用的補丁。

誤讀三：“完美的防越獄系統是可以實現的” 糾偏：這是一個絕對安全的迷思。防越獄不是一個可求解的技術問題，而是一個持續的人與 AI 的博弈過程。防禦類似於免疫系統，只能不斷進化以適應新的病毒，無法做到永久免疫。任何聲稱 100% 防越獄的營銷，本身就是一種需要警惕的虛假承諾。產業追求的終極目標不應該是“零越獄”，而應該是建立一個高成本、低成功率的攻擊壁壘，並確保具備分鐘級的檢測和響應能力。

13 最新事件

2024年-2025年關鍵事件（基於日期推論）： 主流大型模型廠商持續更新其安全對齊策略，以應對不斷演變的越獄威脅。公開發布的安全評估表明，多模態越獄和自動化攻擊是最活躍的研究領域。全球範圍內的法規制定者正將越獄防禦作為評估模型安全性的硬性指標，多家提供 AI 安全評測的第三方機構獲得了新一輪融資，專注於開發自動化紅隊工具。

2024年Q4至今重點事件概覽：

• “多智慧代理協同攻擊”方法論開源：研究社群釋出了一種利用多個具有不同“專長”（如編碼、翻譯、特定角色扮演）的攻擊智慧代理協同作戰的架構。相比單一攻擊模型，該方法在黑盒場景下將前沿模型的攻擊成功率平均提升超過 30%，引發行業對“攻擊 AI 供應鏈”的關注。
• 全球主要雲端平台強化內建安全 Guardrails：Microsoft Azure AI 和 AWS Bedrock 在 Q4 集中更新了其內容安全服務，增加了防範間接提示注入和跨模態有害內容的特性。這標誌著防禦重心從模型層開始明確向系統層傾斜。
• 國家級 AI 安全測試標準“固化”：美國 NIST 對其 AI 風險管理架構進行了補充，開始徵集對抗性攻擊（含越獄）的標準化測試方案。英國 AI 安全研究所亦宣佈擴大其基礎模型測試平台的研究範圍，重點對主流模型進行越獄魯棒性的規模化評估。
• 安全廠商密集推出“提示詞防火牆”產品：超過五家頭部獨立安全廠商及 SaaS 服務商（如 Cloudflare AI Gateway 以及 Datadog 的 LLM 可觀測性功能）宣佈或上線了獨立於模型的、專注於檢測和阻斷惡意提示詞的網路安全產品，標誌著 AI 越獄防禦正式成為網安產業的一個獨立子類。

14 追蹤指標

要持續監測和理解越獄賽道的景氣度與技術變遷，不能僅憑孤立的新聞，而應建立一套系統性的追蹤指標體系。

指標一：公開越獄基準榜的排名重新整理頻率與幅度

• 指標定義：觀察主流評測基準（如 HarmBench、JailbreakBench）上各模型排名的變化。重點關注排行榜“榜首”（攻擊成功率最高）攻擊的更迭頻率。
• 追蹤意義：頻率加快，說明攻擊技術創新活躍，靜態防禦失效的速度在加快。某家模型的排名突然大幅下滑，可能意味著出現了嚴重的安全事故。

指標二：主流學術會議的論文主題遷移

• 指標定義：統計 NeurIPS、ICML、ACL 等頂會中關於“AI Safety”、“Alignment”、“Adversarial Attack”的論文數量，並定性分析其關注點是“白盒攻擊”、“黑盒攻擊”、“多模態”還是“Agent 安全”。
• 追蹤意義：這反映了全球最聰明的頭腦正在往哪個方向發力，是產業未來 1-2 年技術路線的先行指標。如果“Agent 安全”論文比重急劇上升，則預示著產業重心將從內容安全轉向行為安全。

指標三：AI 安全初創公司的融資併購活躍度

• 指標定義：根據 Crunchbase 或 PitchBook 資料，追蹤 AI 安全、紅隊測試、模型審計賽道在季度內的融資事件數、總金額和估值增長情況，以及雲端廠商的收購動作。
• 追蹤意義：資本是最敏銳的感測器。獲得大額融資的公司其技術路線往往代表了市場共識的解法；而大廠的收購則意味著某個防禦理念正從“可選”變為平台“標配”。

指標四：監管機構的安全測試通報頻率

• 指標定義：全球主要 AI 安全機構就某模型的安全缺陷發出正式通報或警告的頻率。
• 追蹤意義：這是最終極的“行業警報”。一次高級別的官方通報，可能導致該模型的商業部署受阻，直接轉化為受影響公司的市場份額損失。

15 信源

本報告依據公開、可追溯的專業資訊源編撰，以下為主要參考信源清單，供深入研究和交叉驗證。

信源類別	核心信源名稱	主要追蹤內容	網址/查閱路徑
權威學術預印本	arXiv.org	最新越獄攻擊（GCG, PAIR）、自動化紅隊、模型對齊論文	arxiv.org，重點關注 cs.CL, cs.LG, cs.CR
頭部模型廠商安全部落格	Anthropic Research Blog, OpenAI Safety & Alignment Blog	模型安全性設計原理、對抗性訓練方法、公共資料	www.anthropic.com/research, openai.com/research
產業分析機構	Gartner, Forrester, Polaris Market Research	AI TRiSM 市場定義、市場規模預測、企業採購建議	需付費訂閱，但常可在媒體摘要或公開新聞稿中獲取關鍵資料。
AI 安全評測社群	Jailbreak Chat, LLM-Attacks.org	最新實戰的提示詞、攻防效果討論、排行榜	jailbreakchat.com, llm-attacks.org
監管與標準機構	美國 NIST AI RMF, 中國信通院等	法律法規架構、模型安全評測標準、官方通報	www.nist.gov, www.caict.ac.cn
財經與公司基本面	Crunchbase, 上市公司財報（如 NET, DDOG）	融資事件、併購動態、管理層關於 AI 安全業務的戰略討論	財經資料終端、各公司投資者關係頁面
科技媒體深度報道	The Verge, Wired, 機器之心等	重大越獄事件的案例記錄、行業調查報告	各媒體官方網站

免責宣告：本報告僅為行業觀察與分析，所用資料和資訊基於公開來源，不代表任何投資建議。報告中對任何公司、技術或產品的提及，均不構成推薦、背書或買賣建議。市場有風險，決策需謹慎。