Needle-in-a-Haystack

1 3秒看懂

Needle-in-a-Haystack Test（“大海撈針”測試）是一種用於檢驗大語言模型（LLM）長上下文資訊檢索能力的壓力測試。測試中，一段極長的文本構成“乾草堆”，一個孤立的、完全不相干的關鍵事實句充當“針”，被埋在文本的某個位置；隨後要求模型在沒有任何額外提示的情況下，準確找出並復現該事實。它回答的核心問題是：模型宣稱的上下文視窗很“能裝”，但真的“能記住”嗎？

2 3分鐘產業解釋

隨著大型模型上下文視窗從最初的2K–4K tokens急速擴充套件至32K、128K甚至百萬級tokens，產業界關注的焦點已從“容量”轉向“有效利用率”。NIAH測試正是這一轉變中最直觀、最具傳播力的衡量標尺。

產業價值：長上下文能力直接關係到模型在真實業務中的可靠性。例如，分析全年數百頁的財務報告、總結數百頁的法律合同、理解整個程式碼倉庫的依賴關係等場景，都要求模型能在海量背景資訊中準確定位細節。一個在NIAH測試中表現糟糕的模型，即使上下文視窗再大，也可能在關鍵資訊前“選擇性失明”，導致合同條款遺漏、資料提取錯誤，進而引發合規風險或業務決策失誤。因此，該測試已成為所有主打“長上下文”的模型廠商技術宣發的標配基準，也是企業使用者在選型時進行技術盡職調查的必查項。

焦點遷移：業界早已不滿足於最簡單的“只找一根針”。當前衍生出的測試變體包括：

• 多針測試（Multi-Needle）：在文本中插入多個不同關鍵事實，考察模型能否全部定位且不混淆。
• 位置敏感性測試：系統性地把“針”放在文本0%、25%、50%、75%、100%等位置，探測模型是否對“開頭”或“結尾”存在偏見，是否會在“中間”出現遺忘。
• 推論型針測試：要求模型不僅找到“針”，還要基於針的資訊完成一步推論，例如“魔法的最高獎項是金探子獎，請問獲得該獎的條件是什麼？”這進一步評估資訊提取後的整合與應用能力。

這些演進旨在更全面地刻畫模型的長上下文能力圖譜，避免“僅憑單針測試就斷定能力強”的片面結論。

3 技術原理

NIAH測試在本質上是對模型上下文學習能力與位置感知能力的定向探查。其標準流程可抽象為四個階段：

1. 構造“乾草堆”
   通常選取一本長篇小說（如《哈利·波特》）、維基百科長文章或合成重複文本作為背景材料，通過拼接或重複填充至目標長度（如128K、1M tokens）。乾草堆必須保持一定的連貫性，避免讓模型因不連貫而自然產生警覺。

2. 插入“針”
   設計一條獨特、事實性強且不與乾草堆主題重合的句子，例如：“一個具體的幻想事實是，魔法世界的最高獎項是金探子獎。”將這句針插入到乾草堆的指定位置（如整個文本的25%、50%或75%處），並通過程式化方式確保插入點不破壞段落完整性。

3. 形成查詢
   使用一個固定且直接指向“針”中事實的問題，例如：“魔法世界的最高獎項是什麼？”問題本身不應洩露“針”的位置，也不應用額外的提示詞（如“請根據文章回答”），以保持測試的純淨性。

4. 評估與熱力圖生成
   將包含“針”的完整乾草堆輸入模型，要求其回答問題。評估答案的正確性（通常採用精確匹配或基於規則的寬鬆匹配）。在不同的上下文長度（如4K、8K、16K、32K、64K、128K等）和“針”位置（0%–100%步進）組合下重複測試，最終將準確率視覺化為一張熱力圖：橫軸為針的位置百分比，縱軸為上下文長度，顏色深淺代表準確率高低。

關鍵技術考量點：

• 位置編碼（Position Encoding）
  當前主流模型多采用RoPE（旋轉位置編碼）及其擴充套件方案（如YaRN、NTK-aware scaling）。位置編碼決定了模型對序列中相對位置和遠距離依賴的表達能力。當測試長度超出模型訓練時的長度時，位置編碼的外推能力直接決定了模型能否在之前從未見過的長區間內保持檢索效能。這也是為什麼許多模型即便通過某種外推技術“撐大了”視窗，但在NIAH熱力圖的中段會出現顯著衰減的深層原因。

• 注意力機制（Attention Pattern）
  長序列上的注意力計算容易出現“注意力彌散”或“首尾偏好”。某些注意力實現（如多查詢注意力MQA、分組查詢注意力GQA）在長距離下可能會損失精細區分度，導致模型難以從一堆相似token中捕捉到“針”。此外，FlashAttention等最佳化在加速的同時，也需要保證數值精度不損害關鍵資訊的提取。

• 上下文壓縮副作用
  部分模型為降低長上下文的計算開銷，會引入上下文壓縮或選擇性遺忘機制。在這種架構下，孤立的、與背景文本無關聯的“針”極易被當作非重要資訊而丟棄，從而直接拉低NIAH得分。

4 關鍵引數

評估NIAH測試結果時，業內主要關注以下引數：

1. 熱力圖準確率
   在給定（上下文長度，針位置）座標下的問答準確率。最直觀的指標，通常以百分比或0–1分表示。理想情況下，熱力圖應全綠（100%）。若出現大片黃色或紅色區域，則暴露出能力盲區。

2. 最大可靠上下文長度（Max Reliable Context）
   模型在熱力圖上保持95%以上準確率所能支援的最大上下文長度。該引數是企業選型時的關鍵決策依據之一，直接關聯到可處理的最大文件規模。來源：各大型模型技術報告中普遍引用這一指標，基準測試平台Artificial Analysis（訪問時間2024年8月）在其長上下文評測面板中也獨立計算該值。

3. 位置偏差係數（Positional Bias Index）
   衡量模型準確率對針位置的敏感度。理想模型應無位置偏差，即針在任何位置都能被同等準確地找回。計算方法可以是在固定上下文長度下，各位置準確率的方差或極差。Anthropic在Claude 3系列技術報告（2024年3月）中展示了位置偏差的熱力圖分析，表明模型在50%位置附近可能存在輕微衰減，但整體偏差較小。

4. 多針召回率（Multi-Needle Recall）
   當在乾草堆中隨機插入N根“針”時，模型能夠正確召回的平均針數佔比。該指標反映了模型在多個關鍵資訊間分配注意力的能力。例如，Google DeepMind在Gemini 1.5 Pro技術報告（2024年5月）中展示了分佈在不同深度的多針測試結果，多數情況下在百萬tokens量級仍能保持>99%的召回率，但測試針數量未統一，橫向可比性需謹慎。

5. 推論型針準確率（Needle-with-Reasoning Accuracy）
   在“找針+推論”變體下，模型給出正確答案的比例。該指標在2024年下半年才逐漸受重視，目前尚無統一的行業標準，多見於學術論文（如RULER基準，2024年6月）。

5 技術路線

NIAH是長上下文評估工具箱中的一把“單點探測”工具，與其他評估方法形成互補，各路線側重點不同。

評估維度 / 方法	Needle-in-a-Haystack (NIAH)	長文件問答 (如 QuALITY, ∞Bench)	長上下文摘要	Passkey Retrieval	多跳推論型長文本評測 (如 RULER)
核心目標	定位單個/多個離散事實	理解並回答需跨段落推論的問題	抓取並濃縮全文主旨	定位一個極簡的密碼串（如“passkey:xyz”）	評估在長上下文中定位資訊並綜合推論的能力
評估能力	精確檢索、抗干擾、位置記憶	深度理解、推論、綜合	資訊篩選、概括、連貫性保持	極度純粹的檢索+位置編碼	多資訊定位、資訊整合、多步推論
典型實現	開源倉庫 gkamradt/LLMTest_NeedleInAHaystack	QuALITY基準（2022年），∞Bench（2024年）	長文書或多文件摘要任務	社群自發測試，無統一基準	RULER（2024年），LEval（2024年）
優勢	直觀、可量化、熱力圖視覺化極強	更貼近人類閱讀理解任務	評估資訊壓縮與整理能力	極度簡單，定位問題純粹	更全面，能區分“找到”和“懂得用”
侷限性	可能忽略複雜推論與深層理解；模型可能通過記憶位置捷徑而非真正理解來通過測試	構造高質量QA對成本高，領域遷移難	主觀評價成分多，自動指標（如ROUGE）與人工評價相關度有限	過於簡單，對強模型區分度極低	測試構造複雜，部分任務依賴固定模板

路線選擇建議：在實際工程評估中，通常將NIAH作為初篩——如果模型連單針都找不全，就不必進入複雜長問答評測。當模型在NIAH上普遍達標後，則應進一步採用RULER等多維基準，以獲得更立體的能力畫像。

6 上游

NIAH測試的上游依賴主要指向支撐長上下文能力的基礎技術與硬體。

• 基礎模型架構
  基於Transformer架構的LLM，必須具備強大的注意力機制（如全注意力、分組查詢注意力GQA、多查詢注意力MQA）和先進的位置編碼（如RoPE及其變體YaRN、NTK-aware scaling、Recurrent RoPE等）。這些架構選擇直接影響模型在長序列上的資訊保持和檢索能力。

• 長上下文訓練技術
  包括但不限於：長文本預訓練（使用大規模長文件資料集，如Books3、CommonCrawl長文過濾）、上下文長度外推微調（通過調整位置編碼引數或使用專門的長序列訓練策略，將原本4K/8K的模型擴充套件到數十萬tokens）、檢索增強生成（RAG）與長上下文的混合架構探索等。

• 高效注意力實現
  如FlashAttention-2/3、xFormers、記憶體高效的注意力運算元，它們通過最佳化GPU視訊記憶體訪問模式，使得在消費級或企業級GPU上也能進行長上下文的訓練和推論。若沒有這些底層加速，NIAH測試中百萬tokens級別的序列將難以在合理時間和成本內完成。

• 硬體與系統
  高視訊記憶體GPU（如NVIDIA A100 80GB、H100 80GB/ H200 141GB）以及相應的序列並行（Sequence Parallelism）策略、張量並行的軟硬體棧，是進行長上下文推論和測試的物理基礎。對於百萬tokens序列，推論階段可能需要多卡並行的部署方案。

7 下游

NIAH測試的結果和提升，將對下游應用和產業決策產生直接影響。

• 應用層可靠性
  在法律合同審查、金融研究報告分析、科學文獻綜述、大型程式碼庫理解等長文件處理場景中，NIAH高分是應用能夠落地的必要條件。若模型在長上下文中存在資訊遺漏，輕則導致摘要錯誤，重則引發法律或財務風險。因此，這些應用的開發者會密切關注所選模型在NIAH上的表現，並在系統提示詞中引入顯式的“找針”驗證環節。

• 模型選型決策
  企業API採購或私有化部署選型時，NIAH已成為技術評估表上的固定專案。如果兩家供應商的通用能力相近，但一家在256K長度下NIAH準確率顯著高於另一家，那麼前者更容易贏得處理長文件的客戶。這一點在2024年多家雲端廠商的平台文件中均有體現，它們將NIAH作為展示長上下文優勢的標準佐證。

• 技術迭代方向
  從單針到多針，再到推論型針的測試演進，正在反向塑造模型研發的方向。比如，位置編碼團隊會根據NIAH熱力圖的“中段遺忘”模式調整外推策略；注意力設計的改進也常以提升多針召回率為目標。測試本身的創新正在成為推動位置編碼、上下文壓縮和記憶機制研究的一股力量。

8 受益公司

NIAH測試本身不是一個產品或服務，因此不直接創造營收。但表現優異的模型能夠藉此強化市場地位，並使背後公司受益。以下分類基於公開技術報告、行業評測與商業可得資訊（截至2025年初）。

• 大型模型提供商

  • Anthropic：Claude 3.5 Sonnet及後續Claude系列在長上下文能力上被第三方評測普遍認為是領先者，在128K–200K範圍內的NIAH單針準確率接近100%。得益於其專注的安全與可靠性定位，長上下文效能構成其企業市場的關鍵護城河之一。
  • Google DeepMind：Gemini 1.5 Pro率先將上下文視窗推至百萬tokens級別，並在技術報告中展示了在該量級下的多針召回能力，雖部分獨立復現指出在極高長度下效能存在波動，但其“超長視窗”的先發優勢和雲端端整合能力使其成為企業長上下文服務的有力競爭者。
  • OpenAI：GPT-4 Turbo（128K）及後續GPT-4o版本在NIAH測試上同樣表現穩健，憑藉龐大的開發者生態，其長上下文能力惠及大量第三方應用，形成網路效應。
  • 月之暗面（Moonshot AI）：旗下產品Kimi以“長文本”為核心特色，2024年多次升級支援超長上下文，其內部及社群測試中NIAH得分常被用作宣傳點，是國內市場長上下文賽道的主要參與者。
  • 阿里、百度等中國廠商：通義千問、文心一言等模型在2024年的迭代中持續擴充套件上下文視窗，並公佈NIAH測試結果，在中文長文件場景中具備競爭力。

• 硬體與基礎軟體供應商

  • NVIDIA：作為GPU的主要供應商，長上下文推論需求直接拉動對高視訊記憶體GPU（A100、H100、H200）以及配套CUDA生態的需求。FlashAttention等高效運算元的普及，亦依賴於NVIDIA的硬體特性。
  • AI編譯器與架構團隊：如FlashAttention作者Tri Dao所在的團隊（過去在普林斯頓，後創辦Anthropic相關或成立公司，但具體歸屬公開資訊混雜，不展開），以及PyTorch生態中的核心貢獻者，他們提供的高效注意力實現是長上下文模型得以商用的底層支撐。
  • 雲端運算平台（AWS、Azure、GCP）：提供模型部署和推論託管服務的長上下文效能最佳化，直接影響其客戶體驗，因此這些平台也在其官方部落格中頻繁引用NIAH等測試結果來展示其最佳化效果。

（注：以上提及公司均基於公開資訊，不構成任何投資建議。）

9 市場規模

直接針對“Needle-in-a-Haystack測試”的市場規模不存在，因為它是一項開源評估工具，無商業銷售。我們可以估量的是受到長上下文能力影響的相關市場。

• 長上下文LLM API市場
  根據Grand View Research等第三方報告（2024年版），全球大語言模型API市場規模在2023年約為18億美元，預計到2030年以約35%的年複合增長率增長。其中，能夠處理長上下文（≥32K tokens）的模型佔比在2024年快速提升，知名API如Anthropic Claude、OpenAI GPT-4、Google Gemini均標配128K及以上的視窗。雖然沒有精確細分，但可以合理估計：長上下文已成為高階模型服務的標配能力，影響其定價和採用率。例如，Anthropic和Google對超長上下文（>128K）推論收取更高費用或設定速率限制，表明這部分市場存在明確的支付意願。

• 企業長文件處理軟體市場
  長上下文模型的成熟正在催生基於此的法律、金融、科研等垂直領域的文件分析應用。據MarketsandMarkets 2024年報告，全球智慧文件處理市場預計從2024年的25億美元增長至2029年的60億美元，其中大型模型驅動的長文件理解是增量引擎之一。NIAH測試作為模型能力的前置篩查，間接影響著這些應用的落地進度和質量。

• 社群與開源生態的間接價值
  雖然NIAH工具本身免費，但圍繞它形成的評測服務、諮詢和報告（如Artificial Analysis、LMSys Chatbot Arena等平台將長上下文作為重要維度）構成了一個微小的資訊服務市場。這些平台通過訂閱或API方式向企業提供模型能力對比資料，其中NIAH相關指標是付費使用者關注點之一。目前該細分市場整體規模“公開資料未見”系統性估算，但可視為AI評測即服務（Evaluation-as-a-Service）的組成部分。

10 玩家對比

下表基於2024年各家公開技術報告及第三方評測平台Artificial Analysis（2024年8月採集資料），對比主流模型在NIAH及相關長上下文任務上的表現。注意：測試條件（“乾草堆”文本、針的形式、評測提示詞）不同會導致結果差異，直接橫向對比需謹慎。

模型	上下文視窗（宣稱）	單針NIAH準確率（128K）	多針召回率（128K，約10針）	最大可靠上下文（95%單針準確率）	資料來源
Claude 3.5 Sonnet (Anthropic)	200K tokens	~99%–100%（128K）	~100%（社群復現，非官方標準測試）	≈200K	Anthropic 2024.6模型卡；Artificial Analysis 2024.8
Gemini 1.5 Pro (Google DeepMind)	1M tokens	>99%（128K），在1M下略有下降	99%（1M tokens，混合不同型別針，Google內部測試）	~1M（官方資料），獨立評測在極長端有分歧	Gemini 1.5 Pro技術報告 2024.5
GPT-4 Turbo / GPT-4o (OpenAI)	128K tokens	>98%（128K，基於社群測試）	未官方公佈多針結果；社群評測表現出高召回	≈128K	OpenAI 2024技術文件；社群評測
月之暗面 Kimi (moonshot-v1)	128K–200K（不同版本）	中文NIAH準確率宣稱>99%	多針能力在官方宣傳中提及，但未見詳細公開基準	公開資料未見精確數值	月之暗面官方部落格 2024
Llama 3.1 405B (Meta)	128K tokens（經RoPE外推）	社群復現表明128K長度單針準確率約95–99%，中段有輕微下降	公開資料未提供統一多針評測資料	約100K（獨立評測）	Meta Llama 3.1模型卡 2024.7；社群評測
Qwen2-72B (阿里)	128K tokens	官方技術報告展示在128K下NIAH準確率~99%	未系統公開多針召回	≈128K	Qwen2技術報告 2024.6

說明：上表中標註“公開資料未見”之處，指截至2025年初尚未找到該廠商針對該指標釋出的系統性評測結果。

11 風險

在產業追捧NIAH測試及其背後長上下文能力的同時，也存在若干不可忽視的風險與侷限。

• 單一基準的過度依賴風險
  NIAH主要測量的是“精確定位離散事實”的能力，而非邏輯推論、數值計算或創造性生成。一些模型可能通過“搜尋式”定位甚至利用資料汙染（針句可能出現在預訓練文本中）在測試中拿到高分，但其真正的長文理解和綜合能力並未同步提升。如果企業選型時只看NIAH分數，可能誤判模型整體能力，導致在真實任務中遭遇意外失敗。

• 測試一致性風險
  不同的測試實施者使用的“乾草堆”文本（小說、演講稿、程式碼等）、針的語義複雜度、問題的提示方式都存在差異，這意味著同一模型在不同評測得到的分數可能相差很大。廠商公佈的NIAH結果往往基於對自己最有利的設定，而獨立評測機構的測試樣本量有限，難以覆蓋所有變體。因此，跨來源橫向對比可能產生誤導。

• 長上下文技術本身的成本與可靠性風險
  即使在基準上表現優秀，在生產環境中部署超長上下文（百萬tokens級別）的推論仍然面臨極高的計算成本、延遲和視訊記憶體佔用。如果企業盲目追求“百萬視窗”，而未準確評估業務真實所需的最大長度，可能會承擔不必要的資源浪費。同時，超長序列推論中的精度損失（例如注意力計算中浮點誤差的累積）可能導致實際召回率低於基準測試結果。

• 快速迭代導致的短期競爭優勢風險
  長上下文領域的技術迭代極快。2024年初200K視窗尚屬領先，到年中百萬tokens模型已經出現。基於NIAH測試形成的短期領先可能在下一次模型更新中被輕易抹平。因此，將NIAH成績視作堅固“護城河”的投資者可能面臨技術平權帶來的衝擊。

• 合規與隱私風險
  將整本財報、合同或包含個人資訊的長文件直接輸入第三方LLM API，可能違反資料隱私法規或企業安全政策。NIAH測試的高分並不能緩解這些合規壓力，只是對模型能力的評價。

12 誤讀糾偏

誤讀1：“NIAH測試高分等於模型整體能力強。”
糾偏：NIAH考察的是長上下文下的資訊檢索與定位，它不測推論、數學、多語言創作或常識知識。一個模型完全可能在NIAH上滿分，但在CommonsenseQA或數學挑戰上表現平庸。應當將其視為能力拼圖中的一塊，而非全貌。

誤讀2：“只要上下文視窗夠長，NIAH測試自然就能做好。”
糾偏：上下文視窗長度是容量，NIAH測的是容量內的有效利用率。通過位置編碼外推硬“撐”大的視窗，其中段位置可能由於外推不充分而出現顯著的遺忘現象。這已被多個開源模型社群的測試所證實：一個64K外推至128K的模型，其熱力圖往往在後半段出現準確率斷崖。

誤讀3：“NIAH測試結果可以直接在不同模型間橫向對比。”
糾偏：對比必須在同一測試協議下進行，包括相同的乾草堆來源、相同的針型別、相同的提問方式以及相同的評判標準。目前業內尚無統一的官方標準化套件（儘管社群有努力，如RULER），廠商與獨立評測之間差異較大。因此，比較時宜參考使用相同評測架構的第三方報告（如Artificial Analysis），並關注其測試細節說明。

誤讀4：“多針測試完美=能同時處理多個任務。”
糾偏：多針測試仍聚焦於資訊召回，並未要求模型進行資訊之間的衝突解決或綜合推論。在現實多工場景中，需將多個檢索到的事實結合領域知識進行決策，這遠超多針測試的範圍。

13 最新事件

• RULER基準釋出（2024年6月）
  由南加州大學等研究團隊提出的RULER（Real Understanding of LanguagE Retrieval），擴充套件了傳統NIAH測試，加入了更復雜的干擾項、多跳推論和不同針的變異（數字、字串、長句），旨在提供更全面的長上下文評測。論文顯示，在NIAH上表現完美的部分模型，在RULER的複雜變體中效能顯著下降，揭示出過去評測的不足。

• Gemini 1.5 Pro百萬tokens公開測試與爭議（2024年5–8月）
  Google釋出的技術報告展示了百萬tokens下的多針檢索能力，並有獨立使用者通過社群平台進行了復現。部分復現結果顯示，當針被埋在極大量重複文本中或處於特定位置時，召回率有所下降。這引發了關於“百萬視窗是否真正可用”的行業討論，也推動廠商在後續最佳化中更強調“可用視窗”而非僅“標稱視窗”。

• 長上下文評測進入主流排行榜（2024年下半年）
  LMSys Chatbot Arena和Artificial Analysis等流行評測平台在2024年下半年將長上下文能力（包括NIAH變體）納入常規評分維度，促使模型廠商更加重視這一指標。同時，Hugging Face的Open LLM Leaderboard 2.0新增了基於QMSum等長文本任務，間接反映長上下文能力。

• 多針+推論測試在中文社群的推廣（2024年末）
  國內技術社群（如知乎、小紅書等平台AI討論區）開始自行設計中文多針推論測試，並評測Kimi、Qwen、DeepSeek等國產模型。這些非正式評測雖然不具學術嚴謹性，但在開發者群體中形成了對長上下文實際表現的廣泛討論，加速了市場對“真·長上下文”的認知教育。

14 追蹤指標

若要持續觀察NIAH測試及長上下文能力的演進，可關注以下指標與資料來源：

1. 各模型熱力圖更新頻率
   關注Anthropic、OpenAI、Google等廠商釋出新模型或更新時的技術報告，其中通常會包含更新的NIAH熱力圖或類似的視覺化結果。第三方評測平台Artificial Analysis會獨立執行標準化測試，並在其頁面上持續更新。

2. 最大可靠上下文長度數值
   追蹤廠商和獨立評測給出的“95%單針準確率下的最大上下文長度”，以及該數值能否通過獨立驗證。該指標的變化直接反映位置編碼與注意力機制的突破。

3. 多針召回率（尤其在不同深度下）
   注意評測中是否區分了淺層針（靠前）和深層針（靠中/靠後）的召回率，以及針數量增加時效能的衰減曲線。RULER等基準提供了更細粒度的資料。

4. 推論型針的通過率
   關注學術預印本（arXiv）上關於“reasoning over retrieval in long context”的論文中提出的新指標，以及主流模型在這些任務上的得分。這將是下一階段競爭的重點。

5. 模型上下文視窗的標稱增長與實際可用性差距
   對比廠商宣稱的視窗上限和社群評測中實際可靠的長度，觀察兩者差距是否在縮小。差距縮小代表技術外推與對齊更加成熟。

6. 相關基準的標準化程序
   追蹤Hugging Face Open LLM Leaderboard、LMSys Arena等是否正式引入標準化長上下文任務，以及RULER等基準是否被廣泛採納。標準化將提升可比性。

15 信源

1. 原始專案與部落格
   Greg Kamradt的GitHub倉庫 gkamradt/LLMTest_NeedleInAHaystack（訪問時間2025年1月），包含測試程式碼、示例及早期GPT-4、Claude等模型的熱力圖。同步部落格文章《Needle In A Haystack — Pressure Testing LLMs》詳細解釋了測試動機與方法。

2. 前沿基準論文

   • Hsieh et al., “RULER: What’s the Real Context Size of Your Long-Context Language Models?” arXiv:2406.14678, 2024. 提出了增強型長上下文檢索基準。
   • Zhang et al., “∞Bench : Extending Long Context Evaluation Beyond 100K Tokens,” arXiv:2402.13718, 2024. 針對超長上下文的綜合評測架構。
   • 長上下文綜述論文，如“Long-Context Language Models: A Survey,” arXiv:2407.03171, 2024.

3. 模型技術報告

   • Anthropic, “The Claude 3 Model Family,” 2024.3; “Claude 3.5 Sonnet Model Card,” 2024.6.
   • Google DeepMind, “Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context,” arXiv:2403.05530, 2024.5.
   • OpenAI, “GPT-4 Technical Report,” 2024; GPT-4o相關技術部落格。
   • Meta, “Llama 3 Herd of Models,” 2024.7.
   • 阿里, “Qwen2 Technical Report,” arXiv:2407.10671, 2024.6.
   • 月之暗面, Kimi技術部落格及產品更新說明（訪問官方部落格）。

4. 獨立評測平台

   • Artificial Analysis (artificialanalysis.ai) — 專項長上下文評測面板，定期更新主流模型在不同長度下的準確率熱力圖和多針召回率。
   • LMSys Chatbot Arena (chat.lmsys.org) — 雖以人類偏好排名為主，但在2024年下半年起在部分任務描述中引入長上下文能力維度。
   • Hugging Face Open LLM Leaderboard — 雖尚未直接包含NIAH，但其新增的長文本任務間接提供參考。

5. 市場資料來源

   • Grand View Research, “Large Language Model Market Size & Share Report, 2024–2030,” 2024.
   • MarketsandMarkets, “Intelligent Document Processing Market — Global Forecast to 2029,” 2024.
     以上報告提供市場規模預測，引用於第9節，具體數字和口徑已在正文中標註。