Lost in the Middle

3 秒看懂

《Lost in the Middle》是一篇揭示當前主流大語言模型在處理長上下文資訊時存在關鍵缺陷的研究論文。它指出，當關鍵資訊被放置在長上下文的中間部分時，模型的效能會顯著下降，呈現“U型”甚至“鋸齒型”的表現。這一現象直接挑戰了“上下文越長，模型能力越強”的樸素認知，對RAG（檢索增強生成）、長文件分析等應用構成潛在瓶頸。

3 分鐘產業解釋

想像一個擁有超長“記憶”的AI助手，它能一次性閱讀整本書。但研究發現，它更擅長記住書的開頭和結尾，卻容易忽略中間章節的核心內容。這就是 “Lost in the Middle” 現象。

對產業意味著什麼？

1. 應用層風險：在RAG系統中，如果將最相關的文件片段錯誤地放在檢索結果的中間位置，模型可能會“視而不見”，導致答案錯誤或不完整。這影響搜尋引擎、客服機器人、知識庫問答的可靠性。
2. 技術層需求：它揭示了當前模型在長上下文建模能力上的根本性缺陷，而非簡單的視窗長度限制。市場對更穩健的位置編碼技術、更有效的注意力機制、以及針對性的後訓練方法的需求變得更加迫切。
3. 投資邏輯：此發現將資本和技術的焦點從單純擴大“上下文視窗長度”（數量），部分轉向提升“上下文利用效率”（質量）。利好那些在高效注意力演算法、位置編碼創新、模型微調與對齊領域有技術儲備的公司。

技術原理

核心機制：注意力分佈與位置編碼的耦合缺陷

Transformer模型的核心是自注意力機制。對於一個長度為L的輸入序列，每個token會計算對其他所有token的注意力權重，理論上能捕捉任意距離的依賴關係。

傳統注意力計算（簡化公式）:
Attention(Q, K, V) = softmax(QK^T / √d_k) * V

Lost in the Middle 揭示的缺陷主要發生在 softmax(QK^T) 這一環節，即注意力權重分配階段。

關鍵成因分析：

1. 位置編碼引發的“邊界偏好”：無論是可學習的位置編碼還是正弦位置編碼，其本身僅提供位置標識，不攜帶語義資訊。模型在訓練中習得了對特定絕對位置（如首尾）的注意力偏好，這可能是因為預訓練資料中關鍵資訊經常出現在這些位置，導致模型傾向於給予開頭和結尾的token更高的注意力權重，從而削弱了對中間位置的關注。
2. 訓練資料的分佈偏差：預訓練語料（如網頁、書籍）的結構特性，使得模型在預測下一個token時，從文件開頭獲取背景、從結尾獲取總結的機率更高。這種資料分佈被模型內化，形成了對兩端的“隱式偏好”。
3. 注意力計算的“零和博弈”：在經過Softmax歸一化後，所有注意力權重之和為1。如果模型因位置編碼或資料偏差，傾向於賦予兩端token更高的基礎權重，那麼分配給中間位置的“注意力預算”就會被壓縮。當上下文很長時，中間位置的權重可能被壓縮至一個非常小的值，導致關鍵資訊丟失。

量化表現：在理想情況下，模型對任意位置的關鍵資訊應表現出穩定的提取能力。但實驗結果顯示，當關鍵資訊位於上下文中間時，模型在問答式任務上的準確率顯著低於位於首尾時，形成U型效能曲線。在多文件問答任務中，中間位置資訊的召回率可能下降20%以上（具體降幅因模型和任務而異，原始論文提供了詳細對比；公開資料未見精確統一數值）。在鍵值檢索這類對位置敏感的精密任務中，效能衰減更為明顯。

關鍵引數

理解“Lost in the Middle”及其緩解效果，需要關注一系列技術引數與評估指標：

1. 上下文視窗長度（Context Window）：模型能夠處理的最大token數，如4K、32K、128K、1M等。這是基本能力容器，但不代表利用效率。
2. 位點準確率（Accuracy by Position）：將關鍵資訊嵌入上下文的特定位置（如10%、30%、50%、70%、90%），分別測量模型提取資訊的準確率。理想的位點準確率曲線應為平坦的直線，而非U型。
3. 深度召回率（Deep Recall）：在長上下文的中間段落設定多個“針”（待查詢資訊），考察模型能否高精度召回。是比單一針位更嚴格的測試。
4. 注意力分佈熵（Attention Entropy）：對目標段落計算模型注意力權重的夏農熵。熵值越高，表示注意力越分散、均勻，而不是過度集中於首尾。高熵通常意味著模型對中間位置也有較好的關注。
5. 位置泛化能力（Position Generalization）：模型在面對訓練時未見過的序列長度或新型位置模式時，對中間資訊保持提取能力的程度，反映模型是否真正學到了位置無關的資訊檢索。
6. RAG端到端準確率：在實際檢索增強生成流程中，將最佳文件片斷放置在不同位置（可重排），最終生成的答案質量得分，是衡量緩解措施實際效果的綜合指標。

這些引數共同構成了從“能看多少”到“看得多好”的評價架構。其中，位點準確率和深度召回率已被多家機構納入模型評測報告，如RULER基準（Hsieh et al., 2024）和LongBench。具體基準分數隨模型迭代動態變化，公開資料未見單一靜態數值，應關注最新技術報告。

技術路線

針對 Lost in the Middle 問題，當前產業界已形成多條技術路線，可歸納為以下四類：

策略類別	代表方法/思路	優勢	侷限性	所屬階段
位置編碼改進	調整旋轉位置編碼（RoPE）的基頻theta；探索相對位置編碼變體；引入ALiBi等外推友好的編碼	從根源上改善模型對位置資訊的表徵能力，效果可能更根本	通常需要重新預訓練或深度適配，工程成本高，週期長	研究/早期應用
注意力機制最佳化	稀疏注意力（如StreamingLLM）、區域性與全域性混合注意力、分塊注意力	在推論階段直接提升關鍵位置的注意力權重，部分無需重新訓練	可能引入額外的計算開銷或影響其他任務的通用效能	研究/部分應用
資料與微調策略	位置增強的指令微調：在微調資料中，刻意將答案或關鍵事實放置於上下文的不同位置，尤其是中間位置；使用位置感知的損失函式	成本相對較低，能直接“糾正”模型在下游任務中的偏好，是當前最直接有效且已規模化應用的手段	效果依賴於微調資料的數量與質量，泛化到極端長度或複雜多跳推論時可能受限	規模化應用
提示工程與上下文管理	在提示中明確要求模型“仔細檢查所有段落，特別是中間部分”；或者通過檢索後重排序將重要片段強制移至兩端	零成本，立即可用，無需修改模型	效果不穩定，依賴模型的指令遵循能力，治標不治本，增加外部系統複雜度	輔助手段

當前產業界的主流做法是多路線融合：基礎模型採用改進的位置編碼（提升上限），再通過大規模位置增強微調（糾正偏差），同時在應用側輔以智慧的上下文拼接和提示詞最佳化。這相當於從模型核心、訓練資料、應用外殼三個層面同時發力，共同提升長上下文利用效率。

上游

技術供給端的上游環節包括：

• 基礎架構研究：新型注意力機制（如FlashAttention的後續版本）、位置編碼方案（RoPE的擴充套件與變體）、長序列訓練架構（如DeepSpeed Ulysses、Ring Attention等），這些是提升長上下文能力的基礎設施。此類研究多來自高校、大型科技公司研究院以及開源社群。
• 資料工程：用於位置微調的高質量合成數據生成服務。需構造覆蓋不同文本長度、資訊位置隨機化的指令資料集。提供此類合成數據的平台逐漸增多，例如利用強模型生成多樣化問答對，並系統性地將答案片段置於文件的隨機位置。
• 訓練算力：長上下文預訓練和微調需要大量GPU/TPU資源，推升了對雲端算力租賃和大規模並行訓練技術的需求。算力供應商（如輝達、AMD、雲端廠商）因此獲得增量需求。

下游

直接受“Lost in the Middle”影響的下游應用領域與需求：

• RAG系統：最直接的受影響方。需求催生了更智慧的檢索結果重排序（Rerank）和文件分塊策略，以確保關鍵資訊位於上下文首尾或分散嵌入。許多RAG架構（如LangChain、LlamaIndex）已將“反中間丟失”作為關鍵設計原則。
• 長文件處理：合同分析、監管檔案審查、學術文獻綜述、程式碼庫理解等應用。這些場景要求模型能夠在數十萬字的文件中精準提取任意位置的關鍵條款或資訊，對位點準確率要求極高。
• 多輪對話與Agent：長對話歷史中，早期和當前輪次的資訊容易被模型關注，而中間輪次的指令、承諾或事實可能被遺忘，導致Agent行為前後不一致。
• 企業知識庫問答：企業將大量內部文件匯入AI系統，若重要資訊恰好落在輸入上下文的中間，答案質量將嚴重受損，影響業務流程的可靠性。

這些下游場景對“長上下文一致性”的付費意願逐漸增強，正向反饋至上游技術迭代。

受益公司

以下各類公司在“Lost in the Middle”帶來的技術轉型和市場需求中享有不同程度的受益邏輯，注意不構成任何投資建議：

• 基礎模型層：
  • Anthropic：其Claude系列模型在釋出時透明地公佈“Needle in a Haystack”等位置敏感性測試結果，並持續最佳化長文本效能。2024年推出的Claude 3.5 Sonnet在多項長上下文基準上處於領先地位，體現了對位置穩健性的持續投入。
  • OpenAI：GPT-4 Turbo及後續版本支援128K上下文，並在技術報告中給出位置相關資訊檢索指標，表明其將長上下文質量納入內部評測體系。資本持續投入大規模微調和對齊，有望提升上下文利用效率。
  • Google：Gemini 1.5 Pro支援高達1M token上下文視窗，並在技術報告中公開了長上下文檢索準確率資料，採用的是通過大量長文件微調來對抗中間丟失的策略。
  • 國內廠商（如百度、阿里、字節跳動）：在推出長上下文模型時，需面對並解決該問題。其最佳化路徑可能綜合了改進的RoPE設定、專屬微調資料和工程化上下文管理。
• 應用與中介軟體層：
  • RAG方案商：LangChain、LlamaIndex等開源生態及其商業公司，在其核心的文件索引、分塊、檢索重排序模組中嵌入應對“Lost in the Middle”的策略。向企業提供更可靠的RAG解決方案是其商業化護城河。
  • AI評估與可觀測性平台：專門評估模型長上下文利用效率的基準和工具服務商，如提供RULER評估、自定義針線測試的平台，在企業模型選型中扮演重要角色。
• 技術方案層：
  • 專注於高效注意力演算法、新型位置編碼的初創公司或研究團隊，其技術可能被主流模型廠商收購或整合，或通過專有模型服務變現。

市場規模

針對“Lost in the Middle”這一問題本身並無獨立的直接市場規模，但其驅動了長上下文AI效能最佳化相關市場的增長，可通過對相關領域的估算窺見一斑：

• 長上下文模型市場：根據公開資料，多家基礎模型廠商已將長上下文作為差異化賣點，推動企業客戶為更高效能的API或模型版本支付溢價。但精細化的“上下文利用效率”市場營收尚未有獨立統計，公開資料未見權威獨立數字。
• RAG與企業知識管理：據Gartner 2024年預測，到2026年超過80%的企業將使用生成式AI API或模型，其中RAG是主要落地形式之一。長文件處理的錯誤率降低直接影響企業知識庫問答的生產力收益，因此解決“Lost in the Middle”能夠釋放的潛在價值可按企業節省的錯誤成本與人力成本估算，但尚無單一市場口徑資料（Gartner, 2024）。類似地，麥肯錫曾估算生成式AI每年可創造2.6萬億至4.4萬億美元的經濟價值，其中一部分與長上下文資訊處理的效率提升相關（McKinsey, 2023）。
• 上下文管理中介軟體市場：提供智慧分塊、重排序、上下文視窗編排的工具層正在形成一個新興細分市場，預計隨著企業對長上下文可靠性的重視而增長。當前該市場的具體規模公開資料未見，但可以從整體MLOps平台市場的增長（CAGR約30%）中推斷其趨勢，公開資料可參考Cognilytica等機構報告。

總體而言，“Lost in the Middle”催生的質量最佳化需求，正推動產業價值從“更長的視窗”向“更可靠的視窗”遷移，這是一次價值重分配，而非全新獨立市場爆發。

玩家對比

對比主要模型廠商在長上下文利用效率方面的公開表現與策略（資料主要來自各家技術報告及第三方基準，如RULER、LongBench，截至2025年年初）：

• Anthropic Claude 3.5 Sonnet / Opus：在RULER的深度召回測試中保持較高位點一致性，技術路線重點在於高效注意力架構與位置敏感指令微調。官方技術部落格明確強調了其“長文診斷”能力。
• OpenAI GPT-4 / 4o：GPT-4 Turbo（128K）在長文本鑰匙定位測試（Needle in a Haystack）中表現良好，但第三方測試顯示在極端中間位置仍有效能波動。最佳化手段推測包括資料層面的位置增強和密集的強化學習對齊。
• Google Gemini 1.5 Pro：1M token視窗下，位置召回率保持較高水平，得益於其大規模長序列預訓練和檢索型注意力機制。官方論文公開了不同深度位置下的準確率下降幅度，相對較小，表現出較強的中間資訊獲取能力。
• Meta Llama 3.1 (405B)：開源模型代表。原生支援128K視窗，但其原始版本在長上下文中間位置的有效召回率弱於封閉商業模型。社群通過進一步的Fine-Tuning（如位置增強的資料集）可顯著改善，展示了位置微調對開源模型的重要性。
• 國內模型（如通義千問、文心一言、GLM等）：各家廠商在釋出長上下文版本時，普遍宣稱已針對“中間資訊遺漏”進行最佳化，採用技術多為經過調優的RoPE基頻、混合注意力視窗及大量位置感知微調。但公開的標準化基準對比資料較為稀缺，側重點更多在垂直場景的端到端準確率宣傳。

總體上，封閉模型通過超大規模的高質量微調在上下文利用效率上暫時領先，而開源模型憑藉社群的位置微調資料集正在快速追趕。競爭的焦點已從“支援多長的視窗”轉向“在多長的視窗內真正可靠”。

風險

與技術樂觀並行的是，解決“Lost in the Middle”過程中也存在多重風險：

1. 技術路徑鎖定風險：產業界容易押注於某一種位置編碼或注意力變體進行深度最佳化，但若未來出現顛覆性的全新架構（如狀態空間模型、線性注意力變體等重寫長序列建模規則），現有投資可能面臨沉沒。
2. 過度最佳化風險：通過位置微調在一定程度上犧牲了模型在其他任務（如創意寫作、程式碼生成）上的通用能力，模型可能變得“只擅長找東西，不善於思考”。需平衡長上下文精度與通用智慧。
3. 評估標準滯後風險：當前流行的“針線測試”過於簡單，可能已經無法區分頂尖模型。隨著模型能力的提升，產業需要更復雜、更細粒度的上下文利用基準，否則可能會出現“刷分”而實際應用無效的情況。
4. 黑箱化與可解釋性風險：經過位置增強微調的模型，其注意力分佈可能已經發生複雜變化，開發者難以直觀判斷模型是否真正“看見”了中間資訊，增加了調優和除錯的難度，可能將問題轉移到更隱蔽的層面。
5. 外部依賴風險：下游應用若過度依賴“重排序到兩端”等工程手段來繞過模型缺陷，一旦模型本身位置偏好改變，整個系統可能需要重構，維護成本高。

誤讀糾偏

誤讀一：“Lost in the Middle”說明長上下文視窗沒有用，是偽需求。 糾偏：大錯特錯。該研究揭示的是現有模型在長上下文下的使用效率問題，而非否定長上下文的價值。長上下文是實現複雜任務的基礎（如處理一整本書），但“擁有”和“善用”是兩回事。糾正方向是最佳化利用能力，而非否定視窗長度。

誤讀二：只要把重要資訊放在開頭或結尾，就能完全避免此問題。 糾偏：這是一種脆弱的工程妥協。在現實場景中，使用者無法總是控制輸入內容的格式（如搜尋引擎返回的多個文件）。真正的解決方案必須提升模型本身對任意位置資訊的穩健提取能力，而不是迫使上游系統去適應模型的缺陷。這類似於最佳化資料庫查詢效率，而非要求使用者總是按主鍵順序輸入資料。

誤讀三：只要模型通過了“Needle in a Haystack”測試，就不存在“Lost in the Middle”問題。 糾偏：原始的“針線測試”只要求模型從海量文本中找出一個孤立的事實，與實際的多文件、多跳推論場景差距甚遠。RULER等新一代基準表明，即使在針線測試中接近滿分的模型，在面對更復雜的多針、多值關聯任務時仍會暴露中間資訊的脆弱性。因此，單一基準通過不等於問題已被根除。

最新事件

近期（2024–2025年）與“Lost in the Middle”相關的標誌性事件和進展包括：

• RULER基準釋出（2024年5月）：華裔研究者團隊釋出RULER，提供了多針、多值、變數追蹤等更嚴苛的長上下文測試。其結果顯示，多個宣稱完美通過原始針線測試的模型，在RULER上表現大幅下降，引起產業界震動。
• Anthropic Claude 3.5釋出（2024年6月）：Anthropic公開其Claude 3.5 Sonnet在長上下文資訊檢索測試中的高分，並揭露了內部採用的“上下文位置無關”訓練策略，引發其他廠商跟進。
• Google Gemini 1.5 Pro長文能力展示（2024年）：Google多次展示Gemini 1.5 Pro在1M token上下文中尋找微小細節的能力，包括在長論文中定位特定數值，嘗試證明其已解決“中間丟失”問題。第三方評測對此一致性與泛化性仍存爭議。
• OpenAI引入“上下文位置加權”機制傳聞（2024年Q3）：開發者社群從API行為推測，OpenAI可能已對GPT-4o實施了隱式的位置權重調整，以提升中間資訊的提取成功率，但未獲官方證實。
• 開源社群大規模位置微調資料集湧現：以LIMA-pos、LongAlpaca-pos等為代表的資料集，系統性將指令響應放置於上下文各處，推動Llama 3等開源模型長上下文位置魯棒性提升。
• 國內廠商密集推出100萬字級上下文模型：2024年下半年，通義千問、360智腦等均推出超長上下文視窗版本，並在宣傳中強調“全視窗可用”，側面反映業界對此問題的集體焦慮與補短板行動。

追蹤指標

想要持續追蹤“Lost in the Middle”問題的緩解進展，可觀察以下指標和資料來源：

• 公開基準排名：
  • RULER：關注模型在不同任務（NIAH、變數追蹤、KV檢索）下的整體得分及不同位置得分差異。平台：GitHub開源專案，提供執行指令碼。
  • LongBench：包含多文件問答、摘要等任務的位置敏感得分。是綜合文本理解能力的重要參考。
  • InfiniteBench：用於測試超長上下文下檢索與推論能力。
• 模型技術報告中的揭露：每當主流模型（OpenAI GPT系列、Anthropic Claude系列、Google Gemini系列以及國內主要模型）釋出時，查閱其System Card或技術報告中的“位置準確率”曲線或多針召回率。若接近100%且中間無顯著下降，表明進展顯著。
• 應用層日誌分析：追蹤使用長上下文RAG的真實應用，監控最終答案的“可驗證錯誤率”與檢索片段所處位置的相關性。企業內部可自建閉環指標。
• 工業界會議與部落格：關注NeurIPS、ICML、EMNLP等會議上的“長序列建模”“高效注意力”相關論文，以及LangChain、LlamaIndex等工具釋出的關於上下文管理的工程實踐更新。
• 供應商宣告與第三方評測偏差：當模型供應商宣稱“無中間丟失”時，觀察獨立評測機構（如LMSYS Org、HELM）是否重現並驗證，避免被宣傳誤導。

信源

1. 原始論文：Liu, N. F., et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the Association for Computational Linguistics.
2. 相關基準與研究：
   • Hsieh, C.-P., et al. (2024). RULER: What’s the Real Context Size of Your Long-Context Language Models? arXiv.
   • Chen, S., et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv.
   • Chen, Y., et al. (2023). LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models. arXiv.
   • Bai, Y., et al. (2023). LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding. arXiv.
3. 企業技術報告與部落格：
   • Anthropic. (2024). Introducing Claude 3.5 Sonnet. (官網技術部落格)
   • Google DeepMind. (2024). Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context. arXiv技術報告。
   • OpenAI. (2023–2024). GPT-4 Technical Report及相關部落格。
4. 行業分析：
   • Gartner. (2024). Predicts 2024: AI and the Future of Work. (訂閱制報告，摘要公開)
   • McKinsey Global Institute. (2023). The economic potential of generative AI: The next productivity frontier.
5. 開源工具與社群：
   • LangChain/LlamaIndex官方文件中關於長上下文策略的最佳實踐。
   • Hugging Face模型庫及對應的長上下文微調資料集頁面。

注意：所有公司、產品和技術路線描述均基於公開資訊和通用理解，不構成任何投資、購買或使用建議。市場數字已盡力標註來源與年份，部分細分市場暫無獨立公開統計，均註明“公開資料未見”。