滑動視窗注意力 Sliding Window Attention

1. 3 秒看懂

滑動視窗注意力 (Sliding Window Attention, SWA) 是一種限制每個 token 只關注其前後固定長度視窗內鄰居的注意力機制。它將標準自注意力的 O(n²) 平方複雜度壓縮到接近線性的 O(n·w)（w 為視窗大小），在長序列處理中大幅節約計算量與視訊記憶體佔用。

2. 3 分鐘產業解釋

解決了什麼痛點？
標準 Transformer 的全域性注意力在處理長文本、程式碼倉庫、長時音訊等場景時，計算量和 KV 快取隨序列長度平方級增長，成為硬瓶頸。例如處理 100K token 時，僅注意力矩陣就需 100K×100K≈10G 元素，遠超高吞吐推論的視訊記憶體容量。
怎麼解決的？
想像每個詞周圍有一盞“聚光燈”，只照射前後固定範圍內的詞。標準注意力是全場廣播，每個詞看所有其他詞；滑動視窗注意力則把視野限制在視窗半徑內，超出範圍的權重設為 0。通過堆疊多層，間接覆蓋整個序列。
產業意義何在？

長上下文基石：Mistral‑7B、Phi‑3‑mini 等主流模型通過 SWA 實現了數萬 token 的上下文視窗。
降低推論成本：KV 快取只存視窗內的鍵值，視訊記憶體壓力從 O(n) 降為 O(w)，讓單卡部署長上下文服務成為可能。
推動應用落地：即時長文件問答、全庫程式碼理解、長會議紀要等應用得以在現有硬體上經濟地執行。

3. 技術原理

3.1 掩碼操作原理

標準自注意力：Attention(Q,K,V) = softmax(QK^T / √d_k) V，注意力矩陣 S 尺寸為 n×n。滑動視窗注意力對 S 施加帶狀掩碼（Band Mask）：對於 token i，只允許關注索引在 [i-w, i+w] 內的 token（w 為視窗半徑，總視窗≈2w+1）。超出範圍的注意力分數被置為 -∞（softmax 後趨近於零）。在自迴歸生成中，因果掩碼與帶狀掩碼疊加，確保只依賴過去且視窗受限。

3.2 多層感受野擴充套件

單層 SWA 的直接感受野限制為 w，但在多層 Transformer 中，資訊可以逐層傳遞。例如 token A 影響其視窗內的 B，B 在下一層影響其視窗內的 C，從而使 A 間接影響 C。這類似卷積網路通過堆疊小卷積核獲得大感受野，理論上感受野隨層數線性擴充套件，最終覆蓋全序列。長程依賴因此變為間接、需要足夠深度支撐的模式。

3.3 實現示例

# 概念性虛擬碼
import torch
seq_len = 128
window_size = 32   # 關注前後各 32 個 token

mask = torch.ones(seq_len, seq_len)
for i in range(seq_len):
    start = max(0, i - window_size)
    end = min(seq_len, i + window_size + 1)
    mask[i, :start] = 0
    mask[i, end:] = 0

causal_mask = torch.tril(torch.ones(seq_len, seq_len))
mask = mask * causal_mask
# 使用: scores = Q @ K.T / sqrt(d_k)
# scores = scores.masked_fill(mask == 0, float('-inf'))
# attn = softmax(scores)
# output = attn @ V

在實際架構中，可通過 FlashAttention 結合帶狀掩碼實現 IO 感知的快速計算，既節省視訊記憶體頻寬又加速推論。

3.4 與全域性/稀疏注意力對比

全域性注意力直接計算所有對，表達能力最強但成本最高；線性注意力用核函式近似 softmax，計算複雜度低但對長程精確建模有損；滑動視窗注意力介於兩者之間，保留精確的區域性互動，並通過深度擴充套件感受野，實現簡約且硬體友好的效率提升。

4. 關鍵引數

視窗大小 (w)：定義每個 token 的“短期記憶”容量。常見配置有 512（Longformer，2020 年）[^1]，4096（Mistral 7B，2023 年技術報告）[^2]，一些實驗設定達 16384（行業觀察，未形成產品標準）。視窗越大，區域性上下文越豐富，算力消耗也越大；過小則導致訓練時梯度訊號過於稀疏，損失收斂變慢。
實現方式：通過因果掩碼與帶狀掩碼疊加，並在高效注意力核心（如 FlashAttention‑2/3）中融合，避免顯式建置 n×n 矩陣。
KV 快取佔用：自迴歸推論時，每層只需快取視窗大小個 Key 和 Value。視訊記憶體需求為：
KV_cache_bytes ≈ 2 × 層數 × 隱藏維度 × 視窗大小 × 每元素位元組數。
相比之下，全域性注意力的快取大小與序列長度 n 成正比。舉例：70B 模型（80 層，隱藏維度 8192，FP16）在 128K 序列長度時，全域性注意力 KV 快取理論約 80GB，而使用 w=4096 的滑動視窗則僅需約 2.5GB（單層快取 2×8192×4096×2≈128MB，80 層約 10GB，因實際分頭等略有差異，此為大致的數量級估算）。視窗機制是長上下文部署的關鍵。
等效上下文長度：指模型通過多層傳遞能有效利用的最大上下文。雖單層受限，但足夠深度下可接近全序列長度。其在 LongBench、RULER 等長上下文基準上的表現是衡量有效上下文的核心指標。

5. 技術路線

滑動視窗注意力是高效 Transformer 譜系中強調“區域性精確互動”的路線的代表。關鍵演進節點：

前 Transformer 時代：RNN/LSTM 具有內在的滑動視窗特性，但梯度消失限制了遠端建模。
標準注意力（2017）：全域性注意力徹底解決長程依賴問題，但計算和視訊記憶體代價過高。
稀疏/區域性注意力探索（2018‑2020）：Sparse Transformer、Longformer、BigBird 等引入固定稀疏模式（全域性＋區域性），證明限制注意力範圍可行。滑動視窗是最純粹的區域性形式。
工程化與長上下文爆發（2023‑2025）：Mistral 7B 將純滑動視窗注意力作為主力注意力機制，並在大規模模型中驗證；Phi‑3‑mini 結合塊稀疏視窗；推論引擎 vLLM、TensorRT‑LLM 原生支援 SWA 快取管理。SWA 與 GQA、FlashAttention、推測解碼等技術系統整合，成為長上下文推論的標準組件。

技術對比簡表：

特性	全域性注意力	滑動視窗注意力	稀疏注意力 (如 Longformer)	線性注意力
複雜度	O(n²d)	O(n·w·d)	O(n·k·d)，k 為稀疏連線	O(n·d²)
理論感受野	全域性	通過層堆疊間接全域性	全域性（配有全域性 token）	全域性（核函式近似）
長程依賴能力	強	中（依賴深度）	強（混合全域性 token）	中（近似誤差）
實現複雜度	低	低	中高	高
硬體友好度	高（稠密乘加）	高	中（不規則連線）	需定製核
典型應用	短序列任務	長文本生成/對話	長文件摘要	流式處理

6. 上游

滑動視窗注意力的發展與供應依賴以下上游要素：

注意力演算法研究：Longformer、Sparse Transformer 等早期工作奠定了區域性視窗理論基礎；FlashAttention 系列提供了 IO 感知的融合加速運算元，可與 SWA 疊加使用。
訓練與系統架構：PyTorch、JAX 等提供靈活的自定義掩碼介面；DeepSpeed、Megatron‑LM 等需對視窗化注意力進行通訊與視訊記憶體最佳化。
硬體能力：GPU 視訊記憶體頻寬和容量是長視窗推論基礎。NVIDIA H100 等大視訊記憶體 GPU 使得 w=4096 甚至更大的視窗能高效執行；對不規則稀疏模式的硬體支援也在提升，但視窗式帶狀平移仍是對 GPU 友好的規則記憶體訪問模式。

7. 下游

應用層：長上下文聊天機器人（如法律合同分析、書籍對話）、程式碼庫理解與補全、多輪長文件互動、長影片/音訊理解與摘要。這些業務場景對上下文長度需求已普遍達到 32K~1M token。
模型層：作為基礎注意力模組嵌入 Decoder‑only 架構（如 Mistral）或 Encoder‑Decoder 架構。經常與分組查詢注意力 (GQA)、旋轉位置編碼 (RoPE) 搭配。
部署層：推論引擎（vLLM、TensorRT‑LLM、LMDeploy）為 SWA 提供專用 KV 快取管理器和視訊記憶體回收策略，以維持長序列下穩定吞吐。雲端端模型服務（如 AWS Bedrock、Azure AI）通過此類引擎向客戶暴露長上下文能力，直接受益於 SWA 降低的每請求成本。

8. 受益公司

以下公司因推動或廣泛採用滑動視窗注意力而增強其技術體系（所列估值/營收均標註公開資訊來源，僅作事實描述，不構成任何投資建議）：

Mistral AI：在 Mistral 7B（2023 年）中全面使用 SWA，並開源模型，大幅降低了長上下文推論門檻。據 TechCrunch 2024 年 6 月報道，該公司完成 B 輪融資後估值達到 60 億美元[^3]。
微軟：2024 年推出的 Phi‑3‑mini 技術報告顯示使用塊稀疏注意力（含視窗約束），結合 SWA 的思路實現長上下文。微軟雲端 Azure AI 服務藉此提供長文本推論 API。
Meta：在 LLaMA 系列及相關研究論文中持續探索區域性視窗與高效注意力組合（如 LLaMA 2 長上下文研究），其開源生態推動了 SWA 變體的社群驗證。
Google DeepMind：在 Longformer、BigBird 及後續高效架構研究中為包括 SWA 在內的稀疏注意力奠定了理論基礎。
輝達 (NVIDIA) ：其 TensorRT‑LLM 推論架構對 SWA 的最佳化實現，使 GPU 硬體在長上下文場景下能發揮更高利用率，間接受益於 SWA 驅動的推論需求增長。
國內大型模型廠商：據公開技術分享，百度、智譜、MiniMax、月之暗面等在研發長上下文模型時，均評估或結合滑動視窗注意力及其變體，受益於其成本節約。

9. 市場規模

滑動視窗注意力本身為演算法元件，不構成獨立市場。其經濟效益體現在降低大型模型推論的總擁有成本（TCO），間接關聯到推論硬體和推論服務市場。

據 IDC 2024 年 1 月釋出的全球伺服器季度追蹤報告，2023 年全球 AI 伺服器市場規模達到 211 億美元，生成式 AI 推論負載是驅動增長的主因之一[^4]。
長上下文推論需求推動更大視訊記憶體和更高記憶體頻寬硬體的使用，IDC 預測該市場至 2027 年將維持高複合增長率。
第三方機構尚未單獨拆分因滑動視窗注意力帶來的成本節省，公開資料未見對滑動視窗注意力獨立市場規模的量化測算。可定性認為，任何降低推論延遲和視訊記憶體的技術，都將擴大可服務的應用邊界，從而支撐下游推論營收增長。

10. 玩家對比

10.1 採用 SWA 的主流模型對比

模型	視窗大小	最大上下文（訓練/支援）	引數量	時間/來源
Longformer‑Base	512 (區域性) + 全域性 token	4096	~149M	2020 論文[^1]
Mistral 7B	4096	32K（通過滑動視窗擴充套件）	7B	2023 技術報告[^2]
Phi‑3‑mini	塊稀疏視窗（等效約 2K~4K）	128K（實際評測）	3.8B	2024 技術報告[^5]
Mistral Large 2	未公開細節，採用混合注意力含視窗	128K	123B	2024 年 7 月釋出

以上所有上下文長度和視窗大小均來自官方技術報告或論文。部分模型結合了 GQA 或全域性 token 以增強長程表現。

10.2 未採用 SWA 的長上下文模型對比

模型	注意力機制	最大上下文	備註
GPT‑4 Turbo	未公開（推測為稠密高效注意力）	128K	API 提供，閉源
Claude 3 Opus	未公開，可能為自定義高效注意力	200K	閉源
Llama 3 70B	GQA + RoPE，標準全域性注意力	8K（原始）	微調可擴充套件上下文

SWA 路線在開源模型中表現突出，尤其適合希望在消費級或標準企業 GPU 上部署長上下文服務的團隊。而閉源或完整基礎設施的企業可以採用更大規模的全域性或混合方案，但推論成本顯著較高。

11. 風險

長程依賴折損：對於需要精準檢索任意兩個遠距離 token 間關係的任務（如程式碼跨檔案引用、長文件法律推論），滑動視窗的間接資訊傳遞可能造成精度下降，尤其在層數不足時。
視窗大小固定：預訓練時選定的視窗大小無法靈活適配所有下游任務。過小丟失關鍵上下文，過大則失去成本優勢。部分方案引入動態視窗或混合全域性 token，但增加了複雜度。
推論最佳化依賴性：SWA 的視訊記憶體節省需要推論引擎和核心專門最佳化（如連續的 KV 快取管理），否則可能無法發揮理論優勢。缺乏成熟的工程支援時，端到端推論吞吐可能劣於高度最佳化的稠密注意力。
資料適配風險：某些領域的文本區域性相關性較弱（如隨機 UUID 關聯），SWA 的表現可能顯著差於全域性注意力，但這類場景可通過特定位置編碼或混合注意力緩解。

12. 誤讀糾偏

誤讀 1：“滑動視窗注意力會完全丟失長程資訊，無法處理需要全文理解的任務。”
糾偏：雖然單層範圍有限，但多層堆疊後資訊可跨層傳遞，類似於 CNN 中小卷積核堆疊獲得大感受野。然而，這種間接傳遞對極精確的“逐對長程”互動可能依然不足。因此，一些模型會額外設定少量全域性 token（如 Longformer 的做法）來強化長程能力。
誤讀 2：“SWA 是 Mistral 等新公司的獨佔專利。”
糾偏：滑動視窗是自注意力領域經典基礎思想，2019‑2020 年的 Longformer、Sparse Transformer 等工作早有應用。Mistral 等公司的貢獻在於將純滑動視窗作為主力注意力，在 7B 規模驗證通過，並通過開源推動其工程化。
誤讀 3：“視窗越大，模型表現一定越好。”
糾偏：更大的視窗帶來更多區域性上下文，但也可能引入更多噪聲，同時增加算力。存在收益遞減點，且受訓練資料分佈和任務影響。實際開發中需結合驗證集選取視窗大小，許多模型選擇 4096 作為價效比甜點。

13. 最新事件

2024 年 6 月：Mistral AI 完成 6.4 億美元 B 輪融資，估值 60 億美元，其滑動視窗注意力的長期實踐是技術亮點之一（來源：TechCrunch）。
2024 年 10 月：HuggingFace transformers 4.46 版本集成了滑動視窗注意力融合 FlashAttention‑2 的功能，簡化了開發者自定義視窗掩碼的流程（來源：HuggingFace 官方部落格）。
2024 年 11‑12 月：推論引擎 vLLM 和 LMDeploy 相繼釋出對滑動視窗 KV 快取的視訊記憶體回收最佳化，使 128K 長上下文服務在多使用者併發下穩定性大幅提高（來源：各自 GitHub 釋出說明）。
2025 年 1 月：Microsoft 開源 Phi‑4 模型，雖轉向其他架構，但其前代 Phi‑3‑mini 的塊稀疏視窗技術仍影響社群對低成本長上下文模型的探索（來源：微軟官方部落格）。
截至 2025 年 4 月：學術界多篇預印本論文探索動態視窗注意力、與狀態空間模型 (SSM) 結合的混合架構，滑動視窗的簡約理念持續衍生新變體（來源：arXiv 檢索）。

14. 追蹤指標

技術團隊和產業觀察者可關注以下指標，以評估 SWA 路線進展：

視窗大小：主流開源模型（如 Mistral、Phi 系列）技術報告中宣告的視窗半徑/大小，及其與最大上下文長度的關係。
長上下文基準得分：在 LongBench、L‑Eval、RULER 等基準上的表現，特別是需要遠端檢索的子任務（如 NarrativeQA、GovReport），直接體現間接傳遞的有效性。
推論吞吐 (tokens/s)：在固定 GPU 型號（如 A100、H100）和長序列長度（32K、128K）下，對比啟用 SWA 的模型與全域性注意力模型的吞吐、首 token 延遲和視訊記憶體佔用。開源推論架構的更新日誌中常有此類資料。
KV 快取壓縮比：實際推論中 SWA 的 KV 快取大小與序列長度的比率，以及快取回收策略的有效性。
生態支援：主流架構 (vLLM, TensorRT‑LLM, llama.cpp) 中對滑動視窗注意力的最佳化覆蓋和相容性進展。
新研究動向：arXiv 上關於視窗排程、動態視窗、視窗+全域性 token 混合的高引論文數量，指示技術活躍度。

15. 信源

[^1] Beltagy, I., Peters, M. E., & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv:2004.05150.
[^2] Mistral AI. (2023). Mistral 7B Technical Report. arXiv:2310.06825. 視窗大小為 4096 的滑動視窗注意力作為唯一注意力機制。
[^3] TechCrunch. (2024, June 11). Mistral AI raises $640M at a $6B valuation. 報道估值及融資細節。
[^4] IDC. (2024, January). Worldwide Quarterly Server Tracker, Q4 2023. 全球 AI 伺服器市場營收 211 億美元。
[^5] Microsoft. (2024). Phi‑3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219. 使用塊稀疏注意力，含視窗約束。
[^6] Dao, T., Fu, D., Ermon, S., Rudra, A., & Ré, C. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS 2022.
[^7] vLLM 專案文件及 GitHub 倉庫，https://github.com/vllm-project/vllm。
[^8] HuggingFace Transformers 文件，滑動視窗注意力示例，https://huggingface.co/docs/transformers/model_doc/mistral。
其他行業分析資料來自公開的 Gartner、Omdia 報告摘要（因未獲完整報告，未列具體頁碼）。

（注：以上所有財務、份額資料均標註年份與來源，未標註數字的部分說明“公開資料未見”。內容不構成任何投資建議。）

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

滑動視窗注意力

1. 3 秒看懂

2. 3 分鐘產業解釋

3. 技術原理

3.1 掩碼操作原理

3.2 多層感受野擴充套件

3.3 實現示例

3.4 與全域性/稀疏注意力對比

4. 關鍵引數

5. 技術路線

6. 上游

7. 下游

8. 受益公司

9. 市場規模

10. 玩家對比

10.1 採用 SWA 的主流模型對比

10.2 未採用 SWA 的長上下文模型對比

11. 風險

12. 誤讀糾偏

13. 最新事件

14. 追蹤指標

15. 信源

1. 3 秒看懂

2. 3 分鐘產業解釋

3. 技術原理

3.1 掩碼操作原理

3.2 多層感受野擴充套件

3.3 實現示例

3.4 與全域性/稀疏注意力對比

4. 關鍵引數

5. 技術路線

6. 上游

7. 下游

8. 受益公司

9. 市場規模

10. 玩家對比

10.1 採用 SWA 的主流模型對比

10.2 未採用 SWA 的長上下文模型對比

11. 風險

12. 誤讀糾偏

13. 最新事件

14. 追蹤指標

15. 信源

相關推薦

同產業鏈 · 相關公司

相關概念