AI 記憶體頻寬瓶頸
3秒看懂
AI 計算正從“算力焦慮”轉向“資料飢渴”：記憶體頻寬跟不上算力增長，成為掣肘大型模型推論速度的終極瓶頸。 邏輯很簡單——跑得再快，資料喂不夠也白搭。尤其在推論階段，每生成一個 token 都需要重新遍歷模型權重；雖然 batch 大小、KV Cache 駐留方式、權重駐留、張量並行切分以及快取複用等因素會使有效搬運量偏離“完整搬動整個模型”的簡單估算，但記憶體頻寬仍是決定響應快慢的核心。這就是“AI 記憶體頻寬瓶頸”。
3分鐘產業解釋
過去十年，CPU/GPU 核心數指數級暴漲，但系統記憶體總頻寬增長相對溫和，分攤到每個核心的可用頻寬反而下降了。以 CPU 為例，單核可用記憶體頻寬呈持續下降趨勢。這種“核心越多、每個核越餓”的窘境，在 AI 推論全面爆發的階段被推到頂峰——據行業趨勢觀察，推論基礎設施支出增速可能在某個時間點超過訓練。
推論場景的特徵是“讀模型權重”為主，自迴歸生成中每個 token 推論通常需完整遍歷整個模型。對於幾百 GB 乃至 TB 級的大型模型，記憶體頻寬決定了單位時間內能完成多少次這樣的遍歷。實際有效資料搬運量會因推論 batch 大小、KV Cache 部分駐留、權重常駐片內快取、張量並行切分以及快取行復用等因素而調整，不再是簡單的“每次搬動全量權重”。傳統 DDR 記憶體頻寬有限，HBM 頻寬雖高但成本高昂且容量受限，兩者之間存在巨大的“中間地帶”。
於是，業界出現兩條突圍路徑：
- MRDIMM（多路複用列 DIMM）：在伺服器記憶體層面，利用多路複用資料緩衝器使兩個記憶體 Rank 在單通道內並行操作，通過 MDB 在介面側實現一次突發傳輸中資料量的提升（標準 DDR5 的一次突發資料量通常為 64 位元組，MRDIMM 可將其提升至 128 位元組），等效於在相同物理通道上大幅提升傳輸效率，從而提升記憶體通道有效頻寬。以英特爾至強 6 效能核處理器為例，DDR5 RDIMM 原本運行於 6400MT/s，改用 MRDIMM 可將介面速率推至 8800MT/s，頻寬提升近 40%。後續 JEDEC 路線圖中，MRDIMM Gen2 目標直指 12800 MT/s，Gen3 也已啟動。
此外，針對推論“讀多寫少”的特點，高頻寬快閃記憶體 HBF 等新型儲存介質也在路上，試圖以更低單位成本提供超大容量與不錯頻寬的組合。
本質上，整個產業正在從“堆算力”轉向 “以記憶體頻寬為中心重設計算架構”。
15分鐘專家深入
先建置一個直觀模型：大型模型推論本質上是一個記憶體頻寬受限的工作負載。
算力利用率（MFU）公式常被簡寫為：
Token 生成速率 ≈ (有效記憶體頻寬) / (模型每個 token 的資料搬運量)
這裡的資料搬運量以模型權重總位元組數為粗略近似，但實際會受到推論 batch 大小（可攤銷部分權重讀取）、KV Cache 及模型權重的片上駐留比例、張量並行切分策略以及快取複用效率等因素的修正。隨著模型規模擴大到數百 GB，有效頻寬若停在幾百 GB/s，每秒只能生成很少的 token。因此，記憶體頻寬直接鎖定了響應速度。
記憶體頻寬瓶頸的形成機制
- 核心數增長 > 記憶體通道增長：伺服器 CPU 核心數從幾核到上百核，但記憶體通道仍以 8、12 通道為主，單通道頻寬增加有限（DDR 換代速度慢），於是每核心可用頻寬被稀釋。
- 資料複用距離拉長：AI 模型引數和 KV Cache 等中間資料量指數攀升，資料區域性性下降，哪怕有快取，大部分訪問仍須直擊 DRAM。
- 推論爆發，模型常駐記憶體：訓練可以批次重疊計算與通訊，但推論通常為即時線上服務，延時敏感，模型權重和 KV Cache 必須全部放在高頻寬記憶體中，無法通過重疊有效隱藏延遲。
- GPU 的“結構性短板”：GPU 擅長計算，但其視訊記憶體容量和頻寬的擴充跟不上模型體積增長。過去用視訊記憶體頻寬（HBM）勉強覆蓋，現在模型大到單卡視訊記憶體放不下，必須跨卡甚至跨節點，有效頻寬下降更為嚴重。
產業化應對全景
- 記憶體介質/介面創新：MRDIMM（伺服器記憶體）、HBM3e/4（頂級頻寬）。
- 片內/封裝整合：矽通孔（TSV）、3D 堆疊、CoWoS 等把記憶體儘可能靠近計算，縮短物理路徑，提升頻寬密度。
- 演算法-硬體協同：量化（INT8/FP8，減少每 token 搬運量）、稀疏化、推測解碼等技術從軟體側“等效”擴大頻寬。
- 分散式系統：張量並行、流水線並行可將模型切分，利用多卡並行的總頻寬，但引入通訊延遲和利用率損失。
為什麼“等價頻寬”如此重要
業界逐漸不只看裸頻寬，更看有效/等價頻寬，即考慮快取命中、壓縮、多 Rank 並行後的實際資料吞吐。MRDIMM 恰恰是直接從記憶體模組內部挖掘並行度，把有效頻寬做高，而無需增加物理通道，這在 DIMM 插槽數固定的情況下極具價效比。
關鍵資料佐證
- 據行業觀察，單核可用頻寬呈逐年下降趨勢。
- MRDIMM 首次商用即實現 8800 MT/s 介面速率，較同代 DDR5 RDIMM 提升約 37.5%。（來源：英特爾至強6效能核處理器搭配資料）
- 據多方趨勢判斷，推論基礎設施支出增長顯著，未來可能在資本支出上超越訓練，標誌產業主幹需求從“訓練吞吐”轉向“推論延時與吞吐並重”，進一步放大記憶體頻寬瓶頸的經濟權重。
技術原理
1. 問題本質：資料搬運成為瓶頸
現代 AI 加速器（GPU/TPU）的計算速度（FLOPS）遠超記憶體供給速度（位元組/秒）。一個典型的大型模型推論，執行一次前後向傳播所搬運的權重資料量極大。 例如，一個 175B 引數的模型（如 GPT-3），採用 FP16 精度，權重約佔 350 GB。如果記憶體頻寬為 2 TB/s，在 batch=1 且無快取複用等簡化假設下，理論上每秒最多隻能搬運約 5.7 次完整權重，對應最大 token 生成速率約 5.7。實際部署中，增大 batch 大小、利用 KV Cache 駐留和權重重用會將有效搬運量壓低，但趨勢不變：記憶體頻寬仍是首要約束。
用公式表達（一階近似）：
Maximum Tokens/s ≈ (Memory Bandwidth) / (Model Weight Size per token read)
對於自迴歸生成，每個 token 都需要讀取所有權重一次，但該近似未納入 batch、快取等導致的重複讀取降低。
2. 記憶體層次與瓶頸定位
[ 計算單元 ] <---> [ 暫存器 / L1 / L2 cache ] <---> [ HBM/GDDR ] <---> [ 系統 DRAM (DDR) ] <---> [ SSD/Flash ]
近存計算 高頻寬記憶體 大容量低頻寬 冷資料瓶頸最嚴重的地方是第一級片外儲存——對於 GPU 就是 HBM（或 GDDR），對於 CPU 推論通常是 DDR 通道。當模型大到不能完全駐留在 HBM 時，就只能放在系統 DRAM 甚至 SSD，此時記憶體頻寬成為硬約束。
3. MRDIMM 工作原理
傳統 RDIMM 中，兩個 Rank 交替使用同一記憶體通道，同一時刻只有一個 Rank 在傳輸，匯流排寬度 64 位（DDR 標準）。 MRDIMM 引入兩顆關鍵晶片：MRCD（多路複用寄存時鐘驅動器）和 MDB（多路複用資料緩衝器）。它們通過分時多工/資料緩衝，使兩個 Rank 的資料在介面側並行呈現，等效於在相同物理通道上每個突發週期傳輸更多資料（例如，從標準 DDR5 的 64 位元組提升至 128 位元組），從而顯著提升有效頻寬，且能以更高介面速率執行（介面速率提升而 DRAM 顆粒仍維持原生速率）。
傳統 RDIMM:
通道 <---[64bit]--> Rank0 / Rank1 (交替)
MRDIMM:
通道 ---[邏輯等效更高資料量]-- MDB <---[64bit]--> Rank0
<---[64bit]--> Rank1
(並行)效果：每次突發傳輸可搬運的資料量增加，有效頻寬顯著提升，且相容現有 DDR5 物理插槽，不改變通道物理位寬。
4. 記憶體頻寬關鍵引數
- 速率 (MT/s)：百萬次傳輸/秒，DDR5-6400 即 6400MT/s。
- 位寬 (bit)：單通道通常 64-bit（DDR5）、128-bit（雙通道）。
- 頻寬計算：
頻寬 = 速率 × 位寬 / 8。DDR5-6400 單通道 64-bit 理論頻寬 51.2 GB/s。 - Bank Group、Rank：影響並行度和有效頻寬利用率。
- 多路複用/緩衝技術：如 MDB 實現資料傳輸效率的提升，不改變物理位寬但提升等效吞吐。
技術演進史
- 2010 年前：CPU 核心數少，記憶體頻寬基本夠用，“記憶體牆”概念萌芽於 HPC 領域。
- 2012-2016：GPU 通用計算崛起（CUDA），視訊記憶體頻寬開始受重視，GDDR5 等迭代。
- 2015-2018：HBM 問世並用於高階 GPU（如 HBM2 用於 V100），解決超高位寬需求。
- 2018-2022：Transformer 大型模型引數爆炸，單卡視訊記憶體容量/頻寬成瓶頸，NVLink 和 NVSwitch 被引入以聚合 GPU 視訊記憶體頻寬。
- 2023-2025：大型模型推論成為產業重心，記憶體頻寬制約服務延遲，HBM 供應短缺，DRAM 漲價。業界開始探索 MRDIMM（JEDEC 正式定義）、CXL 記憶體擴充套件等方案。
- 2026 及之後：MRDIMM 商業落地，介面速率奔向 12800 MT/s，HBF 等新型記憶體開始走向量產，記憶體頻寬瓶頸從訓練側蔓延到推論側，成為產業核心設計約束。
技術路線對比（量化表）
| 技術 | 頻寬級別 [來源估算] | 典型容量 | 成本 | 應用場景 | 興起時間 |
|---|---|---|---|---|---|
| DDR5 RDIMM | 單通道 51.2 GB/s (6400MT/s,64bit) | 單條 64/128GB+ | 低 | CPU 推論、通用伺服器 | 2023 商用 |
| MRDIMM | 單通道約 70 GB/s (8800MT/s,通過多路複用提升每次突發資料量，不改變物理位寬) → 未來 12800MT/s | 同 RDIMM | 較低（複用既有 DIMM 槽） | 下一代 AI 推論伺服器 | 2024-2025 首次商用，標準進化中 |
| HBM3e/HBM4 | 單堆疊 1 TB/s 量級 [未充分揭露具體] | 單堆疊 24-36GB（HBM3e），HBM4 更高 | 極高 | 高階 GPU/NPU 訓練+部分推論 | 持續迭代 |
| GDDR7 | 單顆 100-200 GB/s? [無據，定性] | 單卡 12-24GB | 中 | 消費級顯示卡、專業視覺化 | 2025 後 |
| HBF（高頻寬快閃記憶體） | 顯著高於 NAND，低於 HBM [定性] | TB 級 | 較低 | 大型模型推論（讀多寫少） | 研發至量產階段 |
說明：具體頻寬數字部分來自廠商揭露或行業推測，部分標示為估算。MRDIMM 12800 MT/s 為 JEDEC 目標。
上下游
上游 – 記憶體設計與製造
- DRAM 廠：三星電子、SK 海力士、美光，提供 DDR5、HBM、GDDR 等顆粒。
- 記憶體模組/緩衝晶片設計：瑞薩、IDT（MDB/MRCD 供應）、瀾起科技等。
- EDA 工具、封裝測試、基板材料（矽通孔、矽中介、先進封裝）。
中游 – 計算平台與系統整合
- 伺服器/GPU/AI 加速器廠商：輝達（HBM 核心使用者）、英特爾（MRDIMM 主要推動者）、AMD、Google TPU、華為昇騰等。
- 伺服器 OEM/ODM：超微、戴爾、浪潮等，適配 MRDIMM 等新型記憶體。
- 互聯技術：CXL 控制器提供商，實現記憶體池化與擴充套件。
下游 – AI 應用與服務
- 超大規模雲端廠商：北美三大、阿里雲端、騰訊雲端等，採購大量推論基礎設施。
- 大型模型廠商：OpenAI、Anthropic、Meta、國內大型模型公司，其推論服務直接體驗記憶體頻寬瓶頸。
- 企業私有大型模型部署、邊緣推論裝置。
關鍵指標
- 記憶體頻寬 (GB/s)：最直接衡量資料傳輸能力的指標。
- 每瓦頻寬 (GB/s/W)：能源效率，資料中心越來越重視。
- 容量/頻寬比：大型模型需同時滿足容量（裝下整個模型）和頻寬（快取），通常引數 ≥ 容量 / 模型位元組數。
- 每 Token 延遲 (ms)：業務層指標，與記憶體頻寬直接反比。
- 等效位寬、速率、Rank 並行度：決定實際頻寬的技術引數，MRDIMM 通過多路複用提升等效吞吐。
- 單核可用頻寬 (GB/s per core)：體現頻寬稀釋程度，歷史趨勢顯示下降。
- 快閃記憶體到記憶體的頻寬比：對於 HBF 等，還需考慮與 DRAM 的頻寬差異及儲存層次效率。
供需與市場資料
- 需求端：據行業趨勢觀察，推論支出增長加快，有望在未來某個時間點超越訓練支出，推論帶動對高頻寬記憶體的需求激增。
- 供給端：DRAM 普遍短缺。HBM 產能被輝達等巨頭包攬，價格高昂。DDR5 價格在 2025 年出現翻倍級上漲（合約價年增率漲超 170%），反映出記憶體供給的全面吃緊。
- 結構性失衡：推論伺服器需要的不是算力，而是記憶體頻寬。傳統伺服器配置 DDR5，單通道頻寬僅 50 GB/s 級，跑大型模型推論時即使多路 CPU 也面臨 頻寬/核 不足，催生 MRDIMM 採購需求。
- 預測：隨著 MRDIMM 量產，預計 2026-2027 年推論伺服器的記憶體頻寬供給將得到明顯改善，但仍落後於模型體積增長速度。
代表公司與資本對映
- DRAM 三巨頭：SK 海力士（HBM 市佔領先）、三星電子（HBM+MRDIMM 路線緊跟）、美光（HBM 追趕者，MRDIMM 參與者）。HBM 訂單已經鎖定未來多年營收，而 MRDIMM 將開闢新增長點。
- 記憶體介面/緩衝晶片公司：瀾起科技（MRCD/MDB 關鍵供應商）、瑞薩、Rambus。MRDIMM 滲透率提升和 DDR5 世代升級會增加對介面/緩衝晶片的需求。
- 算力晶片平台：輝達——HBM 最大消費者，也面臨推論場景下 HBM 容量不足的壓力，或將引入更多新型記憶體；英特爾——強推 MRDIMM 生態；AMD——也在版面配置 CXL 與高階記憶體。
- 封測與矽中介層：台積電 CoWoS-R/L、安靠等，HBM 封裝產能瓶頸持續，間接加劇記憶體頻寬瓶頸，也會改變先進封裝產能排產和客戶結構。
- 雲端與 AI 服務商：資本支出向推論傾斜，加速部署支援 MRDIMM 的伺服器，考驗記憶體供應鏈。
產業傳導邏輯
- 短期：HBM 供需極度緊張，擁有 HBM 產能的廠商營收彈性更直接。MRDIMM 剛剛起步，介面晶片公司（如瀾起）處在新增需求驗證視窗。
- 中期：隨著推論支出有望超越訓練，對價效比高的記憶體頻寬方案需求迫切，MRDIMM 滲透率有望快速提升，相關介面晶片、DRAM 顆粒、相容主機板的生態需要追蹤。
- 風險點：技術路線不確定（例如 CXL 記憶體池化可能改變模型部署方式，降低單機頻寬需求）；DRAM 週期性波動；JEDEC 標準推進慢於預期。
- 核心指標追蹤：MRDIMM 在伺服器出貨佔比、HBM 價格與現貨供應、推論晶片廠商對新型記憶體的支援。
常見誤讀糾偏
誤讀1：“記憶體頻寬瓶頸只存在於訓練，推論沒那麼嚴重。” 事實：推論需要為每個 token 即時讀取模型權重，延遲敏感，無法像訓練那樣通過增大批次來攤銷資料搬運。據行業趨勢分析，推論支出有望在未來超越訓練，預示推論才是頻寬瓶頸的主戰場。訓練可通過梯度累積、大 batch 使計算成為瓶頸，推論卻徹底是記憶體頻寬受限。
誤讀2：“HBM 是萬能的，只要用 HBM 就能解決。” 事實：HBM 單片容量有限（單堆疊僅數十 GB），成本極高、功耗不低，不適合百 GB 級模型的全量駐留。當前主流做法是模型切分到多卡，中間引入 NVLink/InfiniBand 等通訊，但彙總有效頻寬會打折。對於大語言模型，期望用單一 HBM 堆疊覆蓋整個模型並不現實，記憶體頻寬瓶頸只是轉移到多卡互聯和容量分配上。
誤讀3：“MRDIMM 就是簡單的雙通道，和普通 DDR5 多通道一樣。” 事實：MRDIMM 是單通道內部的傳輸效率提升，通過 MDB 實現同一通道上每次突發資料量的增加，不改變物理位寬也不增加記憶體插槽和 CPU 引腳需求。普通雙通道需要兩條物理通道和更多引腳。MRDIMM 在相同引腳數下提升介面有效頻寬，相容性極強。
學習路徑
- 基礎概念：先理解記憶體頻寬公式、記憶體層次、DDR 速率與位寬關係，推薦《計算機組成與設計》中儲存層級章節。
- AI 工作負載特徵：閱讀論文《Efficient Large-Scale Language Model Training on GPU Clusters》中記憶體分析，瞭解推論的資料搬運模式，關注 batch、KV Cache 等對搬運量的影響。
- 記憶體技術深度：JEDEC 標準文件（DDR5、MRDIMM 相關）、各大 DRAM 廠商技術白皮書、研究瀾起科技等介面晶片原理。
- 產業報道：追蹤 AnandTech、Semiconductor Engineering、Digitimes 等對 MRDIMM 等記憶體技術的報道。
- 經濟視角：關注 IDC/Gartner 關於推論資本支出、記憶體市場的報告，以及主要廠商財報中記憶體相關營收資料。
一句話總結
AI 大型模型的落地正在讓“記憶體頻寬”取代“計算峰值”成為第一效能槓桿，誰能在頻寬密度、容量、成本三角中找到最優解，誰就能吃下推論時代的最大紅利。
延伸閱讀與來源
- JEDEC 官網關於 MRDIMM 標準的最新公告。
- 文章《趨勢丨為緩解頻寬瓶頸,MRDIMM正在崛起》（騰訊新聞 / OFweek / 陀螺科技 2026.05）。
- 《下一代存算突破技術-HBF》（CSDN 部落格）。
- 《AI對記憶體晶片的巨大需求引發供應短缺》（網易轉載 IEEE Spectrum 分析）。
- 券商研究報告：關注推斷推論記憶體需求、HBM 市場、MRDIMM 滲透節奏。