本地 NVMe
1. 3秒看懂
本地NVMe,是指通過PCIe匯流排直接連線在伺服器CPU上的NVMe協議固態硬碟。它不是網路共享儲存,而是這臺伺服器獨享的“貼身高速倉庫”。在AI訓練或推論場景中,它為GPU提供微秒級延遲、數十GB/s頻寬的資料通道,是讓算力“吃滿”的關鍵硬體之一。
2. 3分鐘產業解釋
AI算力的價值,最終取決於GPU能在單位時間內消化多少資料。本地NVMe的核心使命,就是消滅“資料搬運”的等待,讓GPU不再空轉。
傳統架構下,資料往往存放在通過網路連線的SAN/NAS中。當GPU需要讀取訓練樣本時,資料包需要經過網路協議棧、儲存控制器等多個環節,延遲常達毫秒級,且容易因多工爭搶頻寬而產生劇烈抖動。這一延遲在萬億引數模型訓練中會被急劇放大——每一個訓練步驟都要等待I/O,累積起來可能使昂貴的GPU叢集利用率大幅下降。
本地NVMe從物理和邏輯兩個層面壓縮資料路徑:
- 物理直連:SSD插在伺服器主機板PCIe插槽或U.2/M.2介面上,經由PCIe匯流排直連CPU,不存在網路中轉。
- NVMe協議:專為快閃記憶體設計,命令佇列深度可達65536,支援多核並行提交請求,軟體棧極薄。
在AI產業鏈中,本地NVMe扮演著 “算力燃料的直供管道” 角色。大規模訓練的資料集可達TB至PB級,訓練過程中的資料載入、Checkpoint儲存與恢復、Embedding讀寫和KV Cache溢寫等I/O操作,都對儲存延遲和頻寬極其敏感。本地NVMe為每個GPU節點提供本地高速儲存池,吸收這些高併發、低延遲的I/O請求。它與網路儲存是互補關係:網路持久層負責全量資料的安全、共享與災備,本地NVMe負責為計算節點提供熱資料工作空間。
3. 技術原理
本地NVMe的高效能源自軟硬體協同的極簡架構。其目標是將儲存裝置從傳統SATA/AHCI協議的複雜棧中解放出來。
物理通道:PCIe匯流排
PCIe是資料的“高速公路”,點對點連線,沒有共享匯流排競爭。當前主流AI伺服器普遍採用PCIe 4.0或5.0:
- PCIe 4.0 x4 單向頻寬約8 GB/s;
- PCIe 5.0 x4 單向頻寬約16 GB/s(理論值,實測略低)。
某些高效能AIC形態NVMe SSD可使用x8或x16通道,提供更強吞吐。
儲存協議:NVMe
NVMe與為機械硬碟設計的AHCI相比,主要優勢:
- 超高並行:支援65535個命令佇列,每個佇列深度可達65536,完美匹配伺服器數十核CPU的並行I/O模型。
- 精簡指令集:命令長度固定64位元組,解析開銷遠小於AHCI的可變長命令。
- 低延遲通路:可結合使用者態驅動(如SPDK)旁路核心,將I/O延遲壓至幾十微秒。
典型資料路徑對比
- 本地NVMe:應用 → NVMe驅動(核心/使用者態) → PCIe → NVMe控制器 → NAND Flash
- 網路儲存(iSCSI):應用 → 檔案系統/塊層 → SCSI層 → iSCSI發起端 → TCP/IP棧 → 網絡卡 → 網路 → 儲存目標 → 儲存介質 前者的端到端延遲通常在80 µs內,後者往往在200 µs以上,且容易波動。
裝置形態
資料中心常用的NVMe SSD形態:
- U.2(2.5英寸):支援熱插拔,容量點靈活,是最主流的本地資料盤形態。
- E1.S/E3.S:新一代企業級規格,更優散熱和密度,逐步在新平台中滲透。
- M.2:多用作系統啟動盤,空間有限。
- AIC(附加卡):直接插PCIe槽,可整合更多NAND,提供超高容量和頻寬。
軟體棧最佳化
SPDK(儲存效能開發套件)等開源方案能夠在使用者態執行NVMe驅動,將I/O流程鎖定CPU核,消除中斷和上下文切換,延遲可穩定在20 µs以下,是高效能AI儲存節點的常見加速手段。
4. 關鍵引數
評價本地NVMe的關鍵引數可歸納為以下幾類,選型時需結合實際工作負載:
-
順序讀寫頻寬(GB/s)
連續讀寫大檔案的吞吐量。2024年量產的代表性PCIe 5.0 SSD可達14 GB/s讀、10 GB/s寫(如三星PM1743,來源:三星半導體產品頁,2024)。實際效能受散熱與鏈路質量影響。 -
隨機讀寫IOPS(千次/秒)
4 KB小塊隨機讀是資料中心最關注的指標。高階企業級PCIe 5.0 SSD 4K隨機讀可達250萬IOPS以上(來源:三星PM1743規格書,2023年釋出)。隨機寫因快取策略和垃圾回收,表現會略低。 -
訪問延遲(µs)
典型隨機讀延遲在80 µs左右(PCIe 4.0),最佳化後可達50 µs以內。延遲分佈尾端(99.99%)是服務端QoS的關鍵,企業級產品通常承諾P999延遲低於300 µs。 -
容量
單盤容量從1.92 TB到30.72 TB等,AI訓練伺服器常用7.68 TB、15.36 TB或更大規格。部分AIC卡可提供大於30 TB的容量。 -
耐久度(DWPD)
每日整盤寫入次數。讀密集型場景通常配置1 DWPD(如AI訓練資料快取);寫日誌型或Checkpoint密集型則需要≥3 DWPD的混合用途產品。 -
年故障率(AFR)
企業級SSD通常要求AFR低於0.35%,與產品返修率和資料中心運維成本直接相關。 -
效能一致性
在長時間高壓寫入後,穩態效能(SSD到穩態而非空盤爆發)才是真實能力。JEDEC規範有相關測試標準。
5. 技術路線
本地NVMe並非孤立的技術選擇,其演化嵌入在伺服器儲存層次的整體升級中。
演進簡史
- 2010年前:SATA HDD和早期SSD,AHCI協議,佇列深度32,效能極大受限。
- 2011‑2015:NVMe 1.0規範釋出,PCIe SSD以昂貴AIC形態出現在高階市場。
- 2016‑2019:PCIe 3.0 U.2/M.2 NVMe進入資料中心主流,取代部分SAS SSD。
- 2020‑2022:PCIe 4.0普及,單盤頻寬翻倍,AI伺服器推動大容量部署。
- 2023至今:PCIe 5.0量產,頻寬邁入16 GB/s級,E1.S等新形態擴散,軟體層向著CXL記憶體池化協同演進。
與替代/互補方案的對比
| 對比維度 | 本地NVMe SSD | 網路全快閃記憶體儲 (NVMe-oF/TCP) | 分散式儲存 (Ceph/MinIO等) |
|---|---|---|---|
| 連線方式 | PCIe直連CPU | 乙太網路/FC | 乙太網路 |
| 典型訪問延遲 | 50 ~ 120 µs | 150 ~ 500 µs | 300 µs ~數ms |
| 頻寬 | 單盤可達14 GB/s(PCIe 5.0) | 受限於網路頻寬(100 GbE≈12.5 GB/s)但可聚合 | 水平擴充套件聚合頻寬高 |
| 資料共享性 | 單機獨佔 | 多主機共享 | 叢集共享 |
| 擴充套件性 | 盤位有限 | 縱向擴充套件(儲存陣列) | 橫向擴充套件 |
| AI訓練適用性 | 極佳,資料本地化消滅網路I/O | 尚可,適合模型倉庫或共享檢查點 | 適合大規模資料集儲存,非即時訓練I/O |
注:延遲資料為典型範圍,實際因軟硬體棧、負載模式而異。
前沿演進方向:NVMe與CXL的融合
CXL(Compute Express Link)記憶體擴充套件正在進入伺服器平台。本地NVMe可以作為CXL記憶體池的持久化後備層,利用CXL.mem協議將大容量NVMe儲存器對映為系統可定址的記憶體擴充套件,進一步降低軟體棧延遲。這一方向尚處在早期產品孵化階段。
6. 上游
本地NVMe的供應鏈上游可拆解為三大核心元件:
NAND Flash顆粒
儲存介質,成本佔比最高。市場呈寡頭格局,全球主要供應商包括三星、SK海力士、鎧俠/西部資料、美光、Solidigm(原英特爾儲存)。中國大陸唯一主流儲存IDM企業為長江儲存,其Xtacking架構在層數和密度上持續追趕,已量產232層TLC/QLC NAND,並進入企業級SSD應用(來源:長江儲存官網及行業報道,2024年)。
主控晶片(Controller)
SSD的“大腦”,負責FTL對映、GC、糾錯等。原廠大多自研或定製主控,獨立主控供應商有慧榮科技、群聯電子等。國內廠商如得一微、英韌科技、憶芯科技等推出企業級主控產品,部分在市佔率上有所突破,但從公開財務資料看,國產主控在資料中心NVMe份額與一線原廠差距仍明顯。
DRAM快取
用於存放對映表和緩衝寫命令,依賴DDR4/DDR5顆粒。供應商與記憶體行業高度重合,三星、SK海力士、美光主導。受記憶體大宗價格週期影響顯著。
上游瓶頸主要在於先進NAND工藝和主控韌體,兩者決定了SSD產品的核心效能與壽命。近年來缺貨與產能過剩交替,需持續追蹤原廠資本支出與產能規劃。
7. 下游
本地NVMe的直接客戶是AI基礎設施的採購與運營方,主要包括:
- 雲端服務提供商(CSP):AWS、Azure、Google Cloud、阿里雲端、騰訊雲端、華為雲端等。它們是資料中心SSD的最大采購群體,通用伺服器和AI例項均需配備本地NVMe。
- 大型網際網路及科技公司:Meta、ByteDance、Baidu等,自建AI算力平台,對NVMe需求與GPU採購配合。
- 行業AI實驗室與研究所:國家超算中心、AI創業公司等,部署大規模訓練叢集。
- 電信與金融客戶:正在引入大型模型訓練推論平台,但規模相對較小。
下游需求特徵:以整體伺服器採購驅動,通常2 ~ 8塊NVMe SSD/GPU伺服器(來源:典型配置調研,2024;超微、NVIDIA參考設計公開資訊)。客戶認證週期長,一旦批次採購則供應關係較穩固。
8. 受益公司
以下僅客觀描述產業關聯,不構成任何投資建議、買賣推薦或漲跌預測。
- NAND原廠:三星電子、SK海力士、美光科技、鎧俠/西部資料等,直接受益於每臺AI伺服器帶來更高容量和企業級NVMe出貨量,其財務表現與企業級SSD營收高度相關。
- 長江儲存(關聯廠商):作為國產NAND突破者,若其企業級NVMe SSD成功打入伺服器OEM供應鏈,將強化國產替代邏輯。目前其產品已在部分信創和網際網路除錯入圍,但份額尚未公開揭露(公開資料未見具體市場佔比)。
- 主控/模組公司:慧榮科技、群聯電子(獨立主控供應商)提供資料中心級主控方案;江波龍(301308.SZ)、佰維儲存(688525.SH)等大陸模組廠已推出企業級NVMe產品,與AI需求關聯度提升,但同時受NAND價格波動影響顯著。
- 伺服器ODM/OEM:超微電腦、浪潮資訊、聯想、Dell、HPE等通過出售整機間接帶動上游儲存用量,其AI伺服器營收增長往往伴隨較高的本地NVMe附加價值。
- 第三方開源軟體/解決方案:SPDK、io_uring等生態在最佳化本地NVMe效能中發揮關鍵作用,可關注開源社群活躍度及後續商業化衍變。
9. 市場規模
獨立統計“本地NVMe”細分市場的公開資料較少,通常融入企業級SSD統計中。
據TrendForce於2024年3月釋出的《Enterprise SSD Industry Analysis》,2023年全球企業級SSD市場營收約為110億美元(口徑:原廠對資料中心客戶的直接銷售額),年增率增長約15%。其中NVMe介面SSD佔比超過80%,PCIe 4.0和5.0成為增長主力(來源:TrendForce, 2024)。
另據IDC《Worldwide Solid State Drive Forecast, 2024–2028》摘要,2023年全球企業級SSD出貨容量接近200EB,預計到2028年將超500EB。AI及生成式AI工作負載是主要容量增長驅動力(來源:IDC, 2024)。
價格方面,2023年上半年NAND供過於求導致企業級SSD單價下降,下半年隨供應商減產和AI需求拉動,合約價逐步回升。整體單位容量成本($/GB)呈現長期下行,但高效能、高耐久企業級產品享有溢價。
國內AI基礎設施資本支出預計持續增長,有望進一步擴大本地NVMe的市場敞口。但具體中國區本地NVMe採購金額暫無公開獨立統計。
10. 玩家對比
以下根據公開技術引數和市場資訊,對比主要供應商在企業級本地NVMe領域的代表性產品。
| 供應商 | 代表產品 | NAND型別 | PCIe代數 | 最大容量 | 順序讀(GB/s) | DWPD | 備註 |
|---|---|---|---|---|---|---|---|
| 三星 | PM1743/PM9D3a | V-NAND | 5.0 | 15.36 TB | 14 | 1 ~ 3 | 2024年已量產,三星官網 |
| Solidigm (SK海力士) | D7-PS1010 | QLC NAND | 5.0 | 61.44 TB | 14 | 0.3 ~ 1 | 超大容量主打讀密集(來源:Solidigm,2024) |
| 美光 | 7500 PRO/MAX | 232L TLC | 4.0 | 15.36 TB | 7 | 1/3 | PCIe 4.0主力(美光科技產品頁) |
| 鎧俠 | CM7-V | BiCS FLASH | 5.0 | 12.8 TB | 14 | 1 | 企業與資料中心(鎧俠,2024) |
| 長江儲存 | PE310系列(企業級) | Xtacking 3.0 | 4.0 | 7.68 TB | 7.4 | 1.5 | 2023年釋出,部分合作案例(公開報道) |
| 群聯 | Pascari系列 | 合作NAND | 5.0 | 15.36 TB | 14 | 1 | 提供公版/定製企業級SSD方案 |
來源:各公司官方產品規格及新聞稿,截至2025年4月。具體供貨和市場分額以定期報告為準。
模組層面,江波龍、Smart Modular等推出自有品牌企業級NVMe SSD,多采用原廠顆粒搭配群聯等主控,在二線市場有一定份額,上半年典型營收隨NAND降價呈現波動(來源:江波龍2023年報、2024年半年報)。
11. 風險
本地NVMe的產業研究需關注以下不可忽視的風險維度:
- AI資本支出週期性:本地NVMe高度依賴AI伺服器部署,一旦宏觀經濟或技術預期轉變導致CSP縮減伺服器採購,儲存需求可能同步收斂。2023年上半年全球雲端服務資本支出曾出現階段性放緩(來源:Synergy Research, 2023)。
- NAND供需失衡與價格劇烈波動:NAND Flash行業歷史上多次經歷供過於求與短缺切換。若下游AI需求不及預期而原廠產能開出,可能導致企業級SSD價格快速下跌,侵蝕上游獲利。
- 技術路徑替代風險:NVMe over Fabrics(NVMe-oF)通過網路實現高速共享儲存,雖然延遲高於本地NVMe,但在某些高可靠性、池化架構中可能減少對本地大容量NVMe的需求。此外,CXL記憶體擴充套件也有可能部分替代以本地NVMe為快取的架構。
- 國產替代程序不及預期:國產NAND和主控在產品一致性、大批次供貨和生態相容性上與一線原廠仍有差距,導致實際滲透率可能低於市場預期,追蹤時需多次確認客戶匯入進度。
- 功耗與散熱挑戰:PCIe 5.0 SSD滿載功耗可超過25 W,高密度部署會給伺服器電源和散熱帶來壓力,可能限制每節點盤數,進而影響單伺服器儲存容量。
- 國際貿易與制裁風險:先進NAND及主控技術可能受出口管制影響,供應鏈不確定性上升,可能改變區域供應格局。
12. 誤讀糾偏
誤讀一:本地NVMe就是普通的伺服器系統盤,容量小、價值低。
糾偏:AI伺服器的系統盤通常是一塊中小容量M.2 SSD。而資料盤(即本文討論的本地NVMe)通常為多塊大容量企業級NVMe SSD,專門用於訓練資料快取、Checkpoint、日誌和臨時工作空間,其單機總容量可達數十TB,成本佔伺服器接近甚至超過部分次要計算部件,對訓練效率影響顯著。
誤讀二:隨著400G/800G網路普及,本地NVMe會被拉遠的高速儲存替代。
糾偏:網路升級解決的是頻寬問題,無法抵消物理距離和協議棧帶來的延遲懲罰。本地PCIe訪問為微秒級,而經過多跳網路+CPU的遠端儲存訪問即便在RDMA下也需幾十微秒以上,且延遲抖動更大。大型模型訓練中大量的隨機小塊讀和Checkpoint區域性寫對延遲極其敏感,本地NVMe在這些場景中不可替代。
誤讀三:QLC和更高堆疊層數會導致企業級NVMe不可靠。
糾偏:新一代QLC NAND結合先進LDPC糾錯、磨損均衡和冗餘技術,在DWPD 0.3‑1的使用場景中,其AFR和不可糾正誤位元速率(UBER)已能滿足企業標準。事實上,Solidigm 61.44 TB QLC SSD已獲多個大型CSP認證,專門用於讀密集型AI資料管線的本地儲存(來源:Solidigm客戶案例,2024)。
誤讀四:本地NVMe僅僅是硬體,和軟體無關。
糾偏:發揮其完整效能高度依賴儲存軟體棧的最佳化,如SPDK、io_uring、特定檔案系統(如DAOS、Lustre on NVMe本地快取)等。僅使用標準核心塊層API無法達到標稱的百萬IOPS和低尾延遲。
13. 最新事件
以下按時間由近及遠選取對本地NVMe影響顯著的公開事件:
- 2025年1月:輝達CES釋出會上表示,新一代B200/GB200 AI平台伺服器參考設計繼續強化本地NVMe配置,建議每臺伺服器配備8個E1.S NVMe SSD用於訓練資料快取與檢查點儲存(來源:NVIDIA官方新聞室)。
- 2024年Q4:三星宣佈基於第8代V-NAND的PCIe 5.0企業級SSD(PM9D3a)進入量產,提供更高能效比(來源:三星電子新聞稿,2024.09)。
- 2024年中:SK海力士旗下Solidigm推出業界首款61.44 TB PCIe 5.0 QLC本地NVMe SSD(D5-P5430系列),已獲多家AI雲端服務商認證(來源:Solidigm新聞釋出,2024.05)。
- 2024年Q1:長江儲存參加中國快閃記憶體市場峰會,透露其企業級NVMe SSD在多家網際網路公司完成驗證,並小規模出貨(來源:參會記錄及公開報道)。
- 2023年Q3:SPDK社群釋出23.01版本,進一步最佳化對PCIe 5.0 NVMe SSD和CXL控制器的支援,降低延遲一致性開銷(來源:SPDK GitHub Release Notes)。
- 2023年上半年:由於NAND價格低谷,企業級NVMe SSD合約價較峰值下滑超過40%,大幅降低了AI部署的儲存成本,也刺激了本地NVMe容量的激進配置(來源:TrendForce, 2023)。
14. 追蹤指標
研究本地NVMe基本面時,以下指標可提供前瞻性訊號:
- 全球AI伺服器出貨量:按IDC季度揭露,直接對映本地NVMe盤位需求。
- 企業級SSD季度營收及出貨容量:主要原廠(三星、SK海力士/ Solidigm、美光、鎧俠)財報中揭露的資料,可分解NVMe佔比。
- NAND Flash晶圓合約價:反映成本端,CFM快閃記憶體市場/DRAMeXchange每週追蹤;價格回暖往往拉動SSD模組公司毛利率。
- 長江儲存產能及技術節點推進:公開報道中的月產能(萬片)、層數(如232→300層以上)和良率資訊,是國產替代節奏的代理變數。
- 大型CSP資本支出展望:AWS、Azure、Google雲端等季度財報中的CapEx預期,間接預示本地NVMe採購力度。
- PCIe與NVMe技術規範更新:PCIe 6.0/7.0規範釋出及CPU平台支援時間表,影響單盤頻寬演進曲線。
- SPDK、io_uring等開源專案活躍度與貢獻者生態:體現軟體棧最佳化方向,影響本地NVMe發揮極致效能的能力。
- 企業級SSD標案價格與DWPD組合:渠道公開報價可反映供需緊張度,通常主流DWPD 1的7.68 TB SSD現貨價格是市場溫度計。
15. 信源
- NVM Express 官方技術文件與白皮書(nvme.org)
- PCI-SIG 官方規範與速度演進(pcisig.com)
- TrendForce《Enterprise SSD Industry Analysis》及快閃記憶體市場季度追蹤
- IDC《Worldwide Solid State Drive Forecast》
- CFM快閃記憶體市場資料(庫存、合約價)
- 三星半導體、SK海力士、Solidigm、美光、鎧俠等原廠產品資料與新聞中心
- 長江儲存新聞釋出及行業展會公開演講
- NVIDIA HGX/H100/B200 參考架構白皮書
- 主要伺服器OEM(Dell、HPE、聯想、浪潮、SuperMicro)AI伺服器配置指南
- SPDK 社群文件與GitHub釋出說明
- 各上市公司定期報告(三星電子IR、美光科技財報、江波龍年報等)
提示:所有引用的數字和事件均基於截至2025年4月的公開資訊,具體資料細節請以原始報告或公告為準。