NVMe

1. 3秒看懂

NVMe（Non‑Volatile Memory Express，非易失性記憶體高速傳輸規範）是專為快閃記憶體設計的主機控制器介面標準，本質是一套通訊協議，而非物理裝置。它拋棄了機械硬碟時代的 AHCI 協議，直接讓固態硬碟通過 PCIe 匯流排與 CPU 通訊。帶來的變化可用幾個數字概括：命令佇列從 1 條 32 深度暴增至 65,535 條佇列、每條佇列深度 65,536；4 KB 隨機讀延遲從約 100 微秒降至數十微秒；隨機讀 IOPS 從萬級躍升至百萬級。在 AI 訓練叢集中，資料載入、檢查點寫入、高併發小檔案訪問極度依賴這種低延遲與高併發能力，NVMe 讓儲存不再是 GPU“等待資料”的瓶頸。

2. 3分鐘產業解釋

深度學習時代，計算單元常常處於“吃不飽”的狀態——資料從儲存到 GPU 的時間遠超實際計算時間。傳統 SATA SSD 需經過南橋晶片和 AHCI 控制器，僅支援一條命令佇列，在併發請求下延遲急劇上升。NVMe 則通過 PCIe 通道直接連線 CPU，並原生支援多佇列和 MSI‑X 中斷，能將多核 CPU 的並行能力發揮到極致。一個典型的 AI 訓練節點同時執行資料預處理程序、訓練指令碼讀取、週期性檢查點儲存，均為高併發、小粒度的 I/O 操作。NVMe 的 64K 佇列架構確保每個 CPU 核心都能獨立提交和完成 I/O 命令，幾乎不存在鎖競爭，使全流水線資料供給保持流暢。

在資料中心端，NVMe‑over‑Fabrics（NVMe‑oF）將這種低延遲擴充套件至網路。通過 RDMA（RoCE/InfiniBand）或標準 TCP 網路承載 NVMe 命令，遠端的全快閃記憶體資源池能夠提供逼近本地 SSD 的效能。AI 訓練叢集可藉此建置存算分離架構，GPU 節點按需動態掛載高效能儲存卷，避免本地盤資源閒置，提升整體利用率與彈性。可以說，NVMe 將單機高速儲存變成了可組合、可池化的基礎設施。

3. 技術原理

NVMe 的技術核心是一套原子化的命令集、多對一對映的佇列模型以及精簡的軟體棧，旨在將現代非易失性記憶體（主要是 NAND Flash，也包括持久記憶體）的並行潛力完全釋放。

佇列模型與無鎖並行 NVMe 規範定義 I/O 提交佇列（SQ）與完成佇列（CQ）成對工作。軟體可在主機記憶體中為每個應用執行緒分配一對專屬的 SQ/CQ，從硬體層面避免了全域性佇列鎖。所有佇列的基地址、深度等資訊由主機配置後寫入控制器暫存器，控制器通過 PCIe 事務層包（TLP）直接讀寫這些記憶體結構。最大可支援 65535 組 I/O 佇列，每組 SQ 可容納 65536 條未完成的命令，徹底突破了 SATA AHCI 單佇列 32 深度的限制。

命令處理流程

     主機記憶體
    ┌─────────────┐
    │ SQ1 (核1)   │──提交命令──▶ SSD 控制器抓取命令
    │ SQ2 (核2)   │
    │ ...         │
    │ SQn (核n)   │
    │ CQ1~CQn     │◀──寫入完成條目── SSD 控制器
    └─────────────┘
           │                 
    CPU 核─寫入門鈴暫存器 (MMIO)
    SSD─完成中斷 (MSI‑X) → 指定核

1. 主機驅動在記憶體中構造 SQ 條目（64 位元組，包含操作碼、PRP 列表、起始 LBA 等）。
2. 將 SQ 尾指標寫入 SSD 門鈴暫存器（一次 MMIO 寫操作，約 40 ns 加 PCIe 傳輸開銷）。
3. SSD 控制器通過 PCIe 取出命令，直接通過 DMA 傳送資料至主機記憶體或從主機記憶體讀取資料。
4. 命令完成後，控制器向 CQ 壓入完成條目，並可選地觸發 MSI‑X 中斷；主機驅動從 CQ 頭指標處獲取完成資訊。整個過程中 CPU 參與度極低。

中斷與快取親和 NVMe 支援 MSI‑X 中斷機制，每個 CQ 可繫結到一個 CPU 核心的中斷向量。當 I/O 完成時，中斷被精確路由到提交該 I/O 的核心，使完成處理與資料消費在同一 CPU 快取域內完成，最大化了快取命中率並減少了核心間通訊開銷。

名稱空間與特性演進 單個 NVMe 控制器可支援 128 至 256 個名稱空間（具體數量取決於廠商實現）。不同名稱空間可設定不同的塊大小、安全隔離策略，適用於多租戶環境。NVMe 1.3 引入多流寫入（Directives），允許主機針對不同資料流給出預期生命週期的提示，幫助 SSD 最佳化垃圾回收。NVMe 1.4 加入 I/O 確定性視窗、增強多流寫入等功能。NVMe 2.0 將基礎規範拆分為 Base、Command Set 和 Transport 三冊，並正式納入 ZNS（分割槽名稱空間）與 KV 命令集。ZNS 強制主機以順序流方式寫入，SSD 內部不再主動進行垃圾回收，寫放大因子可降至接近 1，極大改善穩態寫入效能並延長快閃記憶體壽命，對大型模型頻繁的檢查點寫入場景尤其有利。

與 AI 負載的直接關聯

• 訓練資料集（如 ImageNet 級別的海量 100 KB 影像檔案）以小檔案隨機讀取為主，正是 NVMe 百萬級 IOPS 的擅長領域；SATA SSD 在併發隨機讀下因佇列深度不足導致延遲暴增。
• PyTorch 等架構的 DataLoader 多程序模式下，每個 worker 可獨佔一對 SQ/CQ，I/O 路徑完全無鎖，可最大化預處理吞吐。
• 大型模型檢查點儲存（數百 GB 級別）需要極高的順序寫入頻寬。NVMe 搭配 PCIe 4.0 x4 可提供約 7 GB/s 的順序寫，PCIe 5.0 x4 可達 13‑14 GB/s，大幅縮短訓練暫停視窗。

上述流程與引數基於 NVMe 1.x/2.0 規範公開資訊及通用控制器實現描述。

4. 關鍵引數

以下引數衡量 NVMe 子系統在 AI 等高效能場景中的真實能力，資料為基於公開產品資料、NVMe 規範及 PCI‑SIG 標準整理的代表性區間。具體數值因控制器、NAND 代次及韌體而異。

• 4K 隨機讀 IOPS：企業級 NVMe SSD（如 2022 年釋出的 Solidigm D7‑P5520，PCIe 4.0）公開標稱可達 100 萬 IOPS；部分 PCIe 5.0 產品宣稱超過 150 萬 IOPS（來源：廠商產品規格表，2023‑2024 年）。
• 4K 隨機寫 IOPS：穩態下因寫放大效應，典型的 TLC 盤在 100K‑300K IOPS；開啟 ZNS 的 SSD 可接近隨機讀水平（來源：ZNS SSD 產品實測，2023 年）。
• 順序讀/寫頻寬：PCIe 4.0 x4 介面理論上限約 7.88 GB/s（依據 PCI‑SIG 規範），實際產品約 6.5‑7.0 GB/s；PCIe 5.0 x4 理論上限約 15.75 GB/s，早期產品典型可達 13‑14 GB/s（來源：各廠商旗艦 SSD 規格，2024 年）。
• 99.999% QoS 延遲：典型企業級 NVMe SSD 的 QoS 延遲小於 200 微秒，部分經過最佳化的盤可控制在 100 微秒以內（來源：廠商白皮書，如 Kioxia CM7 系列，2023 年）。
• 寫放大因子（WAF）：通用 NVMe SSD 在隨機小寫入場景下 WAF 常見 3‑5 倍；使用 ZNS 並配合順序寫入模式時可低於 1.1（來源：NVMe ZNS 技術白皮書、學術演示，2022‑2023 年）。
• 壽命（DWPD）：企業級 NVMe SSD 通常提供 1‑3 DWPD（5 年）的耐久度等級，讀取密集型型號 1 DWPD，混合負載型 3 DWPD（來源：產品規格書）。
• 單命令最大數據傳輸大小：由控制器定義的 MDTS 決定，常見支援至 4 MB 或更大（來源：NVMe 規範描述）。
• 名稱空間數量：規範上限 128 或 256，具體主要取決於廠商韌體實現（如 Samsung PM9A3 支援 128 個名稱空間，公開規格）。

5. 技術路線

NVMe 的技術路線緊密跟隨 PCIe 物理介面代際、NAND 快閃記憶體演進以及資料中心架構需求而發展。

主要代際對比

特性	SAS/SATA SSD (AHCI)	NVMe over PCIe 3.0/4.0	NVMe‑oF (RDMA)
介面頻寬	約 0.6/1.2 GB/s	PCIe 3.0 x4: ~4 GB/s；4.0 x4: ~8 GB/s；5.0 x4: ~16 GB/s	網路頻寬可擴充套件至 100/200 Gbps
軟體棧佇列	1 佇列，深度 32	64K 佇列，每佇列 64K 深度	與本地 NVMe 一致，多名稱空間
典型 4K 隨機讀延遲	~100 微秒	本地 70‑100 微秒	加上網路往返，RoCE 常見 20‑60 微秒
CPU 效率	每 I/O 多次暫存器訪問	極低 CPU 干預，MSI‑X 親和	遠端 DMA，CPU 開銷集中在網絡卡
AI 訓練適用性	僅適合冷資料歸檔	理想本地高速儲存，直接加速 DataLoader	建置全快閃記憶體池，按需掛載至 GPU 節點

演進簡史

• 2011 年：NVMe 1.0 釋出，定義基礎佇列模型和 PCIe 傳輸層，終結了 SATA 介面瓶頸。
• 2014 年：NVMe 1.2 加入韌體更新標準化、名稱空間管理等企業化特性。
• 2016 年：NVMe‑oF 規範開始制定，將 NVMe 擴充套件至 RDMA 及 FC 網路。
• 2019 年：NVMe 1.4 引入 I/O 確定性視窗、多流增強，為超大規模資料中心做好準備。
• 2021 年：NVMe 2.0 重構規範架構，新增 ZNS、KV 命令集，並宣佈支援機械硬碟，意圖成為所有非易失性儲存的統一介面。
• 2023 年：NVMe 2.0c 釋出，完善糾錯與互操作性。PCIe 5.0 企業級 SSD 開始規模化出貨（如三星 PM9D3a、Solidigm D7‑PS1010 等，來源：各公司新聞稿）。
• 後續方向：PCIe 6.0（PAM4 訊號）規範已於 2025 年正式釋出，預計 2026‑2027 年將出現基於該物理層的 NVMe SSD；NVMe over CXL 等新的記憶體語義協議也在探索中。

6. 上游

NVMe 生態的上游主要由決定物理儲存介質、控制器邏輯和高速介面 IP 的廠商構成：

• NAND 快閃記憶體顆粒：Kioxia、Micron、Samsung、SK hynix、Western Digital、長江儲存（YMTC）等。它們提供基於 ONFi 或 Toggle 介面的原生 NAND 晶片，SSD 控制器將其轉換為 NVMe 命令執行。
• NVMe 控制器晶片：Marvell（Bravera 系列）、Phison（E18/E26/E31T 等）、Silicon Motion、InnoGrit，以及自研控制器的原廠（如 Samsung）。控制器負責實現 NVMe 協議棧、快閃記憶體通道管理、FTL（快閃記憶體轉換層）、ECC 糾錯等核心功能。
• PCIe PHY/SerDes IP：Synopsys、Cadence、Alphawave 等提供 PCIe 物理層 IP 核，直接決定介面速率（Gen4/Gen5/Gen6）與訊號完整性。
• 韌體與參考設計：控制器廠商或 SSD 整合商提供完整的參考韌體，並深度定製針對不同 NAND 的 FTL 演算法、寫放大控制策略和 QoS 能力。

7. 下游

NVMe 技術通過不同形態交付，滲透到從消費終端到超大規模資料中心的各個場景：

• 企業級 NVMe SSD：以 U.2/U.3、EDSFF（E1.S/E3.S）及 M.2 等物理形態，直接安裝在通用伺服器、AI 訓練節點和儲存陣列中。
• 全快閃記憶體儲存系統：VAST Data、Pure Storage、NetApp、Dell PowerStore 等廠商建置的全 NVMe 儲存陣列，通常結合 NVMe‑oF 提供前端訪問。
• AI 與超算伺服器：NVIDIA DGX 系統、Supermicro、浪潮資訊等 AI 伺服器內部配備多塊 NVMe SSD，並通過 GPU Direct Storage（GDS）實現 GPU 到 SSD 的直接資料路徑。
• 雲端與網際網路巨頭：AWS、阿里雲端、Meta 等自研全 NVMe 儲存節點，通過 NVMe‑oF（TCP/RDMA）對外提供高效能塊儲存或資料湖加速服務。
• 消費電子：主流筆記型電腦、遊戲主機（如 PS5）已全面採用 NVMe M.2 SSD 作為主儲存。

8. 受益公司

以下公司在 NVMe 價值鏈中佔據重要位置，其受益邏輯基於已公開的戰略版面配置與產品出貨，而非對未來股價的預測。

• NAND 原廠：Samsung、SK hynix（及旗下 Solidigm）、Kioxia、Western Digital、Micron。受益於企業級 NVMe SSD 出貨量增長和高容量 QLC 盤在 AI 資料湖中的應用。
• 控制器晶片與 IP 供應商：Marvell、Phison、Silicon Motion。Phison 以公版控制器方案助力大量中小 SSD 品牌快速推出 NVMe 產品，Marvell 則面向超大規模客戶的定製化需求。
• NVMe‑oF 方案商：Pure Storage（FlashBlade//S）、VAST Data（全快閃記憶體分離式架構）、Lightbits Labs（NVMe over TCP 軟體定義方案）。這些公司從存算分離趨勢中獲益，向 AI 叢集提供可組合儲存。
• 網路與智慧網絡卡廠商：NVIDIA（Mellanox 網路產品線）、Intel（IPU）、Broadcom。NVMe‑oF 依賴 RDMA 或高效能 TCP 解除安裝引擎，帶動智慧網絡卡和高速交換器需求。
• 雲端廠商自有硬體：自研 NVMe 儲存伺服器及分散式塊儲存系統，直接降低對傳統 SAN 儲存的依賴，最佳化整機成本。

以上分析僅呈現產業鏈位置，不構成任何投資或購買建議。

9. 市場規模

NVMe 本質為技術協議層，獨立市場規模的公開權威資料較少。業界通常通過企業級 SSD 整體市場及介面（協議）佔比來間接觀察其滲透率。截至 2025 年 4 月，公開資料未見以“NVMe 市場”為準確定義且標註年份、口徑的第三方統計。已知關聯資訊包括：

• 多家分析機構（如 IDC、TrendForce）定期追蹤全球固態硬碟與企業級 SSD 的出貨量及營收，通常會區分 SATA/SAS 與 PCIe（含 NVMe）介面的比例。例如，TrendForce 在 2024 年報告中指出企業級 PCIe SSD 已經佔據出貨量主導地位，但未公佈精確金額口徑的 NVMe 專屬市場資料。
• 對於涉及 AI 訓練的高效能 NVMe SSD，需求增長迅速，多家 NAND 原廠的財報說明會上均將企業級 PCIe Gen5 SSD 視為主要增長點，但未揭露獨立細分市場規模。
• 由於檢索受限，此處無法引用確切的份額、產能數字，需關注未來 IDC 或 TrendForce 關於企業級 SSD 按協議分類的細項報告。

建議關注的資料維度：全球企業級 SSD 出貨量及其中 NVMe 滲透率；NVMe‑oF 介面卡/智慧網絡卡營收；主流雲端廠商全快閃記憶體伺服器採購量等。

10. 玩家對比

在 NVMe SSD 核心市場，主要參與者各具優勢，以下對比基於公開產品釋出及行業地位，未引用未證實份額。

• Samsung：高度垂直整合，自研 NAND、控制器及韌體，率先量產 PCIe 5.0 企業級 SSD（如 PM9D3a，2024 年），以效能和產能規模領先。
• SK hynix / Solidigm：憑藉對 Intel NAND 業務的收購，擁有多代企業級 SSD 經驗，Solidigm 的 D7 系列在 QLC 及 ZNS 最佳化上較為突出，SK hynix 自研顆粒也加速整合。
• Kioxia：作為 NAND 發明者之一，在資料中心 SAS/NVMe 領域基盤穩固，與 Western Digital 在製造端合作，產品如 CM7 系列重點最佳化延遲與 QoS。
• Western Digital：擁有 NAND 產能與企業級 SSD 品牌，提供從消費到資料中心的完整 NVMe 產品線，Ultrastar 系列側重於讀密集型應用。
• Micron：自研 NAND 和控制器，2050 等系列直接面向超大規模客戶，強項在於 QLC 大容量盤和定製化經驗。
• 相關控制器廠商：Marvell 在超大規模定製控制器領域份額較高，Phison 與 Silicon Motion 則以公版方案服務廣大 SSD 品牌，推動了 NVMe 的快速普及。

公開資料未見各廠商在“企業級 NVMe SSD”細分下的精確營收份額，以上描述綜合自各公司 2023‑2024 年度產品釋出及技術峰會資訊。

11. 風險

NVMe 生態的發展也面臨如下不可忽視的風險，均來自真實存在的技術或產業變數，不應作為市場漲跌的依據。

• 快取記憶體替代：當模型完全快取在 HBM 或大容量 DRAM 記憶體池（如使用 NVIDIA Grace Hopper 架構）時，部分訓練任務對本地 NVMe SSD 的依賴度可能減弱；CXL 記憶體池化技術也可能分流部分 I/O 需求。
• QLC 壽命與效能波動：大容量 QLC NVMe SSD 在經濟性上具備吸引力，但其寫入耐久度和穩態隨機寫效能遠低於 TLC，可能在一些頻繁寫入的場景下引發意外瓶頸。
• NVMe‑oF 部署複雜度：儘管 NVMe‑oF 可池化儲存，但部署 RDMA 網路、除錯擁塞控制、保證多租戶下的 QoS 複雜度較高，部分企業客戶此前低估了實施門檻。
• PCIe 代際切換挑戰：PCIe 6.0 轉向 PAM4 訊號，對訊號完整性、PCB 設計和功耗控制提出更高要求，可能導致早期產品延遲或成本上升。
• 標準碎片化：NVMe 2.0 引入了多種命令集和傳輸繫結，若各廠商在 ZNS、KV 等新特性上的實現差異過大，可能影響跨平台相容性。

12. 誤讀糾偏

1. “NVMe 就是帶 PCIe 介面的 SSD”
   誤。NVMe 是協議，並非硬體介面。早年的部分 PCIe SSD 仍使用 AHCI 協議（如某些 M.2 SATA 盤），這類產品雖然物理連線為 PCIe，但不是 NVMe。識別要點在於裝置報告的協議類程式碼。
2. “NVMe 的最大優勢是頻寬”
   不全對。對於 AI 訓練負載，更關鍵的是併發多佇列深度與低延遲。DataLoader 的高併發隨機讀場景下，NVMe 的 64K 佇列保證每個執行緒無鎖競爭，而 SATA SSD 在併發訪問下延遲呈指數攀升。僅比較順序頻寬會忽略其真正的價值。
3. “NVMe‑oF 可以完全替代本地 NVMe SSD”
   網路即便使用 RDMA 也會引入 5‑20 微秒額外延遲，在極度延遲敏感的隨機小批次讀取場景下仍有差距。本地 NVMe 與 NVMe‑oF 是互補關係：本地盤處理延遲敏感的快取/臨時資料，遠端池處理容量和彈性需求。

13. 最新事件

（截至 2025 年 4 月，基於公開報道與行業動態整理）

• NVMe 2.0c 規範維持：2023 年釋出的 NVMe 2.0c 仍是當前最新版本，主要修正了勘誤，未引入重大新特性。
• PCIe 5.0 企業級 SSD 放量：2024 年至 2025 年初，三星、Solidigm、Kioxia、Micron 等均推出了 PCIe 5.0 x4 / E3.S 形態的企業級 NVMe SSD，順序讀頻寬達 13‑14 GB/s，部分產品已進入主流雲端廠商認證列表。
• ZNS 落地加速：2024 年快閃記憶體峰會（FMS）上，多家廠商展示了 ZNS SSD 在 AI 訓練檢查點、日誌分析中的例項，寫放大降低至 1.1 以下成為熱點。
• NVMe‑oF 與 AI 叢集的深度繫結：2024 年多項公開案例中，VAST Data 與 NVIDIA 合作展示了基於 NVMe/TCP 的多節點 AI 資料載入平台；Lightbits 與 Equinix 合作提供雲端化 NVMe/TCP 儲存。
• GPU Direct Storage 生態擴充套件：NVIDIA 在 GTC 2025 上繼續強化 GPU Direct Storage 與多家 NVMe SSD 廠商的聯合驗證，使 GPU 可以在不佔用 CPU 週期的情況下直接訪問 NVMe 資料。
• PCIe 6.0 規範釋出：PCI-SIG 在 2025 年初正式釋出 PCIe 6.0 規範最終版，資料速率翻倍至 64 GT/s，但尚需控制器與物理層支援，首款 PCIe 6.0 NVMe SSD 預計最早在 2026 年亮相。

14. 追蹤指標

若要持續評估 NVMe 產業動向，可重點監測以下公開指標與資料來源：

• 全球企業級 SSD 出貨量及按介面分類佔比（季度更新，關注 IDC、TrendForce 報告）：直接反映 NVMe 滲透率變化。
• NAND Flash 品牌廠營收與營業獲利率（季度財報與 TrendForce 排名）：體現原廠在 NVMe SSD 上的盈利能力。
• 主要 SSD 控制器廠商出貨量與 PCIe 5.0/6.0 開發進度（Phison、Marvell、Silicon Motion 月度營收與產品路線圖）：預示中下游的供給節奏。
• 全球雲端服務商資本支出及伺服器採購結構（AWS、Azure、Google Cloud 財報）：高頻需求端判斷，全快閃記憶體採購傾向。
• NVMe‑oF 智慧網絡卡/DPU 出貨量與重大專案招標（NVIDIA、Intel、Marvell 等公開資訊）：判斷存算分離架構真實滲透。
• ZNS SSD 商用化數量與案例（NVM Express 成員演講、開源社群支援）：驗證新型命令集的落地速度。
• 消費級 M.2 SSD 價格與每 GB 成本變化：間接判斷 NAND 產能及產品組合偏向。

15. 信源

• NVM Express 官方網站及規範文件：https://nvmexpress.org
• PCI-SIG 規範資料：https://pcisig.com
• 各 NAND 原廠與 SSD 廠商產品規格表、技術白皮書（Samsung、Solidigm、Kioxia、Micron、Western Digital 等官網）
• 控制器廠商公開路線圖（Marvell、Phison、Silicon Motion 官方）
• NVIDIA GPU Direct Storage 文件：https://developer.nvidia.com/gpudirect-storage
• 第三方獨立評測機構：ServeTheHome、StorageReview 對 NVMe SSD 的效能分析
• 市場分析報告概覽：IDC、TrendForce、Counterpoint（具體數字需查閱當期報告）
• 行業會議資料：Flash Memory Summit (FMS)、OCP Global Summit 上的公開演示