GPU 虛擬化
3 秒看懂
GPU 虛擬化是一類將單塊物理 GPU 的計算能力切片、隔離並共享給多個使用者或應用的技術。其核心目標是提高昂貴 GPU 資源的利用率，降低成本，是支撐雲端運算 AI 服務和大規模圖形應用的關鍵底層技術。
3 分鐘產業解釋
想像一下，一家雲端服務商擁有數千塊頂級 AI 訓練 GPU（如 NVIDIA A100/H100）。如果每塊 GPU 只分配給一個使用者訓練一個小模型，絕大部分時間 GPU 利用率可能低於 30%，造成巨大浪費和成本壓力。GPU 虛擬化技術解決了這個問題，它允許像切分蛋糕一樣，將一塊物理 GPU 的算力、視訊記憶體分給多個使用者或任務同時使用。這使得：
- 雲端廠商（如 AWS、Azure、GCP）能以“例項”形式（如 AWS 的 p4d.24xlarge 例項包含8塊 A100 並以整機形式出租，而通過 vGPU 例項如 G4dn 等則可讓使用者按需租用部分 GPU 份額）向客戶售賣 GPU 算力，極大提升資源週轉率和營收。
- 企業內部可統一管理昂貴的 GPU 叢集，靈活分配給研發、測試、設計等不同團隊，避免資源閒置或爭奪。
- 遊戲玩家通過雲端遊戲服務（如 GeForce NOW），在遠端伺服器上享受高效能 GPU 渲染，本地僅需簡單終端。
它本質上是連線 GPU 硬體算力與多樣化、碎片化上層應用需求的“作業系統級”樞紐，是算力從“專用裝置”變為“通用服務”的技術基石。
15 分鐘專家深入
GPU 虛擬化遠非簡單的分時複用，而是一個涉及硬體、驅動、執行時和作業系統的複雜技術棧。其核心挑戰在於：GPU 並非像 CPU 那樣為多工排程而生，其架構（大規模平行計算單元、高速視訊記憶體、專用指令）天然是為最大化單任務吞吐量設計的。
核心矛盾與目標：
- 矛盾： 物理 GPU 的整體性 vs. 上層需求的離散性。
- 目標：
- 隔離性： 一個虛擬 GPU (vGPU) 的任務崩潰或資源耗盡不應影響其他 vGPU。
- 效能保障： 在共享下，為每個 vGPU 提供可預期的效能（算力、視訊記憶體頻寬）。
- 相容性： 對上層應用（CUDA、OpenGL、DirectX）保持透明，無需修改程式碼。
- 高密度： 在保證前幾點的前提下，儘可能提高單塊物理 GPU 可建立的 vGPU 數量。
技術實現範式演進： 虛擬化技術的演進圍繞上述目標，從“硬分”到“軟分”，再到“智慧排程”：
-
硬體級虛擬化 (SR-IOV/MDEV)：
- 原理： GPU 硬體原生支援將自身資源（如計算單元、視訊記憶體、中斷）暴露為多個獨立的“物理功能”(PF)或“虛擬功能”(VF)。每個 VF 可被直接分配給一個虛擬機器（VM），由硬體提供最強隔離性。
- 代表： NVIDIA vGPU、AMD MxGPU、Intel GVT-d。其中 NVIDIA vGPU 是目前市場主流，它需要在硬體（支援虛擬化的企業級 GPU，如 A100/H100）、韌體和配套的許可軟體三方配合下工作。
- 優勢： 隔離性強，效能損耗極低（近乎直通）。
- 劣勢： 需要特定硬體支援，靈活性（如動態調整 vGPU 規格）受硬體能力限制，許可成本較高。
-
軟體級虛擬化 (API 轉發/執行時模擬)：
- 原理： 不修改硬體或驅動，而是在使用者態攔截應用的 GPU API 呼叫（如 CUDA API、圖形 API），將其轉發到後端的實際 GPU 執行，或通過軟體模擬部分功能。
- 代表： 基於容器技術的 GPU 共享方案（如 NVIDIA 的 Container Device Interface (CDI) 結合
nvidia-container-runtime），以及一些開源的圖形 API 轉發專案。 - 優勢： 無需特定硬體，部署靈活，常用於容器化環境，對輕量級推論任務友好。
- 劣勢： 隔離性較弱（依賴軟體層面的名稱空間和 cgroup），複雜或高併發場景下效能損耗可能增大，功能相容性可能不完整。
-
時間片/資源切分排程：
- 原理： 在 GPU 驅動或更上層排程器中，實現對多個程序訪問同一塊物理 GPU 的時序排程。通過上下文切換（包括儲存/恢復 GPU 暫存器、視訊記憶體狀態）實現多工複用。
- 代表： 作業系統自身的 GPU 排程器，以及專業排程平台（如 Slurm）的外掛。
- 優勢： 靈活性最高，可實現任意粒度的資源分配。
- 劣勢： 上下文切換開銷大，可能嚴重影響計算密集型任務的效能；視訊記憶體隔離和保障較難實現。
當前主流實踐是“混合模式”：例如，在支援 SR-IOV 的 GPU 上建立多個 VF，每個 VF 再通過容器執行時分配給不同的容器應用，結合資源限制和監控，實現平衡了效能、隔離與靈活性的方案。
技術原理
GPU 虛擬化的核心在於對以下資源的抽象和管理：
- 計算資源切分：
- SM (流式多處理器) 分配： 將物理 GPU 的數十乃至上百個 SM 單元，按比例或固定數量分配給不同的 vGPU。這是算力切分的最直接體現。
- 排程器分時： 物理 GPU 的全域性排程器在時間片上輪轉執行不同 vGPU 的計算任務。
- 視訊記憶體虛擬化：
- 視訊記憶體分割槽： 將物理視訊記憶體劃分成固定或動態大小的塊，分配給 vGPU，提供基礎的地址空間隔離。
- 記憶體地址轉換： 引入類似 CPU 頁表的 IOMMU 機制。vGPU 使用的客戶機實體地址（GPA）通過 IOMMU 硬體單元被轉換為實際的主機實體地址（HPA）。這是實現視訊記憶體隔離和安全的關鍵。
- 視訊記憶體複用與交換： 在記憶體超分配時，可將不活躍的視訊記憶體資料交換到主機記憶體或 SSD，但會帶來顯著效能延遲。
- 裝置虛擬化：
- 中斷隔離： 將物理中斷路由到正確的 vGPU。
- 命令流 (Command Buffer) 隔離： 每個 vGPU 有自己的命令佇列，硬體確保命令執行互不干擾。
- I/O 虛擬化 (用於直通場景)：
- VFIO/PCI 直通： 將整個 GPU 的 PCI 裝置功能直接分配給一個 VM，效能最高但獨佔，不屬於“共享”範疇。虛擬化技術的目標正是在不使用直通的情況下，實現接近直通的共享體驗。
[ 應用程序 A ] [ 應用程序 B ] [ 應用程序 C ]
| | |
[ vGPU-A (2GB, 30% SM) ] [ vGPU-B (4GB, 50% SM) ] [ vGPU-C (2GB, 20% SM) ]
\ | /
\ | /
+-----------+-----------+
|
[ GPU 虛擬化管理層 ]
(驅動/執行時/虛擬化平台)
|
[ 物理 GPU 硬體 ]
[ IOMMU (地址轉換) ] [ SM 排程器 ] [ 物理視訊記憶體 ]技術演進史
- 早期 (2000s): 主要為圖形工作站設計。出現基於 API 攔截的軟體方案，用於將專業圖形應用（如 CAD）的渲染指令遠端轉發到集中式 GPU 伺服器執行，實現“瘦客戶端”訪問圖形工作站。
- 2010s初期: 雲端運算興起。NVIDIA 推出 VGX 平台（vGPU 前身），首次在硬體層面支援將單塊 GPU 虛擬化為多個例項，面向虛擬桌面基礎設施（VDI）市場，解決企業遠端辦公的圖形需求。
- 2016-2020: 深度學習爆發。NVIDIA Tesla V100 等 GPU 加入了更完善的虛擬化支援（vGPU 6.0+）。需求從圖形擴充套件到 AI 訓練和推論。AWS、Azure 等雲端廠商開始大規模採用 vGPU 技術提供 GPU 例項。容器化部署成為主流，NVIDIA Container Toolkit 成為連線容器與物理/vGPU 的事實標準。
- 2020-至今: AI 大型模型時代。需求轉向超高效能與大規模叢集。技術發展呈現兩個方向：
- 極致效能與隔離： NVIDIA 在 A100 及之後的 GPU 上持續增強虛擬化功能，如 Multi-Instance GPU (MIG)，可在硬體級別將一塊 A100/H100 最多分割為 7 個獨立的、具有完全記憶體/快取/計算隔離的例項，是虛擬化技術的里程碑。
- 彈性與編排： Kubernetes 等雲端原生編排系統對 GPU 虛擬化提出新要求，需要動態建立、銷燬 vGPU，並實現與儲存、網路資源的協同排程。
技術路線對比
| 技術路線 | 原理 | 典型代表 | 隔離性 | 效能損耗 | 靈活性 | 主要應用場景 |
|---|---|---|---|---|---|---|
| 硬體級虛擬化 (vGPU/MIG) | 硬體劃分資源，建立獨立 VF/例項 | NVIDIA vGPU, AMD MxGPU, NVIDIA MIG | 強 (硬體級) | 低 | 中 (受硬體分割槽規格限制) | 公有雲端GPU例項、企業VDI、需嚴格隔離的AI訓練/推論 |
| 軟體級虛擬化 (容器共享) | 軟體層面限制資源訪問，共享裝置上下文 | NVIDIA Container Toolkit + cgroup | 弱 (軟體隔離) | 中 | 高 (易部署、易調整) | 雲端原生AI推論、開發測試環境、輕量級任務 |
| API轉發/遠端渲染 | 攔截圖形/計算API，遠端執行 | Citrix HDX, VMware vSGA, 開源專案 | 中 (會話級) | 中-高 (網路與編解碼開銷) | 中 | 雲端遊戲、遠端桌面、移動裝置訪問 |
| 時間片排程 | 驅動/OS層面輪轉排程任務 | 作業系統GPU排程器 | 弱 | 高 (上下文切換) | 高 (任意粒度) | 個人工作站多工、實驗性用途 |
注： NVIDIA MIG (Multi-Instance GPU) 是當前硬體級虛擬化的最高階形態，提供了比傳統 vGPU 更細粒度和更強隔離性的硬體分割槽。
上下游
- 上游：
- GPU 晶片廠商： NVIDIA, AMD, Intel。他們決定硬體是否支援虛擬化特性（如 SR-IOV、MIG），並提供驅動程式和虛擬化軟體棧（如 NVIDIA vGPU Manager）。
- 伺服器硬體廠商： Dell, HPE, 聯想，浪潮等。提供支援虛擬化 GPU 的伺服器平台。
- 中游：
- 雲端服務商/資料中心運營商： AWS, Azure, GCP, 阿里雲端，騰訊雲端等。他們是 GPU 虛擬化技術的最大采購方和整合方，將其轉化為雲端運算服務。
- 虛擬化與管理軟體廠商： VMware (vSphere), Red Hat (OpenShift), 以及容器平台公司。他們的軟體與 GPU 虛擬化棧深度整合，提供資源編排和管理能力。
- 下游：
- AI 訓練/推論應用開發者： 企業、研究機構、AI創業公司。
- 圖形密集型應用使用者： 設計師、工程師、遊戲玩家。
- 高效能運算使用者： 科研院所、金融建模機構。
關鍵指標
- 虛擬化密度： 單塊物理 GPU 可建立的最大 vGPU 數量（如 A100 通過 MIG 最多可建立 7 個例項）。
- 效能損耗率： 虛擬化引入的額外開銷，通常用虛擬化場景下的任務執行時間與裸金屬直通場景下的比值衡量。理想情況下應低於 5%。
- 隔離性等級： 是否能實現計算、快取、視訊記憶體的完全硬體隔離（如 MIG），還是僅軟體層面的軟隔離。
- 資源切分粒度： 能否靈活地按比例（如 1/8, 1/4）或按固定單元（如每例項 10GB 視訊記憶體，15 個 SM）分配資源。
- 功能完整性： 虛擬化後的 vGPU 是否支援物理 GPU 的全部或絕大部分功能（如特定精度計算、光線追蹤、特定指令集）。
- 許可成本： NVIDIA vGPU 等企業級解決方案需要按年訂閱付費，是重要的運營成本項。
供需與市場資料
- 需求端： 由公有雲端 GPU 服務市場直接驅動。根據多家行業分析機構報告，全球 GPU 雲端服務市場持續高速增長，年複合增長率保持在雙位數以上。AI 服務（訓練與推論）是當前及未來幾年的絕對主力需求。
- 供給端： NVIDIA 在技術（vGPU, MIG）和市場佔有率上處於絕對主導地位。其資料中心業務營收的快速增長，很大程度上反映了下游對其虛擬化和多例項 GPU 能力的強勁需求。
- 核心資料： 具體的市場規模數字（如“202X年全球GPU虛擬化市場規模達YY億美元”）因各機構統計口徑不同且變化較快，此處不引用可能過時或不準確的具體數字。定性趨勢是：隨著大型模型應用滲透和推論算力需求爆發，GPU 虛擬化（特別是支援高密度、強隔離的方案）已成為剛需，市場處於供不應求狀態。 [具體市場份額、營收規模可參考Gartner、IDC等權威機構最新報告]
代表公司與資本對映
- 核心技術提供商：
- NVIDIA (NVDA): 行業定義者。其 vGPU 和 MIG 技術是產業鏈的技術標杆和獲利核心。財報中資料中心業務的營收直接對映其虛擬化技術的市場成功。
- AMD (AMD): 擁有 MxGPU 技術，正在資料中心市場追趕。其 Instinct 系列 GPU 的虛擬化能力和市場接受度是觀察重點。
- Intel (INTC): 通過 GVT-g 等技術和 Arc 資料中心 GPU 入局，但市場份額較小。
- 雲端服務商（整合與應用方）：
- 亞馬遜 (AMZN) AWS： 提供基於 NVIDIA vGPU 的各種 GPU 例項。
- 微軟 (MSFT) Azure： 類似 AWS，是 vGPU 的大客戶。
- Google (GOOGL) Cloud： 提供搭載 NVIDIA GPU 和自研 TPU 的例項，虛擬化策略多樣。
- 軟體與平台（生態方）：
- VMware (VMW)： vSphere 是企業私有雲端中整合 vGPU 的主流虛擬化平台。
- Red Hat (RHEL, OpenShift)： 開源容器平台中 GPU 虛擬化整合的關鍵參與者。
投資邏輯
- 算力民主化趨勢下的“賣水人”邏輯： 無論下游 AI 應用誰勝出，只要對 GPU 算力的需求增長，提供算力切分、管理和銷售的雲端廠商及技術供應商都將受益。GPU 虛擬化是提升算力供給經濟性的關鍵技術。
- 技術壁壘建置護城河： 尤其在高階硬體級虛擬化（如 MIG）領域，NVIDIA 通過硬體-驅動-許可一體化的垂直整合，建立了極高的技術和商業壁壘。投資者需關注競爭對手在類似技術上的突破進度。
- 從“圖形”到“計算”的價值重估： 虛擬化技術使 GPU 從專業圖形裝置轉變為通用算力引擎，打開了萬億級的資料中心計算市場，這是 GPU 價值重估的根本動力之一。
- 關注“彈性”與“效率”指標： 雲端廠商的毛利率與其算力資源的利用率（通過虛擬化等技術提升）緊密相關。虛擬化技術的優劣直接影響雲端服務商的盈利能力。
常見誤讀糾偏
- 誤讀：GPU虛擬化和CPU虛擬化原理完全相同。
- 糾偏： CPU 虛擬化重點解決指令集特權級的攔截和模擬，而 GPU 虛擬化的難點在於管理大規模平行計算單元、高頻寬視訊記憶體和複雜的狀態上下文。GPU 上下文切換的開銷遠大於 CPU，視訊記憶體地址翻譯的複雜度也與 CPU 記憶體管理單元（MMU）不同。不能簡單類比。
- 誤讀：使用 GPU 虛擬化（如容器共享）會導致效能嚴重下降，得不償失。
- 糾偏： 效能損耗高度依賴於技術方案、負載型別和配置。對於需要獨佔大量計算和視訊記憶體資源的密集型訓練任務，使用硬體直通或 MIG 能獲得接近裸機的效能。對於眾多中低負載的推論任務、開發測試任務，軟體級共享方案在保證業務需求的同時，能帶來顯著的成本效益（提升利用率）。關鍵在於“合適的技術用於合適的場景”。
- 誤讀：MIG 是 vGPU 的簡單升級，只是切分份數更多。
- 糾偏： MIG 與傳統 vGPU（基於 SR-IOV）有本質區別。傳統 vGPU 的例項共享部分硬體資源（如 L2 快取），可能存在相互干擾。MIG 提供了真正的硬體級隔離，每個例項擁有獨立的視訊記憶體、快取、計算單元和頻寬，效能表現完全可預測，安全性更高。這是一項底層架構的革新，而非簡單切分。
學習路徑
- 基礎概念： 先理解傳統 CPU 虛擬化（Type-1/Type-2 Hypervisor，容器）的基本原理和目的。
- GPU 架構入門： 瞭解現代 GPU 的基本組成（SM、視訊記憶體層次、指令流水線），理解其為何難以共享。
- 技術原理深潛：
- 閱讀 NVIDIA 官方文件關於 vGPU 和 MIG 的技術白皮書。
- 學習 IOMMU (VT-d, AMD-Vi) 和 SR-IOV 這兩項支撐硬體虛擬化的關鍵 PCI-SIG 規範。
- 研究 Linux 核心中與 GPU 相關的 VFIO (Virtual Function I/O) 架構。
- 實踐上手：
- 在支援的 NVIDIA GPU 上配置和體驗 MIG 例項的建立與銷燬。
- 在安裝有 NVIDIA 驅動的伺服器上，使用 Docker 和
nvidia-container-toolkit執行一個共享 GPU 的容器。 - 在公有雲端上申請一個帶有 vGPU 的虛擬機器例項，並執行一個小型 AI 推論服務。
- 跟進前沿： 關注 NVIDIA GTC 大會關於 GPU 虛擬化和計算架構的演講，以及 Kubernetes 中 GPU 排程器（如 NVIDIA GPU Operator, KubeShare）的最新進展。
一句話總結
GPU 虛擬化是將天價算力轉化為普惠服務的核心技術，其發展脈絡清晰地從“圖形共享”走向“計算切分”，並正通過硬體級強隔離（如 MIG）引領著 AI 時代算力基礎設施的效能革命。
延伸閱讀與來源
- 廠商核心文件（技術準確性首選）：
- NVIDIA Virtual GPU Software Documentation: https://docs.nvidia.com/grid/
- NVIDIA Multi-Instance GPU (MIG) Documentation: https://docs.nvidia.com/datacenter/tesla/mig-user-guide/
- AMD MxGPU Technology: https://www.amd.com/en/graphics/servers-virtualization-technology
- 技術深度文章與白皮書：
- PCI-SIG SR-IOV Specification: https://pcisig.com/specifications/iov/single_root/ （需註冊訪問）
- 各雲端廠商（AWS, Azure, GCP）的技術部落格中關於其 GPU 例項底層實現的分析文章。
- 行業報告：
- Gartner, IDC 關於雲端基礎設施和加速計算市場的定期報告（需訂閱獲取最新資料）。
- 學術會議：
- USENIX ATC, ASPLOS, MICRO 等頂級系統架構會議上關於 GPU 資源管理和虛擬化的學術論文。