多实例 GPU
3 秒看懂
一句话定义: 多实例 GPU (MIG) 是 NVIDIA 自 Ampere 架构起引入的一项硬件级 GPU 分区技术。它允许将一块物理 GPU(如 A100、H100)从计算单元(SM)、显存、L2 缓存到显存带宽,全维度切割成多个完全隔离、性能可预测的独立 GPU 实例。
核心比喻: 不是合租公寓里的几个室友(共享厨房、卫生间,易互相干扰),而是一栋拥有独立产权、独立水电燃气表、独立入户门的多户住宅楼。每个 MIG 实例(每户)拥有严格物理隔离的专属资源,一个实例的任务崩溃、满载或出现内存错误,对其他实例几乎无影响。
3 分钟产业解释
它是什么:
MIG 并非传统意义上的软件虚拟化或时间片轮转共享。它是一种深入到 GPU 硬件底层的“分区”机制。具体而言,NVIDIA 在其旗舰数据中心 GPU(目前支持的产品线主要包括 A100、H100、H200 等)内部,将成组的流处理器(SM)、内存控制器、L2 缓存切片以及高带宽内存(HBM)的物理分区,静态或准静态地配置给最多七个独立的硬件实例。每个实例在操作系统和 CUDA 驱动层面,均表现为一块拥有独立 PCIe 设备 ID、独立内存空间、独立错误报告通道的“完整”物理 GPU。在 Ampere 架构的 A100(40GB/80GB 版本)上,最大可划分为 7 个实例;到了 Hopper 架构的 H100/H200,结合第四代张量核心与更高带宽的 HBM3/HBM3e,MIG 的配置弹性和每个计算切片(GI)的绝对算力得到进一步增强。
为什么重要(解决了什么痛点):
-
提升 GPU 硬件利用率(打破“独占陷阱”): 云端和企业数据中心的顶级 GPU(如 H100)购置成本极高且供给受限。大量研发测试、中小模型推理、模型微调、Jupyter Notebook 开发等任务,往往只需要一块 H100 十分之一到三分之一的算力。在无 MIG 环境下,用户只能独占整张 GPU,导致大量算力资源被闲置。MIG 实现了硬件资源的“化整为零、按需分配”,可将一块 H100 分配给多个不同团队或任务并行运行,使 GPU 物理硬件的平均日利用率(Daily Utilization Rate)从传统独占场景的不足 50% 拉升至 80% 以上(数据来源:NVIDIA 2021 年 MIG 技术白皮书示例场景,具体部署环境存在差异)。
-
严格的服务质量保障(QoS)与性能隔离: 这是 MIG 与软件时间片共享方案的根本分水岭。在一个非 MIG 的共享 GPU 环境中,一个任务引发的显存页错误、大量 L2 缓存驱逐(Cache Thrashing),或一个循环中占满所有 DRAM 带宽的 Kernel,会即刻导致同一 GPU 上其他所有任务的性能出现不可预知的剧烈抖动(Jitter),甚至使延迟敏感的在线推理服务超时。MIG 通过硬件围栏,为每个实例严格保障了其所分配的显存带宽(Memory BW)、L2 缓存容量、SM 执行单元的独享。一个实例内部的资源饱和,不会越过硬件边界去侵扰另一个实例。
-
增强的故障域和安全隔离: 在云环境多租户场景下,单一租户任务因非法内存访问(如写入越界)导致 GPU 出现“Uncorrectable ECC Error”或 XID Fatal Error,进而引发整张 GPU 掉卡(Fallen off Bus)或必须进行功能级复位(FLR),是非 MIG 模式下的典型痛点。在 MIG 模式下,硬件错误报告被严格限定在对应的物理分片内。一个实例出现致命错误,通常仅需重置该实例本身,而同一块 GPU 上的其他实例不受影响,可继续保持业务连续性。此外,每个实例拥有独立的页表(Page Table)、独立的地址映射空间,一个租户无法通过任何 CUDA API 窥探或访问另一个实例的显存数据,形成硬件级安全边界。
-
适配混合工作负载并简化集群管理: 数据中心管理者可以根据到货批次和硬件库存,将特定节点上的 GPU 统一配置为固定的 MIG 组合(例如,将一组 H100 每个均切为 3 个实例)。随后,利用 Kubernetes 及 NVIDIA GPU Operator 中的 MIG-Strategy(Mixed/Single),将不同优先级的推理(Inference)、训练(Training)、开发调试(Debug)等性质各异的负载,有针对性地调度到相应规格的 MIG 实例上,避免了手动指定设备(Device Pinning)带来的运维复杂度。
谁在用:
主要使用者由三类驱动:第一类是头部云服务提供商(AWS、GCP、Azure、阿里云),将单一物理 GPU 拆分为从 “1/7 块 GPU” 到 “整块 GPU” 的多种算力实例规格,覆盖更广的客户付费层级;第二类是中大型企业内部 AI 平台(尤其是金融风控建模、药物分子动力学模拟、自动驾驶感知训练等场景),利用 MIG 在同一台 GPU 服务器上同时承载在线推理服务与离线评测任务,实现算力“峰谷互补”;第三类是高校与研究机构的高性能计算(HPC)中心,为不同课题组提供有资源保障的、互不干预的共享 GPU 池。
技术原理
MIG 的核心在于将 GPU 视为一个由多个对称构建块(Building Blocks)组成的资源池,并在驱动初始化时,通过硬件配置描述符将这些构建块进行“焊接”或“割裂”,构造出逻辑上互不连通的实例。具体实现涉及以下几个维度的协同隔离:
1. 计算资源(SM)的硬件分区:
GPU 的 SM 单元在物理布局上依 GPC(Graphics Processing Cluster,图形处理集群)聚合。MIG 在 GPC 粒度上对 SM 进行集合管理,但分配给一个实例的最小可调度单元称为“计算切片”(Compute Slice)。以 A100 为例,整个 GPU 拥有固定的 GPC 与 SM 拓扑,MIG 支持的实例大小就体现为获得几个 GPC 中包含的 SM 比例。Hopper 架构在 GPC 与 SM 的数学配比上进行了重构,使得 MIG 实例的算力阶梯更加线性。被分配给某个 MIG 实例的 SM 物理单元,其调度器、寄存器文件、张量核心均仅对实例内部可见,其他实例无法向其发射任何线程束(Warp)。
2. 显存与带宽的静态绑定:
MIG 将 GPU 物理 HBM 按固定的物理 Channel(即内存控制器)进行切分。每个 MIG 实例被分配一或多个专属的 HBM 控制器通道及对应的物理 DRAM 分区。这意味着此实例所拥有的显存拥有特定且独立的物理行列地址(Row/Column Address),在数据总线上产生请求时,其仲裁优先级与时间配额由硬件保证。这从根源上杜绝了传统共享方案中,一个实例发出大量无序访问请求,阻塞其他实例 Dra 内存访问命令的情形,实现显存带宽的 QOS 隔离。
3. L2 缓存的分区与 QoS 策略:
MIG 允许不同实例拥有自己独立的 L2 缓存切片和对应的缓存替换策略。L2 控制器硬件内部,会根据配置将缓存行映射至固定的实例标签域。当实例 A 发生缓存失效并引入新数据时,它仅能在属于自己的 L2 配额区间内进行替换(Eviction),从而杜绝跨实例的缓存污染(Cache Pollution)。此特性对延迟极度敏感的实时推理任务至关重要:它能确保推理任务需要的模型权重常驻于 L2 中,不被其他训练任务的中间梯度张量冲刷掉。
4. 控制面与错误隔离:
每个 MIG 实例在 SoC 内部拥有独立的虚拟机 ID(VMID),并由 GPU 内部的系统处理器(如 Falcon 控制器)进行上下文划分。当发生 GPU 计算数据错误(Dbe Error)或 XID 异常时,中断处理程序可以通过 VMID 直接溯源至故障实例,并将错误播报封装在该实例的特定驱动栈中,实施精准隔离的实例级重置(GPU Reset Scope 仅作用于故障实例)。
5. NVLink 与 P2P 通信限制:
这是 MIG 设计中极为重要,也常被开发者忽视的一个技术约束。在 MIG 模式下,芯片内部的 xBar 及芯片外部的 NVLink/NVSwitch 高速跨 GPU 通信通道,对 MIG 实例表现为“不可直接访问(Not Accessible)”。CUDA 的 P2P(Peer-to-Peer)内存访问、GPUDirect RDMA 以及 NCCL 建立跨实例环网的操作均被禁止。这种设计是为了严格避免高速旁路通道破坏硬件隔离的安全模型。若有强制的跨 GPU 通信需求(如进行分布式数据并行训练),则不应开启 MIG,或仅在与 MIG 实例通信的其他节点上使用全功能物理 GPU。
┌──────────────────────────────────────────────────────────────────┐
│ 物理 GPU 芯片 (例如 H100 SXM) │
│ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │
│ │ 实例 0 │ │ 实例 1 │ │ 实例 2 │ │
│ │ 2 GPC │ │ 2 GPC │ │ 1 GPC │ │
│ │ HBM 分区 0-1 │ │ HBM 分区 2-3 │ │ HBM 分区 4 │ │
│ │ L2 切片 0-1 │ │ L2 切片 2-3 │ │ L2 切片 4 │ │
│ │ (独立错误报告)│ │ (独立错误报告)│ │ (独立错误报告)│ │
│ └───────────────┘ └───────────────┘ └───────────────┘ │
│ ▲ HW 隔离围栏(无 P2P、无缓存交叉访问) ▲ │
│ ───────────────────────────────────────────────────── │
│ 操作系统驱动层面:出现 /dev/nvidia0, /dev/nvidia1, /dev/nvidia2 │
│ 每个均有独立的 FID, VMID 与 ECC 统计 │
└──────────────────────────────────────────────────────────────────┘
示意图:MIG 通过硬件分区实现的计算资源、显存控制器、L2 缓存及故障上报的多维隔离。实际的 SM 与 GPC 数量因具体型号和 SKU 而有差异,NVIDIA 对每个型号的合法 GI 组合给出了明确的标准化配置矩阵。
关键参数
评估与应用 MIG 时,需要关注以下几个技术与管理层面的硬性参数:
1. 最大实例数与基本计算单元: 在 Ampere 架构的 A100(40GB 及 80GB HBM2e)上,单个物理 GPU 最大支持 7 个 MIG 实例。Hopper 架构的 H100/H200 同样保持此上限,但因其单个 SM 的计算能力更强(搭载第 4 代张量核心与 FP8 引擎),每个实例的绝对吞吐量更高。不同实例对应到不同数量的“GPU 实例切片(Gl)”,GI 是配置时最小规格的计算单位表示。
2. 实例配置矩阵(配置模板):
NVIDIA 为每个支持 MIG 的 GPU 型号定义了固定的“合法配置矩阵”(Valid Profiles)。管理员无法像操作虚拟内存那样任意按 1GB 粒度切分,只能从这个预定义的标准化矩阵中进行选择。例如在 A100-80GB 上,典型的配置包含:1g.10gb(最小配置,1 个计算切片,约 10GB 显存)、2g.20gb、3g.40gb、4g.40gb、7g.80gb(等同于未开启 MIG 的全功能整卡)。管理员必须预先根据业务负载的内存需求与 SM 算力需求,对 GPU 进行全盘规划(一次性配置多个不同规格实例)。
3. 隔离度级别(Isolation Level): 这是 MIG 区别于一切纯软件方案的关键差异性参数。MIG 提供的**显存带宽服务质量(QoS)**是硬件级的:每个内存控制器独立向对应实例提供读写服务。而传统时间片共享(Time-Slicing)方案,其内存带宽在争抢下呈统计分布,实测带宽分配波动可达 ±30% 以上,无法满足严格的生产级在线推理 SLO。
4. 管理复杂度(API 与运维):
MIG 的配置通常通过 nvidia-smi CLI 工具或 NVML 库调用实现,支持 JSON 格式的批量配置导入导出。对于 Kubernetes 环境,NVIDIA GPU Operator 中的 MIG Manager 组件可以自动化地在节点重启或驱动重装后重放(Replay)MIG 配置,并将每个实例注册为 nvidia.com/mig-1g.10gb 这类形态的细粒度扩展资源(Extended Resource),供 Kubernetes Scheduler 精确匹配。
5. 生态兼容性矩阵:
并非所有软件栈都能透明适配 MIG 实例。需要 CUDA 版本 ≥ 11.0,并需要 NVIDIA GPU Operator 或 Device Plugin 开启 MIG 策略。部分早期仅依赖 CUDA_VISIBLE_DEVICES 进行单 GPU 绑定的应用程序,可能在多实例共存的环境中需要额外的运行时变量(如通过 NVIDIA_VISIBLE_DEVICES 规范绑定 UUID)。目前主流云原生 AI 平台(如 Run:ai、KubeFlow、Volcano)均已宣布或已完成对 MIG 的调度策略适配。
技术路线
1. 前 MIG 时代(2012 - 2019):GPU 共享的三板斧 数据中心尝试共享 GPU 的技术路径主要有三种,且均存在明显缺陷:
- 裸时间片资源竞争(Uncontrolled Time-Slicing): 由 GPU 驱动对提交到同一上下文的多应用做时分复用。没有显存保护、没有带宽隔离,一个任务若发生 Kernel 超时(如 > 3 秒),会触发整个 GPU 的 Lost Device 错误。
- vGPU(Virtual GPU): NVIDIA 通过 GRID/vGPU 管理器,在驱动层通过软件调度的方式将 GPU 资源分时复用给多个虚拟机(VM)。vGPU 借助软件调度与显存截获提供了基础的显存隔离和多用户远程图形支持,但在计算与缓存层面采用时间窗口轮转,无法实现硬 QOS,且通常 VA(虚拟应用)授权成本较高。主要用于 VDI 和虚拟工作站,高密度 AI 计算场景下效率不高。
- 容器化直接穿透(GPU Passthrough): 在 KVM/容器环境下直接将整块物理 GPU 透传给单一用户,隔离性最佳但利用率硬伤(单一任务必须买断整卡成本)。多用户场景只能通过排队或预留多卡解决。
2. MIG 1.0 诞生(2020 年,A100 + Ampere 架构):
伴随 A100 发布及 CUDA 11,NVIDIA 首次将 MIG 从概念变为商用产品。其在 A100 的 GA100 芯片上,通过增加 SoC 层的虚拟机标识、修改 xBar Crossbar 路由规则、引入显存控制器的流量整形(Traffic Shaping),实现了最大 7 实例的硬件分割。首批完全支持 MIG 的开源组件包括:NVIDIA Container Toolkit、Kubernetes Device Plugin,以及 nvidia-smi CLI。
3. Hopper 架构的 MIG 增强(2022 年,H100/H200):
在 H100 上,MIG 能力演进进入第二代。第一,MIG 实例可透明利用 Hopper 架构的新特性,如 FP8 Transformer Engine 和 DPX 动态规划指令;这意味着在一个 MIG 实例内运行的 FP8 推理任务,仍然可获得接近硬件全速的计算效率。第二,MIG 结合 Hopper 引入的 第四代 NVLink 与 NVSwitch,虽然实例间仍不能 P2P,但全卡不做 MIG 切分时,跨 GPU 通信仍可受益于更高带宽。第三,资源配置复杂性的简化工具(如 NVIDIA GPU Operator 内置的自动配置管理器 mig-parted)逐步成熟。
4. 未来趋势与 Blackwell 时代的展望(2024 起): 在 Blackwell 架构发布会上,NVIDIA 披露 GB200 及 B200 等芯片的设计中心向 NVLink-C2C(芯片到芯片互联) 与多 Die 封装转移。公开技术资料显示,NVIDIA 有望将跨 Die 的可组合资源架构与 MIG 逻辑进一步融合,即未来可能出现跨多个物理 Die 但能逻辑组合为超大实例(用于训练),或按 Die 内部更细粒度分区的演进 MIG 方案。目前针对 Blackwell 的 MIG 细节,NVIDIA 尚未公布完整的 Valid Profiles 矩阵,后续需在 NVIDIA 发布 Blackwell 架构 MIG 白皮书后进行全面跟踪。(注:截至 2025 年上半年,公开资料未见 Blackwell 具体 MIG 配置参数)
5. 技术路线对比:
| 特性 | MIG (NVIDIA Ampere/Hopper) | 多进程服务(MPS) | 时间片共享 (Time-Slicing) | AMD 硬件分区 (仅限 MI300X 等) |
|---|---|---|---|---|
| 隔离层级 | 硬件级 (SM, HBM, L2, 带宽) | 软件上下文同享 | 无 | 硬件级 (基于 XCD 或阵列) |
| QoS/性能保障 | 强 (固定配额) | 弱 (内部争抢 L2 与带宽) | 无 | 较强 (可固定显存与控制器) |
| 故障隔离 | 强 (实例级错误不扩散) | 弱 (单进程致命可带崩 GPU) | 无 | 强 (硬件 MC 隔离) |
| 适用任务 | 异构推理/训练切片、多租户 | 提高单一应用 SM 占有率 | 多用户互不打扰的轻量开发 | 高密度推理、多租户 AI |
| 典型显存开销/碎片 | 需按配置模板划分(1g/2g/3g/4g/7g) | 无 | 无 | 根据镜像方案决定物理显存对切 |
上游
MIG 的功能实现完全依赖于一系列底层软硬件厂商的技术支持与接口暴露:
- GPU 芯片设计 - NVIDIA 架构团队: 定义 GPC、SM 与内存控制器的拓扑互连方式,物理实现 VMID、缓存切片隔离、xBar 路由规则与错误报告逻辑。这是 MIG 存在的最根本物理前提。
- GPU 系统固件与 VBIOS - NVIDIA 系统软件部门: 提供 GPU 内部的 Falcon 控制器、安全协处理器固件,负责初始化期间解析 MIG 分区表,把硬件熔丝或配置描述符映射到物理逻辑。任何一次 MIG 拓扑变更(如重分实例),都需要 GPU 级的功能级复位(FLR)或系统重启,这会触发固件的重新初始化。
- GPU 内核模式驱动 - NVIDIA 与 Linux 内核社区: NVIDIA 专有内核驱动(nvidia.ko)是 MIG 能力的最主要软件暴露者。启动阶段,驱动读取 GPU 配置,为每个 MIG 实例注册独立的
/dev/nvidia*节点、分配独立的 BAR(Base Address Register)地址窗口、独立的错误处理线程,并在/proc/driver/nvidia或 sysfs 中暴露其专属属性(如独立功耗、ECC 计数、PCIe 带宽使用率)。开源 Nouveau 驱动对 MIG 无支持。 - 虚拟化与容器运行时 - Red Hat、VMware、SUSE 等: 使用 MIG 实例的核心场景需要 GPU Operator 或虚拟化层配合。例如,VMware ESXi 需要特定的 vSphere Bitfusion 或 DirectPath I/O 策略才能将 MIG 实例透传或重新调度,其兼容性矩阵由虚拟化厂商与 NVIDIA 共同定义。Kata Containers 等安全容器亦需在内核做专属支持,以便在轻量级虚拟机内直接挂载 MIG 实例。
下游
MIG 作为基础设施层的原始能力,被下游一系列平台、调度器与应用调度层所消费与封装,形成对终端用户透明的产品:
- 云原生调度层 - Kubernetes + NVIDIA GPU Operator: 这是当前最广泛的下游实现。NVIDIA 开源的 GPU Operator 中,MIG Manager 模块充当“配置下发器”。其使用模式分为两种常见的策略:“单实例模式(Single)” 即每块 GPU 只暴露一个未分区的实例给 K8s;“混合模式(Mixed)” 则物理 GPU 被预先分区,并将不同规格的实例作为独立的可调度资源上报。Volcano、Yunikorn 等批量调度器在此基础上扩展,实现跨 MIG 实例的 Gang Scheduling 和队列优先级预占。
- AI 平台与 MLOps 平台 - Run:ai、KubeFlow、Determined AI: 这类平台利用 MIG 为数据科学家的 Jupyter Notebook 或分布式训练任务分配精准的算力配额。例如,管理员可规定“每个数据科学家最多申请 2 个
2g.20gb实例”,平台通过其调度器直接映射到物理 MIG 切片,并可在会话空闲时超时回收。 - 云厂商的 GPU 实例产品线 - AWS、Azure、GCP、阿里云: 云厂商是 MIG 最大的商业变现下游。他们将 A100 或 H100 物理机进一步切分为命名不同、但资源保证相同的虚拟机实例规格。例如,AWS 的 P4d 实例底层为 A100,通过调整配置策略,可以提供面向在线推理的、显存精准量化的经济型小规格产品。
- 高性能 AI 推理引擎 - NVIDIA Triton Inference Server: Triton 可以精确感知其被部署的环境是否为 MIG 实例。通过
MIG_DEVICE_UUID等环境变量,Triton Server 的一个实例仅绑定到一个 MIG 切片上,实现多个模型在同一台服务器、不同 MIG 切片上的并发部署,并且每路推理服务的延迟严格符合分配到的硬件算力与带宽。 - 监控可观测性系统 - Prometheus + DCGM Exporter: NVIDIA 的数据中心 GPU 管理器(DCGM)能够采集每个 MIG 实例独立的 SM 占用率、显存带宽利用率、帧缓存使用量和 ECC 错误计数。运维开发人员可以在 Grafana 看板上,追踪具体到某位租户配额容器内所使用实例的实时健康状态。
受益公司
(注:本段落仅讨论产业角色与受益逻辑,不构成任何投资或交易建议,不对具体公司市值或股价做预测。)
1. 核心技术与专利持有者——NVIDIA (NVDA) MIG 是 NVIDIA 数据中心产品线“硬件+软件+生态”护城河的核心技术组成之一。其受益逻辑体现在:直接提升了旗舰 GPU(A100、H100、H200)的销售价值——一块高端 GPU 的采购方可同时获得原先可能需 3-5 块中低端卡才能实现的业务多任务并发能力。同时,MIG 使得云厂商客户和大型企业客户更深度地绑定在 CUDA 生态、NVIDIA AI Enterprise 以及配套的管理与监控工具中,形成较高的转换成本。
2. 公有云基础设施提供商——Amazon (AMZN - AWS)、Microsoft (MSFT - Azure)、Alphabet (GOOGL - GCP) 以及中国大陆阿里云 (BABA)、腾讯云等
这些公司在全球范围内大量采购支持 MIG 的 GPU 服务器,并将其转化为可弹性售卖、多梯度的 GPU 算力实例。例如,通过 MIG 生成 1/4 A100 实例,云厂商能够以较低的计时单价吸引海量中小型研发客户,在物理服务器折旧期内摊薄单位算力的运营成本。由于 MIG 硬件隔离的特点,使得云厂商可以在不增加客户投诉(性能抖动)的情况下,将物理服务器“塞得更满”,这对毛利率有直接的正面影响。
3. AI 平台与工具链公司——如 Run:ai、Domino Data Lab 等 这类软件平台内置了复杂的 GPU 资源管理与动态配额功能,MIG 为其提供了简单的时间片所不具备的硬性 QoS 基础。平台利用 MIG 构建“算力保障型”的调度器,向终端企业客户收取平台订阅费或管理软件许可费,获利模式为 AI 基础设施管理的 SaaS 化。
4. 服务器 ODM/OEM 厂商——如 Dell、HPE、Supermicro、Inspur 等 搭载 A100/H100 并经过 MIG 兼容性验证的整机服务器或 GPU 工作站,其溢价能力和附加值高于纯粹的硬件组装。这些厂商在向企业客户投标时,将“已通过 NVIDIA MIG 认证、可完美交付多实例环境”纳入本身的数据中心解决方案专业服务包。
5. 大型企业私有云最终用户(间接受益) 虽非上市公司单独分类,但如金融巨擘(JPMorgan Chase)、汽车自动驾驶公司(Waymo,Cruise),通过 MIG 可在有限的物理 GPU 上并行运行数据预处理、模型验证与轻量训练,从而控制飞速增长的 AI 基础设施资本支出。
市场规模与产能约束
(注:以下数据均为基于已有公开资料与行业规律的推估,非精确计量统计。)
1. MIG 所依附的物理载体市场——数据中心 GPU 的出货量级 MIG 是高端数据中心 GPU 的附加属性。根据公开市场数据,2024 年 NVIDIA 数据中心业务(包括 H100/B200 等加速器及相关网络硬件)的财务收入已突破数百亿美元级别(具体财务数据可参照 NVIDIA 各财季公开财报)。目前支持 MIG 的高端型号(A100、H100 及 H200)在其中的出货数量估测占比较高,但公开资料未见 NVIDIA 单独披露支持 MIG 的 GPU 芯片出货占比数据。
2. MIG 在云端的渗透模式——GPU 实例的微观经济模型推估 根据主要云厂商 2024—2025 年的公开产品页面,主流 GPU 计算实例(以 H100 为例)通常提供按秒/按时计费的物理整卡规格,同时也提供基于 MIG 分割的、更小规格的弹性实例。当前,通过 MIG 对小模型的推理与模型微调提供标准化实例,已经迅速成为全球主要云平台的“标配”而非“可选件”。依据行业第三方调研(如 Liftr Insights 对云实例组合的跟踪),带有 GPU 细粒度规格的实例在部分 Region 的整体 GPU 实例家族中上架比例增长迅速。
3. 产能约束因素:
- 先进封装与 HBM 产能: MIG 本身并不额外消耗晶圆,但大容量 HBM3/HBM3e 堆叠及台积电 CoWoS(Chip-on-Wafer-on-Substrate)先进封装产能,是高端 GPU(H100/H200/B200)出货的硬性物理瓶颈。只要物理 GPU 缺货,云厂商开放给 MIG 实例的物理服务器就不会大幅过剩。2024 年全年,台积电多次在法说会上调 CoWoS 产能规划,说明该瓶颈在 2025 年后会逐步缓解,但仍主导 GPU 供需。
- 企业软件许可授权与运维复杂度: 大规模部署 MIG 并不完全是“开启即用”,企业内部需要投入专人完成 GPU Operator 配置、CVE 安全漏洞对应的驱动热修复策略、不同业务线峰值争抢时的资源回收等自动化编排工作。运维能力不足会成为企业在生产大规模推广 MIG 的内部约束。
4. 中国区市场特殊因子: 受限于出口管制要求,中国区可获得的合规特供版 GPU(如 H20)是否完全保留原生 MIG 的全功能支持矩阵,需参考 NVIDIA 对该型号具体的 vBIOS 功能锁与驱动限制。至 2025 年上半年,公开资料显示 H20 可支持部分 MIG 配置,但具体实例组合可能与全球版 H100 存在差异,此处不进行具体量化估计。
玩家对比
由 NVIDIA 主导的 MIG 和 AMD、Intel 所推行的硬件虚拟化方案,在技术路径和商业落地成熟度上存在显著差异。
NVIDIA MIG(行业事实标准):
- 成熟度: 经历两代半架构(Ampere,Hopper)的迭代,已进入大规模生产部署验证阶段。
- 软件栈完整度: 拥有从固件、内核驱动、用户态库(CUDA)、容器运行时插件(NVIDIA Container Toolkit)、Kubernetes 编排器统一调度(GPU Operator)到上层监控与性能剖析工具(Nsight Systems,DCGM)的全链路支持。
- 商业适用面: 直接嵌入全球前几大公有云架构,被全球头部企业采纳为默认规格。
AMD 硬件分区方案(基于 CDNA3 与 MxGPU 多重路径):
- 数据中心 GPU 分区: 在 MI300X 上,AMD 采用基于其底层 XCD(加速运算芯片)阵列或 AID 硬件的物理分区模式。默认模式可通过
amdgpu内核模块及 ROCm 驱动将多个 XCD 组合或单独暴露,支持部分级别的时空分区,使一个 MI300X 可以类似地当作多个符合特定显存容量的小规格 GPU 使用。其在错误进程隔离、CU(Compute Unit)精确配额带宽 QoS 方面的硬件实现精细度,与同代 NVIDIA MIG 处于不断追赶和对比的阶段。据 2024—2025 年公开的社区文档,AMD 分区方案的生态集成(尤其是向上封装到 Kubernetes 统一 Device Plugin 的自动化能力)仍低于 NVIDIA MIG 的 GPU Operator 成熟度。 - MxGPU(SR-IOV 路径): 基于 SR-IOV 标准,主要面向 Radeon Pro V 系列专业可视化与虚拟桌面场景,仅在部分专业图形处理领域与 NVIDIA vGPU 形成竞争,不适配 HPC/AI 场景的算力与显存精细控制需求。
Intel Data Center GPU Max / Gaudi 系列: Intel Data Center GPU Max(代号 Ponte Vecchio)支持多 Tile 多栈架构,但对硬件多实例的商用配置模板公开披露甚少。至 2025 年上半年止,公开资料未见与 NVIDIA MIG 对标的成熟商业化硬件分区管理工具。Intel Gaudi 系列主要通过其软件机制实现容器化资源分配,暂未推出类似 MIG 的、面向多租户的硬隔离分区方案。
综合对比: 当前在“AI 计算硬件级分区”这一垂直领域,NVIDIA MIG 凭借其纵向整合的 CUDA 生态及 Kubernetes 调度能力,在成熟度、用户规模、生产级案例方面均处于领先身位。
风险
1. 锁定效应与成本风险: MIG 是纯专有技术(Proprietary),所有接口、驱动与管理机制均由 NVIDIA 闭源实现。长期依赖 MIG 进行基础设施分区,意味着整个 AI 算力调度链条(从容器化插件到 Infra 监控)紧密绑定在 CUDA 生态上,横向迁移至其他 GPU 架构(如基于 SYCL 或 ROCm 生态的方案)的技术和人力成本极高。
2. 实例碎片化与运维复杂度激增: 开启 MIG 之后,物理服务器的算力抽象界面从“8 块 GPU”瞬间扩展成“56 个小实例”。如果缺乏成熟的混合策略自动调度,将带来严重的资源碎片化(Resource Stranding)问题——例如,GPU 上显示仍有充足的显存,但所有计算切片都已分配出去,导致无法利用那块“孤岛显存”。数据中心管理员必须具备相当高超的容量规划能力和 K8s 调度参数调优技能。
3. 多租户下面临的安全侧信道攻击风险(学术与前沿方向): 尽管 MIG 提供了强力的显存与缓存隔离,学术界近年已有研究探讨通过功耗侧信道、温度感应或共用电源调节模块(VRM)时钟变化,跨 MIG 实例推测相邻实例计算负载特征的可能性。虽然目前此类攻击尚无大规模实际利用案例,但对于处理极高安全密级数据(如政府、国防)的云环境,这是需要持续关注的风险向量。
4. MIG 实例规格变更的停机成本:
改变 GPU 的 MIG 配置(例如原本是 2g.20gb x 3 + 1g.10gb,现改为 4g.40gb + 3g.40gb)需要彻底清空该 GPU 上所有正在运行的实例,并对该 GPU 执行复位或整机冷重启。在 7×24 小时的在线推理集群中,这会形成一个有巨大运营冲击的“停机窗口”,导致管理员缺乏对配置进行敏捷调优的空间。
5. 软件栈兼容性“踩坑”:
并非所有 CUDA 库都对 MIG 完全透明。特别是某些依赖 P2P 直接内存访问进行同步的第三方 C++ 数学库,或部分成熟度低的模型服务器,在 MIG 环境中至少需要进行一次代码适配或加入额外的 CUDA_VISIBLE_DEVICES 检查。此类隐性迁移成本容易被低估。
误读纠偏
1. 误读:“MIG 就是 NVIDIA 给 GPU 加的虚拟机,会有严重的性能虚耗。” 纠偏: MIG 不依赖 Hypervisor 进行每一条 GPU 指令的截获与翻译。它的配置是一次性通过硬件描述符“烧录”设置到 GPU 内部路由表,分配完成后,每个实例内的 SM 调度器直接对物理单元进行调度。硬件划分机制本身几乎不产生持续的运行时性能税。除初始化阶段外,MIG 实例运行其分配比例资源的计算效率与同比例资源的未分区物理 GPU 性能高度一致(遵从 NVIDIA 公布的标准参数)。它将性能损失压低到了传统软件虚拟化无法触及的水平。
2. 误读:“一块 H100 开了 MIG,就可以把它当成 7 张独立的小 GPU 来训练一个超大模型。” 纠偏: 这是最危险的误用之一。MIG 是单向的切割工具,严禁高带宽互联。在 MIG 模式下,NVIDIA 硬件切断或禁止了实例间的 xBar、NVLink 与 PCIe P2P 路径。大模型分布式训练通常依赖 NCCL 库高速跨 GPU 交换数据,一旦 GPU 处于 MIG 状态,多实例多机训练将直接报错或回退到极慢的主机内存中转。核心结论:需要强耦合跨卡通信的任务,请关闭 MIG;高并发、低耦合的推理与微服务,是 MIG 的最佳实践场。
3. 误读:“MIG 可以动态切分,我随时可以划一部分显存给另一个实例用。” 纠偏: MIG 不支持用户态运行时的实时动态显存热迁移或热插拔。所有配置均属于“计划内静态划分(Planned Partition)”。要实现配置变更,必须将对应物理 GPU 上所有实例清空,并执行 GPU 复位。这是一个计划性停机操作,不能实现“按需突发”的弹性。
4. 误读:“AMD 的普通 GPU 也能通过开源工具做到和 MIG 一模一样的事。” 纠偏: 市面上确实存在基于 ROCm 或开源驱动的 GPU 共享方案。但绝大多数属于软件层面的显存超分或时间片切换,缺乏硬件级 SM 精确围墙、L2 缓存分区和显存控制器的带宽硬 QoS 保证。在面向付费用户时,这些方案无法提供与 MIG 同级的性能反黄隔离和故障安全边界,商业交付能力有本质差异。
最新事件(截至 2025 年上半年)
- NVIDIA Blackwell 发布与 MIG 细节待公布: 在 GTC 2024 与 2025 年度更新中,NVIDIA 发布了 Blackwell 架构。公开信息强调了第二代 Transformer Engine、NVLink-C2C 互联与 RAS(可靠性、可用性、可服务性)引擎,但对于 Blackwell 的 MIG 演进(例如是否支持跨 Die 组合实例、实例最大数目限制等),截至 2025 年上半年,NVIDIA 尚未释出详细的技术白皮书与配置矩阵。产业中仍在持续跟踪相关信息。
- 头部云厂商大规模上线 H200 实例: 2024 年末至 2025 年初,CoreWeave、Lambda、AWS 陆续宣布 H200 实例正式可用。H200 拥有容量大幅增加的 HBM3e,理论上 MIG 切片实例获得的显存区也会同比例放大,适合更大参数量的模型推理切片化部署。在此时间窗口,许多企业开始评估 H200 上 MIG 实例对主流开源大模型(如 Llama 3 70B 等)的单实例承载能力。
- AMD 强调 MI300X 分区生态进展: AMD 在 2024 年及 2025 年初的技术峰会上,频繁演示了基于 MI300X 的硬件分区及开源 ROCm 容器化部署工具,并在 Databricks、Microsoft Azure 等部分企业平台中逐步投入测试与应用。目前全球公开测试用户基数仍小于 NVIDIA MIG 部署规模,但 2025 年被部分行业报告视为“MI300X 分区实例进入生产级”的时间点。
- 中国合规 GPU(H20 等)的 MIG 功能限制现状: 国内通过不同渠道到货的合规 GPU 型号,MIG 功能是否启用存在批次差异。尤其在部分国内云平台的公开文档中,对于 H20 是否开放完整的 7 实例硬件分割并承诺性能隔离,措辞趋于审慎,仅保证部分有效配置。企业采购时需对特定批次进行实际固件与驱动的兼容性验证。
跟踪指标
1. NVIDIA 架构演进与技术白皮书发布频率: 每次新一代数据中心 GPU 架构发布,重点查阅官方 MIG 章节中关于最大实例数、合法配置矩阵以及是否引入“跨 Die 组合”或“动态局部重配”的字眼,这是技术迭代节奏的最高可信指标。
2. 主要云厂商 GPU 实例规格清单变化: 定期扫描 AWS EC2(如 P5, P5e)、Azure ND、GCP A3 系列的实例类型。如果来自同一物理卡规格的“中型”、“小型”MIG 实例种类增加并逐渐成为默认推荐,标志着 MIG 在进一步下沉为其商业模式支柱。
3. Kubernetes GPU Operator 及 NVIDIA Container Toolkit 的更新日志(GitHub): 关注对 MIG 策略(Mixed/Single)的增补、对 MIG 分区碎片自动重整功能的引入,以及是否出现针对 MIG 实例层的细粒度 GPU 监控指标。这些变更直接反映 NVIDIA 对运维侧痛点的解决进展。
4. 第三方云提供商(如 CoreWeave,Lambda, Vultr)的公开硬件清单: 由于此类 GPU 密集型云往往较早拿到新卡,它们提供 MIG 切分实例的动态,可视为衡量该功能在新架构(如 B200)上就绪度的先行信号。
5. AMD ROCm 硬件分区实例在主流框架(PyTorch, JAX)的 CI/CD 覆盖率: 如果 PyTorch 和 JAX 上游的每日构建流水线开始正式纳入基于 MI300X 分区实例的自动化测试,表明 AMD 分区方案已经越过从“样板间”到“全栈生产就绪”的关键瓶颈。
6. 企业年度基础设施部署调查(如 CNCF 云计算年度报告): 检查在“GPU 算力调度”条目下,关于 MIG(或等同的硬件分区技术)的选择比例变化。这是判断在企业私有云环境中,硬件分区是否成功内化为生产级标准架构的长期信号。
信源
-
NVIDIA 官方技术文档与白皮书:
- NVIDIA Multi-Instance GPU (MIG) 用户指南及白皮书(针对 Ampere 及 Hopper 架构);
- NVIDIA GPU Operator 文档(K8s 插件与 MIG Manager 配置部分);
- NVIDIA H100 与 B200 架构技术概述白皮书(查阅其 MIG 相关章节)。
- 提示:可在 NVIDIA Technical Blog 及 Docs 站点检索上述技术名称。
-
GPU 云厂商公开产品页面:
- Amazon Web Services - EC2 P4d, P5 以及相关实例类型文档;
- Google Cloud GPU Platforms - A3 系列实例说明;
- Microsoft Azure - ND A100 v4 系列、ND H100 v5 系列规格表;
- 阿里云 GPU 计算型实例规格族文档(对应 ecs.gn 系列)。
- 提示:信息截至 2025 年上半年公开可查资料。
-
行业跟踪与第三方技术分析:
- Liftr Insights — 追踪主流云厂商提供的实例类型与芯片配售变化;
- SemiAnalysis — 针对 GPU 硬件架构和数据中心 AI 基础设施的深度通讯(部分内容付费)。
-
开源社区与代码库:
- NVIDIA/k8s-device-plugin (GitHub) — 查看 Issues/PR 中关于 MIG Strategy 的实际案例;
- ROCm/ROCm (GitHub) — 查看关于 MI300X 分区与 ROCm SMI 工具链进展。
-
对比参考与虚拟化方案:
- AMD MxGPU 与 ROCm 硬件分区相关的官方开源文档;
- Linux 内核邮件列表(LKML)中关于
amdgpu和nouveau对多实例功能支持的讨论。
*声明:本文档整合了 NVIDIA 公开白皮书、主要云服务商公开信息、以及截至 2025 年上半年第三方产业分析与开源项目(如 Kubernetes GPU Plugin、ROCm)的公开进展。文中涉及的上市公司名称仅供产业环节阐述,不应被误解为任何形式的投资或交易建议。本文不含任何对股价、营收或市场