NVL144

1 3 秒看懂

NVL144 是 NVIDIA 在单台 8 GPU 服务器内部实现的全互联高速通信矩阵：通过 4 颗 NVSwitch 交换芯片，将 8 颗 GPU 全部 144 条 NVLink 通道聚合成一个无拥塞的交换背板，使任意两个 GPU 之间都可直接点对点通信，无需多跳转发。结果是一台 8 GPU 节点在内存、带宽和延迟上等价于一台“巨型 GPU”，因而可以极高效地运行张量并行、流水线并行等超大模型训练模式。

2 3 分钟产业解释

在训练万亿参数大模型时，单颗 GPU 的算力与显存远远不够，必须把模型切分到多颗 GPU 上协同计算。节点内部的 GPU 互联一旦变成瓶颈，并行效率就会断崖式下跌。NVL144 提供的全互联方案正是这根“救生索”：它将 GPU 间的有效对分带宽推高到每颗 GPU 900 GB/s（基于 NVLink 4.0），并且凭借 NVSwitch 的硬件调度，所有通信路径可以同时满速工作，无需担心链路争抢或树状拓扑的多跳延迟。因此，开发者可以把 8 颗 GPU 当作一块拥有 640 GB（H100 SXM 80GB 版）甚至更高显存池的统一计算设备来进行编程，大幅减少通信开销，将更多算力真正用于矩阵乘法。NVL144 目前是 NVIDIA DGX H100、DGX H200 和 DGX B200 等旗舰系统的标配，已成为头部 AI 实验室和云服务商构建千卡、万卡集群时，节点内 Scale‑up 的基准配置。

3 技术原理

NVL144 的底层由三大机制支撑：NVLink 物理层、NVSwitch 全互联交换以及硬件一致性的内存语义。

• NVLink 物理通道与拓扑 每颗 H100 GPU 内置 18 个 NVLink 4.0 端口，每个端口同时收发的双向带宽为 50 GB/s，因此单颗 GPU 的对分带宽为 18\times50=900 GB/s。8 颗 GPU 合计 144 条 NVLink，构成 NVL144 数最基础的物理意义。所有链路均以串行/解串器（SerDes）差分对形式引出，最终连接到 NVSwitch 芯片的端口上。实际布线并非将 144 条链路简单地做点对点直连，而是将所有链路完全终止在 NVSwitch 内部交换矩阵，实现任意 GPU 到任意 GPU 的单跳连接。

• NVSwitch 无阻塞交换背板 DGX H100 内部包含 4 颗 NVSwitch 芯片，每颗承担 2 颗 GPU 的全部 36 条 NVLink（18 条/GPU），并通过内部高速接口在 NVSwitch 之间相互连接，最终构建成一个 8×8 全互联的交叉开关。与传统 PCIe 树状网络不同，NVSwitch 不依赖转发表，而是在物理层进行无拥塞的电路交换——任意一对源/目标 GPU 都能在物理层建立专用通道，且多个 GPU‑GPU 通信对可以同时进行而不互相干扰。这保证了极端场景（如 All‑Reduce 梯形聚合）下的有效利用带宽几乎可以逼近理论峰值。

• 硬件一致性内存语义与统一地址空间 NVLink 协议本身支持原生 load/store 语义，亦即允许 GPU 直接对本节点内其他 GPU 的显存执行“远地加载/存储”指令，无需经过复杂的 RDMA 队列和 CPU 中转。配合 NVIDIA 的 Unified Memory 及硬相干一致性引擎，NVL144 可将 8 颗 GPU 的 HBM 显存抽象成一个逻辑上统一的、可被任意 GPU 透明访问的内存池。硬件层面维护的一致性协议确保一个 GPU 写入远端地址后，其他 GPU 能立刻看到最新数据，这一特性对流水线并行和专家混合（MoE）模型的 token 调度至关重要。

• 与 GPUDirect RDMA 的协同 NVL144 虽然解决的是节点内互联，但其 NVLink 通道同样可以被 GPUDirect RDMA 利用，使外部网卡（ConnectX‑7 等 InfiniBand/以太网卡）能够直接将数据推送到远端 GPU 的显存，中间绕过主机内存甚至 CPU，从而在 Scale‑up 和 Scale‑out 的交界处大幅降低延迟与能耗。

4 关键参数

以下参数均以 DGX H100（Hopper 架构，SXM5 形态） 为基准，除非特别说明，口径均为单节点内部 8 GPU 全互联配置。

后续 Blackwell 架构的 DGX B200（2024 年发布）沿用 144 条 NVLink 的物理通道数，但升级为 NVLink 5.0，单链路双向带宽提升至 100 GB/s，单 GPU 对分带宽达到 1.8 TB/s，全节点总带宽跃升至 14.4 TB/s（来源：NVIDIA DGX B200 白皮书, 2024）。

5 技术路线

NVL144 并不是一蹴而就的产物，而是 NVIDIA 近十年内持续推动 GPU 互联升级的结果。

• NVLink 1.0（2016，Pascal P100） 首次引入高速 NVLink 总线，单 GPU 提供 4 条 NVLink，每条双向 20 GB/s，总带宽 80 GB/s，支持 2‑way/4‑way 互联，无 NVSwitch 芯片。

• NVLink 2.0（2017，Volta V100） 每 GPU 升级至 6 条 NVLink，单链路 25 GB/s 双向，带宽 150 GB/s；同时引入第一代 NVSwitch，支持 8 颗 V100 构建全互联 DGX‑1，全节点总带宽 1.2 TB/s。此时单节点 NVLink 路数为 48 条，远未达到 144 条。

• NVLink 3.0（2020，Ampere A100） 每 GPU 提供 12 条 NVLink 3.0，单链路双向 50 GB/s，单 GPU 带宽 600 GB/s。DGX A100 采用 6 颗 NVSwitch（第二代），单节点总链路数为 96 条（12×8），总带宽 4.8 TB/s。虽然全互联拓扑已经实现，但物理通道数仅为 NVL144 的三分之二。

• NVLink 4.0 + NVL144（2022，Hopper H100） 每 GPU NVLink 数量跃升至 18 条，单链路速度维持 50 GB/s 双向，单 GPU 带宽 900 GB/s。DGX H100 内嵌 4 颗第三代 NVSwitch，首次将单节点 NVLink 路数推至 144 条，全节点总带宽 7.2 TB/s。相应的 NVSwitch 芯片在端口密度、信号完整性及功耗控制上均有重大升级，为今日大模型训练提供了稳定的内部通信基石。

• NVLink 5.0 + 144 路继承（2024，Blackwell B200） 通道数依然保持 8×18=144 条，但对速率进行翻倍，单链路双向带宽达到 100 GB/s，单 GPU 带宽 1.8 TB/s，全节点总带宽 14.4 TB/s。配套的第五代 NVSwitch 加强了网络内归约（in‑network reduction）和 SHARP 功能，使全互联矩阵不仅能传递数据，还能直接进行求和等计算操作（来源：NVIDIA GTC 2024 主题演讲）。

从技术路线图可以清晰看出，NVL144 代表了 NVIDIA 在单节点内部互联物理链路数上的一个稳定平台：通道数量（144）在 H100 时代定型，后续演进的重大变化在于单链路速率的提升和 NVSwitch 芯片的智能化，而非随意增加链路数，以此保障机箱内物理布局和信号完整性的持续可行。

6 上游

NVL144 的硬件载体主要由 NVSwitch 芯片、GPU 硅中介层、连接器与高密度 PCB 背板构成，其上游供应链涉及多个关键环节。

• 先进制程晶圆代工 NVSwitch 芯片本身是一颗高引脚数的交叉开关 ASIC，其制造高度依赖台积电的先进制程。虽然 NVIDIA 未正式公布 NVSwitch 3/4/5 代芯片的精确工艺节点，但根据电源、热设计功耗和芯片面积推断，多采用台积电 7 nm 或 4 nm 级工艺。台积电在晶圆代工中处于垄断地位（来源：公开技术分析机构 SemiAnalysis, 2023）。三星、英特尔代工服务均没有被证实的 NVSwitch 制造记录。

• 先进封装（CoWoS‑S/CoWoS‑L） NVSwitch 芯片与 GPU 一样需要高级封装技术，尤其是连接 GPU 的高速信号需要极低的失谐和衰减。台积电的 CoWoS‑S（硅中介层）和 CoWoS‑L（局部硅桥）被广泛用于 NVSwitch 与 GPU SXM 模块的基板中。2023 年 CoWoS 产能紧缺，直接导致 DGX 系统交付延后（来源：台积电法说会，2023Q2 及公开报道）。

• HBM 存储堆叠 虽然 HBM 本身安装在 GPU 基板上，但 NVL144 全互联将多个 GPU 的显存合并为统一池，因此 HBM 的容量、速度和能效间接影响 NVL144 的网络效率。目前 HBM 主要由 SK 海力士、三星和美光供应。截至 2024 年，SK 海力士占据 HBM 市场过半份额，是 NVIDIA H100/H200 HBM 的核心供应商（来源：TrendForce 2024 报告）。

• 高密度互连基板与连接器 144 条 NVLink 信号需要通过定制的 SXM 连接器和多层基板布到 NVSwitch 芯片，其对信号完整性、插损和串扰有极高要求。主要供应商包括富士康、TE Connectivity、山一电机等，公开资料未见具体份额。

• 上游材料和设备 上游材料如 ABF 载板（欣兴、伊欧乐、景硕等）、高频覆铜板以及测试探针卡制造商（FormFactor 等）均为间接受益方。但 NVL144 体量尚小，相对整个 AI 服务器供应链而言，单个 NVSwitch 模块对上游拉动有限。

7 下游

NVL144 全互联架构的下游生态，涵盖从整机系统、基础模组到最终应用场景的完整链条。

• 整机与 OEM 系统 直接使用 NVL144 的标杆产品是 NVIDIA DGX 系列整机（DGX H100、DGX H200、DGX B200）以及 HGX 基板。HGX 基板是交付给 OEM（超微、戴尔、慧与、联想、华硕、技嘉等）的核心模组，厂商将其装入自己的服务器机箱并搭配 CPU、存储后形成自有品牌的 GPU 服务器。截至 2024 年上半年，几乎所有 8 卡 H100/B200 服务器均依赖 NVL144 全互联设计，没有替代拓扑（来源：NVIDIA 官方认证合作伙伴列表）。

• 云服务商与算力租赁 微软 Azure、亚马逊 AWS、Google Cloud、Oracle 云（OCI）等超大规模云厂商均向客户提供基于 NVL144 节点（即 8 卡 H100 实例）的 GPU 实例，如 Azure ND H100 v5 系列、AWS P5 实例、OCI bare‑metal H100 实例。同时，新兴的 GPU 专业云供应商（CoreWeave、Lambda Labs、Paperspace 等）大量采购配备 NVL144 的 DGX/HGX 系统对外提供按小时计费的算力服务。2024 年这些算力租赁公司的资本开支多数与 H100/B200 系统直接相关，NVL144 的渗透率为 100%（因为 8 卡 SXM 形态必含 NVSwitch 全互联）。

• AI 模型训练与科研 大模型研发团队（OpenAI、Meta、Anthropic、Google DeepMind、国内头部互联网企业等）和国家级超算中心（如美国 Argonne 国家实验室的 Aurora 系统使用 H100 的类似互联方案）都是 NVL144 的直接受益者。对万亿参数密集模型而言，张量并行和流水线并行极度依赖节点内高带宽通信，NVL144 几乎成为标配。

• 工业与科学计算 气候模拟、药物分子动力学、计算流体力学等传统 HPC 应用原本多使用 MPI 跨节点通信，但在节点内，NVL144 允许用 CUDA 统一内存实现更细粒度的数据共享，降低编程复杂度，提高单节点效率。NVIDIA 的 HPC 开发套件（如 HPC SDK）在 Hopper 架构上已将 NVSwitch 全互联的局部高速域作为默认优化对象。

8 受益公司

以下列出关联 NVL144 供应链和生态的主要上市公司，仅陈述客观受益逻辑，不构成任何投资建议。

• NVIDIA（英伟达） NVL144 体系中的 GPU、NVSwitch 芯片、参考设计及相关软件栈完全由 NVIDIA 掌控。NVL144 增强了 DGX 系统的竞争壁垒，推动数据中心业务增长。2024 财年（2023 年 1 月终止）数据中心收入（含计算与网络）为 475.25 亿美元，FY2025 一季度（2025 财年第一季度）数据中心收入进一步攀升至 226 亿美元，其中网络收入（包括 NVSwitch、InfiniBand、以太网）约为 32 亿美元（来源：NVIDIA 季报/年报）。

• 台积电 独家代工 NVIDIA H100、B200 GPU 及 NVSwitch 芯片，并提供 CoWoS 先进封装。2023 年及 2024 年来自 NVIDIA 的 AI 芯片订单是台积电 5 nm/4 nm 及 CoWoS 产能利用率的重要支撑（来源：台积电法人说明会）。

• SK 海力士 作为 H100/H200 的 HBM3 主要供应商，直接受益于每台 NVL144 节点对高带宽内存的强劲需求。2024 年 SK 海力士 HBM 收入同比大幅增长，其中大部分供给 NVIDIA（来源：SK 海力士 2024Q1 财报陈述及市场分析师报告）。

• 美光、三星 美光已量产 HBM3e，并被 NVIDIA H200 和 B200 采用（来源：NVIDIA 市占说明及供应商公告）。三星的 HBM 产品亦在验证中，若进入供应链，同样会受益。

• OEM/ODM 厂商 超微（SMCI）、戴尔科技、惠普企业、联想、鸿海、纬创、英业达等企业承接 HGX/DGX 整机的组装与定制化服务，NVIDIA NVL144 体系的出货增长直接带动它们的 AI 服务器营收。

• 网络厂商 NVL144 虽然本身是节点内互联，但每个 DGX 节点往往配套 8 个 ConnectX‑7 智能网卡或 BlueField DPU，这些产品的出货与 NVL144 节点数量强相关，间接利好 Mellanox 品牌（NVIDIA 内部）及部分收发器/线缆供应商。

• 算力租赁与云服务商 CoreWeave、Lambda Labs 等以 H100 GPU 租赁为核心业务的非上市及上市主体，其商业模式高度依赖 NVL144 节点提供的单位算力密度；大型公有云厂商同样借此类节点推出高利润的 GPU 实例。

9 市场规模

目前没有独立研究机构单独统计 NVL144（即 NVSwitch 全互联模块）的市场规模，相关收入被淹没在 GPU 服务器和网络设备中。但可以通过 NVIDIA 数据中心业务及 GPU 出货数据侧面观察。

• NVIDIA 数据中心网络收入 NVIDIA FY2024 全年（截至 2024 年 1 月）网络收入为 45.3 亿美元，较上年增长 133%。该收入包括 InfiniBand、以太网交换机/适配器以及 NVSwitch 模块。假设 NVSwitch 模块约占网络收入的 15%25%（非公开，系基于单台 DGX 中 NVSwitch 相对于网卡价值的粗略推估），则 FY2024 该部分隐含规模约 7 亿11 亿美元。实际数据公开资料未见细分。

• 8 卡全互联 GPU 服务器出货量 根据多家第三方机构的估算，2023 年 H100 总出货量在 50 万～65 万块（来源：Omdia 2023 年报告及媒体报道）。若按每 8 块 GPU 构成一个 NVL144 节点计算，折合约 6 万～8 万台服务器（含 DGX 整机及 HGX 模组）。每台服务器中 4 颗 NVSwitch 芯片构成全互联，对应 NVSwitch 芯片全年出货量约 25 万～32 万颗。2024 年 H100 及 Blackwell 需求更旺盛，有分析师预计全年 NVIDIA 数据中心 GPU 出货约 150 万～200 万块，则 NVL144 节点的出货量可能达 19 万～25 万台级别（来源：多份券商硬件产业链调研，口径可能包含 H200 和 B200）。这些均为间接推估，公开精确数据缺乏。

• 潜在空间 随着 AMD MI300X 等竞品也推广 8 GPU 全互联方案，整个 GPU 全互联模块的市场正快速扩大。IDC 预计 2024 年全球 AI 服务器市场将超过 500 亿美元，其中搭载全互联 GPU 的服务器占比持续提升，NVL144 作为事实标准之一，其长期 TAM 与高端 AI 服务器市场高度绑定。NVIDIA 的 NVSwitch 技术正在向 36 GPU、72 GPU（如 GB200 NVL72）超大规模全互联演进，未来 NVSwitch 模块的市场将不仅局限于传统的 8 卡节点。

10 玩家对比

NVL144 在单节点 8 GPU 全互联领域几乎占据统治地位，但仍与以下几家厂商的替代方案形成竞合。

• AMD Infinity Fabric（MI300X） AMD MI300X 同样采用 8 GPU 全互联设计，通过 Infinity Fabric 链路将所有 OAM 模块直连。根据 AMD 官方资料，每颗 MI300X 加速器提供 8 条 Infinity Fabric 链路，每条双向带宽 100 GB/s（推测为同类 4 通道级联），即单 GPU 对分带宽为 800 GB/s，8 GPU 总带宽 6.4 TB/s。NVL144 在 Hopper 代次的总带宽为 7.2 TB/s，领先 12.5%；而在 Blackwell 代次升级至 14.4 TB/s 后，已形成代际优势。此外，AMD 平台的统一内存模型（ROCm 的 Unified Memory）和硬件一致性生态远不如 CUDA 成熟，软件在利用全互联特性时仍有较大差距（来源：公开评测及 CSET 报告, 2024）。

• Intel Xe Link（Ponte Vecchio 与 Gaudi） Intel 的 Data Center GPU Max 系列（Ponte Vecchio）采用 Xe Link 互联，但未实现 8 GPU 全互联的同等量化；其 Gaudi 3 AI 加速器内部采用 RoCE 环网实现 8 卡通信，并非硬件全互联矩阵，有效带宽和延迟不及 NVL144。Intel 的 GPU 市场占有率极低，短期内难以对 NVL144 形成实质竞争（来源：Intel 产品发布及 Tom’s Hardware 分析）。

• 自研 ASIC 互联方案（Google TPU、AWS Trainium） Google 的 TPU v5p 等通过 ICI 总线连接 8～256 块定制芯片，但其架构通常使用二维环网或环面，而非 NVSwitch 式的全互联交叉开关。AWS Trainium2 使用 NeuronLink 实现 2D 环网，带宽和延迟特性与 NVL144 不同。虽然这些方案在其封闭生态内极具竞争力，但都不构成通用市场的直接替代品。

• PCIe 交换方案（传统形态） 部分服务器厂商利用 PCIe Switch 构建多 GPU 连接，但 PCIe 5.0 的单链路带宽仅 128 GB/s（单向 64 GB/s，双向 128 GB/s），即便堆叠 16 条