DGX 系統 (NVIDIA DGX)
3 秒看懂
DGX = NVIDIA 自有品牌的 AI 訓練/推論整機系統,將 GPU 模組、NVLink/NVSwitch 高速片間互聯、InfiniBand 網路、散熱與電源、以及完整的 CUDA/NCCL 軟體棧打包成”開箱即用”的 AI 超算節點。它是 NVIDIA 從”賣晶片”轉向”賣系統”的戰略載體。
一句話:別人賣 GPU,NVIDIA 通過 DGX 賣整臺 AI 超算。
3 分鐘產業解釋
為什麼需要整機系統?
AI 大型模型訓練的本質是規模化的平行計算:數千張 GPU 同時工作,需要 GPU 之間、節點之間以極低延遲和極高頻寬交換梯度/啟用值。如果只是買一堆散裝 GPU,廠商需要自行解決:
- 片間互聯:GPU 之間如何高效通訊(NVLink / NVSwitch vs. PCIe,頻寬差距可達一個數量級);
- 節點間互聯:叢集跨節點的網路拓撲、擁塞管理(InfiniBand / RoCE);
- 供電與散熱:單機功耗可達 10 kW+ 級別,傳統風冷逐漸力不從心;
- 軟體棧:CUDA、cuDNN、NCCL、TensorRT 等驅動/通訊/推論庫的版本相容與調優。
DGX 的商業邏輯是將上述所有環節預先整合、驗證、調優,以”系統級產品”賣給企業/雲端廠商,降低部署門檻的同時將價值量從”一顆 GPU”提升到”一臺系統”。
產品線概覽
| 代際 | 代表型號 | GPU 配置(每臺) | 大致釋出時點 | 定位 |
|---|---|---|---|---|
| V100 時代 | DGX-1 (V100) | 8× V100 32GB HBM2 | 2017-2018 | 早期 AI 整機先驅 |
| A100 時代 | DGX A100 | 8× A100 80GB HBM2e | 2020 | 企業級 AI 訓練主力 |
| H100 時代 | DGX H100 | 8× H100 80GB HBM3 | 2022-2023 | 當前主流旗艦 |
| B200 時代 | DGX B200 | 8× B200(HBM3e) | 2024(GTC 釋出) | 下一代旗艦(量產爬坡中) |
| 機架級 | GB200 NVL72 | 72× B200 GPU + 36× Grace CPU | 2024-2025 | 機架級液冷超算,與 DGX 傳統機型差異化 |
注意:GB200 NVL72 嚴格來說屬於 NVL(NVLink 機架) 產品線而非傳統 DGX 命名體系,但產業語境中常一併討論。
商業模式
- 硬體整機銷售:DGX 系統直接賣給企業、科研機構、雲端服務商;
- DGX SuperPOD:以 DGX 為基本單元的參考叢集架構(如 32/64/128 節點規模),提供經過驗證的網路拓撲、儲存方案;
- DGX Cloud:NVIDIA 與雲端廠商(Oracle、Azure、GCP 等)合作,以雲端例項形式提供 DGX 算力——本質上是”賣鏟子的人自己也挖礦”;
- 配套軟體/服務:Base Command、NGC 容器、AI Enterprise 許可,形成軟硬一體的護城河。
15 分鐘專家深入
核心價值主張
DGX 不是簡單地把 8 張 GPU 裝進一臺伺服器。它的核心差異化在於:
1. NVLink + NVSwitch 全互聯拓撲
DGX 內部的 8 張 GPU 通過 NVSwitch 實現全對全(all-to-all)互聯,每張 GPU 擁有遠超 PCIe 的片間頻寬。以 DGX H100 為例,單 GPU 的 NVLink 雙向頻寬達到約 900 GB/s[NVIDIA 官方規格書],遠超 PCIe Gen5 x16 的約 64 GB/s。
這意味著在張量並行(Tensor Parallelism)訓練中,AllReduce / ReduceScatter 通訊幾乎不成為瓶頸。
2. 多節點擴充套件的參考架構
DGX SuperPOD 定義了經過驗證的:
- 網路拓撲:Fat-tree 或 Rail-optimized InfiniBand 拓撲,使用 ConnectX-7 400Gb/s HCA;
- 儲存方案:與 DDN/Lustre/NVMe-oF 的參考配置;
- 排程與編排:Base Command Manager 整合 SLURM/Kubernetes。
3. 軟體棧全棧最佳化
NVIDIA 能夠從 CUDA 驅動、NCCL 集合通訊庫、TensorRT 推論引擎到 NeMo 大型模型訓練架構進行端到端最佳化。DGX 是這套軟體棧的”參考硬體”,第三方硬體難以獲得同等深度的軟體適配。
技術原理
一臺 DGX H100 內部發生了什麼?
以 DGX H100(SXM 版本)為分析物件:
┌─────────────────────────────────────────────────────────────┐
│ DGX H100 系統框圖 │
│ │
│ ┌──────┐ ┌──────┐ ┌──────┐ ┌──────┐ │
│ │GPU 0 │──│GPU 1 │──│GPU 2 │──│GPU 3 │ │
│ │H100 │ │H100 │ │H100 │ │H100 │ │
│ │80GB │ │80GB │ │80GB │ │80GB │ │
│ └──┬───┘ └──┬───┘ └──┬───┘ └──┬───┘ │
│ │ │ │ │ │
│ ═══╪═════════╪═════════╪═════════╪═══ NVSwitch 3.0 │
│ │ │ │ │ (全對全互聯) │
│ ┌──┴───┐ ┌──┴───┐ ┌──┴───┐ ┌──┴───┐ │
│ │GPU 4 │──│GPU 5 │──│GPU 6 │──│GPU 7 │ │
│ │H100 │ │H100 │ │H100 │ │H100 │ │
│ │80GB │ │80GB │ │80GB │ │80GB │ │
│ └──────┘ └──────┘ └──────┘ └──────┘ │
│ │
│ CPU: 雙路 x86(Intel Xeon 或 AMD EPYC,視配置而定) │
│ 系統記憶體: DDR5(具體容量依配置) │
│ 網路: 8× ConnectX-7 400Gb/s InfiniBand(節點間擴充套件) │
│ 儲存: NVMe SSD(本地快取/檢查點) │
│ 總 GPU 視訊記憶體: 8 × 80GB = 640GB HBM3 │
└─────────────────────────────────────────────────────────────┘
關鍵引數(DGX H100)
| 引數 | 數值 | 來源/說明 |
|---|---|---|
| GPU 型號 | H100 SXM5 | NVIDIA 規格書 |
| 單 GPU 視訊記憶體 | 80 GB HBM3 | NVIDIA 規格書 |
| 系統總視訊記憶體 | 640 GB | 8 × 80GB |
| 單 GPU HBM 頻寬 | ~3.35 TB/s | NVIDIA 規格書(公開資料) |
| 單 GPU NVLink 雙向頻寬 | ~900 GB/s(4th Gen NVLink) | NVIDIA 規格書 |
| NVSwitch | 3rd Gen NVSwitch | NVIDIA 規格書 |
| 系統功耗 | ~10-11 kW 級別 | 供應鏈估算,依配置/負載有差異 |
| 節點間網路 | 8× ConnectX-7 400Gb/s IB | NVIDIA 配置規格 |
| FP8 稀疏算力(單 GPU) | ~3,958 TFLOPS | NVIDIA 規格書(含稀疏加速) |
| FP16/BF16 算力(單 GPU) | ~1,979 TFLOPS(含稀疏) | NVIDIA 規格書 |
| 系統重量 | ~120 kg 級別 | 供應鏈估算 |
關於精度:以上部分引數(功耗、重量)為行業估算值,NVIDIA 並非所有引數都完全公開。已標註來源口徑。
NVLink/NVSwitch 的通訊機制
在張量並行(Tensor Parallelism)訓練中,每個 Transformer 層的前向/反向傳播都需要 GPU 間交換切分後的張量。NVSwitch 提供的是無阻塞全對全交換:
- 8 張 GPU 全互聯:任意兩塊 GPU 之間的 NVLink 頻寬不因其他 GPU 通訊而競爭;
- 這與 PCIe 交換器的共享頻寬架構形成鮮明對比;
- 支援 NCCL 的 AllReduce、ReduceScatter、AllGather 等集合通訊原語在 NVLink 域內高效執行。
關鍵區分:MoE(Mixture-of-Experts)架構中的 expert dispatch 常使用 All-to-All 通訊,這與標準張量並行的 AllReduce/ReduceScatter 不同——DGX 的 NVSwitch 對兩者均提供高頻寬支援,但通訊模式和排程策略有差異。
DGX H100 vs DGX B200 技術差異
| 維度 | DGX H100 | DGX B200 |
|---|---|---|
| GPU | H100 (Hopper) | B200 (Blackwell) |
| 製程/架構 | Hopper 微架構,TSMC 4N | Blackwell 微架構 |
| 單 GPU 視訊記憶體 | 80GB HBM3 | 官方公佈配置約 192GB HBM3e 級別[待確認,GTC 2024 公告] |
| NVLink 代際 | 4th Gen | 5th Gen |
| NVSwitch | 3rd Gen | 下一代 NVSwitch |
| 單 GPU FP8 算力 | ~3,958 TFLOPS(稀疏) | 約為 H100 的 2-3 倍級別[廠商公告] |
| 互聯頻寬 | ~900 GB/s/GPU(NVLink) | 預計 ~1800 GB/s 級別[待確認] |
| 散熱方案 | 風冷 | 風冷(DGX B200 傳統機箱) |
| 定價(估算) | ~$300K-400K 級別 | [未充分揭露,預計更高] |
GB200 NVL72 vs DGX B200:前者是 72 GPU 機架級液冷方案(Grace-Blackwell 超級晶片),後者是傳統的 8 GPU 風冷機箱——產品形態完全不同。
技術演進史
時間線 ──────────────────────────────────────────────────────►
2017 DGX-1 (8× V100 16GB HBM2)
│ · 首款 NVIDIA 品牌 AI 整機
│ · NVLink 1.0 首次應用於 GPU 互聯
│ · 定價 ~$129K
▼
2018 DGX-2 (16× V100 32GB + NVSwitch 首代)
│ · NVSwitch 首次引入,實現 16 GPU 全互聯
│ · 定價 ~$399K
▼
2020 DGX A100 (8× A100 40GB → 後升級至 80GB)
│ · Hopper 前一代,Ampere 架構
│ · NVLink 3.0 + NVSwitch 2.0
│ · 引入 MIG(Multi-Instance GPU)能力
│ · 定價 ~$199K
▼
2022-23 DGX H100 (8× H100 80GB HBM3)
│ · Hopper 架構,Transformer Engine 引入
│ · FP8 訓練/推論支援
│ · NVLink 4.0 + NVSwitch 3.0
│ · 定價估算 ~$300-400K+
▼
2023 DGX GH200 (256× GH200 Grace Hopper Superchip)
│ · NVLink Switch System 擴充套件至 256 GPU 全互聯域
│ · NVL32 機架概念的前身
▼
2024 GB200 NVL72 (72× B200 + 36× Grace)
│ · 機架級液冷設計,單 NVLink 域 72 GPU
│ · DGX B200(8 GPU 風冷)同時釋出
▼
2025+ 後續代際(Vera Rubin 架構已公佈路線圖)
· NVLink 進一步擴充套件,NVLink Switch 拓撲更大規模
演進趨勢
- GPU 數量/節點:從單機 8 GPU → NVLink 域擴充套件至 72-256 GPU;
- 互聯頻寬:每代 NVLink 頻寬約翻倍;
- 封裝整合:從”GPU 晶片 + 獨立 HBM”走向”GPU+CPU+HBM 超級晶片”(Grace Hopper / Grace Blackwell);
- 散熱:從純風冷到機架級液冷(GB200 NVL72);
- 系統價值量:從 ~$129K/臺增長至 $1-3M 級別(單機架),NVIDIA 在每美元 AI 計算中的佔比持續擴大。
技術路線對比
整機系統路線對比
| 維度 | NVIDIA DGX | AMD Instinct MI300X 系統 | Google TPU v5e/v5p | Intel Gaudi 3 | 定製自研(如 AWS Trainium) |
|---|---|---|---|---|---|
| GPU/AI 加速器 | NVIDIA 自研 | AMD MI300X | Google 自研 TPU | Intel Gaudi | 自研 ASIC |
| 片間互聯 | NVLink + NVSwitch | Infinity Fabric(MI300X 機內)/ UALink(下一代) | ICI(Inter-Chip Interconnect) | RoCE 基互聯 | 自研 |
| 節點間互聯 | InfiniBand 400Gb/s+ | InfiniBand 或 RoCE | Google 自研光互聯 | RoCE 200Gb/s+ | 自研/乙太網路 |
| 軟體生態 | CUDA/cuDNN/NCCL(最成熟) | ROCm(追趕中) | JAX/XLA(繫結 TensorFlow/JAX) | Habana SynapseAI | 自研 SDK |
| 開放性 | 高(通用平台) | 高(通用平台) | 低(僅限 GCP) | 中(開放但生態小) | 低(繫結雲端平台) |
| 訓練大型模型實戰驗證 | ★★★★★ | ★★★☆☆ | ★★★★☆ | ★★☆☆☆ | ★★★☆☆ |
| 供貨彈性 | 受限於台積電產能 | 受限於台積電產能 | 受限於自研晶片產能 | 受限於先進封裝 | 取決於自研+代工 |
| 大致系統定價(估算) | $300K-$3M+(視型號) | $200K+ 級別[估算] | 不對外銷售 | $100K-200K 級別[估算] | 不對外銷售 |
關鍵判斷:DGX 的核心壁壘不在於單顆 GPU 的算力(MI300X 在部分指標上已接近 H100),而在於 NVLink/NVSwitch 互聯 + CUDA 軟體生態 + 全棧系統整合 三者的複合優勢。
上下游
上游供應鏈
| 環節 | 關鍵供應商 | 說明 |
|---|---|---|
| GPU 晶片代工 | TSMC(台積電) | H100: TSMC 4N 工藝[FinFET];Blackwell: TSMC 4NP [FinFET] |
| HBM 封裝 | SK Hynix(主供)、Samsung、Micron | H100 用 HBM3,B200 用 HBM3e |
| 先進封裝 | TSMC CoWoS | H100: CoWoS-S;GB200 NVL72 涉及更復雜封裝[供應鏈資訊] |
| NVSwitch 晶片 | NVIDIA 自研,台積電代工 | NVSwitch 是獨立晶片 |
| 伺服器 ODM/OEM | Foxconn、Quanta、Wistron、Inventec | DGX 系統的實際組裝(部分由 NVIDIA 工廠完成) |
| 電源模組 | Artesyn / Bel Fuse / 臺達等 | 單機 10kW+ 需要高密度電源 |
| 散熱 | 風冷散熱器 + 液冷(GB200 NVL72) | CoolIT、Vertiv、液冷管路供應商 |
| 網路 HCA | NVIDIA 自己(ConnectX-7/8) | NVIDIA 收購 Mellanox 後自產 |
| 光模組 | InnoLight(中際旭創)、Lumentum 等 | InfiniBand 400G/800G 光互聯 |
下游客戶
| 客戶型別 | 代表 | 採購模式 |
|---|---|---|
| 雲端廠商/超大規模 | Microsoft Azure、Google Cloud、AWS、Oracle | 大量直接採購 GPU 或定製伺服器(不一定是 DGX 品牌),部分採購 DGX Cloud |
| AI 模型公司 | OpenAI、Anthropic、xAI、Meta AI | 以 GPU 採購為主,自建或租用資料中心 |
| 企業/科研 | 各國國家級 AI 超算中心、大型企業 | 典型的 DGX / DGX SuperPOD 採購者 |
| AI 雲端服務商 | CoreWeave、Lambda、Together AI | 租賃 DGX 算力,中小客戶觸達 |
關鍵指標
監控清單
| 指標 | 為什麼重要 | 資料來源 |
|---|---|---|
| NVIDIA Data Center 季度營收 | 反映 DGX / GPU 整體出貨景氣 | [NVIDIA 季報] |
| DGX/HGX 出貨量(臺/季度) | 系統級出貨的直接指標 | [供應鏈估算,非官方揭露] |
| HBM3/HBM3e 出貨量(GB/季度) | SK Hynix/Samsung 的 HBM 出貨反映 GPU 產能 | [儲存廠商財報] |
| TSMC CoWoS 產能(wafer/月) | 先進封裝是 GPU 產能的核心瓶頸之一 | [TSMC 法說會/供應鏈] |
| NVLink/InfiniBand 出貨量 | 互聯生態的擴張速度 | [NVIDIA 網路業務營收] |
| 大型模型訓練叢集規模 | 下游需求的領先指標(如 xAI 10 萬 H100 叢集) | [公開新聞] |
| DGX Cloud 例項定價/可用性 | NVIDIA 直營算力定價能力 | [雲端平台定價頁] |
供需與市場資料
需求端
- 訓練側:頭部模型公司(OpenAI、Google、Meta、xAI 等)正建設 10 萬至 100 萬 GPU 級別的訓練叢集[公開報道]。DGX 是其中重要的參考架構,但超大規模客戶更多采購 HGX(無外殼的 GPU 模組)或定製方案。
- 推論側:隨著大型模型部署規模擴大,推論需求正從訓練需求的附屬變為獨立的主要驅動力。DGX 可用於推論但價效比不一定最優(NVIDIA 的 L40S / H200 等可能更適合特定推論場景)。
- 區域:美國是最大市場,中國受出口管制影響,獲取高階 DGX 系統受限(A800/H800 為合規降規版本已逐步受限)。
供給端
- 核心瓶頸:台積電先進製程產能 + CoWoS 先進封裝產能 + HBM 儲存產能,三者均為制約因素。
- 產能擴張:台積電持續擴充 CoWoS 產能(報道中提及年翻倍級別增長計劃),SK Hynix 和 Samsung 同步擴充 HBM 產能。
- 交期:2023-2024 年 DGX H100 交期一度長達數季度,2025 年起部分緩解。
定價(粗略參考)
| 產品 | 估算系統單價 | 說明 |
|---|---|---|
| DGX A100 80GB | ~$199K(歷史定價) | NVIDIA 官方曾公開定價 |
| DGX H100 | ~$300-400K+(估算) | 不含網路/儲存/安裝,實際部署成本更高 |
| GB200 NVL72(單機架) | $2-3M+ 級別[行業估算] | 液冷系統,含 NVLink Switch 機架 |
注意:NVIDIA 對 DGX 定價並不完全公開透明,以上為行業口徑估算,實際價格受配置、批次、客戶關係等因素影響極大。
代表公司與資本對映
NVIDIA(NVDA)自身
DGX 是 NVIDIA “Data Center” 營收的核心組成部分。NVIDIA FY2024(截至 2024.1)Data Center 營收約 $475 億[NVIDIA 年報],FY2025 進一步爆發式增長。但需注意:
- 營收構成:DGX 系統僅佔 NVIDIA Data Center 營收的一部分;大量營收來自向超大規模客戶直接銷售 GPU 模組(HGX / HGX 模組)、網路裝置(InfiniBand / Spectrum-X)、以及軟體許可(AI Enterprise);
- NVIDIA 未單獨揭露 DGX 系統的營收佔比。
產業鏈對映
| 公司 | 股票 | 與 DGX 的關係 | 受益邏輯 |
|---|---|---|---|
| TSMC | TSM | GPU/NVSwitch 晶片代工 | GPU 產量 = TSMC 先進製程出貨量 |
| SK Hynix | 000660.KS | HBM3/HBM3e 主供 | HBM ASP 高、產能緊張、獲利豐厚 |
| Samsung Electronics | 005930.KS | HBM 供應、可能的代工 | 追趕 HBM 市場份額 |
| 中際旭創 (InnoLight) | 300308.SZ | 400G/800G 光模組供應 | 資料中心互聯需求驅動 |
| Foxconn (鴻海) | 2317.TW | DGX / HGX 伺服器 ODM | AI 伺服器組裝出貨量增長 |
| Quanta (廣達) | 2382.TW | 伺服器 ODM | 同上 |
| Vertiv | VRT | 資料中心電源/散熱 | DGX 高功耗推動電源/液冷需求 |
| Amphenol | APH | 高速聯結器 | NVLink/InfiniBand 物理連線 |
| CoreWeave | CRWV(IPO 中) | DGX / HGX 大量採購者,算力租賃 | AI 算力需求的中間商 |
投資邏輯
多頭邏輯
- AI 訓練/推論算力需求的結構性增長:模型規模定律(Scaling Laws)驅動更大叢集、更多 GPU,DGX 作為”標準單元”受益。
- 從元件到系統的價值量提升:NVIDIA 通過 DGX/GB200 NVL72 不僅賣 GPU,還賣 NVSwitch、網路(InfiniBand)、軟體許可——系統價值量遠超單顆 GPU。
- CUDA 生態的切換成本:企業使用者轉向 AMD/Intel 的學習成本和風險極高,DGX 的”開箱即用”優勢構成軟壁壘。
- DGX Cloud 開闢新營收模式:NVIDIA 自營算力租賃,將一次性硬體銷售轉為經常性營收。
- 推論需求的釋放:推論市場的規模最終可能超過訓練市場,DGX 在推論場景同樣有廣泛部署。
空頭/風險邏輯
- 超大規模客戶”去 NVIDIA”趨勢:Google(TPU)、AWS(Trainium/Inferentia)、Microsoft(Maia)均在自研晶片,長期可能減少對 DGX/GPU 的依賴。
- AMD 的追趕:MI300X 在價效比上已具備一定競爭力,ROCm 生態逐步完善,企業客戶的第二供應商策略可能分流需求。
- 出口管制風險:中國市場受限可能影響 NVIDIA 的營收增長天花板。
- 估值已高:市場對 AI 基礎設施的樂觀預期已部分定價,需關注訂單/出貨能否持續超預期。
- 供應鏈瓶頸:台積電 CoWoS 產能、HBM 供應緊張可能制約實際出貨節奏(供需雙刃劍)。
常見誤讀糾偏
誤讀 1:“DGX 就是把 8 張顯示卡塞進伺服器”
糾偏:DGX 的核心差異化不在”塞了多少張卡”,而在 NVLink + NVSwitch 的全對全高速互聯。市面上也有 8-GPU 伺服器(如 Supermicro 的多 GPU 伺服器),但它們通常通過 PCIe 交換器互聯,片間頻寬僅為 NVLink 的 1/10 至 1/15。對於大型模型訓練中頻繁的 AllReduce/ReduceScatter 通訊,這個差距直接決定訓練效率。此外,DGX 還包含經過驗證的 NVLink 拓撲、InfiniBand 網路、Base Command 軟體棧等全棧整合。
誤讀 2:“GB200 NVL72 就是更大號的 DGX”
糾偏:GB200 NVL72 與傳統 DGX 有本質的產品形態差異:
- GB200 NVL72 是 機架級液冷系統,72 塊 B200 GPU + 36 顆 Grace CPU 在一個 NVLink 域內全互聯,需要專門的液冷資料中心基礎設施;
- 傳統 DGX B200 是 8 GPU 風冷機箱,可放入標準資料中心機櫃;
- 二者的目標客戶、部署條件、成本結構均不同。將 NVL72 簡單理解為”DGX 的大版本”會忽略其在資料中心基礎設施層面的顛覆性要求。
誤讀 3:“DGX 的主要競爭對手是 AMD 的伺服器”
糾偏:DGX 真正的競爭壓力來自 超大規模客戶自研系統。Google TPU、AWS Trainium 等自研晶片不對外銷售,但它們代表了”最大買家正在自建替代品”的趨勢。AMD MI300X 是顯性的、公開的競爭對手,而自研晶片是隱性的、結構性的替代威脅——後者對 NVIDIA 的長期定價權構成更大挑戰。
誤讀 4:“MoE 模型訓練用的是 All-to-All 通訊,這和張量並行一樣”
糾偏:通訊模式不同。標準張量並行(Megatron-LM 風格)主要使用 AllReduce / ReduceScatter 來同步梯度和聚合切分的張量。而 MoE(Mixture-of-Experts)的 token dispatch 使用 All-to-All 通訊將 token 路由到不同 expert 所在的 GPU——兩者對網路拓撲的要求不同。DGX 的 NVSwitch 對兩者均提供高頻寬支援,但軟體層面的排程策略有差異。
學習路徑
入門(2-4 小時)
- 閱讀 NVIDIA DGX 產品頁,瞭解產品線全貌;
- 觀看 NVIDIA GTC 演講(黃仁勳主題演講),建立產業直覺;
- 瞭解 GPU 訓練的基本概念:什麼是張量並行、資料並行、流水線並行。
進階(1-2 周)
- 精讀 Megatron-LM 論文(NVIDIA):理解張量並行/流水線並行在 DGX 上如何實現;
- 研讀 NCCL 文件:理解 AllReduce、AllGather 等集合通訊在 NVLink/NVSwitch 上的執行機制;
- 閱讀 NVIDIA 技術部落格中關於 NVLink、NVSwitch、InfiniBand 的架構解析;
- 對比了解 AMD MI300X 系統架構(如 AMD 的 CDNA 3 架構白皮書)。
深入(持續)
- 追蹤 NVIDIA 季度財報(Data Center 營收、毛利率、管理層對 DGX 的表述);
- 關注台積電 / SK Hynix 的產能擴充進展(CoWoS、HBM);
- 研讀 GB200 NVL72 的機架級架構設計,理解”從伺服器到資料中心”的範式轉變;
- 關注開源大型模型訓練實踐(如 LLaMA 的技術報告),瞭解實際訓練中 GPU 叢集的使用方式。
一句話總結
DGX 是 NVIDIA 從晶片公司進化為 AI 基礎設施公司的戰略載體——它將 GPU 算力、高速互聯、系統整合、軟體生態打包為一個可交付的”AI 超算原子單元”,其真正壁壘不在於單顆 GPU,而在於 NVLink/NVSwitch 互聯拓撲 + CUDA 生態鎖定 + 全棧整合能力的複合護城河。
延伸閱讀與來源
| 來源 | 連結/出處 | 說明 |
|---|---|---|
| NVIDIA DGX 產品頁 | nvidia.com/en-us/data-center/dgx-systems/ | 官方產品規格 |
| NVIDIA H100 規格書 | NVIDIA 官網/技術白皮書 | H100 Tensor Core GPU Architecture Whitepaper |
| NVIDIA Blackwell 架構公告 | GTC 2024 Keynote | B200 / GB200 NVL72 產品釋出 |
| NVIDIA 季度財報 | investor.nvidia.com | Data Center 營收、管理層 commentary |
| Megatron-LM 論文 | Shoeybi et al., 2019 (arXiv:1909.08053) | 張量並行/流水線並行在 DGX 上的實現 |
| NCCL 文件 | docs.nvidia.com/deeplearning/nccl/ | 集合通訊庫架構 |
| TSMC 法說會紀要 | 各券商/媒體整理 | CoWoS 產能擴張計劃 |
| SK Hynix / Samsung 財報 | 季度報告 | HBM 出貨與產能 |
| SemiAnalysis | semianalysis.com | 付費深度報告(GPU 供需、CoWoS 產能分析) |
| The Information / Bloomberg | 公開報道 | DGX Cloud、大型 AI 叢集建設新聞 |
免責宣告:本頁部分技術規格為行業口徑估算或基於公開資訊推斷,已盡力標註來源與可信度。投資決策請以官方揭露和獨立研究為準。