SHARP/NVLink 協同

1 3 秒看懂

SHARP/NVLink 協同是將 InfiniBand 交換器在網歸約（SHARP）與 GPU 節點內 NVLink 高速直連歸約深度耦合的層次化通訊架構。它讓分散式 AI 訓練的梯度聚合操作分別在 GPU 本地與網路交換器兩級並行完成，使計算與通訊重疊，從根本上消除跨節點 All‑reduce 的冗餘資料傳輸與同步停頓，成為萬卡級叢集保持線性擴充套件效率的必要條件。

2 3 分鐘產業解釋

在生成式 AI 時代，訓練一個大型模型需數千張 GPU 協同工作。傳統做法中，每張 GPU 產生的梯度必須通過“All‑reduce”操作在所有節點間同步——資料反覆進出 GPU 視訊記憶體、穿越 CPU 記憶體、網絡卡與交換器，每一步都拉長訓練時間，且隨著卡數增加，通訊開銷呈比例膨脹，最終使增加 GPU 幾乎無法帶來加速。SHARP/NVLink 協同正是這一瓶頸的產業答案。

它的核心思路是將原來必須由 GPU 依次執行的全域性求和“拆成兩層流水線”。節點內部，所有 GPU 通過 NVLink 和 NVSwitch 構成一個全互聯域，先在極高的頻寬（如 NVLink 4.0 雙向 900 GB/s）下完成區域性歸約，只產出一份“部分和”。這一部分和隨後藉助 GPUDirect RDMA 直接推送到 InfiniBand 網絡卡，不再經過 CPU 中轉；資料在穿越交換器晶片時，交換器內的 SHARP 引擎就在轉發路徑上即時執行求和/求最大值等浮點或整數操作，將最終歸約結果直接返回各節點。整個過程使通訊頻寬的有效利用率倍增，節點間交換的資料量下降數倍，GPU 不再因歸約而被迫空閒等待。

這一架構位於 AI 基礎設施互連層，向上支撐 Megatron‑LM、DeepSpeed 等分散式訓練架構，向下依賴 NVIDIA 的 NVSwitch 晶片、Quantum InfiniBand 交換器和 ConnectX 網絡卡及 NCCL 集合通訊庫。它不僅是 NVIDIA DGX SuperPOD 等全棧方案的核心，也是雲端服務商（如 Microsoft Azure、Oracle Cloud）和超算中心建置十萬卡級訓練平台時衡量互連能力的關鍵指標。從產業鏈視角，它使 InfiniBand 超越了純頻寬競賽，轉向以 “網內計算” 換取端到端訓練吞吐效率的範式。

3 技術原理

3.1 分層歸約流水線

全域性 All‑reduce 被解耦為 節點內本地歸約 與 節點間網路歸約 兩級。梯度一旦在反向傳播中產生，同一個伺服器內的 8 或 16 張 GPU 首先經由 NVLink 與 NVSwitch 進行高頻寬、超低延遲的區域性收縮。每張 GPU 只保留或接收一份本地部分和，而非全部副本。隨後，每個節點僅需將本地部分和推入網路，由交換器執行跨節點歸約。這種分層策略將原本需要 O(P) 通訊量的全域性操作降為 O(logN) 級別，並極大減少了進出 GPU 視訊記憶體的無效資料。

3.2 SHARP 網路內歸約

SHARP（Scalable Hierarchical Aggregation and Reduction Protocol）是 InfiniBand 交換器晶片內部實現的硬體歸約引擎。它在資料包經過交叉開關矩陣時，根據指定的歸約運算元（如大整數/浮點 SUM、MIN、MAX 等）動態“彙總”資料，並且可將結果多播回所有參與節點。以 Mellanox Quantum‑2 平台為例，SHARP 可支援多達數百個併發歸約組，歸約延遲通常被壓至幾微秒級別，而傳統端到端 All‑reduce 往往在數十微秒以上（來源：NVIDIA SHARP 技術白皮書，2022 年）。重要的是，歸約發生在資料移動的過程中，不額外消耗 GPU 或 CPU 週期。

3.3 NVLink/NVSwitch 域內本地歸約

節點內通過 NVSwitch 實現無阻塞的全互聯。以 H100 HGX 系統為例，8 塊 GPU 通過 4 顆第三代 NVSwitch 互連，每顆提供 8 個 NVLink 4.0 埠，總聚合雙向頻寬達 7.2 TB/s。NCCL 可在此拓撲上高效執行 NVLink‑AllReduce，僅將部分和交由網絡卡處理。節點內歸約使跨節點流量被“壓縮”數倍，這在萬卡叢集中可將交換器的扇出壓力降低一個數量級。

3.4 GPUDirect RDMA 與 NCCL 協同

GPUDirect RDMA 允許 ConnectX 網絡卡與 GPU 視訊記憶體通過 PCIe 匯流排直接通訊，繞過 CPU 記憶體複製與核心協議棧。NCCL 庫即時感知物理拓撲，自動將使用者呼叫的 ncclAllReduce 對映為“NVLink 本地歸約 + GPUDirect RDMA 寫網絡卡 + SHARP 網路歸約”的多階段流水。NCCL 還會根據張量大小、節點數、梯度產生順序動態排程階段重疊，確保計算和通訊非同步執行。通過這種協同，典型大型模型訓練中通訊開銷可被掩蓋至接近零。

3.5 計算‑通訊重疊機制

在 PyTorch 或 JAX 的自動微分過程，梯度在後向傳播中逐層生成。NCCL 會在梯度分片尚在 GPU 流處理器產生時，就啟動 NVLink 域內的區域性歸約，並立刻通過 GPUDirect RDMA 向網絡卡推送。此時網路歸約與下一層的梯度計算在時間上重疊，GPU 的 SMs 幾乎全週期維持飽和計算。實驗表明，這種機制可在 2K A100 叢集上實現的 LLM 訓練中，通訊開銷佔比從傳統方案的 30％ 以上壓縮至 5％ 以內（來源：NVIDIA GTC 2021 演講 “Scaling Language Model Training”）。

4 關鍵引數

• NVLink 頻寬：NVLink 4.0 單鏈路雙向 100 GB/s，H100 GPU 18 鏈路聚合 900 GB/s（來源：NVIDIA H100 資料手冊，2022 年）。NVLink 5.0（Blackwell）單鏈路提升至 200 GB/s（來源：NVIDIA Blackwell 架構白皮書，2024 年）。
• NVSwitch 聚合：第三代 NVSwitch 提供每晶片 64 個 NVLink 4.0 埠，聚合雙向頻寬 12.8 TB/s（來源：NVIDIA NVSwitch 技術概述，2023 年）。HGX H100 8‑GPU 區域聚合 7.2 TB/s。
• InfiniBand 埠速率：NDR（400 Gbps）自 2021 年商用，單埠信令速率 400 Gb/s；XDR（800 Gbps）於 2024 年隨 Quantum‑X800 平台推出（來源：NVIDIA GTC 2024 專題）。
• SHARP 延遲與吞吐：Quantum‑2 交換器 SHARP 組最大支援 64 個節點歸約，延遲低至 1.5 µs（針對小訊息），聚合歸約吞吐約 200 GB/s 每交換器（來源：Mellanox/NVIDIA Quantum‑2 規格表，2022 年）。
• 端到端 All‑reduce 效率：在 2K‑GPU 叢集線性擴充套件測試中，啟用 NVLink 本地歸約 + SHARP 相比傳統 All‑reduce 可降低延遲 2‑3 倍，提高 Goodput 30‑50%（來源：NVIDIA “In-Network Computing” 白皮書，2021 年，具體數字取決於模型規模與拓撲）。
• NCCL 協議：從 NCCL 2.8 起，自動協商 NVLS（NVLink Sharp）路徑，支援 FP16/BF16/FP32 歸約（來源：NCCL 官方文件，2023 年）。
• 能耗：NVSwitch TDP 約 100 W（每個），Quantum‑2 交換器典型功耗約 60 W/埠，暫無公開全叢集協同能效比精確數字。

5 技術路線

NVLink 與 InfiniBand SHARP 的協同路線經歷多代迭代，且與 NVIDIA 的 GPU 平台繫結緊密。

• Pascal‑Volta 時代（2016‑2018）：NVLink 1.0/2.0 僅提供 GPU 間點到點互聯，無 NVSwitch，節點內歸約仍需藉助環拓撲。InfiniBand 側 SHARP v1 僅支援整數歸約，與 NCCL 未深度打通，協同主要以使用者自定義 MPI 實現。
• Ampere 與 NVSwitch 2.0（2020 年）：A100 引入 NVSwitch 2.0，實現節點內全互聯直接歸約；SHARP v2 支援 FP32/BF16 浮點歸約；NCCL 2.8 開始支援“NVLink Sharp”協議，首次將本地歸約與網路歸約自動流水線化，實質奠定了當前的協同範式。
• Hopper 與第三代 NVSwitch（2022 年）：H100 搭載 NVLink 4.0，NVSwitch 容量翻倍，8 卡 HGX 本地歸約效率再提升；Quantum‑2 交換器 SHARP 支援 FP64 和更大歸約組，結合 GPUDirect RDMA 非同步，使千卡至萬卡訓練成為標準配置。
• Blackwell 與 NVLink 5.0（2024 年）：GB200 NVL72 通過 NVLink 5.0 和 NVLink Switch 將 72 個 GPU 整合為單一超節點，節點內本地歸約規模激進擴充套件；與之配合的 Quantum‑X800 交換器和 ConnectX‑8 網絡卡提供 800 Gbps InfiniBand 鏈路，SHARP 匯流能力進一步放大，超節點與網路的比例協同成為前沿課題。
• 未來方向：NVIDIA 公佈了 Spectrum‑X 乙太網路平台引入自適應路由與區域性擁塞控制，並計劃將網內計算能力帶向乙太網路。業界預計 NVLink 將在節點間延伸（如 NVLink Switch 系統），使 DGX 機架內通訊完全 NVLink 化，SHARP 可能繼續演化為更廣義的“資料流歸約”處理器，與記憶體語義互連融合。

6 上游

• 交換器晶片與網絡卡：Quantum InfiniBand 交換器 ASIC（由 NVIDIA 內部設計，台積電代工），ConnectX 網絡卡晶片（如 ConnectX‑7/8）是 SHARP 引擎的載體。上游涉及 SerDes IP、先進封裝、高頻寬儲存器（如 HBM 用於交換器快取？交換器一般用 SRAM）、PCIe 控制器 IP 等。
• GPU 與 NVSwitch 晶片：NVSwitch 是節點互動的心臟，採用 NVIDIA 定製大晶片，依賴台積電 4nm/5nm 工藝與 CoWoS 封裝。GPU 內 NVLink 控制器、HBM 堆疊和矽中介層是關鍵前道環節。
• 光模組/有源光纜：NDR 400G 和 XDR 800G 埠使用 QSFP112/QSFP‑DD 光模組，主要供應商如 Coherent、中際旭創、Finisar 等；NVLink Over Fibre 實驗性方案依賴高密度 VCSEL 或矽光引擎，但目前 NVLink 節點內仍以銅纜為主。
• 聯結器與背板：NVSwitch 模組通過高密度板端聯結器或 NVLink 銅纜背板（如 DGX 的 NVLink Spine）連線 GPU，對訊號完整性與 PCB 材料（超低損耗覆銅板）有苛刻要求。
• 晶圓代工與封測：NVIDIA 依賴台積電先進製程（4NP, 3nm）及封裝（CoWoS‑L 等），上游產能擴張直接影響互連交換器與 GPU 供應。2023‑2024 年 CoWoS 產能緊張一度制約 AI 晶片出貨。

7 下游

• 巨型雲端服務商：Microsoft Azure、Amazon Web Services、Google Cloud、Oracle Cloud 等均基於 NVIDIA HGX/H100 等方案建置超大規模訓練叢集，SHARP/NVLink 協同是其實現有效擴充套件的必備條件。Azure 自研的 Maia AI 加速器叢集主推 RoCE，但現有對外 AI 服務依舊大量依賴 InfiniBand 方案。
• AI 平台與企業：OpenAI（GPT‑4 訓練）、Meta（Llama 系列）、xAI、Anthropic 等前沿 AI 公司大規模採用此類協同架構。公開資料顯示，Meta 的 24K H100 叢集採用 InfiniBand 互連（來源：Meta AI 基礎設施部落格，2024 年）。
• 超算中心：國家級超算系統如 EuroHPC 的 LUMI 與 Leonardo、美國 NERSC Perlmutter 等均選用 InfiniBand 並啟用 SHARP 功能，用於融合 AI 與傳統 HPC 負載。
• 伺服器/整合商：Supermicro、Dell Technologies、HPE 等出售內建 NVSwitch 與 InfiniBand 的 GPU 伺服器，作為 NVIDIA 的 OEM 渠道，使得企業客戶得以部署標準化 SHARP/NVLink 協同叢集。
• 架構與工具鏈：PyTorch、JAX、DeepSpeed、Megatron‑LM 通過 NCCL 使用底層通訊，使用者通常無感，但最佳化方向圍繞如何更細粒度地暴露拓撲感知，例如在流水線並行與張量並行中更好地分割槽。

8 受益公司

（本節僅客觀列舉與協同技術關聯緊密的公司，不構成任何投資建議或買賣建議。）

• NVIDIA：唯一同時擁有 GPU、NVLink/NVSwitch、InfiniBand（收購 Mellonox）和 NCCL 全棧的廠商。SHARP/NVLink 協同是其資料中心業務的核心護城河。網路業務年化營收執行率在 2024 財年 Q4 超過 130 億美元（來源：NVIDIA 財報電話會議，2024 年 2 月），主要由 InfiniBand 驅動，但公司未單獨揭露 SHARP 相關營收佔比。
• Mellanox 團隊（現屬 NVIDIA）：其 Quantum 系列交換器和 ConnectX 網絡卡是 SHARP 的實際承載硬體，內部深度整合入 NVIDIA 產品線。
• 雲端服務商：通過對外提供配備完整協同架構的 GPU 虛擬機器或裸金屬例項，在 AI 訓練託管服務中獲取超額收益，邊際獲利率受益於訓練效率提升。
• OEM/ODM：Supermicro、廣達、緯創等 NVIDIA 合作伙伴供應的 HGX/ DGX 系統因整合 NVSwitch 而具有較高的價值量，每節點售價遠高於純 GPU 代工銷售。
• 光模組與互連元件公司：受益於 InfiniBand 800G 升級週期，相關供應商獲得增量訂單，但協同技術本身對其無直接附加值。

9 市場規模

• InfiniBand 交換器市場：據行業分析機構 650 Group 和 Crehan Research 的公開摘要（2024 年），2023 年全球 InfiniBand 交換器市場營收估計在 20 億至 25 億美元之間，年增率增長強勁，其中幾乎全部具備 SHARP 能力（Quantum 系列）。但綜合考量口徑差異，更精確的絕對數字公開資料未見。NVIDIA 2023 財年（截至 2023 年 1 月）網路業務營收約 91 億美元，2024 財年大幅增長，其中 InfiniBand 貢獻主體。
• NVSwitch 相關市場：NVSwitch 晶片不單獨出售，其價值已計入 H100/HGX 系統。摩根士丹利等券商估算，2023 年 NVIDIA 的 NVSwitch 晶片相關營收（含 NVLink 專利授權）約在數十億美元量級，但並無獨立財報科目可核驗。
• AI 訓練互連 TAM：根據 Dell’Oro Group 報告（2024 年 7 月），2024 年 AI 後端網路（含 InfiniBand 與高速乙太網路）市場約 100 億美元，到 2027 年預計超過 200 億美元。SHARP/NVLink 協同在 InfiniBand 方向佔據絕大部分份額，但未來乙太網路網內計算可能分流。
• 歸約加速可定址市場：尚無公開市場研究將“網內歸約協同”單獨作為品類測算。公開資料未見針對 SHARP/NVLink 協同的獨立市場規模統計。通常通過 InfiniBand 埠和 DGX 系統出貨量間接推斷。

10 玩家對比

• NVIDIA 專有體系 vs. 傳統 All‑reduce + RoCEv2：多數非 NVIDIA 方案依賴乙太網路 RoCEv2 加標準 MPI/NCCL 通訊，無網路內歸約。節點內歸約藉助 PCIe 或 GPU 環，跨節點歸約需要 GPU 收發全部資料，往往導致有效頻寬僅 50‑60% 線速。實驗表明，在萬卡級別，RoCEv2 叢集的通訊開銷可達 NVIDIA SHARP/NVLink 方案的 2‑3 倍（來源：MLPerf 提交資料對比，2023 年），但後者鎖定在專有生態。
• AMD Infinity Fabric Link + 乙太網路：AMD MI300X 平台通過 Infinity Fabric 提供高達 896 GB/s 的 GPU 間直連，並可通過網絡卡連線乙太網路。AMD 開放 ROCm 與 RCCL 堆疊，但目前無公開資料證實其在網路交換器內實現了歸約解除安裝，也未形成協同流水線公開測試結果。在大規模訓練中，AMD 叢集多依賴標準乙太網路，通訊效率相對 NVIDIA 協同方案尚有差距。
• Intel Gaudi + RoCE 與整合 RDMA：Intel Gaudi 3 內建 24 個 200 GbE RDMA 埠，將通訊嵌入加速器內，但未採用網路歸約交換器，需依賴伺服器 CPU 或 GPU 參與全域 All‑reduce。其集中式設計可在部分模型中獲得良好擴充套件，但未提供類似 SHARP 的網內計算協同。
• Google TPU 與 ICI 互連：TPUv5p 使用電路交換的 ICI 互連和光開關，支援大規模片上歸約，不與 InfiniBand 生態競爭。TPU 系統本質上是通過專用網路拓撲實現本地化歸約，不屬於通用 GPU 範疇。
• Cray Slingshot / HPE Rosetta：Slingshot 採用乙太網路衍生協議，支援部分限定的網內計算，但部署集中在超算，尚未在主流 LLM 訓練中形成與 NVLink 協同的案例。

11 風險

• 供應商鎖定與技術依賴：SHARP/NVLink 協同完全依賴 NVIDIA 的專有軟體、硬體和晶片設計，客戶無法更換任一元件。一旦 NVIDIA 改變產品路線、供應鏈中斷或調整定價，叢集擴充套件與維護將面臨結構性風險。
• 成本過高：InfiniBand 交換器與網絡卡的每埠單價數倍於同等速率的乙太網路方案，NVSwitch 與 NVLink 互連元件同時抬升伺服器物料成本。對於研發預算有限的企業，建置具備協同最佳化的大規模叢集門檻極高，可能導致 AI 訓練算力進一步向巨頭集中。
• 供應鏈瓶頸：2023‑2024 年臺積電 CoWoS 和封測產能緊張已延遲 DGX 系統和交換器交付，疊加 NVSwitch 晶片與 HBM 短缺，直接制約協同架構的落地速度。
• 乙太網路陣營追趕：超大規模企業（如 Meta、Google、Microsoft）正大力投入基於乙太網路的訓練架構，UEC（Ultra Ethernet Consortium）推動支援網內計算的乙太網路規範。若未來 Ethernet 交換器普遍實現集合通訊解除安裝，並配合 NVLink‑over‑Ethernet 或 PCIe 6.0 等，可能削弱 InfiniBand SHARP 的獨特性。
• 跨平台相容風險：NVIDIA 協同架構要求 NCCL、CUDA、InfiniBand 驅動與 GPU 韌體版本強繫結，混合部署不同世代硬體或混用第三方加速器時可能出現整合困難，阻礙異構計算叢集演進。

12 誤讀糾偏

• “SHARP 可以替代 NVLink”：錯誤。SHARP 最佳化的是節點間網路歸約，NVLink 負責節點內歸約和 GPU 間超高速通訊。兩者是層級互補關係，缺一則需依靠 CPU 或 GPU 完成兩級歸約，導致效率大幅倒退。
• “只要有 InfiniBand 交換器就自動啟用協同”：部分不正確。需要交換器韌體支援 SHARP，且 NCCL 版本、GPU 驅動和系統拓撲需正確配置才會啟用 NVLink+SHARP 流水線。很多老款 EDR InfiniBand 交換器不支援 SHARP，或 NCCL 回退至純環 All‑reduce。
• “NVSwitch 只是效能加分”：並非如此。若沒有 NVSwitch 提供全互聯域，節點內歸約必須走環或樹拓撲，頻寬與延遲顯著劣化，網路歸約也無法收到壓縮後的部分和，協同效應會大打折扣。
• “SHARP/NVLink 協同能消除所有通訊開銷”：不現實。雖然可將大部分歸約操作隱藏在計算之後，但隨著模型尺寸擴大、張量並行度上升，某些控制訊息和首尾梯度同步仍可能暴露延遲，特別是在故障頻發的鬆弛同步協議下。
• “這是純硬體最佳化，軟體無關緊要”：誤解。NCCL 對拓撲感知和協議排程決定了協同是否真正生效。沒有 NCCL 的動態流水，即便硬體都支援，效能仍可能遠不及預期。

13 最新事件

• GB200 NVL72 系統釋出（2024 年 3 月 GTC）：NVIDIA 釋出全新 Blackwell 平台，NVLink 5.0 聚合頻寬達 1.8 TB/s；通過 NVLink Switch 將 72 個 GPU 組成 72‑GPU 超節點，內部通訊完全採用 NVLink，外部依然由 Quantum InfiniBand 對接 SHARP 協同。該系統強化了超節點內“本地歸約”的極致能力。
• Quantum‑X800 XDR 交換器（2024 年）：NVIDIA 推出 800 Gbps InfiniBand 交換平台，整合增強的 SHARP 引擎，支援更大規模和更復雜的歸約運算元，預計在 2024 年底開始向大型雲端客戶出貨（來源：NVIDIA 新聞稿，2024 年 3 月）。
• Spectrum‑X 乙太網路初步進入 AI 網路：NVIDIA 的 Spectrum‑4 交換器（2023 年）結合 BlueField‑3 DPU 實現自適應路由和擁塞控制，為乙太網路引入部分網路內處理能力，但尚未完全實現對等 SHARP 歸約。其與 NVLink 協同驗證仍在早期。
• 雲端服務商大規模部署：Microsoft Azure 在 2024 年 Build 大會上展示其針對 OpenAI 的專用叢集，採用 H100+InfiniBand NDR，並確認啟用 SHARP 與 NVLink 協同。Oracle Cloud 亦宣佈其 OCI Supercluster 利用完整 NVIDIA 棧（來源：Oracle 新聞，2024 年）。
• NCCL 2.20 更新：2024 年 6 月 NCCL 釋出新版本，進一步優化了 NVLS（NVLink Sharp） 協議，在張量並行與專家並行場景下可動態選擇節點內歸約路徑，減少了多租戶干擾。

14 追蹤指標

• NVIDIA 網路業務營收：季度財報中的“Networking”營收（目前約在每季度 30‑40 億美元量級，2024 財年 Q4 為 32.9 億美元，年增率增長 237%，來源：NVIDIA 財報）反映 InfiniBand 與 Spectrum 需求趨勢，持續高速增長意味著更多叢集搭載 SHARP 能力。
• InfiniBand 端口出貨量：由 Crehan Research、650 Group 等機構每季度統計。埠增速與平均速率提升間接驗證 SHARP 部署規模。2023 年全年 InfiniBand 端口出貨量年增率估計增長超過 60%，公開資料需付費獲取。
• NVIDIA DGX/HGX 系統出貨：因 HGX 搭載 NVSwitch，OEM 伺服器出貨量可揭示節點內歸約域的部署量。追蹤 Suermicro、Dell 的 GPU 伺服器銷售或 NVIDIA 的 DGX 系統展望可推斷。
• MLPerf Training 成績：關注使用 NVIDIA 平台提交的提交者說明，是否主動提及啟用 SHARP+NVLink 協同及其帶來的擴充套件效率。例如，NVIDIA 自身的 MLPerf 提交中通常會揭露最佳化細節。
• NCCL 釋出說明：每個新版本 NCCL 的變更日誌（如對 NVLS 的增強、對新型交換器的支援）可反映協同功能成熟度及技術路線落地程序。
• 超算 TOP500 中 InfiniBand 份額：InfiniBand 系統佔比變化，特別是具備 SHARP 標誌的新系統入榜，作為協同架構在高效能運算領域滲透的佐證。
• 各大雲端服務商 AI 訓練例項配置文件：AWS、Azure、GCP 對外公開的 AI 訓練例項是否繼續選用 NVIDIA 網路，並在文件中提及 SHARP 支援。
• UEC 規範進展與 NVIDIA 響應：乙太網路在網計算標準化將對 SHARP 構成競爭，追蹤 Ultra Ethernet Consortium 釋出 1.0 規範的時間節點和 NVIDIA 的應對產品（如 Spectrum‑X 新功能）。

15 信源

• NVIDIA Networking 官方技術門戶 “In-Network Computing” 與 SHARP 技術概述（https://network.nvidia.com）
• NVIDIA NVLink 和 NVSwitch 技術白皮書（2023、2024 版）
• NCCL 文件與釋出說明（https://github.com/NVIDIA/nccl）
• NVIDIA GTC 演講：例如 GTC 2021 “Scaling Language Model Training”，GTC 2024 “Blackwell Networking”
• Mellanox/NVIDIA Quantum‑2 產品規格表與效能白皮書（2022 年）
• NVIDIA H100 Tensor Core GPU 資料手冊（2022 年）
• NVIDIA Blackwell 架構白皮書（2024 年）
• NVIDIA 財務報與電話會議記錄（FY2024 Q4, 2024 年 2 月；FY2025 Q2 等）
• 第三方市場報告：650 Group “Data Center Switch Report” (2024)；Crehan Research “InfiniBand Switch Market” (2024)；Dell’Oro Group “AI Networks for AI Workloads” (2024 年 7 月)
• Meta AI 基礎設施部落格 “Building Meta’s GenAI Infrastructure” （2024 年）
• Azure 和 Oracle Cloud 公開發布的高階 AI 基礎設施細節（2024 年）
• MLPerf Training 官方結果與提交描述（2023‑2024 輪次）
• Ultra Ethernet Consortium （UEC） 技術白皮書（2023‑2024）