晶片層 開放閱讀

Mesh 互連

Mesh Interconnect

概念 ID
mesh-interconnect
更新時間
2026-05-29
來源數量
待補

Mesh 互連(Mesh Interconnect)

3 秒看懂

一句話: Mesh 互連是一種把計算節點排成網格、每個節點只跟上下左右鄰居直連的網路拓撲——結構簡單、佈線規整、可擴充套件性好,是 AI 晶片片上網路(NoC)和大規模訓練叢集中最重要的互連拓撲之一。

關鍵詞: 2D/3D 網格、片上網路 NoC、拓撲直徑、對分頻寬、維度序路由

3 分鐘產業解釋

為什麼 AI 行業需要關心”怎麼連線”?

大型模型訓練的核心矛盾之一:算力增長的速度遠快於通訊頻寬增長的速度。 當數千甚至數萬顆加速器協同訓練一個模型時,晶片之間怎麼連線(拓撲),直接決定了通訊延遲、頻寬利用率和叢集的線性擴充套件能力。

Mesh 互連之所以在 AI 產業中頻繁出現,是因為它具備三個工程優勢:

  1. 版面配置規整:二維/三維網格與晶片物理版圖天然吻合,佈線長度可預測,有利於高良率製造。
  2. 可擴充套件性好:增加節點只需”繼續鋪網格”,無需重新設計中心交換結構。
  3. 無中心瓶頸:不像星形/樹形拓撲有集中式交換節點,Mesh 的流量天然分散在多條路徑上。

產業中的典型應用場景

場景典型代表(定性,非窮舉)說明
片上網路(NoC)Cerebras WSE 系列晶圓級晶片、Intel Xeon Scalable 系列處理器的核間互連、多數現代 SoC晶片內部數十到數百個計算瓦片(tile)通過片上 Mesh 互連
晶片間 Pod 級互連Google TPU Pod(2D/3D Torus 變體)、Graphcore IPU-Fabric多顆 AI 加速器在機架/跨機架範圍通過 Mesh 或 Torus 拓撲組網
通用伺服器叢集內互連Intel Xeon Scalable(Skylake-SP 代及後續)的片上核間 Mesh 取代了此前的 Ring Bus伺服器 CPU 核數增多後,Ring Bus 頻寬/延遲不再夠用

15 分鐘專家深入

核心概念圖譜

Mesh 互連
├── 拓撲變體
│   ├── 2D Mesh(基礎網格)
│   ├── 2D Torus(網格 + 環繞鏈路)
│   ├── 3D Mesh / 3D Torus(擴充套件到三維)
│   └── K-ary N-cube(通用數學描述)
├── 路由策略
│   ├── 維度序路由(Dimension-Ordered Routing, 如 XY 路由)
│   ├── 自適應路由(Adaptive Routing)
│   └── 死鎖避免機制(虛擬通道等)
├── 關鍵效能維度
│   ├── 拓撲直徑(最大跳數)
│   ├── 對分頻寬(Bisection Bandwidth)
│   ├── 每鏈路頻寬 & 聚合二分頻寬
│   └── 尾延遲 / 擁塞行為
└── 在 AI 訓練中的影響
    ├── AllReduce 通訊效率
    ├── All-to-All(MoE dispatch)的路徑多樣性
    └── 與 GPU/NPU 集合通訊庫的適配

Mesh vs Torus:一個關鍵區分

Mesh 是”開放式網格”——邊緣節點只連內部鄰居,拓撲直徑較大。

Torus 是”環繞式網格”——邊緣節點通過額外鏈路連到對側,拓撲直徑近似減半,但佈線更復雜(長環繞線的物理延遲和訊號完整性是工程挑戰)。

2D Mesh (4×4)           2D Torus (4×4)
┌──┬──┬──┬──┐           ┌──┬──┬──┬──┐
│ 0│ 1│ 2│ 3│←wrap→│ 0│  │←wrap→
├──┼──┼──┼──┤           ├──┼──┼──┼──┤
│ 4│ 5│ 6│ 7│           │ 4│ 5│ 6│ 7│
├──┼──┼──┼──┤           ├──┼──┼──┼──┤
│ 8│ 9│10│11│           │ 8│ 9│10│11│
├──┼──┼──┼──┤           ├──┼──┼──┼──┤
│12│13│14│15│           │12│13│14│15│
└──┴──┴──┴──┘           └──┴──┴──┴──┘
                         ↑wrap↓  ↑wrap↓
邊緣節點少一條鏈路         邊緣也連到對側

Google 在其公開文獻中描述 TPU v4 Pod 採用 3D Torus 拓撲(即三維 Mesh 加環繞鏈路),這對大規模 AllReduce 等集合通訊的延遲控制至關重要。

路由機制與死鎖避免

在 Mesh 上最經典的路由方式是 XY 維度序路由(Dimension-Ordered Routing):

  1. 先沿 X 方向將資料包路由到目標列;
  2. 再沿 Y 方向路由到目標節點。

這種嚴格維度序可以天然避免死鎖,但不利用多路徑能力,可能造成區域性擁塞。

自適應路由允許資料包根據鏈路負載動態選擇路徑,提高吞吐量,但需要 虛擬通道(Virtual Channel, VC) 機制來避免死鎖——將物理鏈路邏輯切分為多條虛擬通道,不同 VC 之間不形成迴圈依賴。

AI 場景啟示: 大型模型 All-to-All 通訊(MoE 架構的專家 dispatch 階段)流量模式高度不規則,自適應路由+多 VC 對緩解尾延遲有顯著意義。


技術原理(最深一層)

1. 拓撲數學描述

K-ary N-cube 是 Mesh/Torus 的通用數學描述:

  • K = 每個維度的節點數
  • N = 維度數
拓撲全稱示例
2D Mesh8-ary 2-mesh8×8 Mesh = 64 節點
2D TorusK-ary 2-cube8-ary 2-cube = 64 節點
3D TorusK-ary 3-cube16-ary 3-cube = 4096 節點

2. 關鍵拓撲引數(通用公式)

設 K-ary N-mesh(N維,每維K個節點):

節點總數        N_total = K^N

拓撲直徑(最大跳數):
  Mesh:    D_mesh  = N × (K - 1)
  Torus:   D_torus = N × ⌊K/2⌋

每節點度(連線的鄰居數):
  Mesh:    度 ∈ [N, 2N]  (角節點最少,中心最多)
  Torus:   度 = 2N(所有節點相同)

對分頻寬(Bisection Bandwidth): 將網路等分為兩半所需的最少切割鏈路頻寬——這是衡量 Mesh 承受全域性通訊壓力的關鍵指標。

對分寬度(切割鏈路數):
  2D Mesh (K×K):  ≈ K 條鏈路
  2D Torus (K×K): ≈ 2K 條鏈路

對分頻寬 = 對分寬度 × 單鏈路頻寬

定性判斷: 在 AllReduce 等全域性集合通訊中,對分頻寬往往是實際吞吐的天花板。Mesh 的對分頻寬隨 √N 增長(2D),這意味著節點數翻倍時,全域性通訊可用頻寬只增長約 41%——這是 Mesh 擴充套件性的核心瓶頸。

3. 通訊模式在 Mesh 上的行為

┌─────────────────────────────────────────────────┐
│         集合通訊操作 vs Mesh 拓撲匹配度           │
├──────────────┬──────────────────────────────────┤
│ AllReduce    │ 網路拓撲敏感。Ring AllReduce 只   │
│              │ 用單路徑,頻寬受限於最慢鏈路。      │
│              │ Tree/Recursive-Halving 可更好利用  │
│              │ Mesh 多路徑,但需要集合通訊庫適配。 │
├──────────────┼──────────────────────────────────┤
│ All-to-All   │ 流量高度去中心化,Mesh 多路徑優   │
│ (MoE)        │ 勢顯著。但無自適應路由時,熱點節點 │
│              │ 可能成為瓶頸。                     │
├──────────────┼──────────────────────────────────┤
│ AllGather /  │ 類似 AllReduce,拓撲感知的演算法    │
│ ReduceScatter│ (如 2D Ring)可顯著提升效能。     │
├──────────────┼──────────────────────────────────┤
│ Point-to-    │ 延遲取決於跳數。XY 路由下,平均    │
│ Point        │ 跳數 ∝ √N(2D Mesh)。             │
└──────────────┴──────────────────────────────────┘

4. 片上 Mesh NoC 架構示意

          ┌──────────────────────────────────────┐
          │              SoC / AI 晶片            │
          │  ┌────┐   ┌────┐   ┌────┐   ┌────┐  │
          │  │Tile│───│Tile│───│Tile│───│Tile│  │
          │  │ 0,0│   │ 1,0│   │ 2,0│   │ 3,0│  │
          │  └─┬──┘   └─┬──┘   └─┬──┘   └─┬──┘  │
          │    │        │        │        │      │
          │  ┌─┴──┐   ┌─┴──┐   ┌─┴──┐   ┌─┴──┐  │
          │  │Tile│───│Tile│───│Tile│───│Tile│  │
          │  │ 0,1│   │ 1,1│   │ 2,1│   │ 3,1│  │
          │  └─┬──┘   └─┬──┘   └─┬──┘   └─┬──┘  │
          │    │        │        │        │      │
          │  ┌─┴──┐   ┌─┴──┐   ┌─┴──┐   ┌─┴──┐  │
          │  │Tile│───│Tile│───│Tile│───│Tile│  │
          │  │ 0,2│   │ 1,2│   │ 2,2│   │ 3,2│  │
          │  └────┘   └────┘   └────┘   └────┘  │
          │                                      │
          │  每個 Tile = 計算核 + SRAM + 路由節點  │
          └──────────────────────────────────────┘

每個路由節點含:
  - 輸入緩衝區 (Input Buffer)
  - 路由計算單元 (Route Computation)
  - 虛擬通道分配器 (VC Allocator)
  - 交叉開關 (Crossbar Switch)
  - 鏈路輸出

片上 Mesh NoC 的關鍵設計考量:

引數影響典型設計選擇
鏈路寬度(bit)決定單跳吞吐256b–512b 片上常見 [需檢索驗證]
鏈路頻率單跳吞吐 = 寬度 × 頻率通常與核心頻率同頻或倍頻
虛擬通道數抗死鎖 + 抗擁塞2–4 VC 是常見折中
流控機制信用制(Credit-based) vs 握手片上多用信用制

技術演進史

時期里程碑關鍵變化
~2000s學術界提出片上網路(NoC)概念MIT RAW 晶片(~2002)是早期 Mesh NoC 代表;從此取代匯流排成為眾核架構首選互連
~2007–2012Intel SCC(Single-chip Cloud Computer)等實驗晶片48 核 Mesh 互連驗證了片上 Mesh 在眾核中的可行性
~2017Intel Xeon Scalable(Skylake-SP)釋出Intel 在主流伺服器 CPU 上從 Ring Bus 切換到 Mesh 互連,原因是核數增多後 Ring 直徑過大、頻寬不足
~2017–2018Google TPU v2/v3 PodTPU Pod 採用 Torus(Mesh 環繞變體)拓撲進行晶片間互連,這是 Mesh 類拓撲在 AI 超算中的標誌性應用
~2019Cerebras WSE-1 釋出晶圓級晶片上 40 萬+核心通過 2D Mesh NoC 互連,是 Mesh NoC 極致規模化的代表
~2021Cerebras WSE-2延續 Mesh NoC 架構,核心數進一步提升至約 85 萬 [需檢索驗證具體數字]
~2022–2023Google TPU v4 / v5e Podv4 採用 3D Torus,v5e 採用 2D Torus,拓撲繼續演進,強調拓撲感知的集合通訊最佳化
~2023+超大規模 AI 叢集行業開始探索 Mesh + Fat-tree 混合拓撲,或 Dragonfly 變體來平衡成本與全域性頻寬

技術路線對比(量化定性表)

⚠️ 以下比較基於拓撲理論性質,具體數字因實際實現而異,表中標註”定性”的為一般性結論。

維度2D Mesh2D Torus3D TorusFat-TreeDragonfly全連線(Full Mesh)
節點度≤4(定性)4(定性)6(定性)葉: 1 上行 + 多下行(定性)中等(定性)N-1
拓撲直徑2(K-1)2⌊K/2⌋3⌊K/2⌋2×層數(定性)3(定性,全域性)1
對分頻寬/節點O(1/√N)(定性)O(2/√N)(定性)O(2/N^{1/3})(定性)O(1)(定性)取決於全域性鏈路比O(N)
佈線複雜度中(環繞線長)中高高(多層交換器)極高(O(N²)鏈路)
成本低–中高(交換器數量)不可擴充套件
可擴充套件性上限受對分頻寬限制優於 Mesh萬級節點數萬節點數萬–十萬~數十
AI 訓練適配片上 NoC 最優Pod 級常用Google TPU 標配NVIDIA DGX SuperPOD 方案學術界+部分商業方案不實際
通訊熱點問題邊緣節點頻寬不均均勻均勻根交換器可能瓶頸全域性鏈路競爭

核心取捨: Mesh 的優勢在規整、簡單、低成本;劣勢在對分頻寬隨規模增長不足。Fat-Tree 和 Dragonfly 用更多交換器/鏈路換取更好的全域性頻寬,但成本和佈線複雜度上升。


上下游

上游(Mesh 互連依賴什麼)

物理層
├── SerDes / Die-to-Die PHY
│   ├── 片上: 簡單連線(金屬層走線)
│   └── 片間: 高速 SerDes(28G–112G+ [需檢索驗證])
├── 封裝技術
│   ├── 2.5D: 矽中介層(如 CoWoS)上的 die-to-die 互連
│   ├── 3D 堆疊: TSV 直連(HBM 即此原理,但 Mesh 也適用)
│   └── 先進封裝(EMIB、Foveros 等)
└── PCB / 光互連(跨機架場景)
    ├── PCB 走線 → 銅纜 → 光纖(距離遞增)
    └── 光互連對 Torus 環繞鏈路尤為重要

下游(誰在用 Mesh 互連)

應用層
├── AI 訓練叢集
│   ├── 資料並行 AllReduce
│   ├── 模型並行(張量並行/流水線並行)
│   └── MoE All-to-All
├── AI 推論叢集
│   └── 大 batch 分片推論
├── HPC 科學計算
│   └── MPI 通訊
└── 通用伺服器工作負載
    └── 資料庫、記憶體一致性協議

關鍵指標

指標含義為什麼重要
對分頻寬(Bisection BW)將網路切成兩半所需的最小鏈路頻寬全域性通訊吞吐的硬天花板
拓撲直徑(Diameter)任意兩節點間最大跳數決定最壞情況延遲
平均跳數隨機通訊對的平均跳數影響平均延遲
每節點聚合頻寬節點所有埠的總頻寬決定單節點通訊能力
注入頻寬(Injection BW)節點向網路注入資料的速率計算與通訊的介面頻寬
擁塞行為高負載下延遲增長曲線AI 訓練中 All-to-All 容易觸發擁塞
可擴充套件性斜率效能隨節點數增長的變化率線性擴充套件是 AI 叢集的理想

供需與市場資料

⚠️ Mesh 互連不是一個獨立市場品類,而是晶片/系統設計中的架構選擇,沒有單獨的市場規模資料。以下從相關市場推斷。

定性判斷

  • AI 訓練晶片市場(NVIDIA GPU、Google TPU、Cerebras、Graphcore 等)中,Mesh/Torus 拓撲在片上 NoC 和 Pod 級互連中佔據重要份額。
  • 伺服器 CPU 市場中,Intel Xeon Scalable 系列(佔全球伺服器 CPU 出貨量的主要份額 [需檢索驗證])在 Skylake-SP 代之後均採用片上 Mesh 互連。
  • 先進封裝(為 die-to-die Mesh 提供物理基礎)市場高速增長,Yole 等機構估算 2023 年全球先進封裝市場約 400–450 億美元 [需檢索驗證]。

供需動態

  • 需求側: AI 模型規模增長 → 更多計算瓦片需要互連 → Mesh NoC 規模和頻寬需求增長。
  • 供給側: 先進工藝(更細線寬允許更寬片上匯流排)和先進封裝(2.5D/3D die-to-die)的進步直接提升 Mesh 互連的頻寬密度。

代表公司與資本對映

公司Mesh 互連角色上市/融資狀態相關標的邏輯
Intel伺服器 CPU(Xeon Scalable)片上 Mesh NoC;曾研究 Pohoiki Springs(Loihi)的 Mesh 互連上市: INTC片上 Mesh 互連成熟度高;關注 Meteor Lake/Sierra Forest 等新架構的 Mesh 演進
GoogleTPU Pod 採用 2D/3D Torus 互連(母體 Alphabet 上市: GOOGL)上市: GOOGLTPU 互連拓撲是其差異化競爭力之一
CerebrasWSE 系列晶圓級晶片,40 萬–85 萬核心通過 Mesh NoC 互連 [需檢索驗證]私有(多輪融資)Mesh NoC 極致規模化代表
GraphcoreIPU-Fabric 以 Mesh-like 拓撲連線 64,000 處理器核心 [需檢索驗證]私有(多輪融資,2024 年經營承壓 [需檢索驗證])大規模互連的另一案例
TSMC提供 CoWoS/InFO 等先進封裝,為 die-to-die Mesh 互連提供物理基礎上市: TSM / 2330.TW先進封裝產能直接約束 Mesh 擴充套件能力
AMDEPYC 採用 Infinity Fabric(非嚴格 Mesh,但 chiplet 間互連思想相關)上市: AMDchiplet 互連演進中 Mesh 思想的滲透
Broadcom交換晶片(Memory/Switch ASIC)用於建置 Fat-Tree/Dragonfly 等替代拓撲上市: AVGOMesh vs Fat-Tree 的競爭格局中的”對手方”

投資邏輯

核心觀點

  1. Mesh 互連的價值在於”簡單中的可擴充套件性”。 對於片上 NoC 場景(數萬到數十萬核心),Mesh 幾乎是唯一工程可行的選擇——規整、可預測、與版圖天然匹配。這意味著先進製程和先進封裝的每一次進步,都會直接擴大 Mesh 的適用規模,相關公司(TSMC、Intel Foundry)受益。

  2. Pod 級 Mesh/Torus vs Fat-Tree/Dragonfly 是一個持續競爭格局。 NVIDIA DGX SuperPOD 採用 Fat-Tree(NVSwitch + InfiniBand),而 Google TPU Pod 採用 Torus。兩種路線各有取捨:Fat-Tree 全域性頻寬更好但需要更多交換器,Torus 節省交換器但對分頻寬受限。誰能在更大規模上保持線性擴充套件,誰就能贏得下一代 AI 叢集的互連標準之爭。

  3. 集合通訊軟體棧的重要性被低估。 硬體拓撲確定後,集合通訊庫(NCCL、Gloo、TPU 的 XLA 通訊最佳化器等)能否拓撲感知地排程通訊操作,對實際訓練效率的影響可達 20–50% [需檢索驗證]。這是”軟實力”層面的投資邏輯。

風險提示

  • Mesh 的對分頻寬增長慢於節點數增長(O(√N) for 2D),在超大規模叢集中可能不如 Fat-Tree 或 Dragonfly。
  • 如果光互連/CXL 等新技術改變晶片間連線的物理層,Mesh 的工程優勢(規整佈線)可能被削弱。

常見誤讀糾偏

誤讀 1:“Mesh 和 Torus 是一回事”

糾偏: Torus = Mesh + 環繞鏈路。兩者拓撲直徑和對分頻寬有顯著差異:

  • 2D Mesh 直徑 = 2(K-1),2D Torus 直徑 = 2⌊K/2⌋(近似減半)。
  • Torus 的環繞鏈路在物理實現上是長線,存在訊號延遲和功耗問題。在片上場景,當 K 較大時,環繞線的 RC 延遲可能顯著高於相鄰節點間的短線。因此片上 NoC 多用 Mesh,Pod 級多用 Torus(因為片間距離通過 SerDes 均一化了)。

誤讀 2:“Mesh 互連的頻寬會隨節點數線性增長”

糾偏: 這是直覺上最大的誤讀。Mesh 的聚合鏈路頻寬確實隨節點數線性增長(每個節點固定 2–4 條鏈路),但對分頻寬只隨 √N(2D)或 N^{2/3}(3D)增長。在 AllReduce 等全域性通訊中,實際可達到的吞吐受限於對分頻寬而非聚合頻寬。這就是為什麼 Google 在 TPU v4 中從 2D 升級到 3D Torus——3D 拓撲將對分頻寬的擴充套件性從 O(√N) 提升到 O(N^{2/3}) [理論推導]。

誤讀 3:“片上 Mesh NoC 和片間 Mesh 互連是一回事”

糾偏: 物理實現完全不同。片上 Mesh NoC 使用金屬層走線(低延遲、固定寬度、與核心同頻),而片間 Mesh 互連使用高速 SerDes(需要 PLL、CDR、均衡器,延遲高得多,頻寬由 SerDes 速率決定)。兩者雖然拓撲邏輯相同,但延遲、頻寬、功耗特徵完全不同,設計考量也不同。


學習路徑

Level 0 — 入門
  └─ 理解"拓撲"概念:把計算機連成不同形狀有什麼區別?
     推薦: 搜尋 "network topology basics" 視覺化教程

Level 1 — 基礎
  └─ 讀懂 Mesh / Torus / Ring / Fat-Tree 的拓撲圖
     推薦: 計算機體系結構教材中的互連網路章節
         (Hennessy & Patterson《計算機體系結構:量化研究方法》相關章節)

Level 2 — 進階
  └─ 理解路由演算法、死鎖/活鎖避免、虛擬通道
     推薦: William Dally & Brian Towles《Principles and Practices of Interconnection Networks》
          —— 這是互連網路領域的"聖經級"教材

Level 3 — 專家
  └─ 分析 AI 訓練中的通訊模式與拓撲匹配
     推薦:
       - Google TPU 論文(Jouppi et al. 系列,涉及 TPU Pod 拓撲描述)
       - Megatron-LM 論文中的通訊分析部分
       - NVIDIA NCCL 文件中的拓撲感知通訊

Level 4 — 前沿
  └─ 研究下一代互連拓撲(Dragonfly、Slim Fly、光互連 Mesh 等)
     推薦:
       - Cerebras/Graphcore 技術白皮書
       - SC/Micro/HPCA 等體系結構頂會論文

一句話總結

Mesh 互連以”網格鋪磚”的極簡結構實現了規整可擴充套件的晶片內/晶片間通訊,在 AI 時代既是片上 NoC 的事實標準、也是大規模訓練叢集中 Torus 拓撲的工程基底——其核心制約是對分頻寬的次線性增長,理解這一點是判斷 AI 系統擴充套件能力的關鍵。


延伸閱讀與來源

型別來源說明
教材W. Dally & B. Towles, Principles and Practices of Interconnection Networks互連網路最權威教材
教材Hennessy & Patterson, Computer Architecture: A Quantitative Approach互連網路章節
論文Jouppi et al., “In-Datacenter Performance Analysis of a Tensor Processing Unit” (ISCA 2017)TPU 互連架構早期描述
論文Jouppi et al., “TPU v4: An Optically Reconfigurable Supercomputer…” (ISCA 2023)TPU v4 3D Torus 互連描述
論文Cerebras 技術白皮書(WSE 架構)晶圓級 Mesh NoC
行業Intel Xeon Scalable 官方文件片上 Mesh 互連架構
行業Graphcore 技術文件(IPU Architecture)IPU-Fabric 拓撲
開源NCCL 文件(Topology Discovery & Awareness)瞭解實際訓練中拓撲感知的通訊最佳化
前沿SC/HPCA/Micro 會議論文搜尋 “topology-aware collective communication”

免責宣告: 本文中標註 [需檢索驗證] 的數字基於作者訓練資料中的記憶,可能存在偏差,建議讀者查閱原始來源確認。未標註來源的具體數字均為定性估算或理論推導,不應作為投資決策的精確依據。

source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助;不構成投資建議,不預測漲跌,不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型