片上网络（NoC, Network-on-Chip）

3 秒看懂

一句话： NoC 是芯片内部的”微型互联网”——用数据包路由取代传统总线，在数十到数千个计算核心/存储块之间实现高带宽、可扩展的片上通信。AI 芯片的算力天花板，往往不在乘法器，而在 NoC 能否喂饱数据。

3 分钟产业解释

为什么需要片上网络？

当芯片从单核走向多核、从 CPU 走向 SoC、从 SoC 走到 AI 加速器集成数千计算单元时，传统的共享总线（如 ARM AMBA AHB/APB）遇到三个致命瓶颈：

1. 带宽瓶颈：总线同一时刻只能服务一对主从设备，多核争用时有效带宽线性下降。
2. 不可扩展：总线长度与挂载设备数成正比，线延迟和信号完整性随规模急剧恶化。
3. 功耗陷阱：长线驱动+全局信号翻转的动态功耗随规模二次方增长。

NoC 的核心思路借鉴了计算机网络：将芯片内部分割为多个节点（计算核、SRAM bank、DMA 控制器、IO 接口等），每个节点通过本地路由器（Router）互联，数据以”包”为单位按路由策略从源到目的传输。

产业地位

• 移动 SoC（高通骁龙、苹果 A/M 系列、三星 Exynos）：NoC 是连接 CPU 集群、GPU、NPU、ISP、视频编解码器等 IP 模块的骨干。
• 服务器 CPU（Intel Xeon Scalable 自 Skylake-SP 起采用 Mesh 互连）：NoC 决定多核间缓存一致性（coherence）的延迟和吞吐。
• AI 加速器（Nvidia H100/B200、Google TPU、Cerebras WSE 等）：NoC 的带宽和拓扑直接决定矩阵分片（tiling）策略的效率，是”算力利用率”的幕后关键。
• Chiplet 时代：Die 内 NoC 与 Die 间互连（UCIe、BoW 等）协同，形成两级网络架构。

市场格局

NoC IP 供应商主要有 Arteris、Sonics 等；同时 ARM 的 CHI（Coherent Hub Interface）协议族虽非严格 NoC，但在 ARM 生态中承担类似角色。头部芯片公司（Apple、Nvidia、Google）倾向于自研片上互连。

15 分钟专家深入

1. 从总线到 NoC 的范式迁移

演进路径：
共享总线 → 分层总线 → 交叉开关(Crossbar) → 片上网络(NoC)
  (单核)    (多核初期)    (中等规模)         (大规模/异构)

• 交叉开关（Crossbar）提供无阻塞全连接，但面积和布线复杂度随端口数 O(N²) 增长，通常只适用于 N ≤ 16-32 的规模。
• NoC 用多跳（multi-hop）路由+稀疏拓扑将面积/线复杂度降至 O(N)，代价是引入路由延迟和拥塞，但通过精心设计拓扑和流控可以逼近全连接的等效带宽。

2. NoC 在 AI 芯片中的关键角色

AI 工作负载的核心模式是大规模并行的矩阵-向量运算，数据复用模式多样：

核心洞察：在典型 AI 芯片中，数据搬运的能量消耗比计算高出 1-2 个数量级（来自学术界广泛引用的能效比数据：片上 SRAM 访问约 1-10 pJ/byte，乘累加运算约 0.1-1 pJ/operation，量级差异为定性共识[综合多篇学术文献]）。NoC 的能效优化（减少不必要的跳数、压缩包头、优化链路编码）直接转化为芯片的能效比（TOPS/W）。

3. 典型 AI 芯片的 NoC 实例

• Nvidia H100 / B200：采用自研的片上互连结构，将 GPC（Graphics Processing Cluster）、L2 Cache 分区、HBM 控制器等互联。Nvidia 官方架构白皮书显示，其 L2 缓存分区与 HBM 控制器之间通过 high-bandwidth crossbar 连接，其余互连细节未完全公开。
• Google TPU v4/v5：脉动阵列（Systolic Array）之间通过定制互连交换数据，同时 Die 间通过 ICI（Inter-Chip Interconnect）组网。公开信息表明 Google 在 TPU Pod 层面采用了 3D torus 拓扑[基于 Google 公开技术演讲]。
• Cerebras WSE（Wafer-Scale Engine）：整片晶圆级芯片集成了数十万核心（WSE-2 约 850,000 核心[厂商公开数据]），其片上 2D Mesh NoC 是整个架构的骨架，每个核心与四邻相连，实现可编程的全局数据交换。
• AMD MI300X / MI350 系列：基于 Chiplet 架构，Die 内使用 Infinity Fabric 的一部分承担 NoC 角色，Die 间再通过高级封装互连。

技术原理

1. NoC 的基本组成

┌─────────────────────────────────────────────────┐
│                  一个 NoC 节点                    │
│                                                   │
│  ┌──────────┐    ┌──────────────┐    ┌────────┐  │
│  │ 计算核心  │◄──►│  网络接口(NI) │◄──►│ 路由器  │  │
│  │ 或存储块  │    │  (Network    │    │(Router)│  │
│  │          │    │  Interface)  │    │        │  │
│  └──────────┘    └──────────────┘    └───┬────┘  │
│                                          │       │
└──────────────────────────────────────────┼───────┘
                              物理链路 ────┘
                    (Link: 并行线束, 通常 N bit 宽)

三个核心组件：

2. 路由器微架构（经典五级流水线）

这是 NoC 研究中的经典模型（来自 Dally & Towles 以及 Stanford/MIT 的早期工作）：

包进入 → [1. 路由计算] → [2. 虚通道分配] → [3. 交换分配] → [4. 交换遍历] → [5. 链路遍历] → 包输出
         (Route Comp.)   (VC Alloc.)      (SW Alloc.)     (Switch Traversal)  (Link Traversal)

  ──── 每个阶段通常占 1 个时钟周期 ────
  典型 NoC 路由器单跳延迟：3~5 个周期（取决于是否流水线化和是否采用投机策略）
  注：部分文献将链路遍历后的缓冲写入（Buffer Write）单独列为一级，形成六级流水。

• 虚通道（Virtual Channel, VC）：同一条物理链路上复用多条逻辑通道，每个 VC 有独立的缓冲队列。关键作用：① 解决队头阻塞（Head-of-Line blocking）；② 支持不同流量类别的隔离（QoS）；③ 死锁避免（通过 VC 的使用约束）。
• 缓冲区（Buffers）：路由器中最大的面积和功耗开销。典型设计每个输入端口配置 2-4 个 VC，每个 VC 深度 2-8 个 flit（flow control unit）。
• 交叉开关（Crossbar Switch）：路由器内部连接输入端口和输出端口的交换网络。端口数少（5 端口：东/西/南/北/本地），面积可控。

3. 拓扑（Topology）

拓扑决定了节点间的连接方式，直接影响带宽、延迟和布线复杂度：

2D Mesh（最常见）          2D Torus                Ring
  ● ─ ● ─ ●               ● ─ ● ─ ●              ● ─ ● ─ ●
  │   │   │               │   │   │                │       │
  ● ─ ● ─ ●               ● ─ ● ─ ●              ● ─ ● ─ ●
  │   │   │               │   │   │
  ● ─ ● ─ ●               ● ─ ● ─ ●
  (边界节点只             (边界环绕连接,           (一维, 面积最小,
   连内部邻居)             等径距更均匀)             带宽受限)

AI 芯片选型趋势：大规模 AI 加速器（如 WSE）偏好 2D Torus/Mesh，因其规则性强、易于物理布局；中小规模（如 NPU 模块内部）可能采用 Ring + Crossbar 混合。

4. 路由算法

死锁避免：是路由算法设计的核心约束。经典方法包括：

• Dimension-Ordered Routing（如 XY）：天然无死锁。
• Escape VC：为确定性路由保留一个 VC，自适应路由使用其余 VC。
• Turn Model（如 West-First, Odd-Even）：禁止特定转弯以打破环路依赖。

5. 流控（Flow Control）

控制数据在路由器间如何传递缓冲资源：

• Store-and-Forward：整个包到齐后才转发。延迟高，但简单。
• Wormhole（虫洞）流控：将包切为 flit（flow control unit），头 flit 开辟路径，后续 flit 紧随通过。延迟最低、缓冲需求最小，是 NoC 的主流方案。
• Virtual Cut-Through：介于两者之间，需要输出缓冲区有足够空间才允许头 flit 进入。

6. 关键性能指标

┌────────────────────────────────────────────────────────┐
│  吞吐（Throughput）：NoC 在饱和前可承载的最大注入率      │
│    ── 通常表示为 flits/node/cycle 或 GB/s              │
│                                                        │
│  延迟（Latency）：从注入到接收的端到端时钟周期数         │
│    ── 空载延迟 = 路由计算 + VC分配 + SW分配 + 交换遍历   │
│       + N跳×链路遍历                                    │
│    ── 拥塞延迟随负载增加（排队理论）                     │
│                                                        │
│  对分带宽（Bisection Bandwidth）：                       │
│    将网络分为两半的最小切割所对应的总带宽                 │
│    ── 决定 AllReduce/All-to-All 类通信的上限             │
│                                                        │
│  面积开销：路由器+链路占芯片总面积的比例                  │
│    ── 典型估计：NoC 占 SoC 面积 5-15% [行业经验值]       │
│                                                        │
│  功耗开销：NoC 动态+静态功耗占芯片总功耗的比例            │
│    ── 典型估计：NoC 功耗占 SoC 总功耗 10-30% [行业经验值]│
│    ── AI 芯片中比例可能更高（因数据搬运密集）             │
└────────────────────────────────────────────────────────┘

技术演进史

技术路线对比

NoC vs 总线 vs Crossbar

主流 NoC 拓扑对比

上下游

上游：NoC 设计工具与 IP

EDA 工具链                           IP 供应商
┌──────────────────────┐    ┌──────────────────────────┐
│ • 网络拓扑综合工具     │    │ • Arteris：               │
│ • RTL 生成 & 验证      │    │   FlexNoC, Ncore         │
│ • 物理设计感知 NoC     │    │ • Sonics：SonicsGN       │
│   布局布线协同          │    │ • ARM：CHI 协议 & 实现    │
│ • 功耗建模 & 优化      │    │ • 自研：Nvidia, Apple,   │
│ • 性能仿真（周期精确）  │    │   Google, Cerebras 等    │
└──────────────────────┘    └──────────────────────────┘

中游：NoC 在芯片中的集成

• 与计算单元集成：每个 PE（Processing Element）通过 NI 挂接 NoC。
• 与存储层次集成：SRAM bank、Scratchpad、L1/L2 Cache 均通过 NoC 路由器连接。
• 与 IO 子系统集成：PCIe、HBM PHY、Die-to-Die PHY 等通过 NoC 边界路由器接入。

下游：承载的工作负载

AI 训练/推理 ──► AllReduce, All-to-All, Weight Multicast, Activation Streaming
HPC ──────────► MPI-like Point-to-Point, Broadcast, Reduction
移动多媒体 ──► Camera→ISP→NPU→Display 的流式数据通路
汽车/工业 ───► 多传感器融合、确定性延迟要求

关键指标

供需与市场数据

⚠ 以下为定性/估算信息，未找到搜索结果中的精确数据。

需求端驱动力

1. AI 芯片核心数爆炸：从 GPU 的数百 SM 到 WSE 的数十万核心，片上通信需求指数增长。
2. Chiplet 架构普及：单 Die 内 NoC + Die 间互连形成两级网络，对 NoC IP 和设计方法学提出新要求。
3. 缓存一致性域扩大：多 Die 系统要求跨 Die 的一致性（如 ARM CMN-700/CMN-S3 的缓存一致性 mesh），NoC 负载加重。
4. 确定性通信需求：自动驾驶芯片要求 NoC 提供有界的最坏情况延迟（WCET）。

供给端格局

市场规模

NoC IP 市场作为 IP 市场的子集，无独立的公开市场规模数据。定性判断：随着 SoC 复杂度和 AI 芯片需求增长，NoC IP 的重要性和价值量持续上升。Arteris 作为独立的 NoC IP 上市公司（纳斯达克代码 AIP），体现了市场对 NoC IP 价值的认可。

代表公司与资本映射

投资逻辑

核心论点

1. “算力的上限是通信”：随着 AI 模型规模持续膨胀，算力增长需要 NoC 带宽同步提升，否则算力利用率（MFU）下降。NoC 是 AI 芯片性能的隐形瓶颈和差异化因素。

2. Chiplet 化扩大 NoC 价值链：从单 Die 内互连扩展到 Die 间互连（UCIe、BoW），NoC 的设计复杂度和 IP 价值量随之增加。Cadence/ARM/Synopsys 的 IP 授权收入间接受益。

3. EDA + NoC IP 的护城河：NoC 设计需要与物理设计、功耗分析、验证深度耦合，形成高壁垒。Cadence 收购 Arteris 后形成 EDA-IP 协同闭环。

4. 自研趋势下的设备和工具需求：即便头部公司自研 NoC，仍需 EDA 工具支持，且设计复杂度上升利好 EDA 工具营收。

风险

• NoC IP 市场相对小众，单一标的难以纯粹暴露。
• 头部客户自研趋势可能压缩第三方 IP 空间。
• Chiplet 标准化仍在演进中（UCIe 1.0/1.1），技术路径不确定性大。

常见误读纠偏

误读 1：「NoC 就是片上的以太网」

纠偏：NoC 借鉴了计算机网络的分组交换思想，但片上环境与板级网络有本质差异：

• 确定性：片上拓扑固定、链路无误码（无需重传）、端口数有限。
• 极低延迟：目标是纳秒级，不容忍 TCP 式的重传和拥塞控制开销。
• 资源极度受限：路由器缓冲区面积是主要开销，不能像网络交换机那样配置大容量 SRAM。
• 功耗敏感：每个翻转的 bit 都消耗能量，包头开销必须极致精简。

因此 NoC 协议设计通常采用轻量级包头、Wormhole 流控、无 ACK 的信用（credit-based）流控，与以太网/TCP 有根本区别。

误读 2：「NoC 的带宽越高越好」

纠偏：

• 带宽与面积/功耗正相关。盲目提升链路宽度或频率会导致 NoC 面积和功耗占比过大，侵蚀计算资源。
• 对于 AI 芯片，关键是有效带宽（即实际工作负载下的吞吐），而非理论峰值。通过优化数据流映射（mapping）和通信调度，中等带宽的 NoC 可以达到更高带宽 NoC 的等效性能。
• 对分带宽往往比总聚合带宽更能反映全局通信能力。

误读 3：「有了 NoC 就不需要考虑片上存储层次了」

纠偏：NoC 和存储层次是协同设计的。如果每个 PE 的本地 SRAM 太小，大量数据需要跨 NoC 远程访问，即使 NoC 带宽足够，延迟和功耗也会成为瓶颈。最优设计是让数据尽量在靠近计算的地方被复用（数据本地性），NoC 只负责必要的远程通信。这就是为什么 AI 芯片的片上 SRAM 容量（如 Nvidia H100 的 50MB+ L2 Cache[厂商公开规格]）和 NoC 设计必须联合优化。

学习路径

入门（0→1）

1. 教材：Networks on Chips: Technology and Architecture（Benini & De Micheli, 2006）——NoC 领域的奠基教材。
2. 教材：Principles and Practices of Interconnection Networks（Dally & Towles, 2004）——互连网络的通用理论基础，NoC 是其子集。
3. 综述论文：搜索 “Network-on-Chip survey” 在 IEEE/ACM 的近 3 年综述，了解最新进展。

进阶（1→10）

4. 动手实践：使用 BookSim（Stanford 开源 NoC 模拟器）或 Garnet（gem5 内的 NoC 模型）进行拓扑/路由/流控的实验。
5. **阅读 ARM CMN / Arteris FlexNoC 的公开技术文档（white paper），理解商用 NoC 的设计约束。
6. 关注 AI 芯片架构论文：如 Eyeriss（MIT, 2016）展示了数据流与 NoC 的协同设计。

专家（10→100）

7. 研究方向：死锁避免的证明方法（依赖图/通道依赖图）、QoS 机制设计、功耗建模、与物理设计的协同优化。
8. 关注前沿：UCIe 标准演进、光互连（Silicon Photonics）NoC 原型、Chiplet 系统的两级路由架构。

一句话总结

NoC 是 AI 时代芯片的”血液循环系统”——它不产出一个 FLOPS 的算力，却决定了所有 FLOPS 能否被有效利用。

延伸阅读与来源

声明：本文中标注 [估算]、[行业经验值]、[定性推断] 的内容均无精确公开来源佐证，仅供参考。具体产品规格以厂商官方文档为准。