线程块集群（Thread Block Cluster）

⏱ 3 秒看懂

线程块集群是GPU与AI加速器中并行计算的顶层调度单元——它将成百上千个线程按“线程→线程块→线程块集群”三级组织，由硬件协同分配到数百个计算核心上，通过集群内高速共享内存和专用加速器实现极低延迟的数据交换。这套机制直接决定了一块AI芯片在训练千亿参数大模型时，能否把原始算力“打满”，是所有高性能AI系统的基础抽象。

🧭 3 分钟产业解释

在ChatGPT、Sora这类大模型背后，算力的基本组织形态并非“一颗芯片跑一个任务”，而是把一个巨大的矩阵乘法拆成数万个极小的计算片段，映射到芯片内的层级结构上：

1. 线程：执行一条最基础的乘加指令，是算力原子。
2. 线程块：通常包含128–1024个线程，共享一块高速暂存器（Shared Memory），可进行块内同步。NVIDIA CUDA编程中，一个Kernel会启动成千上万个线程块。
3. 线程块集群：在较新架构（NVIDIA Hopper/Blackwell、部分国产AI芯片）中引入的更高一层组织。一个集群包含若干线程块（例如Hopper上为16个），能在硬件层面实现集群内所有线程块“看到”同一片共享地址空间，并通过硬件加速单元（如Tensor Memory Accelerator）直接搬运数据，无需反复绕道全局显存（HBM）。这有效化解了大模型流水线并行和模型并行中的通信瓶颈。
4. 计算核心：Streaming Multiprocessor（NVIDIA）或等效的AI Core（如华为昇腾的Da Vinci Core），实际执行线程块集群中的各线程块。

端到端流程：PyTorch等框架将模型表达为计算图 → 底层编译器（如Triton、MLIR）生成Kernel → 驱动将Kernel分解为线程块集群和线程块 → 硬件调度器根据功耗、缓存余量把集群分配到一组相邻的SM/Core上并行执行。这一过程中，线程块集群的拓扑、共享内存容量、集群内带宽等参数，直接决定了模型算力利用率（MFU）——目前，顶级大模型在NVIDIA H100上的MFU通常仅40%–50%，说明软件与硬件的协同优化仍远未到天花板。

重要区别：线程块集群并非单纯软件概念，而是有对应硬件支持的实体调度域。2022年发布的NVIDIA H100（Hopper架构）首次将其作为核心特性推出，2024年的B200（Blackwell架构）进一步将集群规模翻倍。国产AI芯片中，华为昇腾910B等也实现了类似的层级化协同域，但公开技术细节较少。

🔬 技术原理

从SIMT到集群协作的演化

GPU并行模型本质是单指令多线程（SIMT）：一个SM上同时运行多组线程束（Warp，NVIDIA为32线程/束），同束线程在同一时刻执行相同指令，但可处理不同数据。线程块为保证同步，所有线程块内的线程共享一块由SRAM实现的Shared Memory，块内同步通过__syncthreads()等屏障指令实现。然而，不同线程块之间原本只能通过全局显存（HBM）交换数据，延迟高达几百个时钟周期，这成为跨块通信的瓶颈。

线程块集群的设计目标是在芯片内部构建一个“低延迟协作岛”，让若干个线程块在硬件层面被编为一组，共享一个分布式共享内存空间（Distributed Shared Memory, DSMem），并通过硬件加速器直接读写相邻块的内存。具体实现：

• 分布式共享内存：集群内所有线程块的Shared Memory可以被其它线程块直接寻址。NVIDIA Hopper通过NVLink Switch和TMA协同，使一个线程块可以直接对集群内其它线程块的Shared Memory执行异步拷贝，无需经过L2缓存或HBM。
• Tensor Memory Accelerator (TMA)：一个专用的硬件单元，能从全局内存/HBM向集群内任何一块Shared Memory发起异步数据搬运，同时完成数据格式转换（如转置），减少寄存器占用和指令开销。
• 集群调度器：硬件调度器将整个集群作为“捆绑体”同时发射到一组相邻的SM上，保证它们共享同一高速交叉开关（Crossbar）或局部互联网络，避免跨集群干扰。

以H100的SM结构为例，每个SM包含128个CUDA Core、4个第四代Tensor Core，以及最高228 KB Shared Memory（可配置为Logic或Data Cache）。一个线程块集群（Thread Block Cluster）最多包含16个线程块，意味着集群内可用的Shared Memory总容量理论上可达约3.6 MB，且全部可以直接相互寻址。这种规模足以容纳Transformer的一个完整自注意力头所需的中间矩阵，从而让FlashAttention这类算法得以在集群内极致加速。

与片间互联的协同

单一芯片内部的集群协作是一方面，跨芯片的扩展同样依赖层级化概念。NVIDIA通过NVLink和NVSwitch将多个GPU的线程块集群映射为更大的网格。例如，DGX H100系统中8个H100通过NVSwitch全互联，一个Kernel可以将集群分布在多个GPU上，跨GPU的线程块间通信由NVLink承载，带宽900 GB/s（H100 SXM5）。这种“片上集群—片间集群”的两级协同，成为万亿参数模型训练的关键。

国产芯片也在探索类似路径。华为昇腾910B的达芬奇架构将多个AI Core组成一个Cluster（称为“AI Core集群”），内部具备专用高速总线实现低延迟同步。据华为公开资料，昇腾910B的单Cluster包含8个AI Core，共享L2缓存与HBM带宽。但其跨芯片互联采用HCCS（华为缓存一致性系统），公开实测带宽与NVLink仍有差距。

📊 关键参数

衡量线程块集群架构竞争力的常见参数包括如下几个维度。除特别说明外，数据均来自各公司白皮书或官方发布会，时间为2023–2024年。

1. 集群规模与共享内存

• NVIDIA H100 (Hopper)：每集群最多16个线程块；每SM Shared Memory 228 KB（最大可配置99 KB为L1）；集群内可利用的Shared Memory总计约3.6 MB；支持TMA硬件加速异步拷贝。
• NVIDIA B200 (Blackwell)：集群规模翻倍至32个线程块；每SM Shared Memory增至256 KB；TMA升级至第二代，支持更复杂的数据重排。
• AMD MI300X (CDNA3)：采用统一内存架构，并未在单芯片内正式区分“线程块集群”硬件概念，而是通过无限缓存（Infinity Cache）和Matrix Core协同实现相近效果。每WGP（工作组处理器）Shared Memory 128 KB，一个Compute Unit可调度多个WGP。
• 华为昇腾910B：每AI Core内含多个Da Vinci计算单元，官方未公开发布“Thread Block Cluster”对等概念，但硬件上存在AI Core集群（8个AI Core），共享L2缓存与HBM带宽。公开资料未见详尽的协作模式规格。
• 寒武纪思元590：据公开信息，其MLUarch03架构具有多核集群设计，支持核间高速同步，但未披露具体集群共享内存及硬件加速细节。公开资料未见参数。

2. 集群内带宽与延迟

• H100：SM间互连带宽基于分布式Shared Memory直访与TMA，延迟约几十时钟周期（具体测值未公开）。跨集群通信则需经过L2 Cache/HBM，延迟约200–400周期。
• B200：第二代TMA，集群内带宽比H100提升约2倍（根据NVIDIA 2024 GTC主题演讲）。
• MI300X：利用Infinity Fabric有机连接Compute Die与Cache Die，片上带宽极高（~17 TB/s Aggregate），但并未按线程块集群粒度优化；编程模型仍以wavefront为主。
• 国产：公开资料未见具体的集群内带宽数字。部分学术论文及MLPerf结果侧面反映，在需要密集跨块通信的算法（如FlashAttention）上，国产芯片与H100存在明显差距，可能与集群级硬件支持不足有关。

3. 计算密度与能效

• FP16/BF16算力：H100 SXM5标称1979 TFLOPS（稠密），TDP 700W；B200标称4.5 PFLOPS，TDP 1000W（推测）。整体算力提升部分即来自更大集群规模带来的更高利用率。
• 模型算力利用率：据Meta、MosaicML等公开报告，H100在大模型训练（175B–530B参数）时的MFU约为40%–50%（2023–2024年数据）。国产芯片缺少公开的大规模训练MFU数据。寒武纪在2023年曾披露思元590在实验室环境下的某些推理模型上达到H100级别的能效，但训练场景未给出MFU。

4. 编程与软件栈支持

• NVIDIA：CUDA 11.8+支持cudaClusterSize等API，并与CUTLASS库深度整合；Triton语言（由OpenAI推出）已全面支持Hopper集群特性。
• AMD：ROCm 5.7+未提供与集群对等的编程原语，近期宣布将强化多加速器协作API，但尚处于早期。
• 国产：华为昇腾CANN提供Cluster核管理接口，可指定任务分配到AI Core集群，但公开文档极简。寒武纪Bang Language支持多核编程，但未见集群级抽象。

🛤️ 技术路线

目前，线程块集群的技术演进明显分化出三条路线：

1. NVIDIA路线：硬件集群+生态闭环
   从Volta（2017）的Thread Block Level协作，到Hopper（2022）首次引入硬件集群，再到Blackwell（2024）集群翻倍，NVIDIA正不断将“集群”作为扩展并行效率的基础模块。其优势在于软硬件一体协同设计，CUDA生态成熟，集群特性被主流框架（PyTorch、JAX）和编译器（Triton）原生支持。不足在于封闭生态，授权成本极高，且供应链受地缘限制。

2. AMD路线：统一内存+通用并行
   AMD的CDNA系列强调通过大规模Chiplet与统一内存空间解决数据搬运问题，不单独突出硬件化的线程块集群。编程模型基于HIP和ROCm，兼容性较好，但对于需要显式集群控制的极致优化，工具链支持滞后。其MI300X在推理任务中的表现优秀（根据2023年底第三方测试，Llama2-70B推理吞吐接近H100），但在训练场景中需要客户自行优化跨计算单元通信。

3. 国产路线：多核集群+生态追赶
   华为昇腾、寒武纪、海光等国产AI芯片均采用了片内多核+集群化设计，如昇腾的Da Vinci架构内含多个AI Core并组成“HCCS”互联。然而，由于起步较晚，公开可见的集群特性多体现在硬件层面，编程模型对应用开发者而言较为抽象，仍需大量手动调优。国内芯片企业正全力以赴构建自有的底层库（如华为的Ascend Graph、寒武纪的BangC），距离NVIDIA级别的“开箱即用”仍有时日。

未来可能发展方向：随着模型越来越大，集群规模将从单芯片向Chiplet桥接乃至wafer-scale扩展。后端编译器也需要更多自动化手段，将Transformer、MoE等模式的通信模式自动映射到集群拓扑上，降低手写Kernel的负担。

🏗️ 上游

设计工具与IP

• EDA工具：高端AI芯片的设计高度依赖Cadence、Synopsys、Siemens EDA（前Mentor Graphics）三大巨头的工具链。2022年起美国对先进EDA工具实施出口管制，影响国产7nm以下芯片设计。（来源：BIS 2022.10.7规则）
• 指令集架构IP：NVIDIA自研PTX/SASS，AMD使用RDNA/CDNA自研架构，华为拥有自研达芬奇指令集，寒武纪自研MLU指令集。部分企业如海光信息，获得x86授权实现深算系列，但前景受地缘政治影响。
• 接口IP与芯粒互连：通用Chiplet互连标准UCIe联盟包括Intel、AMD、ARM、台积电等，但中国大陆企业仅少数加入（如阿里巴巴、海思等）。NVIDIA等的NVLink-C2C也属私有协议，授权范围极小。国产芯片在高速SerDes、Die-to-Die互联IP上仍依赖外部获取或自研突破。

原材料与设备

• 晶圆制造：先进制程（4nm、5nm、3nm）被台积电、三星垄断。2023–2024年，AI芯片的先进封装（CoWoS）产能极度紧张，NVIDIA占据台积电2024年约60%的CoWoS产能（来源：摩根士丹利2024年3月研报，基于供应链调研）。中芯国际受制于设备限制，无法量产7nm以下高性能逻辑芯片。
• 高带宽内存（HBM）：SK海力士、三星、美光三足鼎立。H100使用HBM3，带宽3.35 TB/s；B200将搭载HBM3e；国产芯片部分采购三星HBM，但受美国限令影响，公开资料显示2024年起向中国供应高端HBM受限（路透社2024年4月报道）。长鑫存储等国内厂商有望提供HBM，但量产时间与良率未知。

🖥️ 下游

云计算与数据中心

大规模AI训练/推理主要由超大规模云厂商驱动。2023年，全球AI服务器出货量约120万台（TrendForce 2024年1月数据），其中北美四大（微软、Meta、谷歌、亚马逊）占据约60%需求。国内阿里云、字节跳动、百度等紧随其后。这些企业采购整机或芯片自行搭建集群，是线程块集群特性的直接受益者——训练效率提升意味着节省数千万美元的电费和服务器成本。

服务器/系统集成商

超微（Supermicro）、浪潮信息、新华三、联想等将GPU模组集成至AI服务器。它们需要针对不同芯片的集群特性优化冷却、供电和固件，例如H100的液冷解决方案必须适配其高密度集群调度下的瞬时散热需求。这一层的定制化程度正在加深。

软件层与框架

PyTorch、TensorFlow、JAX等框架通过底层编译器（如XLA、Triton）将图运算映射到硬件集群特性。PaddlePaddle（百度飞桨）在国产芯片适配方面更为积极，已与昇腾、寒武纪、海光等完成对接。软件层是连接集群硬件的关键，生态成熟度间接影响芯片的实际可用价值。

🏢 受益公司

以下列举因线程块集群等AI加速技术而受到产业关注的公司，仅作产业格局陈述，不构成任何投资参考。

• NVIDIA：毫无疑问的最大受益者，数据中心收入在FY2024（截至2024年1月）达到475亿美元，同比增长217%。CUDA生态与集群技术构成强大壁垒。
• AMD：凭借MI300X进入超大规模推理市场，2023Q4数据中心GPU营收超4亿美元（AMD 2023Q4财报），微软、Meta已公开采用。
• 台积电：先进制程与CoWoS封装独供，AI相关收入占比逐步提升。2024年预计CoWoS产能将较2023年翻倍（台积电2023Q4法说会）。
• 华为海思：昇腾系列在国内信创及运营商AI算力建设中占据主要份额。据IDC数据，2023年上半年中国AI加速卡（含GPU和NPU）市场中，华为份额约32%，仅次于NVIDIA（约58%）。华为云通过ModelArts打通了从框架到集群的全栈优化。
• 寒武纪：思元系列在国内互联网、金融等领域有适配，但2023年营收规模仍较小（2023年营收约7.09亿元人民币，2023年业绩快报）。能否打开大型模型训练市场尚待观察。
• 海光信息：深算一号DCU兼容“类CUDA”生态（HIP路线），在信创环境中是NVIDIA A100的平替选项之一。2023年Q3财报显示DCU产品收入同比增长。
• 服务器ODM/OEM：超微、浪潮等，作为中间环节，受益于AI服务器出货增长，但利润率受上游芯片和零组件挤占。
• 下游云厂商用户：微软、Meta等通过利用H100集群训练出GPT-4、Llama-3等前沿模型，巩固AI服务领先地位。

📈 市场规模

线程块集群本身是技术特征，并不存在独立的二级市场。可参考相关AI加速芯片市场：

• 全球AI芯片（数据中心加速器）市场规模：据Omdia《Cloud & Data Center AI Processors Market Tracker》（2023年10月报告），2023年全球数据中心AI加速器营收约380亿美元，其中NVIDIA收入份额约76%。预计2024年将突破650亿美元，主要由训练需求驱动。
• GPU出货结构：2023年全球AI服务器GPU出货中，NVIDIA H100约占72%（以等效货值计），A100/H800等次之；国产GPU/NPU整体市占低于10%（Counterpoint 2023Q4报告）。2024年随着Blackwell推出，NVIDIA市占有望进一步巩固。
• 中国市场：IDC《中国半年度加速计算市场跟踪报告》显示，2023年上半年中国加速计算市场规模约为31亿美元，同比增长约54%。其中非NVIDIA的国产解决方案增速快，但多数产品集中在推理和中小规模训练场景。大规模训练的集群级硬件仍主要依赖NVIDIA（公开资料未见2023年全年国产GPU在千卡以上训练中的份额数据）。
• 产能瓶颈对市场的约束：据摩根士丹利2024年4月报告，2024年台积电CoWoS产能将从2023年的19.5万片增长至约31.5万片（12英寸等效），其中NVIDIA约获得60%供给，剩余由英特尔、AMD、博通等瓜分。高端芯片产能紧张将在2024–2025年持续，间接支撑芯片价格与供方议价能力。

⚔️ 玩家对比

（仅比较可公开获取的技术参数与生态，不涉及未来性能预测）

综上，NVIDIA在集群特性和生态成熟度上保持绝对领先。AMD依靠统一架构吸引部分推理需求。国产芯片硬件已具备集群设计思想，但软件生态和实际大规模训练证据仍不充分。

⚠️ 风险

1. 硬件复杂度与验证风险
   线程块集群引入了分布式共享内存、硬件加速单元等复杂模块，设计验证与良率控制难度大。历史上曾有竞品因缓存一致性硬件缺陷导致大规模召回。国产芯片起步晚，量产中可能出现难以快速修复的硬件Bug，影响客户信心。

2. 软件堆栈成熟度不足
   充分利用集群需要从框架到底层编译器全栈适配。目前仅CUDA/Triton路线较完整。即便采购了类似硬件的国产NPU，若软件无法自动映射集群，实际利用率可能惨淡（例如MFU低于10%），这种情况在1–2年内仍难彻底解决。

3. 供应链断裂风险
   美国对华技术出口管制持续收紧。2023年10月更新的规则进一步限制了向中国销售H100同等级别芯片，并限制先进EDA、制造设备和HBM。这意味着国产芯片可能无法使用最新制程与封装技术，导致其硬件迭代放缓，与海外差距拉大。

4. 过度投资与产能泡沫
   当前AI芯片需求被大模型热潮推高，一旦AI商业化不能达到预期，可能出现大量订单取消、芯片库存积压。2024年初部分服务器代工厂已传出部分客户暂缓下单的消息（电子时报2024年3月报道），相关风险值得警惕。

5. 合规与伦理
   算力集中在少数机构手中，引发监管担忧。例如，某些地区可能要求AI芯片厂商加入“算力审计”功能，这可能与原始硬件架构冲突。环境方面，一个拥有数万颗H100的大规模集群年耗电量可达几个中小型发电站的发电量，ESG压力越来越大。

🔍 误读纠偏

• 误区1：“线程块集群越大越好”
  实际上，集群规模受限于SM间互连拓扑、功耗密度和任务并行度。过量集群在某些不规则计算中会导致资源闲置，反而不如独立线程块调度灵活。

• 误区2：“硬件集群可以弥补显存带宽不足”
  集群优化主要降低通信延迟，而非增加带宽。若模型权重远大于HBM带宽，即使集群再高效，数据搬运依然会成为瓶颈。

• 误区3：“国产NPU无法使用CUDA，所以无法训练大模型”
  许多国产芯片通过自研框架和算子库实现训练，只是迁移成本高、效率待优化，不代表“不能”。华为昇腾已在多个内部场景完成千亿参数模型训练。

• 误区4：“只要参数达标，国产可以替代NVIDIA”
  “纸面TFLOPS”与实际模型训练吞吐之间差距巨大，涉及互联、缓存、编译器、集群调度等多方面。真实替代需要以大规模实测结果（如MLPerf）为依据，而非单卡理论值。

📰 最新事件

• 2024年3月，NVIDIA GTC大会：公布Blackwell B200 GPU，线程块集群规模翻倍，标志着集群技术再次迭代。首批B200 GPU计划在2024年下半年量产，预计将用于GPT-5同等规模模型的训练。
• 2024年4月，美国商务部工业安全局（BIS）：更新出口管制规定，要求“性能密度”超出阈值的AI芯片出口需许可，进一步限制H100、H800的替代型号进入中国大陆。此举加深国内供应链不确定性。
• 2024年4月，华为分析师大会：华为云宣布昇腾云服务已支持多家头部互联网企业的大模型训练，并展示了基于自研集群调度框架的千卡集群线性度有所提升，但未公开具体MFU数据。
• 2024年第一季度，寒武纪业绩快报：营收增长有限，公司解释受产能与客户验收进度影响。投资者对AI芯片商业化进程产生分歧。
• 2024年5月，MLPerf Training v4.0结果发布：NVIDIA最新结果继续刷新大模型（GPT-3 175B）的训练时间纪录，但无国产芯片厂商提交训练赛道成绩。推理赛道有部分国产方案参与。

📌 跟踪指标

若要持续了解线程块集群相关技术及产业动向，可重点关注：

• 硬件更新：NVIDIA Blackwell之后架构路线图；AMD MI400系列是否引入集群概念；华为昇腾新架构。
• 基准测试：MLPerf Training/Inference榜单，尤其关注千卡以上模型训练吞吐和线性加速比。
• 供应链动态：台积电CoWoS产能分配变化；HBM3e供货价格与禁售消息；中芯国际7nm产能进展。
• 软件生态：PyTorch/Triton对国产硬件的原生支持节奏；各大云厂商自研芯片（如谷歌TPU v5、亚马逊Trainium2）的开源生态。
• 市场份额数据：Omdia/IDC季度加速器市场报告；Mercury Research GPU市场份额；中国信通院发布的AI芯片白皮书。
• 政策法规：美国BIS出口管制规则更新；欧盟AI法案对数据中心能效要求；中国“东数西算”及国产化采购指导目录。

📚 信源

以下为本文引述的主要公开来源，推荐作为进一步研究的参考：

1. NVIDIA Hopper Architecture White Paper (2022); NVIDIA Blackwell Platform Technical Brief (2024).
2. AMD CDNA3 Architecture White Paper (2023); AMD MI300X Accelerator Brief (2023).
3. 华为昇腾计算官方文档 (ascend.huawei.com)；华为分析师大会2024公开材料.
4. 寒武纪2023年度业绩快报；寒武纪思元590产品介绍资料.
5. Omdia, Cloud & Data Center AI Processors Market Tracker, October 2023.
6. IDC, China Accelerated Computing Market Tracker, H1 2023.
7. TrendForce, AI Server Market Update, January 2024.
8. Morgan Stanley Research, Semiconductor – AI and CoWoS Supply Dynamics, March/April 2024.
9. SemiAnalysis, AMD MI300X Performance and Cost Analysis, December 2023.
10. BIS, Export Administration Regulations – Advanced Computing and Semiconductor Manufacturing Items, October 2022 & October 2023 & April 2024 updates.
11. Reuters, US restricts HBM sales to China, April 2024.
12. MLPerf v4.0 Training Results, May 2024.

声明：本文为技术产业概念梳理，所有数据基于截至2024年5月的公开资料，不包含任何内幕信息或预测性结论。文中涉及的公司、产品仅作产业分析，不构成任何投资建议或技术选型意见。实际采购与开发应以相关公司最新发布及实测为准。