可重构数据流(Reconfigurable Dataflow)
1. 3 秒看懂
一句话定义:可重构数据流架构是一种让硬件计算资源根据数据流动路径动态组合、数据到达即触发的芯片设计范式,目标是绕过传统冯·诺依曼架构的“存储墙”,大幅提升AI计算的能效比和实时性。 形象类比:如果把CPU比作按部就班的“厨师长”发号施令,GPU比作同时开工的“快餐后厨”,那可重构数据流就是一场“流动的寿司宴”——食材(数据)在传送带上自动流转到面前的手(计算单元),吃完立刻传给下一位,没有来回搬运,且传送带路径可随菜单(算法)随时调整。 关键词:数据流驱动、硬件动态重构、软硬件协同编译、极低延迟、超高能效。
2. 3 分钟产业解释
为什么需要它
传统冯·诺依曼架构的瓶颈在于“指令流驱动”和集中的内存墙。数据在处理器与片外内存之间频繁搬运,耗费了远超计算本身的时间和能量。在AI模型参数动辄千亿、万亿的今天,数据搬运的功耗甚至占到系统总功耗的60%以上。可重构数据流架构将“处理单元(PE)”组织成一个可编程的片上网络,数据到达即计算,计算结果直接流向下一PE,中间无需返回内存暂存,从原理上消除大量数据搬运,实现与模型结构高度匹配的硬件执行通路。
产业链全景定位
- 上游:EDA工具、IP核授权、先进制程制造(5nm/3nm)、先进封装(CoWoS、3D堆叠)以及高带宽内存(HBM)供应商。
- 中游(核心):可重构数据流芯片设计公司及其配套的编译器、运行时软件栈。这是产业链的“定义者”。
- 下游:超大规模数据中心(AI推理、部分训练)、自动驾驶域控制器、边缘AI服务器、科学计算(分子模拟、气象预测)等对延迟和能效极致追求的场景。
核心价值
在AI算力需求每3~4个月翻番而摩尔定律放缓的当下,可重构数据流被认为是最有可能突破“算力-能耗”剪刀差的技术路径之一,特别是在大规模推理和实时性要求极高的任务中,其每瓦性能(TOPS/W)可达传统GPU的5~10倍(来源:Groq、SambaNova等公司发布的白皮书及MLPerf推理基准,具体参数见第4节)。
3. 技术原理
数据流驱动 vs. 指令流驱动
CPU/GPU依靠程序计数器顺序读取指令,再由指令调度数据执行。可重构数据流芯片则将整个计算任务抽象为一张数据流图。图中每个节点代表一个算子(如卷积、矩阵乘),边代表数据依赖。硬件通过网络将物理计算单元直接按图连接,一旦上游数据有效,下游单元立即启动,无需取指、译码等固定流水级,实现“零开销”的时空调度。
“链-芯片-核心”三层抽象
这是本架构的逻辑视图,也是名称“chain-chip-core”的由来:
- 核心(Core):芯片内最小的可独立配置计算单元,通常是包含算术逻辑单元(ALU)、少量寄存器和本地控制器的轻量级PE。核心功能专一,但能通过配置字改变运算行为。
- 链(Chain):多个核心通过可编程互连构成一条计算流水线或一个子任务数据通路。一条“链”对应深度神经网络中的某一层或一个子图,数据在其中顺序流动。
- 芯片(Chip):全硅片上成千上万个核心及其之间的可重构互连网络。编译器会根据整个神经网络模型,将芯片划分为多个空间上并行的链,实现层间流水线与层内并行。
硬件可重构的实现方式
通过片上可编程交换节点或交叉开关,在纳秒级内改变核心之间的连接关系。重构可分为:
- 静态重构:在任务启动前由编译器完全固化数据流路径,运行期间不再改变(如Groq的确定性数据流)。
- 动态重构:运行过程中根据输入尺寸或控制流变化,局部快速切换数据通路(如SambaNova的RDU)。
- 混合重构:空间上不同区域执行静态流水线,全局调度器分配任务。
编译器:最关键的软硬件桥梁
将PyTorch/TensorFlow模型映射到数据流图并分配到片上核心,需要极复杂的编译优化。编译器执行图划分、算子融合、缓冲区分配、核心布局和路径规划,部分公司甚至采用先进搜索(如Groq的深度定制编译器)以单次确定整颗芯片的全部控制状态,实现完全确定性的性能。
4. 关键参数
市面代表性可重构数据流芯片的关键硬件参数如下(数据截至2024年公开资料,来源均为各公司官网及发布公告):
| 芯片型号/公司 | 制程 | 晶体管/核心数 | 片上存储 | 内存带宽/互连带宽 | 峰值算力 (INT8/FP16) | 典型功耗 | 备注 |
|---|---|---|---|---|---|---|---|
| Cerebras WSE-3 | TSMC 5nm | 4万亿晶体管、90万个AI优化核心 | 44GB SRAM | 21 PB/s 片上互连带宽 | 125 PetaFLOPS (FP16) * | ~23 kW (CS-3系统) | 晶圆级芯片,整片晶圆未切割,2024年发布 |
| Groq LPU (第一代) | 14nm (格芯) | 约 26.8万个功能单元 | 230 MB SRAM | 片上网络带宽 数十TB/s | ~750 TOPS (INT8) | 300 W (单卡,含4芯片) | 确定性静态数据流,无外部DRAM,推理专用 |
| SambaNova Cardinal SN40L | TSMC 5nm | 约1000亿晶体管 | 大容量3D封装SRAM+HBM | 未公开详尽数据 | 未公开详细TOPS,支持5万亿参数模型 | 未公开单芯片TDP | 可重构数据流单元(RDU),支持训练与推理,2023年发布 |
| Graphcore Bow IPU (Colossus MK2) | TSMC 7nm + 3D WoW | 1472个独立IPU核,约600亿晶体管 | 900 MB片上SRAM | 片上交换网络 10s TB/s | ~350 TFLOPS (FP16) | ~185 W (Bow-2000加速卡) | 大规模并行+BSP模型,2022年产品,2024年被软银收购 |
*:Cerebras WSE-3 FP16算力为125 PetaFLOPS,根据公司官方CS-3系统规格(1 PFLOPS = 1000 TFLOPS)。公开资料未见独立推理卡功耗,系统级功耗约23 kW。
各芯片的能效比差异显著,但在不同负载下可比性有限,具体需参考MLPerf等标准榜单。(来源:MLPerf Inference v3.1 ~ v4.0 结果,截至2024年12月)
5. 技术路线
可重构数据流并非单一技术,而是覆盖从细粒度可编程到晶圆级集成的多条路线:
- 粗粒度可重构阵列(CGRA)路线:在粗粒度功能单元(如ALU、乘法器)级别动态重构互连,比FPGA更高效地处理大规模数据流图。SambaNova的RDU属于此范畴,强调空间架构+动态重构,通过共享内存和互连实现灵活数据流。
- 确定性静态数据流路线:以Groq为代表,编译器事先编排好所有数据移动和运算的时间表,硬件按固定节拍运行,无任何动态仲裁、缓存缺失等不确定性。优势是极低延迟和完全可预测,缺点是对动态形状和控制流支持有限。
- 晶圆级集成数据流路线:Cerebras将整片晶圆直接做成巨型芯片,数以十万计的核心和超高带宽片上网络,把数据流图物理映射到空间上,回避多芯片互联的瓶颈。路线侧重超大模型训练和极致吞吐量。
- 近存/存内计算数据流融合路线:在芯片内将部分存储靠近计算,或直接在存储阵列内执行运算,本质上也是一种数据驱动的计算,但与可重构互连结合。Graphcore IPU的大容量片上SRAM和交换网络可视为朝向存内计算的数据流设计。
- 混合可编程架构:一些传统GPU/ASIC厂商在其产品中嵌入可重构数据流加速器(如AMD的AI引擎、某些中国初创的类CGRA模块),作为异构计算的一部分,提供有限的可重构数据执行。
路线差异体现在重构粒度(核心算力单元大小)、数据流调度方式(静态/动态)、存储层次(仅有片上SRAM还是带外部HBM)以及软件栈的成熟度。
6. 上游
上游环节决定了可重构数据流芯片的物理实现和设计效率:
- EDA与设计工具:芯粒设计、2.5D/3D封装布线、功耗仿真等需要先进的EDA工具支持。主要供应商:Synopsys(Fusion Compiler, 3DIC Compiler)、Cadence(Innovus、Integrity 3D-IC)。可重构架构的复杂连线对EDA提出高要求。
- IP核:部分设计公司可能授权标准化接口IP(PCIe、CXL)、高速SerDes、HBM PHY等。RAMBUS、Alphawave、Cadence IP等为重要供应商。IP授权费及集成度影响开发周期。
- 先进制程制造:目前主流芯片多采用台积电5nm或7nm制程,部分早期产品用14nm。台积电、三星以及英特尔(IFS)是潜在的晶圆代工伙伴。数据流芯片核心数极多,对良率要求高,尤其晶圆级芯片(Cerebras)需要定制化工艺和冗余设计。
- 先进封装与基板:晶圆级设计(Cerebras)本身无需传统封装,但需特殊供电和冷却基板;Groq芯片使用标准FCBGA;SambaNova和Graphcore则采用CoWoS(Chip-on-Wafer-on-Substrate)或WoW(Wafer-on-Wafer)等3D封装,以集成HBM和实现多芯片互联。台积电、日月光、Amkor为封装服务商。
- 高带宽内存(HBM):尽管部分芯片强调片上SRAM,但部分数据流架构仍需HBM提供大容量带宽。SK海力士、三星电子为HBM主要生产商,2024年HBM3E产能仍紧张。上游供应的产能分配会影响中游厂商的出货节奏。
7. 下游
可重构数据流芯片主要面向对延迟、吞吐量及每瓦成本高度敏感的计算场景,按落地行业展开:
- 云端AI推理及训练:超大规模云服务商(如微软Azure、AWS、Google Cloud)和大型互联网公司自建数据中心,用于大语言模型(LLM)推理、推荐系统推理、轻量级微调或特定模型训练。Cerebras已与阿联酋G42、阿贡国家实验室等合作;Groq提供GroqCloud API服务;SambaNova面向企业客户提供Dataflow-as-a-Service平台。
- 自动驾驶与高级辅助驾驶(ADAS):车载边缘需要确定性低延迟和多传感器融合,数据流架构的硬实时特性符合需求。但公开资料未见大规模量产部署,多处于测试或合作阶段。
- 金融及高频交易:纳秒级确定性延迟对于量化交易、风险实时评估至关重要,Groq等强调确定性的芯片有望进入此领域。
- 科学计算与政府实验室:气候模拟、药物分子动力学、核聚变模拟等需要高吞吐低延迟,美国国家实验室已采购Cerebras CS系统。2023年Cerebras与Mayo Clinic等合作医疗AI。
- 边缘智能和5G MEC:紧凑型可重构芯片可在边缘网关或基站侧提供高效推理,但此类芯片需更低的功耗和成本,目前多以FPGA或低功耗NPU竞争,数据流架构是否渗透取决于成本与工具链易用性。
下游应用的拓展高度依赖软件生态易用性和TCO(总拥有成本)相对GPU的优势。多数场景仍处早期验证,尚无百万级单元大规模商业部署的公开数据。
8. 受益公司
基于产业链位置,客观梳理受益逻辑(不构成投资建议):
- 上游制造与工具链厂商:台积电(领先代工,承接Cerebras、SambaNova、Graphcore等大部分订单)、三星(潜在代工),全球先进封装及HBM供应商(SK海力士、三星)直接受益于异质集成需求。Synopsys、Cadence长期受益于3D-IC设计复杂度提升。
- 中游芯片设计领先者:Cerebras Systems(拟纳斯达克上市,代码CBRS,2024年递交S-1)、Groq(完成大额融资,扩张云业务)、SambaNova Systems(提供从芯片到软件全栈方案)。上市或扩大融资使这些公司得以扩产和生态建设。Graphcore在被软银收购后,其IPU可能更多服务于软银系生态。
- 云与IT基础设施服务商:CoreWeave(2024年与Cerebras合作部署CS-3)、阿联酋G42(与Cerebras联合构建全球最大AI训练集群)等。提供Groq API的云平台亦受益于差异化算力供给。
- 系统集成及服务器厂商:提供液冷数据中心方案和定制服务器的供应商,如超微(SMCI)、纬创、英业达等,因高功耗芯片需要特殊散热解决方案。
- 国内相关产业:国内虽有类可重构计算芯片创业公司,但尚未有明确以“可重构数据流”命名的上市公司。国内AI芯片公司(如海光信息、寒武纪、壁仞科技)的部分加速器采用粗粒度可重构阵列或数据流思想,但整体仍以通用并行架构为主。公开资料未见纯数据流架构公司有上市或超大规模商业落地。
9. 市场规模
可重构数据流芯片作为新兴AI芯片的细分领域,尚未有独立权威市场统计。AI芯片全局市场数据可供参考:
- 据MarketsandMarkets报告,2023年全球AI芯片市场规模约536亿美元,预计2028年将达到1349亿美元,复合年增长率(CAGR)约20.3%(口径:包含GPU、FPGA、ASIC、神经芯片等,来源:MarketsandMarkets,2024年4月发布)。
- Omdia在2024年《Cloud AI Accelerator Market Forecast》中估计,2024年云端AI推理加速器市场规模约110亿美元,其中非GPU方案(含亚马逊Trainium/Inferentia、微软Maia、谷歌TPU及数据流芯片等)占比约15%~20%,约20亿美元。目前,可重构数据流阵营在此市场中的份额极低。根据公开营收推测,Cerebras 2024年营收预计1亿~2亿美元(来源:Cerebras S-1文件,2024年10月),Groq SaaS收入处早期,SambaNova等未公布具体收入。整体而言,可重构数据流在AI加速器市场的直接份额不足1%(来源:根据公开营收及Omdia总量估算,2024年)。
- 边缘AI芯片市场中,数据流架构的渗透率更低,公开资料未见相关规模统计。
市场增长的核心驱动是推理成本下降需求和LLM部署爆发,可重构数据流若能证明TCO优势,其潜在市场空间可达百亿美元级,但需观察生态成熟度。
10. 玩家对比
将主要从事可重构数据流芯片的四家公司进行多维度对比(数据截至2025年4月,来源为各公司官网、Crunchbase及公开新闻报道):
| 维度 | Cerebras Systems | Groq | SambaNova Systems | Graphcore (被软银收购) |
|---|---|---|---|---|
| 核心产品 | WSE-3晶圆级引擎,CS-3系统 | LPU(Language Processing Unit) | Cardinal SN40L RDU,Dataflow-as-a-Service | Colossus MK2 IPU,Bow IPU |
| 制程 | TSMC 5nm | 格芯 14nm(第一代) | TSMC 5nm | TSMC 7nm + WoW |
| 架构核心思想 | 超大规模空间数据流映射,晶圆级单一芯片 | 确定性静态编译,编译器决定一切 | 动态可重构数据流单元,融合大容量内存 | 大规模并行+BSP模型,大容量片上SRAM |
| 目标市场 | 超大规模AI训练、科学计算 | 低延迟推理(LLM、推荐) | 企业AI(训练+推理)、政府 | 曾经面向云端推理及训练,现转向内部投资 |
| 融资总额(截至2024年) | 约8.2亿美元(来源:Crunchbase) | 约10亿美元(含D轮6.4亿,2024年8月) | 约13亿美元(来源:PitchBook) | 约6.8亿美元(2020年停止外部融资) |
| 最近估值/收并购 | >40亿美元(2024年S-1文件显示) | 28亿美元(2024年D轮) | >50亿美元(2021年D轮) | 约6亿美元被软银收购(2024年7月,来源:Reuters) |
| 生态成熟度 | 支持PyTorch、TF,有Cerebras软件栈 | GroqCloud API,支持主流框架 | SambaFlow,集成ML框架,全栈数据流 | Poplar SDK,已较少更新 |
| 主要客户/合作伙伴 | G42、阿贡实验室、Mayo Clinic、CoreWeave | 公开API服务,企业客户未完全披露 | 美国国家实验室、金融企业 | 图形、自然语言处理等领域研究机构 |
注:上述公司中,Cerebras和SambaNova偏向训练+推理全能,Groq专注于极致低延迟推理,Graphcore随着被收购重点转移。国内无直接对标且公开上市的纯数据流芯片企业。
11. 风险
技术风险
- 编译器天花板:数据流硬件性能严重依赖编译优化的质量。大规模模型复杂的并行化策略、新算子支持、动态形状处理都是工程挑战。一旦编译器无法有效利用硬件,芯片效率骤降。
- 通用性瓶颈:为特定模式优化的架构,面对控制流密集或稀疏结构模型(如稀疏MoE、动态图网络)时效率可能不及GPU。可重构的“可编程性”比FPGA粗,比GPU灵活度差,存在专用与通用的权衡。
- 内存容量限制:主打片上SRAM的芯片(Groq、Graphcore)无法容纳超大参数模型全部层的信息,需拆分层或依赖外内存,可能破坏数据流流水的连续性。
- 制造与良率:晶圆级芯片(Cerebras)虽有冗余设计,但缺陷率控制仍极困难,单芯片成本极高,导致系统售价高达数百万美元。
市场与商业风险
- 生态护城河极深:英伟达CUDA生态积累超过15年,拥有大量优化库和开发者。客户迁移成本高,数据流方案需要显著优于GPU才可能被规模采纳。
- 缺乏标准化基准:由于架构差异,单纯TOPS对比无意义,需建立公认的MLPerf、TCO/推理吞吐/时延等指标,目前数据流厂家发布的数据口径不一。
- 资本依赖与商业变现慢:重资产研发和补贴硬件构筑生态,多数公司尚未实现盈亏平衡。Cerebras S-1文件显示2024年营收约1.2亿美元但净亏损仍较大(来源:2024年S-1),其他公司未公开财报,可能存在类似压力。
争议点
- “可重构数据流”伪概念争议:有观点认为Groq的静态调度芯片更像是一种“时空打片机”,缺乏真正的运行时动态重构;SambaNova的RDU被部分批评者视作豪华CGRA,与传统数据流定义有出入。开源学术派仍争论是否为“真数据流”。
- 能否正面挑战GPU:目前数据流芯片在特定能效和延迟项目上领先,但在大规模训练吞吐量、生态广度上仍无法撼动GPU整体地位。行业观察者对其能否跃迁至通用AI计算平台持观望态度。
12. 误读纠偏
以下几个常见误读需明确:
- “可重构数据流 = FPGA”:错误。FPGA是细粒度比特级可编程,通用性好但面积效率低、频率低。数据流芯片是粗粒度核心级互连可重构,专门针对数据密集型计算优化,不是万能逻辑实现器。
- “数据流就是永远不需要内存”:不准确。只是最大限度减少了数据在离线式内存和计算单元间的反复搬运,芯片内部仍然依赖大规模片上SRAM或近存存储以流水方式暂存中间结果。
- “确定性数据流不可编程”:Groq的芯片是确定性的,但可编程性完全放在编译器层面,可通过软件定义新的模型结构,只是硬件行为预知,并非功能固定。
- “存算一体就是数据流”:存算一体(Processing-in-Memory)强调在存储器内完成运算,可视为数据流的一种极端形式,但传统可重构数据流关注处理单元间互连,未必在存内计算。两者有交集但不等同。
- “大核心数就是数据流”:拥有许多核心不等同于数据流架构。关键在于片上通信和调度是否由数据驱动并动态重构,而非仅仅核心多。
明确这些可以更准确地评估相关公司的技术本质,避免概念混淆。
13. 最新事件
(以下事件截至2025年4月,基于公开新闻与公司披露)
- 2024年10月:Cerebras Systems正式向美国SEC递交S-1招股说明书,计划在纳斯达克上市,代码“CBRS”。文件披露其2024年上半年营收1.36亿美元,重要客户包括G42。招股书揭示其CS-3已部署多个超算项目。
- 2024年8月:Groq完成6.4亿美元D轮融资,由BlackRock、Neuberger Berman等领投,估值达28亿美元。该轮资金用于扩建GroqCloud推理服务及开发下一代芯片。
- 2024年7月:软银集团宣布收购英国AI芯片公司Graphcore,交易金额据报约6亿美元。此后Graphcore CEO表示将继续开发IPU但将整合进软银系生态,可能优先服务愿景基金投资公司。
- 2023年11月:SambaNova发布SN40L芯片,号称可支持5万亿参数模型,并推出全栈AI平台SambaNova Suite,瞄准企业级开箱即用的生成式AI。公司未公布后续新一轮融资。
- 2024年3月:Cerebras推出WSE-3芯片和配套CS-3系统,单系统可提供125 PFLOPS的巅峰AI算力,并宣布与阿联酋G42共同构建拥有36 exaFLOPs算力的Condor Galaxy 3超算集群(来源:Cerebras官方新闻稿)。
- 国内方面:公开资料未见专用可重构数据流架构芯片的上市公司。部分AI芯片初创持续获得融资,但并未单独宣称纯数据流路线,多以“可重构计算”、“存算一体”或“通用GPU”方向进行。
14. 跟踪指标
想要持续观察可重构数据流赛道的演进,可以重点追踪以下指标:
- 头部公司财务与出货量:Cerebras上市后季度营收、亏损收窄趋势,CS系统安装量;Groq API付费客户数量和推理token量;SambaNova客户留存与收入增长(若公开)。
- 产品代际性能提升:下一代芯片的制程、片上存储容量、能效比提升幅度;是否能实现单芯片推理万亿参数模型。
- 生态与兼容性进展:对PyTorch 2.0/ExecuTorch的支持情况、能否直接运行HuggingFace模型而无需大量定制代码、主流MLOps平台集成度。
- 标准化基准成绩:MLPerf Inference和Training最新轮次中,可重构芯片在“离线推理”、“服务器”场景的每瓦性能与延迟分,是否持续缩小与H100/H200/B200的差距。
- 关键客户落地案例:除G42外,其他云厂商或大型企业是否公开宣布规模采购数据流系统(例如AWS、Azure Marketplace上线Groq/SambaNova实例)。
- 供应链信号:台积电先进封装CoWoS产能分配给非GPU客户的动向;HBM 3E/4 分配给数据流厂商的规模,反映真实扩产需求。
- 中国替代动态:国内是否有类似架构突破流片并部署于商业数据中心,政策扶持力度等。
15. 信源
- Cerebras Systems 官网及S-1招股文件(2024年10月公开)
- Groq 官网及2024年融资新闻稿(TechCrunch, August 2024)
- SambaNova Systems 官网、SN40L发布资料(2023年11月)
- Graphcore 官网及软银收购相关报道(Reuters, July 2024)
- Omdia,《Cloud AI Accelerator Market Forecast》, 2024
- MarketsandMarkets,《AI Chip Market Report》, April 2024
- MLCommons MLPerf Inference v3.1 - v4.0 官方结果
- Crunchbase, PitchBook 融资历史数据(查阅于2025年4月)
- 各公司技术白皮书及Hot Chips、ISSCC会议发表论文
- 学术文献:“Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks” (ISCA 2016),“Google’s TPU”相关,中国知网/arXiv 可重构计算综述
- 公开媒体报道:Reuters, TechCrunch, The Information, 电子工程专辑
本页面仅作产业链技术概念解析,所有信息均来源于公开资料,不构成任何投资建议。部分内容涉及推测性分析,请以公司最新公告为准。