可重構資料流(Reconfigurable Dataflow)
1. 3 秒看懂
一句話定義:可重構資料流架構是一種讓硬體計算資源根據資料流動路徑動態組合、資料到達即觸發的晶片設計範式,目標是繞過傳統馮·諾依曼架構的“儲存牆”,大幅提升AI計算的能效比和即時性。 形象類比:如果把CPU比作按部就班的“廚師長”發號施令,GPU比作同時開工的“快餐後廚”,那可重構資料流就是一場“流動的壽司宴”——食材(資料)在傳送帶上自動流轉到面前的手(計算單元),吃完立刻傳給下一位,沒有來回搬運,且傳送帶路徑可隨選單(演算法)隨時調整。 關鍵詞:資料流驅動、硬體動態重構、軟硬體協同編譯、極低延遲、超高能效。
2. 3 分鐘產業解釋
為什麼需要它
傳統馮·諾依曼架構的瓶頸在於“指令流驅動”和集中的記憶體牆。資料在處理器與片外記憶體之間頻繁搬運,耗費了遠超計算本身的時間和能量。在AI模型引數動輒千億、萬億的今天,資料搬運的功耗甚至佔到系統總功耗的60%以上。可重構資料流架構將“處理單元(PE)”組織成一個可程式設計的片上網路,資料到達即計算,計算結果直接流向下一PE,中間無需返回記憶體暫存,從原理上消除大量資料搬運,實現與模型結構高度匹配的硬體執行通路。
產業鏈全景定位
- 上游:EDA工具、IP核授權、先進製程製造(5nm/3nm)、先進封裝(CoWoS、3D堆疊)以及高頻寬記憶體(HBM)供應商。
- 中游(核心):可重構資料流晶片設計公司及其配套的編譯器、執行時軟體棧。這是產業鏈的“定義者”。
- 下游:超大規模資料中心(AI推論、部分訓練)、自動駕駛域控制器、邊緣AI伺服器、科學計算(分子模擬、氣象預測)等對延遲和能效極致追求的場景。
核心價值
在AI算力需求每3~4個月翻番而摩爾定律放緩的當下,可重構資料流被認為是最有可能突破“算力-能耗”剪刀差的技術路徑之一,特別是在大規模推論和即時性要求極高的任務中,其每瓦效能(TOPS/W)可達傳統GPU的5~10倍(來源:Groq、SambaNova等公司釋出的白皮書及MLPerf推論基準,具體引數見第4節)。
3. 技術原理
資料流驅動 vs. 指令流驅動
CPU/GPU依靠程式計數器順序讀取指令,再由指令排程資料執行。可重構資料流晶片則將整個計算任務抽象為一張資料流圖。圖中每個節點代表一個運算元(如卷積、矩陣乘),邊代表資料依賴。硬體通過網路將物理計算單元直接按圖連線,一旦上游資料有效,下游單元立即啟動,無需取指、譯碼等固定流水級,實現“零開銷”的時空排程。
“鏈-晶片-核心”三層抽象
這是本架構的邏輯檢視,也是名稱“chain-chip-core”的由來:
- 核心(Core):晶片內最小的可獨立配置計算單元,通常是包含算術邏輯單元(ALU)、少量暫存器和本地控制器的輕量級PE。核心功能專一,但能通過配置字改變運算行為。
- 鏈(Chain):多個核心通過可程式設計互連構成一條計算流水線或一個子任務資料通路。一條“鏈”對應深度神經網路中的某一層或一個子圖,資料在其中順序流動。
- 晶片(Chip):全矽片上成千上萬個核心及其之間的可重構互連網路。編譯器會根據整個神經網路模型,將晶片劃分為多個空間上並行的鏈,實現層間流水線與層內並行。
硬體可重構的實現方式
通過片上可程式設計交換節點或交叉開關,在納秒級內改變核心之間的連線關係。重構可分為:
- 靜態重構:在任務啟動前由編譯器完全固化資料流路徑,執行期間不再改變(如Groq的確定性資料流)。
- 動態重構:執行過程中根據輸入尺寸或控制流變化,區域性快速切換資料通路(如SambaNova的RDU)。
- 混合重構:空間上不同區域執行靜態流水線,全域性排程器分配任務。
編譯器:最關鍵的軟硬體橋樑
將PyTorch/TensorFlow模型對映到資料流圖並分配到片上核心,需要極複雜的編譯最佳化。編譯器執行圖劃分、運算元融合、緩衝區分配、核心版面配置和路徑規劃,部分公司甚至採用先進搜尋(如Groq的深度定製編譯器)以單次確定整顆晶片的全部控制狀態,實現完全確定性的效能。
4. 關鍵引數
市面代表性可重構資料流晶片的關鍵硬體引數如下(資料截至2024年公開資料,來源均為各公司官網及釋出公告):
| 晶片型號/公司 | 製程 | 電晶體/核心數 | 片上儲存 | 記憶體頻寬/互連頻寬 | 峰值算力 (INT8/FP16) | 典型功耗 | 備註 |
|---|---|---|---|---|---|---|---|
| Cerebras WSE-3 | TSMC 5nm | 4萬億電晶體、90萬個AI最佳化核心 | 44GB SRAM | 21 PB/s 片上互連頻寬 | 125 PetaFLOPS (FP16) * | ~23 kW (CS-3系統) | 晶圓級晶片,整片晶圓未切割,2024年釋出 |
| Groq LPU (第一代) | 14nm (格芯) | 約 26.8萬個功能單元 | 230 MB SRAM | 片上網路頻寬 數十TB/s | ~750 TOPS (INT8) | 300 W (單卡,含4晶片) | 確定性靜態資料流,無外部DRAM,推論專用 |
| SambaNova Cardinal SN40L | TSMC 5nm | 約1000億電晶體 | 大容量3D封裝SRAM+HBM | 未公開詳盡資料 | 未公開詳細TOPS,支援5萬億引數模型 | 未公開單晶片TDP | 可重構資料流單元(RDU),支援訓練與推論,2023年釋出 |
| Graphcore Bow IPU (Colossus MK2) | TSMC 7nm + 3D WoW | 1472個獨立IPU核,約600億電晶體 | 900 MB片上SRAM | 片上交換網路 10s TB/s | ~350 TFLOPS (FP16) | ~185 W (Bow-2000加速卡) | 大規模並行+BSP模型,2022年產品,2024年被軟銀收購 |
*:Cerebras WSE-3 FP16算力為125 PetaFLOPS,根據公司官方CS-3系統規格(1 PFLOPS = 1000 TFLOPS)。公開資料未見獨立推論卡功耗,系統級功耗約23 kW。
各晶片的能效比差異顯著,但在不同負載下可比性有限,具體需參考MLPerf等標準排行榜。(來源:MLPerf Inference v3.1 ~ v4.0 結果,截至2024年12月)
5. 技術路線
可重構資料流並非單一技術,而是覆蓋從細粒度可程式設計到晶圓級整合的多條路線:
- 粗粒度可重構陣列(CGRA)路線:在粗粒度功能單元(如ALU、乘法器)級別動態重構互連,比FPGA更高效地處理大規模資料流圖。SambaNova的RDU屬於此範疇,強調空間架構+動態重構,通過共享記憶體和互連實現靈活資料流。
- 確定性靜態資料流路線:以Groq為代表,編譯器事先編排好所有資料移動和運算的時間表,硬體按固定節拍執行,無任何動態仲裁、快取缺失等不確定性。優勢是極低延遲和完全可預測,缺點是對動態形狀和控制流支援有限。
- 晶圓級整合資料流路線:Cerebras將整片晶圓直接做成巨型晶片,數以十萬計的核心和超高頻寬片上網路,把資料流圖物理對映到空間上,迴避多晶片互聯的瓶頸。路線側重超大型模型訓練和極致吞吐量。
- 近存/存內計算資料流融合路線:在晶片內將部分儲存靠近計算,或直接在儲存陣列內執行運算,本質上也是一種資料驅動的計算,但與可重構互連結合。Graphcore IPU的大容量片上SRAM和交換網路可視為朝向存內計算的資料流設計。
- 混合可程式設計架構:一些傳統GPU/ASIC廠商在其產品中嵌入可重構資料流加速器(如AMD的AI引擎、某些中國初創的類CGRA模組),作為異構計算的一部分,提供有限的可重構資料執行。
路線差異體現在重構粒度(核心算力單元大小)、資料流排程方式(靜態/動態)、儲存層次(僅有片上SRAM還是帶外部HBM)以及軟體棧的成熟度。
6. 上游
上游環節決定了可重構資料流晶片的物理實現和設計效率:
- EDA與設計工具:芯粒設計、2.5D/3D封裝佈線、功耗模擬等需要先進的EDA工具支援。主要供應商:Synopsys(Fusion Compiler, 3DIC Compiler)、Cadence(Innovus、Integrity 3D-IC)。可重構架構的複雜連線對EDA提出高要求。
- IP核:部分設計公司可能授權標準化介面IP(PCIe、CXL)、高速SerDes、HBM PHY等。RAMBUS、Alphawave、Cadence IP等為重要供應商。IP授權費及整合度影響開發週期。
- 先進製程製造:目前主流晶片多采用台積電5nm或7nm製程,部分早期產品用14nm。台積電、三星以及英特爾(IFS)是潛在的晶圓代工夥伴。資料流晶片核心數極多,對良率要求高,尤其晶圓級晶片(Cerebras)需要定製化工藝和冗餘設計。
- 先進封裝與基板:晶圓級設計(Cerebras)本身無需傳統封裝,但需特殊供電和冷卻基板;Groq晶片使用標準FCBGA;SambaNova和Graphcore則採用CoWoS(Chip-on-Wafer-on-Substrate)或WoW(Wafer-on-Wafer)等3D封裝,以整合HBM和實現多晶片互聯。台積電、日月光、Amkor為封裝服務商。
- 高頻寬記憶體(HBM):儘管部分晶片強調片上SRAM,但部分資料流架構仍需HBM提供大容量頻寬。SK海力士、三星電子為HBM主要生產商,2024年HBM3E產能仍緊張。上游供應的產能分配會影響中游廠商的出貨節奏。
7. 下游
可重構資料流晶片主要面向對延遲、吞吐量及每瓦成本高度敏感的計算場景,按落地行業展開:
- 雲端端AI推論及訓練:超大規模雲端服務商(如微軟Azure、AWS、Google Cloud)和大型網際網路公司自建資料中心,用於大語言模型(LLM)推論、推薦系統推論、輕量級微調或特定模型訓練。Cerebras已與阿聯酋G42、阿貢國家實驗室等合作;Groq提供GroqCloud API服務;SambaNova面向企業客戶提供Dataflow-as-a-Service平台。
- 自動駕駛與高階輔助駕駛(ADAS):車載邊緣需要確定性低延遲和多感測器融合,資料流架構的硬即時特性符合需求。但公開資料未見大規模量產部署,多處於測試或合作階段。
- 金融及高頻交易:納秒級確定性延遲對於量化交易、風險即時評估至關重要,Groq等強調確定性的晶片有望進入此領域。
- 科學計算與政府實驗室:氣候模擬、藥物分子動力學、核聚變模擬等需要高吞吐低延遲,美國國家實驗室已採購Cerebras CS系統。2023年Cerebras與Mayo Clinic等合作醫療AI。
- 邊緣智慧和5G MEC:緊湊型可重構晶片可在邊緣閘道器或基站側提供高效推論,但此類晶片需更低的功耗和成本,目前多以FPGA或低功耗NPU競爭,資料流架構是否滲透取決於成本與工具鏈易用性。
下游應用的拓展高度依賴軟體生態易用性和TCO(總擁有成本)相對GPU的優勢。多數場景仍處早期驗證,尚無百萬級單元大規模商業部署的公開資料。
8. 受益公司
基於產業鏈位置,客觀梳理受益邏輯(不構成投資建議):
- 上游製造與工具鏈廠商:台積電(領先代工,承接Cerebras、SambaNova、Graphcore等大部分訂單)、三星(潛在代工),全球先進封裝及HBM供應商(SK海力士、三星)直接受益於異質整合需求。Synopsys、Cadence長期受益於3D-IC設計複雜度提升。
- 中游晶片設計領先者:Cerebras Systems(擬納斯達克上市,程式碼CBRS,2024年遞交S-1)、Groq(完成大額融資,擴張雲端業務)、SambaNova Systems(提供從晶片到軟體全棧方案)。上市或擴大融資使這些公司得以擴產和生態建設。Graphcore在被軟銀收購後,其IPU可能更多服務於軟銀系生態。
- 雲端與IT基礎設施服務商:CoreWeave(2024年與Cerebras合作部署CS-3)、阿聯酋G42(與Cerebras聯合建置全球最大AI訓練叢集)等。提供Groq API的雲端平台亦受益於差異化算力供給。
- 系統整合及伺服器廠商:提供液冷資料中心方案和定製伺服器的供應商,如超微(SMCI)、緯創、英業達等,因高功耗晶片需要特殊散熱解決方案。
- 國內相關產業:國內雖有類可重構計算晶片創業公司,但尚未有明確以“可重構資料流”命名的上市公司。國內AI晶片公司(如海光資訊、寒武紀、壁仞科技)的部分加速器採用粗粒度可重構陣列或資料流思想,但整體仍以通用並行架構為主。公開資料未見純資料流架構公司有上市或超大規模商業落地。
9. 市場規模
可重構資料流晶片作為新興AI晶片的細分領域,尚未有獨立權威市場統計。AI晶片全域性市場資料可供參考:
- 據MarketsandMarkets報告,2023年全球AI晶片市場規模約536億美元,預計2028年將達到1349億美元,複合年增長率(CAGR)約20.3%(口徑:包含GPU、FPGA、ASIC、神經晶片等,來源:MarketsandMarkets,2024年4月釋出)。
- Omdia在2024年《Cloud AI Accelerator Market Forecast》中估計,2024年雲端端AI推論加速器市場規模約110億美元,其中非GPU方案(含亞馬遜Trainium/Inferentia、微軟Maia、GoogleTPU及資料流晶片等)佔比約15%~20%,約20億美元。目前,可重構資料流陣營在此市場中的份額極低。根據公開營收推測,Cerebras 2024年營收預計1億~2億美元(來源:Cerebras S-1檔案,2024年10月),Groq SaaS營收處早期,SambaNova等未公佈具體營收。整體而言,可重構資料流在AI加速器市場的直接份額不足1%(來源:根據公開營收及Omdia總量估算,2024年)。
- 邊緣AI晶片市場中,資料流架構的滲透率更低,公開資料未見相關規模統計。
市場增長的核心驅動是推論成本下降需求和LLM部署爆發,可重構資料流若能證明TCO優勢,其潛在市場空間可達百億美元級,但需觀察生態成熟度。
10. 玩家對比
將主要從事可重構資料流晶片的四家公司進行多維度對比(資料截至2025年4月,來源為各公司官網、Crunchbase及公開新聞報道):
| 維度 | Cerebras Systems | Groq | SambaNova Systems | Graphcore (被軟銀收購) |
|---|---|---|---|---|
| 核心產品 | WSE-3晶圓級引擎,CS-3系統 | LPU(Language Processing Unit) | Cardinal SN40L RDU,Dataflow-as-a-Service | Colossus MK2 IPU,Bow IPU |
| 製程 | TSMC 5nm | 格芯 14nm(第一代) | TSMC 5nm | TSMC 7nm + WoW |
| 架構核心思想 | 超大規模空間資料流對映,晶圓級單一晶片 | 確定性靜態編譯,編譯器決定一切 | 動態可重構資料流單元,融合大容量記憶體 | 大規模並行+BSP模型,大容量片上SRAM |
| 目標市場 | 超大規模AI訓練、科學計算 | 低延遲推論(LLM、推薦) | 企業AI(訓練+推論)、政府 | 曾經面向雲端端推論及訓練,現轉向內部投資 |
| 融資總額(截至2024年) | 約8.2億美元(來源:Crunchbase) | 約10億美元(含D輪6.4億,2024年8月) | 約13億美元(來源:PitchBook) | 約6.8億美元(2020年停止外部融資) |
| 最近估值/收併購 | >40億美元(2024年S-1檔案顯示) | 28億美元(2024年D輪) | >50億美元(2021年D輪) | 約6億美元被軟銀收購(2024年7月,來源:Reuters) |
| 生態成熟度 | 支援PyTorch、TF,有Cerebras軟體棧 | GroqCloud API,支援主流架構 | SambaFlow,整合ML架構,全棧資料流 | Poplar SDK,已較少更新 |
| 主要客戶/合作伙伴 | G42、阿貢實驗室、Mayo Clinic、CoreWeave | 公開API服務,企業客戶未完全揭露 | 美國國家實驗室、金融企業 | 圖形、自然語言處理等領域研究機構 |
注:上述公司中,Cerebras和SambaNova偏向訓練+推論全能,Groq專注於極致低延遲推論,Graphcore隨著被收購重點轉移。國內無直接對標且公開上市的純資料流晶片企業。
11. 風險
技術風險
- 編譯器天花板:資料流硬體效能嚴重依賴編譯最佳化的質量。大規模模型複雜的並行化策略、新運算元支援、動態形狀處理都是工程挑戰。一旦編譯器無法有效利用硬體,晶片效率驟降。
- 通用性瓶頸:為特定模式最佳化的架構,面對控制流密集或稀疏結構模型(如稀疏MoE、動態圖網路)時效率可能不及GPU。可重構的“可程式設計性”比FPGA粗,比GPU靈活度差,存在專用與通用的權衡。
- 記憶體容量限制:主打片上SRAM的晶片(Groq、Graphcore)無法容納超大引數模型全部層的資訊,需拆分層或依賴外記憶體,可能破壞資料流流水的連續性。
- 製造與良率:晶圓級晶片(Cerebras)雖有冗餘設計,但缺陷率控制仍極困難,單晶片成本極高,導致系統售價高達數百萬美元。
市場與商業風險
- 生態護城河極深:輝達CUDA生態積累超過15年,擁有大量最佳化庫和開發者。客戶遷移成本高,資料流方案需要顯著優於GPU才可能被規模採納。
- 缺乏標準化基準:由於架構差異,單純TOPS對比無意義,需建立公認的MLPerf、TCO/推論吞吐/時延等指標,目前資料流廠家釋出的資料口徑不一。
- 資本依賴與商業變現慢:重資產研發和補貼硬體構築生態,多數公司尚未實現盈虧平衡。Cerebras S-1檔案顯示2024年營收約1.2億美元但淨虧損仍較大(來源:2024年S-1),其他公司未公開財報,可能存在類似壓力。
爭議點
- “可重構資料流”偽概念爭議:有觀點認為Groq的靜態排程晶片更像是一種“時空打片機”,缺乏真正的執行時動態重構;SambaNova的RDU被部分批評者視作豪華CGRA,與傳統資料流定義有出入。開源學術派仍爭論是否為“真資料流”。
- 能否正面挑戰GPU:目前資料流晶片在特定能效和延遲專案上領先,但在大規模訓練吞吐量、生態廣度上仍無法撼動GPU整體地位。行業觀察者對其能否躍遷至通用AI計算平台持觀望態度。
12. 誤讀糾偏
以下幾個常見誤讀需明確:
- “可重構資料流 = FPGA”:錯誤。FPGA是細粒度位元級可程式設計,通用性好但面積效率低、頻率低。資料流晶片是粗粒度核心級互連可重構,專門針對資料密集型計算最佳化,不是萬能邏輯實現器。
- “資料流就是永遠不需要記憶體”:不準確。只是最大限度減少了資料在離線式記憶體和計算單元間的反覆搬運,晶片內部仍然依賴大規模片上SRAM或近存儲存以流水方式暫存中間結果。
- “確定性資料流不可程式設計”:Groq的晶片是確定性的,但可程式設計性完全放在編譯器層面,可通過軟體定義新的模型結構,只是硬體行為預知,並非功能固定。
- “存算一體就是資料流”:存算一體(Processing-in-Memory)強調在儲存器內完成運算,可視為資料流的一種極端形式,但傳統可重構資料流關注處理單元間互連,未必在存內計算。兩者有交集但不等同。
- “大核心數就是資料流”:擁有許多核心不等同於資料流架構。關鍵在於片上通訊和排程是否由資料驅動並動態重構,而非僅僅核心多。
明確這些可以更準確地評估相關公司的技術本質,避免概念混淆。
13. 最新事件
(以下事件截至2025年4月,基於公開新聞與公司揭露)
- 2024年10月:Cerebras Systems正式向美國SEC遞交S-1招股說明書,計劃在納斯達克上市,程式碼“CBRS”。檔案揭露其2024年上半年營收1.36億美元,重要客戶包括G42。招股書揭示其CS-3已部署多個超算專案。
- 2024年8月:Groq完成6.4億美元D輪融資,由BlackRock、Neuberger Berman等領投,估值達28億美元。該輪資金用於擴建GroqCloud推論服務及開發下一代晶片。
- 2024年7月:軟銀集團宣佈收購英國AI晶片公司Graphcore,交易金額據報約6億美元。此後Graphcore CEO表示將繼續開發IPU但將整合進軟銀系生態,可能優先服務願景基金投資公司。
- 2023年11月:SambaNova釋出SN40L晶片,號稱可支援5萬億引數模型,並推出全棧AI平台SambaNova Suite,瞄準企業級開箱即用的生成式AI。公司未公佈後續新一輪融資。
- 2024年3月:Cerebras推出WSE-3晶片和配套CS-3系統,單系統可提供125 PFLOPS的巔峰AI算力,並宣佈與阿聯酋G42共同建置擁有36 exaFLOPs算力的Condor Galaxy 3超算叢集(來源:Cerebras官方新聞稿)。
- 國內方面:公開資料未見專用可重構資料流架構晶片的上市公司。部分AI晶片初創持續獲得融資,但並未單獨宣稱純資料流路線,多以“可重構計算”、“存算一體”或“通用GPU”方向進行。
14. 追蹤指標
想要持續觀察可重構資料流賽道的演進,可以重點追蹤以下指標:
- 頭部公司財務與出貨量:Cerebras上市後季度營收、虧損收窄趨勢,CS系統安裝量;Groq API付費客戶數量和推論token量;SambaNova客戶留存與營收增長(若公開)。
- 產品代際效能提升:下一代晶片的製程、片上儲存容量、能效比提升幅度;是否能實現單晶片推論萬億引數模型。
- 生態與相容性進展:對PyTorch 2.0/ExecuTorch的支援情況、能否直接執行HuggingFace模型而無需大量定製程式碼、主流MLOps平台整合度。
- 標準化基準成績:MLPerf Inference和Training最新輪次中,可重構晶片在“離線推論”、“伺服器”場景的每瓦效能與延遲分,是否持續縮小與H100/H200/B200的差距。
- 關鍵客戶落地案例:除G42外,其他雲端廠商或大型企業是否公開宣佈規模採購資料流系統(例如AWS、Azure Marketplace上線Groq/SambaNova例項)。
- 供應鏈訊號:台積電先進封裝CoWoS產能分配給非GPU客戶的動向;HBM 3E/4 分配給資料流廠商的規模,反映真實擴產需求。
- 中國替代動態:國內是否有類似架構突破流片並部署於商業資料中心,政策扶持力度等。
15. 信源
- Cerebras Systems 官網及S-1招股檔案(2024年10月公開)
- Groq 官網及2024年融資新聞稿(TechCrunch, August 2024)
- SambaNova Systems 官網、SN40L釋出資料(2023年11月)
- Graphcore 官網及軟銀收購相關報道(Reuters, July 2024)
- Omdia,《Cloud AI Accelerator Market Forecast》, 2024
- MarketsandMarkets,《AI Chip Market Report》, April 2024
- MLCommons MLPerf Inference v3.1 - v4.0 官方結果
- Crunchbase, PitchBook 融資歷史資料(查閱於2025年4月)
- 各公司技術白皮書及Hot Chips、ISSCC會議發表論文
- 學術文獻:“Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks” (ISCA 2016),“Google’s TPU”相關,中國知網/arXiv 可重構計算綜述
- 公開媒體報道:Reuters, TechCrunch, The Information, 電子工程專輯
本頁面僅作產業鏈技術概念解析,所有資訊均來源於公開資料,不構成任何投資建議。部分內容涉及推測性分析,請以公司最新公告為準。