可重構資料流單元
1. 三秒看懂：什麼是RDU？
RDU（可重構資料流單元）是AI晶片領域的“變形金剛”與“極簡主義者”。它的工作哲學與傳統處理器截然不同：一個預設定型、執行固定指令流的通用計算硬核，在每一個計算週期內都在“等待”下一個指令；而RDU則根據即將執行的特定AI任務，通過底層硬體電路的即時重組與資料流驅動，將自己變形為專為該任務而生的空間計算引擎。計算完畢，它又迅速回歸一種極低功耗的蟄伏狀態。這種“存時無我，算時唯我”的特質，使其在Transformer推論、圖神經網路、科學模擬等場景中，能實現比同等工藝節點的GPU高出數倍的每瓦效能，以及微秒級的確定性延遲。它不是在改進計算，而是在重構計算。
2. 核心定義：可重構性與資料流驅動的深度解構
RDU（Reconfigurable Dataflow Unit，可重構資料流單元）是一種從根本上摒棄傳統馮·諾依曼指令式架構的AI處理器。其本質是對“通用”與“專用”這對矛盾體的深度解構與重組。它的核心定義包含兩個不可分割的維度：
其一，可重構性（Reconfigurability）。 晶片內部並非由固定的功能模組（如GPU的CUDA Core、Tensor Core）組成，而是集成了數百萬乃至更多粒度適中的計算單元（如可配置的乘加器、ALU）以及一張全交換、可動態程式設計的片上網路（Network-on-Chip, NoC）。通過一個空間編譯器，軟體的模型描述在數納秒至微秒級的時間內，便能被“翻譯”為物理硬體上的一條計算管線——哪些單元做矩陣乘，哪些做啟用函式，它們之間的資料通路如何連線，全部由配置位流即時定義。這好比一個由數十億個奈米級電晶體組成的“樂高矩陣”，能夠根據演算法圖的結構，在矽基上拼接出一條專用於當前計算圖的宏流水線，實現架構對演算法的“貼身剪裁”。
其二，資料流驅動（Dataflow Execution）。 計算的推進不依賴程式計數器與中央時鐘的指令分派，而是由“資料到達”這一事件來觸發。每個計算單元遵循觸發規則：當其所有輸入運算元均已抵達、且下游單元已準備好接收輸出時，單元自動點火執行。這種基於令牌（Token）的流控機制，如同一個徹底實現了JIT（準時制）的“儀表板工廠”—工序完全由物料（資料）的到達拉動，從根本上消除了指令流水線中因分支預測失敗、快取未命中、執行緒同步鎖而導致的所有“氣泡”與空轉。計算密度與矽利用率因此得以逼近理論極限。
目前，該品類最知名的商業代表是美國SambaNova Systems的Cardinal SN系列晶片，以及以確定性低延遲著稱的語言處理單元（LPU）—Groq公司的TSP（張量流處理器）。它們共同昭示著後GPU時代矽基智慧的一種全新形態。
3. 為什麼重要：直擊大型模型時代的三大算力痛點
在摩爾定律物理步履蹣跚、以GPU為代表的“暴力堆核”策略遭遇能效與記憶體天花板的歷史節點，RDU的戰略價值不在於“替代”，而在於開闢了一條通過架構革新，而非單純依賴製程工藝縮放來獲取算力的突圍路徑。它精準地刺入了當下AI計算，尤其是大型模型時代的三大核心痛點：
-
對不規則並行性的低損對映。 AI計算圖天然富含張量並行、流水並行等多種粗粒度並行性，但同時也充斥著由稀疏計算、動態Mask、控制流操作帶來的細粒度、不規則的依賴關係。傳統GPU的SIMT（單指令多執行緒）模型要求程式設計師將演算法圖“削足適履”地對映到統一的鎖步執行單元組上，極易在處理不規則並行時產生大量的排程開銷和計算單元閒置。RDU的粗粒度可重構架構，允許以空間計算的方式直接“展開”計算圖，將每個運算元、甚至每個資料的依賴關係直接對映為物理上的連線，從而以接近硬體原始效率的方式吸收這種不規則性。
-
對“記憶體牆”的結構性突破。 資料在片外記憶體與片上快取之間的每一毫米搬運，其功耗往往是片上計算的數百倍。RDU通過片上分散式Scratchpad Memory（便籤式儲存器）與可重構網際網路絡，建置了一個邏輯上統一但物理上高度分散的儲存空間。它不依賴大容量共享快取，而是實現了一種變體的“存內計算”——讓計算單元緊鄰其所需的資料。資料一旦產生，便被直接送入相連的下一個計算單元使用，最大化削減了資料重用距離，尤其對解碼器自迴歸推論這類訪存密集型負載，帶來了功耗與延遲的乘性改善。
-
對演算法進化的“矽基適應性”。 AI演算法日新月異，MoE（混合專家模型）、動態序列長度等功能使得計算圖的結構在推論過程中即會動態變化。專用ASIC一旦流片，其架構即被固化，難以跟上演算法迭代的速度。RDU的可重構性使其成為事實上的“軟定義硬體”——其計算資源池與互聯拓撲可在執行中即時重組，當某個新運算元出現時，只需更新配置位流即可在硬體上獲得原生支援，無需等待下一代晶片。這在高額流片成本攀升至數億美元的時代，提供了專用能效與通用靈活性之間的珍貴平衡點。
據SambaNova Systems於2023年釋出的技術白皮書揭露，其基於SN30晶片的DataScale系統在執行特定數十億引數大語言模型訓練時，實現同等收斂精度下的每瓦效能可達同期部署的NVIDIA A100系統的數倍，初步展示了架構紅利超越工藝紅利的可能性。（資料來源：SambaNova, “Dataflow Architecture for Large Language Models”, 2023）
4. 為什麼是現在：多重趨勢交匯的必然產物
RDU從學術概念走向小規模商業化的背後，並非單一技術的突破，而是五大產業與技術趨勢的共振，使其成為算力演進的必要選項。
供給側：製程紅利消退與設計成本懸崖。 隨著電晶體逼近1nm物理極限，單一製程節點的效能功耗比提升已縮水至20%-30%，而設計一顆5nm先進晶片的總成本（包括IP採購、流片、驗證）已飆升至5億美元以上。再緊追製程節點的ROI（投資回報率）急劇下滑，倒逼產業界將資源投向領域特定架構（DSA）。RDU作為高級別DSA，正是通過異構整合與架構創新，用相對成熟的製程（如7nm、12nm）來換取跨越式的效能代差。
需求側：大型模型使計算圖從“固定”轉為“可變”。 GPT時代之前，AI模型以影像CNN為主，計算圖相對靜態，便於被硬化為ASIC或高度最佳化的GPU Kernel。然而，Transformer和MoE架構的普及，使得動態計算圖（動態形狀、條件路由）成為常態。RDU的細粒度可重構性天然適合表達這種執行時的不確定性。
經濟側：規模定律與電力極限的尖銳矛盾。 單體超算中心的功耗已突破100MW，電力供給和散熱成為硬約束。據估算，若維持每兩年算力需求翻10倍的縮放速率，2030年訓練單個模型所需的電力將達到核電站級別。這種不可持續性，驅使資料中心對每瓦效能的追求從“加分項”上升為“准入門檻”。RDU以其極致的存內計算與空間架構，提供了從根本上降低資料搬運能耗的方案。
技術側：電子設計自動化（EDA）工具的成熟。 過去，設計可重構硬體需要手工鋪設龐大的配置位、分析時序，近乎不可行。近年來，高階綜合（HLS）工具、物理設計工具在FPGA及ASIC設計領域的長足進步，以及空間編譯器技術的成熟，使面向特定領域快速設計可重構SoC成為可能，SambaNova等公司即為明證。
生態側：軟體“地獄”的破局曙光。 許多創新硬體死於軟體棧貧瘠。而如今，高層抽象架構（PyTorch、TensorFlow）的普及，讓編譯器能夠自動提取完備的計算圖，使得將複雜圖直接對映至RDU硬體成為可行的技術路徑。以SambaFlow為代表的軟體棧，正在實現從標準架構到異質硬體的無感編譯，這構成了RDU走向普適的最後一塊拼圖。
5. 技術脈絡：從馮·諾依曼到資料流計算的演進史
RDU並非憑空誕生，它是資料流計算思想沉澱40餘年後，在AI時代的商業化復歸。其技術脈絡可追溯至20世紀70年代：MIT的靜態資料流機與曼徹斯特大學的動態Tagged-Token資料流機，第一次從理論上推翻了程式計數器的統治，然而當時受限於EDA工具無法應對海量觸發邏輯、以及缺乏驅動算力增長的殺手級應用，這些專案長期滯留實驗室。
80至90年代，FPGA的發明首次將“可重構”帶入商用。它將邏輯單元與可程式設計互聯引入晶片，但粒度極粗（查詢表級），無法高效支援浮點密集型計算。進入21世紀，粗粒度可重構陣列（CGRA）被大量研究，其將可重構粒度提升至字級運算單元，大幅降低配置開銷，卻仍困於編譯器難題——如何將高階語言程式自動對映至陣列，成為懸而未決的“CGRA編譯難題”。
真正的轉折點發生在2010年代中後期：深度學習的勃興與計算圖架構的成熟，為資料流架構提供了完美的抽象——張量計算圖天然就是有向無環圖，可直接對映為資料流圖。此後，一批學術與初創公司開始將CGRAs與資料流執行模型結合，並聚焦AI負載。SambaNova Systems由前Intel與Sun/Oracle處理器架構師創立，吸收了傳統粗粒度可重構與動態資料流的設計哲學；Groq則由Google TPU核心成員創辦，採用了更為極端確定性的靜態資料流排程。至此，RDU從學術概念正式進入產業演進軌道，成為DSA浪潮的橋頭堡。
6. 微觀架構：可重構計算單元與片上網路的“變性”機制
要理解RDU如何“變形”，需深入其微觀架構。一個典型的RDU晶片由兩大部分構成：大規模分散式計算單元陣列，以及一張全通、可重構的片上網路。
計算單元： 不同於GPU中的固定功能Tensor Core，RDU的計算單元通常是帶有區域性Scratchpad的可配置處理元件（PE）。每個PE可以配置為支援多種運算元：可拆解為INT8張量乘加器，也可組合為FP16/BF16浮點運算單元，甚至能靈活支援自定義啟用函式（如GELU、Swish）的查詢表邏輯。若干PE可動態合成一個更大的宏流水線來處理一個複雜運算元，例如將128個PE編排成一條矩陣乘的收縮陣列。當模型結構改變時，只需重新下發配置位，PE的功能和角色即刻轉變。
片上網路： 這是RDU的神經網路。它通常採用Mesh、Torus或更豐富的層次化拓撲，每一個交叉節點都是一個可程式設計的路由器。與固定匯流排不同，RDU的NoC頻寬、資料流向、虛擬通道完全可定義。這意味著，在執行注意力機制時，NoC可被切割為數個孤立的子網路，分別服務於不同注意力頭，實現多播；而在執行全連線層時，NoC可重組為高頻寬單源廣播網路。通過這種分時多工與空間分割，RDU的互連能隨演算法併發的模式任意“整形”，最大化物理頻寬利用率。
這種架構的直接結果便是，晶片內部的資源（算力、頻寬、儲存）可根據每個計算階段的需求，被嚴格隔離和定製化整合，消除了共享資源的競爭仲裁開銷，獲得了接近ASIC的專用能效。
7. 執行模型：確定性資料流與彈性排程的雙生哲學
RDU的資料流執行模型存在兩種路徑，體現了確定性與彈性之間的設計權衡。
Groq的靜態確定性排程。 Groq的TSP晶片採用軟體定義、編譯時確定的排程策略。整個計算圖在執行前，其每一條資料流的傳輸時序、每個單元的乒乓緩衝都已被編譯器完全規劃完畢，生成一張精確到時鐘週期的時間表儲存在片外。硬體執行時，不含有任何仲裁邏輯，所有資料移動嚴格按時間槽進行，如同鐘錶齒輪。這徹底規避了片上擁塞流控的開銷，實現了真正的單週期確定性延遲，尤其適合對延遲極度敏感的線上推論場景。代價是靈活性受限，模型變更即需重新編譯全部時序表。
SambaNova的動態非同步排程。 SambaNova的SN系列晶片則採用支援微片（Flit）級的非同步握手與動態路由。每個PE獨立監聽其輸入埠令牌，一旦滿足觸發條件即執行，輸出資料非同步注入網路，路由器可根據區域性擁塞狀態切換微通道。這為處理動態形狀、條件執行提供了彈性，但付出了動態仲裁的少量硬體開銷。其本質是將複雜性從編譯器移至硬體執行時，換取對更廣泛負載的適應性。
兩種路徑並非對立，而是針對不同邊界條件的工程選擇：一端趨向於極致的延遲可控，另一端趨向於負載的普適覆蓋。未來的統一趨勢可能是混合模式——關鍵路徑靜態預定，其餘部分動態自適應。
8. 軟體棧：從架構到矽基的“空間編譯”藝術
如果說硬體是身軀，軟體棧就是賦予RDU生命力的靈魂，也是其曾經長期無法商業化的最大障礙。一個成熟的RDU軟體棧需要解決核心難題：將高層抽象的計算圖自動、高效地對映為百萬級PE陣列的空間-時間聯合配置表。
現代RDU軟體棧通常包含以下幾個關鍵模組：
- 圖捕獲與中間表示層： 從PyTorch等架構自動捕獲計算圖，轉為高層IR（如MLIR方言），進行運算元融合、死程式碼消除等圖最佳化，使其更傾向於空間執行。
- 空間對映與版面配置引擎： 這是技術制高點。該引擎將最佳化後的運算元圖對映到物理PE陣列上，決定什麼運算元佔用哪片區域，資料如何通過NoC分派。這本質上是求解一個NP-hard的版面配置佈線問題，需要融合整數線性規劃、模擬退火、貪心演算法等啟發式方法，在編譯時間與對映質量間折中。
- 配置生成與執行時驅動： 將對映結果生成為晶片可執行的配置位流，並載入執行時環境。執行時負責管理位流的分段重配置、輸入輸出的流式注入以及多工資源隔離。
SambaNova的SambaFlow即是這樣一套全棧軟體平台。其關鍵突破在於提出了“資料流子圖”的抽象，將完整模型編譯為一組持久的、無需主機CPU干預的資料流配置，且支援在任務間按需動態切換。只有軟體棧達到“使用者無感”的水平，RDU才能真正從小眾技術跨越至平台級解決方案。
9. 效能基準與能效對比：解構紙面資料背後的現實
脫離具體負載的對比毫無意義。RDU在效能基準上並非提供全方位碾壓，而是在特定關鍵象限內展現出指數級優勢。
- 大語言模型推論延遲： Groq的LPU以執行LLaMA 2 70B模型曾實現每秒數百Token的輸出速率，且首個Token到達延遲遠低於GPU。其確定性排程使得端到端使用者延遲幾乎無抖動，在互動式聊天機器人場景中價值突出（資料來源：Groq Inc. 公開技術演示與社群評測，2024）。
- 能效比： 在HPC與AI for Science領域，SambaNova的部署顯示，在執行分子動力學模擬替代模型時，使用BF16精度，其系統能效比可比同功耗的A100系統高出約4-6倍。此資料來自其與能源部國家實驗室的合作專案報告，需附加條件：該對比基於針對RDU深度最佳化後的模型與在GPU上標準實現的對比，且模型結構排除了那些RDU不擅長的部分（如大量稀疏Embedding查詢）。
- 吞吐量密度： 一個SN30 QLC（四晶片模組）在執行Transformer編碼器塊時，可以實現比競爭GPU更高的算力利用率（MAC利用率實測可達85%以上，而多數GPU在類似負載下波動於30%-50%），這源於資料流架構消除了等待與資料搬運的流水線氣泡。
需要保持清醒：RDU在稠密、超大Batch吞吐量場景下可能並無大優勢，其設計師主要抽取了延遲敏感、訪存密集、計算圖動態變化的負載特性來放大自身架構的紅利。因此，評估它應基於工作負載匹配度。
10. 主要廠商與競爭地圖：雙雄並立及暗潮湧動
目前的RDU市場呈現SambaNova與Groq雙雄並立的態勢，但差異顯著。
SambaNova Systems： 估值超50億美元的獨角獸。其版面配置面向“資料流即服務”和軟硬一體系統（DataScale）。技術路線強調彈性資料流與完整的軟體生態，覆蓋訓練與推論，客戶集中於國家實驗室、金融、醫療等對能效和安全性要求極高的機構。晶片採用TSMC 7nm製程，單晶片算力達數百TFLOPS。其戰略意圖是成為企業級模型訓練與部署的垂直解決方案平台。
Groq： 以極快推論成名。Groq強調確定性高效能推論，面向對話AI、語音處理等極低延遲市場。其第一代晶片即基於14nm，最新代進入更低製程。商業模式爭議較大：其晶片配備巨大的SRAM（230MB），拒絕使用HBM，導致在需要大容量儲存的模型上成本飆升，但其聲稱片內SRAM帶來的巨大頻寬優勢無可替代。
其他勢力： 傳統FPGA廠商如賽靈思（現AMD）推出的AI Engine其實也是一種可重構資料流引擎，嵌入到Versal系列中。此外，學術界及中國境內多家初創公司（如清微智慧、北極雄芯等）也在基於CGRA路線研發類似架構，多聚焦於智慧安防或邊緣大端推論。競爭格局尚處早期，決定勝負的將不僅是硬體峰值算力，更是軟體棧的完善度與SaaS化服務能力。
11. 應用場景深度分析：從大型模型推論到科學發現
RDU的真正戰場在那些“GPU幹得不好”的場景。
大語言模型推論與部署。 尤其適用於高併發、低延遲要求的引數密集型大型模型服務。資料流架構可以獨立處理每個基於序列的請求，避免GPU SIMT模型下的批處理低效問題。同時，MoE模型中的路由分發過程天然是稀疏且動態的，RDU的可重構網路能夠為每個Token動態分配不同的專家計算管線，避免了GPU上對稀疏路由的全域性同步開銷。
科學計算與AI for Science。 在天氣預測、分子動力學、物理模擬的替代模型（Surrogate Model）中，計算圖常包含複雜的微分運算元、圖網路以及動態迴圈邊界條件。這類負載不規則性極強，傳統HPC架構（包括GPU）難以有效將整個物理過程流水化。RDU能夠建置端到端的算存一體管道，實現迭代迴圈的亞毫秒級執行，大幅加速科學發現迴圈。勞倫斯利弗莫爾國家實驗室的研究人員就曾利用SambaNova系統加速慣性約束核聚變模擬，將單次推論時間從毫秒級壓縮到微秒級，提升了物理引數尋優的迭代效率。
12. 市場潛力與TCO經濟學：不可持續中的可持續
算力需求的指數增長正在顛覆資料中心的TCO（總擁有成本）模型。電力、散熱、機房空間已制約了單純堆加GPU的可行性。RDU從兩個維度改變了經濟性：
- 單位推論任務的能源成本： 若按照SambaNova宣稱的數倍能效比，即便其晶片初始採購成本高於同等級GPU，其全生命週期的電力成本也可能大幅縮減。在超大型推論叢集中，電力費用往往能佔到5年TCO的40%以上。因此，每Token推論的焦耳成本降低，直接提升了商業模型的毛利空間。
- 空間密度與部署敏捷性： RDU系統通常片內集成了大容量SRAM，減少了外接儲存器晶片的數量與複雜度，可以在更少的機架單元內提供同等推論吞吐。這意味著寶貴的機房空間可以被更有效利用。
據投資機構對AI晶片市場的估算，面向雲端推論的DSA處理器（含RDU、ASIC等）市場將在2030年前達到數百億美元的規模，複合年增長率超過30%。RDU能否在這個快速增長的蛋糕中分得可觀份額，取決於其能否跨越從“早期技術驗證”到“主流雲端廠商基礎部署”的創新鴻溝。
13. 技術侷限與挑戰：不容迴避的隱性成本
RDU遠非萬能，其普及面臨數個橫亙的技術與產業挑戰。
受限的模型覆蓋度： RDU的優勢高度依賴於計算圖能夠在片上被完全鋪開並流水化。對於超大Embedding表（如推薦系統）、稀疏讀寫極不規則、需要維護龐大最佳化器狀態的超大規模混合精度訓練，RDU的片上儲存容量不足的問題就會凸顯。此時，系統需要回退至片外HBM或DDR，其記憶體牆優勢急劇縮水。
編譯時間與軟體摩擦： 將大型模型編譯到RDU的版面配置佈線過程可能需要數分鐘至數小時，對於頻繁迭代的研發階段是種負擔。軟體棧的成熟度、對PyTorch原生特性的覆蓋率（如動態控制流、複雜迭代語句）仍是開發者面臨的主要痛點。一旦遇到編譯器無法消化的運算元，就會回退至CPU，形成“木桶效應”。
生態系統鎖定與人才稀缺： NVIDIA的CUDA生態擁有超過400萬開發者，是任何新興硬體的絕對壁壘。RDU企業提供的軟體棧要求開發者學習新的程式設計範式，且模型除錯、效能剖析工具鏈尚缺。此外，能夠深入最佳化RDU編譯器與軟體棧的架構師全球不過數百人，人才瓶頸顯著。
14. 未來趨勢：異構融合與矽基後浪的演進
RDU不會孤立存在，其未來將朝兩個方向演進：
水平融合：與CPU、GPU異構整合。 未來的超算SoC中，RDU可重構邏輯可能作為計算加速單元之一（Analogous to DSA Tile），與通用CPU核、向量單元通過統一NoC互聯。NVIDIA釋出的Grace Hopper超級晶片及未來路線圖已暗含吸納資料流思想與彈性核的趨勢。AMD也已在FPGA-AIE結構中做出類似探索。最終，所有計算架構都將向“矽基可重構”方向收斂，RDU的概念架構將成為通用部件。
垂直最佳化：面向特定演算法域的可重構加速。 借鑑RDU思路，出現面向儲存最佳化（如存內計算可重構加速）、面向安全（同態加密硬體加速）的垂直領域可重構晶片。同時，隨著神經形態計算的發展，動態資料流作為類腦非同步脈衝計算的基礎模型，將與可重構技術融合，催生可用於脈衝神經網路的晶片。
自進化硬體的遠景： 終極形態可能是，編譯器不再靜態生成配置表，而是由晶片自身的強化學習代理在執行時根據工作負載自適應地重構計算與互連拓撲，實現硬體的無監督自進化。這一設想仍遙遠，但點明瞭可重構計算通往通用人工智慧時代的未來學意義。
15. 結論與戰略啟迪
RDU不僅僅是一款新穎的AI晶片，它是一種對計算本質的迴歸與超越——讓矽基物理直接對映演算法結構，而非通過層層抽象去逼近。在DSA時代，摩爾定律的接力棒正從“電晶體縮放”交到“架構創新”手中。對於科技產業的戰略決策者，RDU現象給出的不是“去GPU化”的簡單答案，而是一組深刻啟迪：
- 算力投資需要負載匹配思維。 不存在絕對最優的通用處理器，只有針對特定負載特徵最有效的架構選擇。評估算力方案必須下沉到每Token成本、每瓦效能、確定性延遲等細分維度。
- 軟體定義硬體的能力將是護城河。 硬體差異化優勢易被工藝迭代平權，但能夠將任意演算法無縫編譯至專用硬體的全棧軟體能力才是長期壁壘。SambaNova與Groq之爭，實質是它們各自編譯器哲學之爭。
- 重構與重構的成本。 可重構帶來了能效奇蹟，卻也帶來了編譯成本與執行確定性間的權衡。未來，技術制勝的將是那些能在硬體任意重構能力與開發者無感生產力之間取得絕佳平衡的方案。
正如2018年圖靈獎得主John Hennessy與David Patterson在《計算機架構的新黃金時代》中的預言：領域特定架構和軟硬體協同設計將掀起新一輪創新浪潮。RDU正是這一預言的生動註腳。它可能不會立即取代GPU，但它所揭示的技術方向，已悄然為後摩爾時代的智慧計算重新劃定了起跑線。