In-network Computing
1. 3 秒看懂
In-network Computing(網路內計算)的核心定義是:將應用程式的計算任務從伺服器 CPU 解除安裝到網路資料路徑中的裝置上執行,讓資料在傳輸過程中“邊流動、邊計算”。
- 本質:一種變革性的資料中心架構範式,網路不僅承擔“管道”角色,更成為分散式的“主動計算節點”。
- 核心矛盾:CPU 效能增長已顯著滯後於網路頻寬從 100G 向 400G/800G 甚至 1.6T 的躍升速度。CPU 處理網路資料包的開銷(如協議棧、資料複製、加密)吞噬了大部分算力,成為系統瓶頸。
- 關鍵動作:利用可程式設計交換器、智慧網絡卡(SmartNIC)、資料處理單元(DPU)或基礎設施處理單元(IPU),在網路路徑上直接執行資料聚合、壓縮、加密、負載均衡甚至部分應用邏輯。
- 可見結果:
- 延遲敏感型應用提速:分散式 AI 訓練中的梯度同步時間可縮短 30%–50%(來源:NVIDIA Mellanox SHARP 技術白皮書,2022 年)。
- CPU 資源釋放:可將 20%–30% 的主機 CPU 核心從基礎設施任務中解放出來,用於創收型業務負載(來源:Intel IPU 解決方案簡報,2023 年)。
- 能效提升:專用硬體執行特定網路功能,其能效比是通用 CPU 的 10 倍以上(來源:Hot Chips 2022 會議,Broadcom 工程師演講)。
一句話記憶:In-network Computing 把“路”變成了“移動的分散式計算機”,解決了網比機快、機拖網速的剪刀差難題。
2. 3 分鐘產業解釋
In-network Computing 並非單一產品,而是由硬體、軟體、協議和應用共同定義的一整套技術體系。它誕生的根源是“記憶體牆”和“I/O 牆”問題在分散式系統時代的集中爆發:當數百甚至數萬個計算節點通過高速網路互聯時,資料搬移本身消耗的能量和時間,已遠超實際計算。
產業角色如何理解它?
- 對於雲端廠商(如 AWS、阿里雲端),它是實現虛擬化開銷歸零的終極手段。通過 Nitro 卡、DPU 等解除安裝卡,將網路、儲存虛擬化及安全管理從宿主機物理剝離,實現伺服器資源的“裸金屬”化售賣,同時保持彈性。
- 對於AI 與 HPC 叢集,它是維持線性擴充套件性的關鍵粘合劑。傳統的集合通訊(如 AllReduce)會產生“擁塞爆炸”和多輪通訊開銷,而支援網內計算的交換器可在中間節點直接對梯度進行求和(網內聚合),讓通訊時間不隨節點數增加而線性增長。
- 對於企業級儲存與資料庫,它讓資料訪問路徑變得更短。網路裝置可以識別並快取熱點鍵值(Key-Value Cache),或直接在路徑上執行共識協議(如 Raft/Paxos),避免資料反覆穿越軟體棧。
- 對於網路安全,它將被動防禦變為主動免疫。分散式拒絕服務(DDoS)攻擊流量可在進入伺服器前的第一跳交換器上就被識別和清洗,防火牆策略可以以線速在資料平面強制執行。
從產業鏈視角看,它處於一個承上啟下的樞紐地帶:
- 向上:擁抱雲端原生與 AI 應用生態,需要無縫對接 Kubernetes、PyTorch Distributed、Spark 等架構的通訊原語。
- 向下:深度依賴於可程式設計晶片(ASIC)和 FPGA 的進步,要求交換器晶片廠商和網絡卡廠商提供足夠靈活、高效的程式設計介面。
- 橫向:正與存算一體(Computational Storage)等技術融合,共同建置“資料在哪,計算就在哪”的全域性資料路徑加速閉環。
其商業化的核心挑戰在於:如何將高度緊耦合的封閉系統(如 InfiniBand 生態下的 SHARP)的經驗,下沉到更通用、更開放的乙太網路生態中,並解決程式設計模型碎片化、多租戶隔離、運維可觀測性等一系列工程難題。
3. 技術原理
In-network Computing 的技術實現,是沿著網路資料的處理流水線,在不同位置、不同抽象層次上注入計算能力。其核心原理可以從流水線模型、計算模型和執行位置三個維度拆解。
3.1 可程式設計資料平面:計算注入的“手術刀”
傳統固定功能的交換器晶片,其報文處理流水線是硬編碼的(解析、查表、轉發、排程)。In-network Computing 的基礎是讓這條流水線變得可程式設計。
- P4 語言與協議無關的轉發:P4(Programming Protocol-independent Packet Processors)允許開發者自定義報文的解析圖(Parser)和匹配-動作流水線(Match-Action Pipeline)。不必再等待 IEEE/IETF 定義新協議,即可在交換器上實現自定義的網內遙測(INT)或共識協議加速。
- 有狀態的處理:早期的可程式設計交換器僅能做無狀態的資料包處理。實現網內計算的關鍵一步是引入帶狀態的記憶體(Stateful Memory),通常以暫存器(Register)的形式存在,允許流水線的不同階段在納秒級延遲內讀寫共享狀態。例如,為一個數據流的所有資料包維護一個累加器,這便是網內聚合的電路級基礎。
- 流水線架構的約束:計算必須在一個極其嚴苛的約束模型下完成:每個流水線階段只能執行有限次數的操作,且必須在一個極短的時間預算內(通常 < 1 納秒)完成,以保證線速轉發。這要求演算法必須被極度簡化並拆分成多個流水線階段。
3.2 計算解除安裝的三個核心模型
依據計算耦合的緊密程度和資源形態,可分為三種模型:
-
交換器解除安裝模型(Switch-Offloading Model) 這是最經典的網內計算。計算邏輯與交換 ASIC 內部的轉發流水線深度融合。
- 網內聚合(In-network Aggregation):典型代表是 NVIDIA Mellanox 的 SHARP 技術。在 InfiniBand/RoCEv2 網路中,交換器的算術邏輯單元(ALU)可以直接從多路資料流中提取梯度向量,執行累加求和,然後將結果單播或多播回計算節點。它將
N對多的通訊模式轉變為N對一,再從一對N,理論上可將通訊總資料量減少幾個數量級。 - 共識協議解除安裝:例如,將 Raft 協議的領導者選舉心跳或日誌複製的 Append 操作,直接實現在交換器流水線中。交換器作為中心化的序列器,可以以線速對併發的寫入請求定序並廣播,將共識延遲從毫秒級降至微秒級。
- 網內聚合(In-network Aggregation):典型代表是 NVIDIA Mellanox 的 SHARP 技術。在 InfiniBand/RoCEv2 網路中,交換器的算術邏輯單元(ALU)可以直接從多路資料流中提取梯度向量,執行累加求和,然後將結果單播或多播回計算節點。它將
-
端側解除安裝模型(End-point Offloading Model) 計算發生在伺服器端的網路介面卡(NIC)上,而非網路中間的交換器。其核心載體是 SmartNIC 和 DPU/IPU。
- 架構範式:DPU 通常集成了多核 ARM CPU、專用加速引擎(加密、壓縮、正規表示式匹配)和高效能網路介面。它本質上是一臺緊耦合於網路的微型計算機。
- “NPU-on-NIC”:DPU 執行自己的作業系統和軟體棧,將 Host CPU 的整個網路、儲存、安全控制面完整地接管過來。當虛擬機器要傳送一個數據包時,DPU 負責完成所有封裝、加密和策略檢查,Host CPU 完全感知不到這個過程。
- 關鍵硬體:NVIDIA BlueField-3, Intel IPU E2000/E2100, AMD Pensando DSC-200 系列,以及基於 FPGA 的自研方案(如微軟 Catapult 專案)。
-
協同計算模型(Coordinated Model) 這是最複雜但也是最有前景的模型。它組合使用了可程式設計交換器和端側 DPU,對計算任務進行層次化分解。
- 任務劃分:一個大型的分散式Reduce操作,可以在葉子交換器(Leaf Switch)上完成區域性聚合,在骨幹交換器(Spine Switch)上完成全域性聚合。DPU 則負責在資料注入網路前對資料進行預整形和加密。
- 協同案例:在分散式推薦模型的推論場景中,第一個交換器完成稀疏特徵的查詢(Embedding Lookup),資料流經第二個交換器時完成特徵交叉計算,DPU 在客戶端完成最終的輕量級打分和結果的硬體級加密傳輸。資料自始至終未觸及伺服器 CPU。
4. 關鍵引數
衡量 In-network Computing 技術優劣與成熟度的引數,與傳統網路裝置指標有顯著不同,更強調計算有效性和開發效率。
| 指標類別 | 關鍵引數 | 衡量內容 | 典型值/行業狀態 (截至 2024 年) |
|---|---|---|---|
| 轉發面效能 | 有狀態操作線速 | 在執行計算操作(讀-改-寫)時,不丟失頻寬的吞吐量上限。 | 單晶片 12.8Tbps – 25.6Tbps,400G*64 埠全雙工線速。來源:Broadcom Trident 5 / Jericho 3-AI (2024年產品規格書)。 |
| 計算延遲增量 | 相比純二層/三層轉發,引入計算後增加的每跳延遲。 | < 300納秒 – 1.5微秒,取決於操作的複雜度(如單次累加 vs. 向量矩陣乘)。來源:Hot Chips 2023 學術成果展示。 | |
| 暫存器/有狀態記憶體容量 | 用於儲存聚合中間結果、流狀態的記憶體大小。 | 片上通常幾十至幾百MB,這決定了同時進行聚合的資料流的數量和每個流的鍵值空間。來源:Intel Tofino 3架構揭露。 | |
| 端側解除安裝能力 | 加密/壓縮吞吐量 | DPU/SmartNIC 的內聯硬體加速引擎的處理速度。 | 200Gbps 線速 AES-GCM-256 加密 + 壓縮/解壓,不影響主機CPU使用率。來源:NVIDIA BlueField-3 DPU 規格書 (2023)。 |
| 主機CPU釋放率 | 典型場景下,能為主機騰出的CPU核心數/算力比例。 | 20%-30% (網路密集型工作負載),甚至更高。來源:Intel IPU E2100 效能測試白皮書 (2024)。 | |
| 程式設計架構效能 | “寫一次,多硬體”可移植性 | 用P4或架構編寫的高階目標,能否不經大改即在不同ASIC上執行。 | 挑戰巨大。編譯後資源利用率和效能差異可達50%以上,需深度手工最佳化。來源:ACM SIGCOMM 2022 多篇關於P4可移植性的論文。 |
| 計算繫結時間 | 從定義一個新的網內聚合演算法到在真實裝置上部署驗證的所需時間。 | 從數週(僅軟體)到數月(需硬體製造商深度介入),與軟體敏捷性存在巨大鴻溝。來源:公開資料未見統一標準,為行業普遍痛點。 | |
| 多租戶隔離性 | <300>計算資源隔離粒度 | 能否為不同租戶共享的聚合計算資源(暫存器ALU)提供頻寬、容量隔離。 | 當前非常弱,多數方案依賴靜態劃分,難以實現動態的、細粒度的SLA保障。來源:NSDI 2023關於SwitchVirt的學術論文。 |
5. 技術路線
當前 In-network Computing 的技術路線之爭,核心是“高度特化、封閉整合”與“開放通用、生態共建”之間的路線選擇,同時伴隨著算力物理形態的演進。
路線一:垂直整合的“全棧封閉”式(以 NVIDIA InfiniBand 為代表) 這是目前效能最強、商業化最成功的路線,其核心是從應用架構直接到硬體加速的垂直打通。
- 代表方案:NVIDIA Quantum InfiniBand 交換器 + ConnectX 網絡卡 + BlueField DPU + CUDA 生態。其網內聚合技術 SHARP 直接內置於 MPI(訊息傳遞介面)庫(如 OpenMPI、NVIDIA HPC-X)和 AI 架構的 NCCL 集合通訊庫中。
- 優勢:開箱即用,效能最優。應用開發者甚至無需知道 SHARP 的存在,MPI_Allreduce 呼叫即可自動觸發硬體加速,延遲和頻寬利用達到理論極限。
- 劣勢:鎖定效應強,成本高昂,且技術演進完全依賴於 NVIDIA 一家公司的節奏,形成了一個封閉的技術王國。
路線二:標準乙太網路上的“開放平台”式(以超大規模雲端廠商主導) 此路線追求的是與現有雲端原生生態的相容性和技術自主性,通過解耦硬體和軟體來實現。
- 代表方案:
- 可程式設計交換器 + P4:採用 Intel Tofino 系列或 Broadcom 支援 NPL(Network Programming Language)的晶片,使用開放的 P4 語言編寫網路計算邏輯。典型案例如康奈爾大學等提出的 SwitchML、ATP 等分散式訓練加速方案。
- DPU/IPU + 雲端原生作業系統:AWS Nitro、阿里雲端 CIPU(雲端基礎設施處理單元)、Intel IPU 等。將整個虛擬化軟體棧(Virtio, NVMe-oF, OVS)解除安裝到 DPU 上,向上提供標準化的雲端服務介面,而物理伺服器的算力被“無裝修”地全額出租。
- 優勢:避免供應商鎖定,軟硬體可獨立迭代,成本可控,能更好融入已有的VPC、ELB等雲端網路體系。
- 劣勢:效能最佳化上限不及封閉系統,尤其在網內聚合等深度配合場景,需要付出巨大的工程努力才能達到接近 InfiniBand 的效果,中介軟體和上層應用的適配工作量大。
路線三:以資料路徑為中心的“異構融合”式 這是一條面向未來的路線,不再分體和終端算力,而是將計算建置在統一的高速資料路徑上。
- 代表方案:
- CXL(Compute Express Link)使能的分解式架構:CXL 2.0/3.0 協議允許 CPU、GPU、DPU、記憶體、加速器通過 CXL 交換器共享一個高速、快取一致性的記憶體池。In-network Computing 的範疇從處理網路包,擴充套件到處理記憶體訪問。一個 CXL 交換器可以看作一個近記憶體的計算節點,直接在資料所在的池上執行過濾、聚合等操作。
- SmartNIC 與 GPU 的融合:如 NVIDIA 的 BlueField DPU 通過 PCIe 與 GPU 直連(GPUDirect RDMA),未來將 DPU 的 Arm 核、GPU 的 CUDA 核和網絡卡 ASIC 融合成一個統一的、由資料驅動排程的計算陣列。資料到達網絡卡後,在觸發 CPU 中斷前,就可能已被 DPU 處理並由 GPU 計算完畢。
- 優勢:打破了伺服器“盒子”的邊界,實現了真正的以資料為中心的架構,資源效率最高。
- 劣勢:高度依賴 CXL、UEC(超乙太網路聯盟)等新生態協議的成熟,標準仍在激烈博弈中,大規模商用尚需時日。
6. 上游
In-network Computing 的上游是高壁壘的半導體和精密製造行業,其供給狀況直接決定了產業的創新速度和成本結構。
- 可程式設計交換器 ASIC:這是網內計算的“大腦”:
- Broadcom(博通):絕對王者。其 Trident 和 Tomahawk 系列主宰了雲端資料中心市場,XGS 系列貢獻了絕大部分份額。其推出的 Jericho3-AI 晶片專為 AI/ML 叢集設計,主打低延遲和網內遙測。其程式語言 NPL 是事實標準之一。截至 2024 財年 Q2,其網路晶片業務營收增長強勁,是 AI 資本支出的直接受益者。
- Intel(英特爾):通過收購 Barefoot Networks 獲得 Tofino 系列 P4 可程式設計晶片。Tofino 在學術界和需要高度自定義協議的運營商、科研網路中有大量部署,但相較於 Broadcom,其市場份額和更新迭代速度(至 2024 年 Tofino 系列路線圖公開資訊滯後)處於挑戰者地位。
- Marvell(美滿電子):通過收購 Innovium,獲得了與 Broadcom 直接競爭的 Teralynx 交換器晶片,主打大規模雲端資料中心,強調低功耗和可程式設計性,已贏得部分頭部雲端客戶。
- NVIDIA(輝達):其 Quantum InfiniBand 和 Spectrum 乙太網路交換器 ASIC 均為自研,是封閉體系的內迴圈供應。
- DPU/IPU 核心晶片:
- 架構授權與製造:DPU 內部整合的 ARM 處理器核、高速 SerDes(序列器/解串器)、PCIE/CXL 控制器、加密/壓縮加速 IP 核,均需要從 Arm(Arm)、Synopsys(新思科技)、Cadence(益華電腦)等公司獲取授權。晶片本身的製造高度依賴台積電(TSMC) 7nm、5nm 等先進製程。
- FPGA 方案:賽靈思(現 AMD)和 Altera(現 Intel)的 FPGA 是自研 DPU 的關鍵部件,尤其適合應用仍在快速演進的場景,可提供硬體級的靈活性和可重配置性。
- 高密度光/電互聯:
- 800G 甚至 1.6T 埠的實現依賴於 112Gbps/224Gbps SerDes 的成熟,以及高階調變的光模組。上游供應商如 Coherent、Lumentum、旭創科技等光模組公司,以及 Keysight(是德科技)等提供訊號完整性測試方案的廠商,是確保高速網路計算能“跑起來”的物質基礎。
7. 下游
下游指直接使用 In-network Computing 產品的最終客戶和整合商,其採購決策和使用方式定義了市場需求。
- 超大規模雲端服務商(Hyperscalers):AWS、Microsoft Azure、Google Cloud、阿里雲端、騰訊雲端。
- 需求特徵:技術驅動、定製化需求極強。他們既是使用者,也越來越多地成為自研方案的設計者。AWS Nitro 和阿里雲端 CIPU 的實踐,證明了雲端廠商是推動這一技術從實驗室走向規模化商用的終極推手。他們向上遊購買晶片 IP 授權和製造產能,向下交付彈性的、安全的雲端服務。他們的自研方案已部署在百萬級伺服器的巨大規模上(AWS re:Invent 2023 揭露,Nitro 作為其所有 EC2 例項的底座,出貨量累計已突破千萬)。
- AI 與 HPC 叢集的最終擁有者:
- 科技巨頭:Google、Meta、字節跳動、快手等。他們利用 InfiniBand 或高頻寬乙太網路搭建的大型GPU訓練叢集,是 NVIDIA SHARP 等高階網內計算功能最核心的採購方。其對通訊延遲的極度敏感,使得他們是最願意為“微秒級”效能提升支付高昂溢價的群體。
- 國家/超算中心:採購用於建設國家級超算(E級超算)和新型的智算中心。如HPC Top500排行榜中排名前列的系統。
- 企業級市場的整合商與終端使用者:
- 伺服器 OEM 廠商:戴爾、HPE、聯想、浪潮資訊等。他們將 DPU 作為可選配置整合到標準伺服器中,向企業客戶銷售。他們的採納速度,決定了 In-network Computing 能否走出超大規模市場,進入主流。
- 金融、電信等垂直行業使用者:金融追求極致的低延遲交易,電信追求 5G 核心網(UPF)的高效資料面解除安裝。他們是 DPU 在虛擬化解除安裝、網路安全加速等場景的早期嚐鮮者,但採購規模遠小於前兩者。
8. 受益公司
本分析基於產業邏輯,識別出在技術替代和產業增長中可能獲得商業利益的代表性公司,不構成任何投資建議。
-
核心受益者 - 定義市場規則者:
- NVIDIA(輝達):最大受益者。其 BlueField-3 DPU + Quantum/Spectrum 交換器 + CUDA 建置的算力網路飛輪,是目前唯一經過大規模 AI 叢集驗證的端到端網內計算方案。其在 InfiniBand 市場接近壟斷(公開資料未見權威市佔率,產業共識是>80%),並正將技術壁壘延伸至乙太網路生態。
- Broadcom(博通):確定性受益者。無論誰家的 DPU 或伺服器,只要資料中心使用乙太網路,大機率就會用到博通的交換器晶片,尤其是在葉脊架構中。網內計算帶來的交換器晶片價值量提升(從普通管道到智慧節點)是其長期增長的重要敘事。根據公司 2024 財年 Q1 財報,AI 相關的網路晶片營收年增率增長超過 30%。
-
關鍵挑戰者 - 試圖重構生態者:
- Intel(英特爾):擁有 IPU + Tofino + Gaudi AI 加速器 + 至強 CPU 的完整拼圖,但其面臨的挑戰在於如何將這些技術元件深度融合,形成與 NVIDIA 匹敵的統一生態,並扭轉市場預期。其 IPU 在雲端廠商側(如 Google Cloud 的 Mount Evans IPU 合作)是關鍵突破口。
- AMD(超威半導體):收購了 Pensando 獲得了成熟的 DPU 技術和微軟、IBM 等關鍵客戶;收購賽靈思獲得了 FPGA 能力。其在硬體層面已有足夠實力,但軟體生態的融合與 NVIDIA 的 CUDA/NCCL 相比仍有巨大差距。
- Arista Networks(阿里斯塔網路):作為雲端原生交換器市場的領導者,雖然不製造晶片(主要依賴 Broadcom),但其 EOS(可擴充套件作業系統)具備極強的可程式設計性,被視為在軟體層面釋放硬體網內計算能力的關鍵入口,天然受益於標準乙太網路線的擴張。
-
潛在受益者 - 價值重估者:
- 雲端服務商:AWS(亞馬遜)、阿里巴巴。他們的自研晶片和系統(如 Nitro, CIPU)是其實現成本結構革命性最佳化的內生引擎,是其長期保持盈利能力的關鍵,難以被外力直接複製。此優勢深植於其公司內部能力,外部分析難以量化。
9. 市場規模
由於 In-network Computing 並非一個獨立的、可分割的市場,而是一種橫跨交換器、網絡卡和伺服器負載的能力,其市場規模只能通過它所依附的硬體載體和節省的 TCO 進行交叉估算。任何精確的市場規模數字都具有高度推測性,此處提供結構化的估算路徑和觀察。
-
載體的市場(TAM - 總可定址市場):
- 資料中心乙太網路交換器晶片市場:這是交換器側網內計算的物理基礎。根據研究機構 650 Group 在 2024 年 1 月釋出的報告,該市場在 2023 年約 120億美元,並預測到 2028 年將增長至接近 250億美元,主要驅動力正是AI/ML叢集對高吞吐、低延遲可程式設計交換器的強勁需求。其中,適用網內計算的“高階”可程式設計晶片的佔比在快速提升,遠超通用交換晶片(來源:650 Group,《Data Center Switch ASIC Market Forecast 2024》)。
- DPU/IPU 市場:這是一個高增長、高預期的戰場。根據 Dell’Oro Group 2024 年初的報告資料,全球 DPU 市場(含 SmartNIC)在 2023 年達到約 15億美元,並預計在 2024 年超過 20億美元。預計未來五年複合年增長率(CAGR)將保持在 25%-30%的水平,到 2028 年市場規模有望衝擊 50 億美元(來源:Dell’Oro Group,《Ethernet Adapter and Smart NIC Report》,2024年Q1預測)。其滲透率從“網絡卡即插即用”轉向“DPU全方位解除安裝”的過程將是市場增長的關鍵。
-
由價值估算的“衍生市場”:
- 這是產業的真正引擎:客戶不是為“網內計算”這個名詞付費,而是為其節省的主機 CPU 成本付費。一個粗粒度估算:如果 1 臺價值 1萬美元的伺服器,其 25% 的算力被網路/儲存任務佔用,則浪費成本為 2500 美元。若一塊售價 1500 美元的 DPU 能徹底解放這些算力,其擁有立竿見影的 TCO(總體擁有成本)經濟性。在一個百萬級伺服器的雲端資料中心,這種邏輯就意味著數十億美元的淨效益。這也是為什麼大型雲端廠商願意在 DPU 自研上投入數十億級研發費用的根本原因。
-
區域市場觀察:
- 北美:絕對的主導市場,集中了所有頭部雲端廠商和晶片設計商。
- 中國:市場潛力巨大但面臨特殊性。受制於先進製程晶片的獲取,市場在向“架構創新換製程空間”的方向發展,CXL 等新興技術被寄予厚望。阿里雲端(CIPU)、移動雲端(自研 DPU)的本土實踐走在行業前列,但大規模擴張受到晶片供應鏈的剛性約束。
10. 玩家對比
此排行榜聚焦於提供完整產品或核心平台的玩家,而非部件供應商。
| 維度 | NVIDIA (輝達) | Intel (英特爾) | AMD (超威半導體) | AWS (亞馬遜雲端科技) | Broadcom (博通) |
|---|---|---|---|---|---|
| 核心產品/平台 | BlueField DPU + DOCA 架構 + Quantum/Spectrum 交換器 | IPU (E2000系列) + Tofino 交換器 + oneAPI/IAG 架構 | Pensando DSC DPU + Alveo SmartNIC (FPGA) + Ryzen/EPYC 生態 | Nitro 卡 + Nitro 系統 / Graviton CPU | Trident/XGS/Jericho 系列 乙太網路交換器ASIC + NPL 程式語言 |
| 技術路線 | 全棧封閉,垂直最優。硬體與 CUDA/NCCL 深度繫結,強調開箱即用的效能。 | 開放生態,全面拼圖。試圖用 open API 統一IPU、交換器、GPU的程式設計,但整合進度慢。 | 異構開放,服務重點客戶。收購 Pensando 帶來成熟DPU軟體棧,微軟是核心合作樣板。 | 高度自用,定義新標準。定製硬體與自研軟體完美結合,為最佳化內部負載而生,不對外銷售。 | 基石供應商,賦能生態。提供最強大的核心引擎(交換器晶片)和程式設計工具(NPL),讓下游(如Arista、Cisco)建置方案。 |
| 網內聚合能力 | 最強 (SHARP),已在運營商級別大規模部署,支援浮點運算。 | 基於Tofino,學術研究驅動。SwitchML、ATP 等創新方案多基於此,但商業化整合度不高。 | 公開方案/產品中未見成熟的網內聚合功能,聚焦於端側解除安裝。 | Nitro 系統核心在於解除安裝,網內聚合未見公開大規模部署。 | 在晶片(如 Jericho3-AI)和 SDK 層面提供網內遙測和基礎聚合原語,由下游方案商實現。 |
| 軟體生態與易用性 | DOCA 生態。最成熟,類似 CUDA 的成功路徑,擁有海量開發者、庫和文件,學習曲線相對平緩。 | oneAPI / IPDK。願景宏大,但元件分散,生態影響力遠不及 CUDA,落地案例不如 NVIDIA 豐富。 | 相對聚焦,軟體棧圍繞一套成熟的 API 建置,主要響應大型客戶定製需求,社群廣度不足。 | 內部極致高效,外部不相關。 | NPL (Network Programming Language)。類似硬體驅動的 SDK,主要服務裝置商(OEM/ODM)的研發工程師,而非應用開發者。 |
| 主要客戶場景 | 高價值AI/HPC叢集,如大型科技巨頭的千卡萬卡訓練場。 | 雲端廠商的虛擬化解除安裝、通訊運營商邊緣/核心網 UPF 解除安裝。 | 微軟 Azure 雲端、Oracle 雲端、IBM 雲端等大型二線雲端廠商;金融、企業資料中心。 | AWS 全球數百萬客戶,但都是通過 EC2 例項間接使用,是標準服務的底層不可見元件。 | 所有使用商用交換器的廠商,如 Arista、Cisco、Juniper、Dell、HPE 及大型雲端廠商的自研交換器。 |
小結:當前競爭格局是 一個全能冠軍(NVIDIA)與一個萬能的引擎供應商(Broadcom),加上幾個追趕的整機方案提供商(Intel/AMD)和自成一體的巨無霸使用者(AWS) 之間的複雜博弈。技術路線勝出的關鍵,正從純粹的硬體效能比拼,轉向軟體生態的粘性、開發者親和力和大規模運維便捷性之爭。
11. 風險
- 技術鎖定風險:以 NVIDIA InfiniBand/SHARP 為代表的封閉方案提供了最佳效能,但導致使用者被深度鎖定。一旦採納,未來轉換到乙太網路方案的遷移成本和風險極高,技術棧和運維團隊技能都將被固化。這導致客戶議價權喪失。
- 開放生態的碎片化風險:開放的 P4+乙太網路線試圖打破鎖定,但自身面臨碎片化問題。一個為 Intel Tofino 編寫的 P4 網內聚合程式,很難直接高效執行在 Broadcom 的晶片上,需要對兩種晶片的微架構進行深度手工最佳化,這與“軟體定義”的初心理想相悖。
- 可運維性和可觀測性“黑盒”風險:將應用計算邏輯沉入到網路交換器和網絡卡後,整個分散式系統呼叫鏈的除錯和追蹤變得極其困難。傳統的
tcpdump,strace, 分散式追蹤(如 Jaeger)工具全部失效。當一次 AI 訓練任務變慢,工程師幾乎無法判斷是 GPU 問題、程式碼問題還是交換器上的聚合邏輯死鎖。這構成了大規模上線的主要心理與工程障礙。 - 多租戶安全與隔離風險:在公有雲端環境中,允許多租戶的應用邏輯共享同一臺交換器的計算資源(暫存器、ALU),可能導致嚴重的側通道攻擊和隱私洩露風險。一個租戶的惡意或異常負載,可能通過消耗計算資源或觀察執行時間延遲,推斷其他租戶的聚合資料。目前尚無成熟的、經過形式化驗證的硬隔離方案。
- 供應鏈風險:整個產業集中於先進製程。核心元件如 DPU/交換器 ASIC 高度依賴台積電 5nm/7nm 工藝和 CoWoS 等先進封裝,單點故障風險巨大。尤其對中國使用者而言,獲取高效能 In-network Computing 核心硬體的路徑充滿了政策和出口管制的不確定性。
12. 誤讀糾偏
-
誤讀 1:“普通交換器升級個系統就能實現網內計算。”
- 事實:絕對錯誤。實現網內計算,尤其是在交換器線速下做聚合,必須依靠晶片硬體層面的支援,即 ASIC 內設計了專門的有狀態 ALU 和暫存器。普通的、哪怕功能再強大的可程式設計管道,如果沒有這些物理硬體單元,就無法高效實現網內計算,只能做無狀態的資料包改寫和轉發。這是物理鴻溝,絕非純軟體補丁。
-
誤讀 2:“In-network Computing 就是 SmartNIC/DPU。”
- 事實:DPU 是端側解除安裝(End-point Offloading)的核心,但不是網內計算的唯一或全部。嚴格意義上的“網內計算”,其獨特優勢在於利用網路拓撲的中間節點(如交換器)去最佳化整個通訊模式(如流量風暴變成涓涓細流)。端側的 DPU 和中間的交換器,兩者協同工作才能構成完整的 In-network Computing 解決方案。此概念常被廠商有意或無意地混用,以擴大其產品外延。
-
誤讀 3:“這是一個純硬體問題。”
- 事實:從晶片到應用之間的軟體棧(編譯器、驅動、中介軟體、庫),其複雜性和重要性是硬體的十倍。如何讓一個 PyTorch 的資料科學家在 Python 程式碼裡無感地享受到交換器的聚合加速(這正是 NVIDIA DOCA+NCCL 在做的事情),是整個技術能否普及的“哥德巴赫猜想”。In-network Computing 的成敗,最終是軟體生態的競爭。
-
誤讀 4:“它會取代通用 CPU,終結摩爾定律。”
- 事實:它是一種異構計算的補充,而非替代。它將CPU不擅長的、高度重複和確定性的資料搬運及處理任務卸載出去,讓CPU集中精力做其擅長的複雜邏輯和控制任務。這種“術業有專攻”的分工,恰恰是延緩而非終結摩爾定律效力的一種手段。
13. 最新事件
- 2024 年 5 月 | 超乙太網路聯盟(UEC)釋出 1.0 版規範:由 AMD, Cisco, Broadcom, Intel, Meta 和 Microsoft 等發起的 UEC 聯盟,公佈了其 1.0 規範。目標直指 NVIDIA 的 InfiniBand,旨在改造乙太網路協議棧,使其能更好地支援 AI 和 HPC 的高效能網路需求,其中“網內計算”是未來規範的核心考量之一。這標誌著開放的乙太網路線對封閉路線的反擊進入了新階段。
- 2024 年 4 月 | 博通釋出 Jericho3-AI 交換器晶片:博通釋出了專門為 AI/ML 叢集最佳化的 Jericho3-AI 晶片,單晶片支援 26 Tbps 吞吐。尤為重要的是,其架構特別強調通過 Fabric 互聯實現多晶片協同、極低延遲下的擁塞控制和網內遙測(INT),為乙太網路實現類似 SHARP 的聚合功能提供了更強大的硬體底座。(來源:Broadcom 官方新聞稿,2024年4月)。
- 2024 年 3 月 | NVIDIA GTC 2024 釋出 Spectrum-X 乙太網路平台進展:NVIDIA 宣佈其專為 AI 最佳化的 Spectrum-X 乙太網路網路平台(包含 Spectrum-4 交換器、BlueField-3 DPU 和加速軟體)已被多家頭部雲端廠商和企業採用。此舉被廣泛解讀為 NVIDIA 在鞏固 InfiniBand 王座的同時,也開始用 DPU + 自研交換器的組合,發起對通用乙太網路市場的“收割”戰,意圖用一個軟硬體一體化的最佳化方案重新定義 AI 乙太網路。(來源:NVIDIA GTC 2024 主題演講)。
- 2023 年 12 月 | 美國升級對華先進製程晶片出口管制:美國商務部工業與安全域性(BIS)更新的出口管制規則,進一步限制用於資料中心和 AI 的高效能晶片對華出口,這使得中國本土雲端廠商和科技公司在獲取高階 DPU 和可程式設計交換器晶片路徑上,面臨更大不確定性和現實阻礙,或將加速本土化替代和 CXL 等“彎道超車”技術的研發投入。
14. 追蹤指標
-
技術滲透率指標:
- DPU 搭載率:追蹤主流伺服器出貨量中,配備 DPU/SmartNIC 的比例,尤其是除超大規模雲端廠商以外的企業級伺服器市場。這是衡量產業從“小眾”走向“主流”的最關鍵指標。資料可從 IDC 或 Gartner 的季度伺服器追蹤報告中獲取,並交叉驗證 Dell’Oro Group 的網絡卡報告。
- SHARP/ 網內聚合部署規模:這是衡量高階網內計算採用的“金絲雀”。關注 NVIDIA 財報電話會議中,管理層提及 SHARP 被部署的節點數或對 HPC/AI 業務拉動作用的定性描述。沒有直接的數字,但措辭的變化是重要訊號。
-
生態與標準化指標:
- 超乙太網路聯盟(UEC)規範的採納進度:關注各廠商宣稱支援 UEC 規範的交換器和網絡卡產品的時間表。第一批次產產品的上市將標誌著乙太網路開放路線從紙面走向現實。
- Linux 核心/IPDK 社群活躍度:In-network Computing 相關驅動、API(如 netdev 郵件列表中的相關討論,IPDK 倉庫的 PR 提交量和貢獻者多樣性)是衡量開放軟體棧成熟度的先行指標。
-
公司微觀財務指標:
- NVIDIA 資料中心網路業務營收增速:密切關注 NVIDIA 財報中“資料中心”業務下,網路裝置(交換器/DPU/網絡卡)的營收佔比和增速。這是觀察最先進行場景氣度的硬指標。每個季度檢視一次。
- 博通交換晶片業務中“AI 叢集”貢獻增速:博通業績會上,管理層常會單獨拆分出面向超大規模客戶的定製 ASIC 和 AI/ML 叢集晶片的營收前景。這個數字直接關聯到標準乙太網路線的投入熱度。
-
競爭格局訊號:
- 雲端自研 DPU 的更新換代節奏:如 AWS 釋出新一代 Nitro、阿里雲端釋出新的 CIPU 例項、Google 更新其 IPU 路線圖。這些更新通常預示著新一輪數十億美元級別的資本支出週期開啟。
15. 信源
本部分提供用於長期追蹤和研究 In-network Computing 的高質量資訊源,力求平衡權威性、時效性與前瞻性。
-
官方廠商技術文件與產品頁面:
- NVIDIA Networking(Mellanox) 技術部落格與 BlueField DPU 產品規格書:獲取 SHARP、DOCA 和 DPU 的第一手效能資料與架構白皮書。
- Intel Developer Zone:IPU 與 Tofino 系列的程式設計指南、SDK 及 oneAPI 規範。
- Broadcom 產品資料:可程式設計交換器晶片系列的規格與功能列表。
- AMD / Pensando 技術資源:Pensando DSC 軟體棧和 Alveo 加速卡相關文件。
-
頂級學術會議與開源社群:
- ACM SIGCOMM, USENIX NSDI, USENIX OSDI:這是 In-network Computing 最前沿創新思想的策源地。幾乎所有關於網內聚合、共識、快取的突破性原型(如 SwitchML, ATP, NetCache, NetChain)均首發於此。關注官網釋出的年度最佳論文和會議議程。
- P4 Language Consortium (P4.org):獲取 P4 語言規範、開源編譯器、應用案例和白皮書的核心平台,是瞭解開放式可程式設計資料面的入口。
- IPDK (Infrastructure Programmer Development Kit):一個由 Intel 發起、試圖統一 DPU/IPU 程式設計的開源社群,其程式碼倉庫的活躍度是觀察開放生態進展的視窗。
-
專業分析機構與獨立分析師:
- 650 Group:專注於資料中心網路晶片和系統的精品研究機構,其交換器 ASIC 市場報告是行業標杆,尤其擅長量化 NPI(新產品匯入)週期。
- Dell’Oro Group:其《乙太網路介面卡和 Smart NIC 報告》是追蹤 DPU 市場規模和市場份額最常被引用的來源。
- The Next Platform:長期深度覆蓋 HPC、AI 和大規模 IT 基礎設施的獨立技術媒體,其對 NVIDIA, Broadcom, Intel 等公司技術路線圖的分析極具深度和批判性。
- SemiAnalysis:偏重從半導體工藝、封裝、互連(如 CXL, UEC)等上游視角分析雲端運算和資料中心架構的下游影響,尤其擅長供應鏈交叉驗證,視角獨特但需要其付費訂閱獲取深度報告。
-
財務信源與資料庫:
- 公司官方季度/年度財報(10-Q/10-K)及電話會議紀要:從 NVIDIA, Broadcom, Intel, AMD, Cisco, Arista 等的財務陳述中,提取關於網路計算相關產品線的營收、增長率和未來展望。
- Seeking Alpha, Bloomberg, FactSet:這些平台整理和轉錄的財務電話會議紀要,是分析管理層措辭和預判產業趨勢的便捷工具。