晶片層 開放閱讀

運算元覆蓋率

Operator Coverage

概念 ID
operator-coverage
更新時間
2026-05-29
來源數量
待補

運算元覆蓋率

3秒看懂

運算元覆蓋率是深度學習編譯器能否將模型完整部署到晶片上的核心指標,定義為“硬體原生支援的運算元種類數 ÷ 模型實際需要的運算元種類數”。一個缺失的關鍵運算元可能使整個模型無法執行或效能斷崖式下跌。

3分鐘產業解釋

在AI工程化中,模型需從訓練架構(如PyTorch、JAX)轉換到推論引擎(如TensorRT、TVM、各NPU廠商工具鏈)才能高效執行。轉換的核心任務是將模型每一層分解為基本計算單元——運算元,並在後端查詢其高效實現。

GroupNormGELU或某種複雜Attention變體不在後端運算元庫中時,編譯器要麼拒絕轉換,要麼觸發fallback到CPU實現——這往往導致數十倍甚至上百倍的效能損失。行業經驗表明,90%的運算元覆蓋率可能仍意味著大多數實際模型無法流暢執行,因缺失的10%往往是新模型的關鍵結構。

因此,運算元覆蓋率代表AI晶片軟體棧的“開箱即用”能力。它被廣泛視為:如果你只能問AI晶片公司一個問題,就問“它能無痛跑通我的模型嗎”——而運算元覆蓋率就是這個問題的精確度量。它是連線模型開發者和晶片硬體的核心橋樑,也是AI晶片廠商從“能跑Demo”到“能進生產環境”的核心瓶頸。

技術原理

運算元覆蓋的本質是編譯器中的**graph lowering(圖下降)**過程:將高層次的模型表達(如PyTorch運算元),逐步降低為硬體可以理解的指令序列。

深度學習的編譯流程可分為四個階段:

第一階段:圖匯入與IR建置

模型從ONNX、PyTorch FX Graph、Relay等前端進入編譯器的中間表示。此時計算圖中的每一節點代表一個高階運算元,如 onnx.Conv, torch.nn.functional.linear。該IR仍然與架構強相關,尚未與任何硬體特性繫結。

第二階段:圖最佳化與Pass Pipeline

編譯器在此階段執行一系列圖重寫Pass,主要完成:

  • 運算元融合:將一個常見的子圖結構(如Conv→BatchNorm→ReLU)替換為單一複合節點,減少記憶體往返。TensorRT的Myelin最佳化器在此階段尤為著名。
  • 常量摺疊與死程式碼消除
  • 版面配置最佳化:根據目標硬體調整資料排布(NCHW→NHWC)。

此時,圖被轉化為更貼近硬體的表達,但仍使用高層運算元語義。

第三階段:運算元匹配(關鍵環節)

這是決定覆蓋率的核心環節。對IR中的每個節點/子圖,編譯器的後端執行匹配:

match(ir_node):
    查詢條件:
    - 運算元型別(如 MatMul, GroupNorm)
    - 輸入輸出張量版面配置(NCHW / NHWC)
    - 資料型別(FP32 / FP16 / BF16 / INT8)
    - 具體形狀(靜態/動態,對齊要求)
    返回:kernel實現或匹配失敗

匹配失敗的處理策略有三檔:

  1. 報錯停止(應用於安全攸關場景)
  2. 自動分解:將高層運算元拆解為基礎代數運算元。如 GroupNorm 分解為 ReduceMean + Sub + Square + ReduceMean + Add + Sqrt + Div + Mul + Add。這可能引入精度漂移。
  3. CPU回退:保留原節點,但執行裝置變為CPU,通常伴隨GPU↔CPU資料傳輸。

第四階段:程式碼生成與執行時特化

匹配成功後,為每個節點生成硬體可執行程式碼。對於動態shape模型,覆蓋率需到執行時才能確認——某些kernel僅支援特定形狀對齊(如Tensor Core要求M/N/K為8或16的倍數)。因此編譯器還需生成條件分支邏輯或執行時即時編譯路徑。

運算元覆蓋率的工程本質,可以概括為:在編譯器的IR lowering全鏈路中,確保不會因缺少對應實現而在任何階段丟失計算語義或引入不可接受的效能/精度退化

關鍵引數

度量運算元覆蓋率不能僅看庫中運算元條目數,必須從多個引數維度分析。以下為產業界和學術界常用的分析架構:

1. 原子運算元數 統計後端Kernel庫中支援的基礎運算元型別數量(如Conv2D、MatMul、Softmax、LayerNorm等)。這個數字最容易獲取——各廠商常宣傳“支援1500+運算元”——但也是最具誤導性的指標。因為:

  • 各廠商對“一個運算元”的原子化粒度定義不同
  • 往往統計不同精度/版面配置下的變體,存在嚴重重複計算
  • 公開揭露資料未見統一審計標準

2. 子圖覆蓋率
統計編譯器能識別並融合的複合運算元模式數量。例如:

  • Conv + BN + ReLU → ConvBNReLU(1個融合運算元覆蓋3個原子運算元)
  • Multi‑Head Attention → FlashAttention等效實現
  • LayerNorm → 單一融合實現(而非6個基礎運算元的拼接)

這是比原子運算元數更有意義的指標,但絕大多數廠商不公開融合規則數量,僅有部分開源編譯器(如TVM Relay)可通過程式碼倉庫間接觀察。

3. 模型端到端通過率(關鍵指標) 在特定模型庫上統計能完整執行(且不發生不可接受效能回退)的模型百分比。業界一般認為:

  • HuggingFace Top‑100模型端到端通過率 ≥ 95% 是“商業化就緒”的閾值
  • LLaMA系列、Stable Diffusion等標杆模型需達到100%覆蓋
  • 通過率的統計口徑需約定“回退容忍閾值”——通常定義為回退FLOPs佔比 ≤ 1%

4. 回退FLOPs佔比 公式:回退FLOPs佔比 = 回退節點總FLOPs ÷ 模型總FLOPs。用FLOPs而非節點數度量,是因為高計算量運算元(如MatMul)的缺失後果遠比輕量運算元(如Dropout)嚴重。

5. 編譯成功率 模型編譯過程中不因運算元缺失而報錯的機率,是所有後續執行的基礎前置條件。編譯通過不代表執行時所有shape均覆蓋,需區分看待。

6. 新運算元接入週期 從一款熱門模型(如Llama 3)釋出到編譯器穩定支援其關鍵新運算元的時間間隔。該資料極難獲取,據行業經驗(公開資料未見精確揭露),頭部廠商通常在2-6周內完成,非頭部廠商可能需數月甚至依賴上游社群合併。

資料來源說明:以上各引數的具體數值極少公開揭露。目前僅能從開源編譯器GitHub Repo、MLPerf提交細節、開發者社群反饋中不完全推斷。公開資料未見有第三方機構對AI晶片廠商的運算元覆蓋率做系統性審計或釋出基準排名。

技術路線

當前產業界主要有四條技術路線來解決運算元覆蓋問題:

路線覆蓋原理優點缺點典型例項
手寫運算元庫工程師逐個實現Kernel極致效能,可針對性最佳化擴充套件慢,維護成本極高cuDNN核心部分、早期NPU SDK
自動運算元生成編譯器根據宣告式描述自動搜尋可快速覆蓋大量形狀變體部分kernel效能非最優;編譯時間長TVM AutoTVM/Ansor、Halide
子圖模式替換先匹配融合子圖,再對映到高效實現端到端效能好,減少訪存規則庫需持續更新TensorRT、ONNX Runtime Fusion
MLIR多級Dialect在多層IR間定義Dialect,漸進降低解耦架構和硬體,可組合生態仍在形成,落地複雜IREE、Torch-MLIR

路線演進趨勢(2022–2025年)

  • 手寫運算元的投入產出比持續下降,頭部廠商傾向於僅對Top 20–30的核心運算元(如FlashAttention、卷積核心變體)保留深度手寫最佳化。
  • 自動生成(特別是基於搜尋的Ansor方案)正成為長尾運算元覆蓋的主力手段。據OSDI 2020論文《Ansor》資料(學術基準,非生產環境),在部分模型上自動生成運算元效能已可達手寫水平的70%–95%。
  • 子圖融合規則正圍繞大型模型結構標準化,FlashAttention及其變體(v2, v3)已成為事實標準子圖,其支援情況本身即是一種核心運算元覆蓋。
  • MLIR生態擴充套件加速,至2025年已有超過15個Dialect用於不同的硬體後端,但完整覆蓋主流模型的端到端方案仍處於早期(公開資料未見)。

上游

運算元覆蓋率問題的上游,是定義“運算元長什麼樣”的各個參與方:

1. 模型架構層(PyTorch、JAX、TensorFlow) PyTorch定義了超過2000個operator(ATen算子集合,來源:PyTorch官方文件),這是編譯器必須面對的“運算元需求清單”。PyTorch 2.x的TorchDynamo/TorchInductor進一步將前端標準化,使編譯器面對的算子集合更清晰但也更多樣。

2. 中間表示標準(ONNX、MLIR StableHLO) ONNX定義了標準化算子集合(約200+運算元,ONNX Opset 20,2024年公開文件),試圖在此層面統一架構的碎片化。但ONNX運算元更新速度(約1–2次/年Opset更新)往往滯後於架構創新,因此實際部署中“ONNX不完全覆蓋模型所需運算元”是常態,需通過custom ops機制擴充套件。

3. 學術界新運算元創新 這是上游最活躍、變化最快的部分。2017–2024年間湧現了大量改變模型結構的新運算元/子圖:

  • Attention家族:Self-Attention、Multi-Head Attention、Causal Attention、FlashAttention v2/v3
  • 啟用函式:Swish/SiLU、GELU(及其近似變體)、Mish
  • 歸一化:LayerNorm、RMSNorm、GroupNorm
  • 位置編碼:RoPE(Rotary Position Embedding)
  • 新架構專用:Mamba的Selective Scan、JAMBA的混合Attention/Mamba層

每個新運算元的出現,都可能在短期內製造新的覆蓋空白,衝擊已有軟體棧。

4. 資料精度與量化標準 上游訓練多使用FP32/BF16,但部署端常需FP16/INT8/INT4甚至更低精度。同一運算元在低精度下的支援情況往往與高精度不同——例如FP16的Softmax實現與FP32實現不同,需額外覆蓋工作。這使得實際覆蓋矩陣是“運算元型別 × 精度 × 版面配置”的三維空間。

下游

運算元覆蓋率不足的後果直接傳導至下游:

1. AI晶片硬體 覆蓋缺失直接影響晶片是否能被市場接納。即使晶片的TOPS(理論算力)遠超競品,若無法執行Llama、Stable Diffusion等關鍵模型,則商業價值大幅受限。業界將此概括為:晶片TOPS是“紙上馬力”,運算元覆蓋是“實際能上路的道路”

2. AI模型部署方(雲端廠商、企業AI團隊) 下游客戶在選擇晶片或推論平台時,首要驗證的是“能否無痛執行我的模型”。大型雲端廠商會維護內部運算元覆蓋評估矩陣(通常非公開),在採購前驗證Top 20–50個目標模型。這使運算元覆蓋率事實上成為晶片選型的核心決策變數之一。

3. 應用場景(自動駕駛、醫療影像、智慧終端) 對延遲和穩定性敏感的垂直場景影響尤為顯著:

  • 自動駕駛:CV類模型(檢測、分割)的運算元覆蓋相對成熟,但新興的BEV+Transformer架構引入的新運算元仍在快速演進,對晶片軟體棧構成壓力。
  • 醫療影像:3D卷積、特定後處理運算元的覆蓋往往不完整。
  • 智慧手機/PC NPU:模型量化後的INT8/INT4運算元覆蓋率是關鍵瓶頸,大幅影響端側AI體驗。

4. 開源社群與第三方評測 HuggingFace社群、Reddit r/MachineLearning、各大開源專案的Issue區已形成非正式的“民間運算元覆蓋資料庫”。開發者會自發分享在不同硬體後端上執行模型的體驗,形成一種去中心化的覆蓋評估。這對廠商構成持續的聲譽監督。

受益公司

以下從產業鏈位置,分析運算元覆蓋率優勢或挑戰對不同公司的影響。所有財務/營收/份額資料均標註年份、幣種及出處。

NVIDIA

  • 定位:當前AI算力生態的事實標準制定者。
  • 運算元覆蓋優勢:通過CUDA + cuDNN + TensorRT的組合,擁有最廣泛的運算元庫和模型覆蓋。截至2024年底(公開資料),絕大多數開源模型釋出時優先適配CUDA生態。這一優勢構成其AI晶片市場份額(2024年估計約80%–90%,來源:第三方分析師估算如Mercury Research、Jon Peddie Research等,精確份額待進一步確認)的核心軟體護城河。
  • 財務關聯:NVIDIA資料中心業務2024財年營收475億美元(NVIDIA FY2024年度財報),其軟體生態的覆蓋優勢是支撐該營收的底層結構性因素之一。

AMD

  • 定位:GPU市場的追趕者,AI領域持續加大軟體投入。
  • 運算元覆蓋現狀:ROCm生態的覆蓋廣度顯著不如CUDA,社群反饋中部分模型無法執行或效能大幅落後。AMD在2024年公開宣告加大ROCm投資,並收購軟體公司(如Silo AI,2024年)加速彌補軟體生態差距。
  • 財務資料:AMD 2024年資料中心業務營收約121.8億美元(AMD 2024年度財報,含EPYC CPU)。MI系列GPU的增長部分取決於ROCm覆蓋率的改善速度。

華為昇騰(Ascend)

  • 定位:中國自主AI晶片的代表,覆蓋部分國內政企市場。
  • 運算元覆蓋:CANN軟體棧重點覆蓋國內常用模型和場景。據公開技術文件,已支援PyTorch/TensorFlow主要模型,但擴充套件至全球最新開源模型(如LLaMA 3.x、Mistral)的速度和覆蓋完整性,公開資料未見詳細第三方評測。
  • 市場資料:華為昇騰在資料中心AI晶片出貨方面位居國內市場前列(2024年中國信通院等機構相關報告有所提及,具體市佔率估計依賴來源口徑)。

Google TPU

  • 定位:通過與XLA編譯器的深度繫結,覆蓋特定工作負載。
  • 運算元覆蓋特徵:覆蓋偏重於Google內部模型(如Gemini、PaLM)和JAX生態,對通用開源模型的覆蓋不追求廣度,而是深度最佳化關鍵模型。TPU v5p在2024年MLPerf Training中取得多項記錄成績(MLPerf官方結果),反映其在受測模型上的運算元覆蓋和高效能實現完成度。
  • 財務:Google未單獨揭露TPU營收,歸入“其他營收”科目,無法直接關聯。

AI晶片初創(寒武紀、Graphcore、Groq、Cerebras、Tenstorrent等)

  • 普遍困境:能否跑通Llama 3、Stable Diffusion 3、Mixtral等關鍵模型,直接決定其市場準入。“能流暢執行Llama-2-7B”在2023–2024年已成為投資者和客戶評估的入門門檻。
  • Graphcore 2024年被軟銀收購,市場分析認為其在通用模型覆蓋方面的進展不及預期是原因之一(來源:公開新聞報道及The Register等科技媒體)。
  • 財務資料:多數初創公司未公開上市,營收資料不透明。公開資料未見覆蓋率的獨立審計資料。

市場規模

運算元覆蓋率本身並無獨立市場,它是AI晶片和AI推論軟體市場的間接驅動力。以下數字嘗試量化其下游影響:

  • 全球AI晶片市場:據第三方研究機構(如Gartner、IDC、WSTS)估計,2024年AI晶片(含GPU、NPU、TPU、FPGA等)市場規模約為500億–600億美元,預計到2028年將超過1000億美元。測算口徑通常包含資料中心和邊緣端,具體確切值因機構統計口徑而異。

  • AI推論市場:推論晶片(含邊緣和雲端端)在2024年約佔AI晶片市場的40%–50%(來源:麥肯錫AI硬體分析,2023年;Mercury Research等)。推論場景對運算元覆蓋率更敏感,因為推論部署需要“開箱即用”。

  • 軟體棧優先的成本邏輯:據CNCF/雲端原生計算基金會等社群的非正式統計,AI團隊在選擇硬體時,軟體開發成本可佔總擁有成本(TCO)的40%–60%(來源:Cloud Native Survey 2023等,資料需進一步明確)。運算元覆蓋不足導致的遷移和適配成本,直接侵蝕硬體本身的價格優勢。這一“隱性市場規模”難以量化,但被產業界普遍認可。

  • 中國AI晶片市場:據前瞻產業研究院等機構報告(2024年),規模估計為數百億元人民幣(具體數字在300億–500億區間,年份為2024E,口徑差異較大)。自主AI晶片的運算元覆蓋質量直接影響其在信創市場的滲透速度。

資料侷限宣告:上述市場規模數字多為第三方估計,確切金額依口徑和來源不同有顯著差異。運算元覆蓋率與經濟價值的直接對映關係尚缺乏系統性的定量研究,此處僅提供間接市場規模的參考背景。

玩家對比

以下對主要AI晶片公司的軟體棧覆蓋能力進行定性對比。因無法獲取直接可驗證的覆蓋資料,本表基於公開技術文件、社群反饋和行業演講的綜合判斷,不具備精確可比性,僅供理解產業相對位置

廠商覆蓋策略主要優勢區已知短板覆蓋資訊可得度
NVIDIACUDA生態+手寫核心+自動生成擴充套件通用性最廣,Top模型幾乎全覆蓋新架構(如Mamba)初期也有適配視窗相對透明,社群反饋豐富
AMDROCm相容CUDA+手寫補充部分HPC模型覆蓋好新模型適配慢,社群反饋缺失問題多中等,公開但碎片化
Google TPUXLA深度繫結,注重關鍵模型深度最佳化Google內部模型及應用場景通用開源模型覆蓋不追求廣度有限,主要為Google內部
華為昇騰CANN手寫+自動生成混合國內常用模型、安防CV全球前沿模型覆蓋速度不確定有限,主要面向國內開發者
寒武紀自研BANG語言+Kernel庫特定場景(影片、點雲端等)大型模型端到端覆蓋完整性公開資訊少很少,公開資料極為有限

資料說明:該對比基於截至2025年年中的公開資訊。上述優勢/短板的判斷來源於開發者社群、技術論壇、開源專案Issue以及行業會議報告等非標準化渠道,缺乏可審計的定量依據。公開資料未見有第三方機構對上述廠商的運算元覆蓋率進行標準化基準測試或釋出排名報告。對於“短板”項的描述存在時效性,各廠商的覆蓋情況可能在數月內發生較大變化。

風險

1. 新模型架構的快速湧現風險 2023–2025年見證了Mamba、JAMBA、RWKV等非Transformer架構的興起。這些架構的核心運算元(如選擇性掃描)與現有Transformer最佳化庫無法相容。倘若某一新架構成為主流而主流編譯器尚未覆蓋,現有廠商的生態壁壘可能在12–18個月內被部分瓦解。

2. 長尾覆蓋的維護成本持續上升 模型創新速度加快,架構層面新運算元持續增加。僅2023–2024年,PyTorch新增/修改的運算元超過數百個(來源:PyTorch Release Notes彙集,精確數字未做彙總)。每個新運算元都需要後端跟進,廠商軟體團隊的規模需求持續膨脹,帶來固定成本上升壓力。部分中小型AI晶片公司可能因此陷入“覆蓋追趕的負迴圈”。

3. 精度覆蓋的碎片化 FP32/FP16/BF16/INT8/INT4/FP8的逐步普及使覆蓋矩陣呈乘數級擴大。同一運算元在低精度下的數值穩定性問題需要額外工程投入驗證,且這種驗證往往模型相關,無法一次解決。這推高了覆蓋率維護的隱性成本。

4. 硬體依賴的覆蓋陷阱 某些運算元的高效實現嚴重依賴硬體特性(如Tensor Core的mma指令、NPU的矩陣單元)。當新一代硬體架構改變這些特性時(如從INT8單元轉向FP8單元),之前已完成的覆蓋工作可能需要大比例重做。“硬體換代→軟體棧重新追趕”的週期風險持續存在,尤其影響架構快速迭代的新興晶片公司。

5. 依賴單一編譯器的鎖定風險 廠商若過度依賴某一開源編譯器(如僅基於MLIR的一個特定Dialect),當該編譯器的發展方向與自身硬體路線不一致時,將面臨被鎖定或被迫分叉的風險。分叉會帶來後續上游合入(upstream)的持續成本。

6. 覆蓋不等於高效能的風險 “能跑”不等於“跑得好”。運算元覆蓋達標但在核心運算元上效能僅為競品30%–50%的場景並不少見。客戶會將“覆蓋達標但效能不足”與“完全不支援”等效看待,尤其在推論延遲敏感的線上服務場景中。這要求覆蓋評估必須與效能基準相結合。

誤讀糾偏

誤讀1:“我的編譯器支援了1000+個運算元,所以模型覆蓋沒問題。”

糾偏:運算元數量不等於模型覆蓋。對新產生的實驗性模型而言,可能僅使用十幾個運算元,但如果其中一個是不被支援的新型長程注意力實現,覆蓋率即為0%,模型完全無法執行。關鍵要看模型端到端通過率,而非運算元庫條目數

誤讀2:“如果不支援某個運算元,讓它在CPU上跑就行了,效能下降還能接受。”

糾偏:CPU fallback往往帶來10–100倍的效能瓶頸(尤其涉及GPU↔CPU資料傳輸的場景),且可能打破流水線的即時性約束。在自動駕駛、線上推論等延遲敏感場景中,這通常意味著整個方案失去商用可行性。CPU回退是不得已的診斷手段,不是可接受的預設行為

誤讀3:“手寫運算元才是效能之王,自動生成只能湊合用。”

糾偏:對於數量龐大的長尾運算元,自動生成(如Ansor)的效能在多數場景中已達手寫水平的70%–95%(OSDI 2020 Ansor論文基準資料),且能在數小時內覆蓋大量形狀變體,整體效率反而高於手寫。手寫應集中火力於Top級別的核心運算元,自動生成應解決長尾覆蓋問題——兩者互補而非對立

誤讀4:“只要ONNX模型能匯出,就說明覆蓋率沒問題。”

糾偏:ONNX匯出成功僅代表前端架構的運算元成功轉換為了ONNX標準運算元或自定義運算元。目標後端能否理解並高效實現這些ONNX node,是完全獨立的問題。“匯出成功”只是第一步,距離“高效部署”還隔著一整個後端匹配和執行最佳化的鴻溝

誤讀5:“運算元數量多的編譯器一定比少的強。”

糾偏:一個擁有2000個低效手寫運算元的編譯器,可能在覆蓋和效能上同時劣於一個擁有800個高質量自動生成運算元+200個融合規則的編譯器。運算元的質量和複用能力遠比數量重要

最新事件

  • Llama 3.x與Mistral/Mixtral 8x22B釋出(2024):這些模型引入RoPE、RMSNorm、SwiGLU等已相對普及的運算元組合,覆蓋難度較可控。更大的挑戰在Transformer之外的推論部署最佳化(如KVCache管理、Decode階段的效率),超過純運算元覆蓋範疇。

  • Mamba-2 / JAMBA釋出(2024年中):提出了選擇性掃描(Selective Scan)等非Attention核心運算元,對僅針對Transformer最佳化過的編譯器構成新的覆蓋壓力。截至2025年中(公開資料觀察),主流推論引擎對此類運算元的原生支援仍不如FlashAttention成熟。

  • Blackwell GPU釋出(2024年公開)與FP8/FP4支援:NVIDIA Blackwell引入FP4、新FP8變體等精度格式(來源:NVIDIA官方新聞),要求軟體棧在運算元層面提供對應精度的支援。這進一步擴大了覆蓋矩陣的維度。

  • AMD收購Silo AI(2024年):強化其AI軟體生態和模型覆蓋能力,被市場分析視為AMD追趕NVIDIA軟體棧的重要舉措。

  • MLIR生態2024–2025年加速:Torch-MLIR專案在2024–2025年間持續改進,越來越多的硬體廠商選擇基於MLIR建置自己的編譯器工具鏈,以期降低從PyTorch到硬體的覆蓋成本。但實現生產級模型覆蓋的方案仍在發展中,截至2025年中,公開可用的完整端到端基準測試資料有限。

  • OpenAI Triton語言的擴大采用:Triton在2024–2025年成為除了CUDA、MLIR之外的又一條運算元編寫路徑。部分AI晶片廠商嘗試支援Triton前端,以將Triton生態中的開源運算元實現轉化為自身的覆蓋能力。但Triton到各硬體的後端成熟度參差不齊(來源:Triton GitHub Repo及社群討論),尚處於早期階段。

  • 中美技術管制下中國AI晶片自主覆蓋的程序:2023年10月美國對華出口管制規則更新後,多家中國AI晶片公司加速自主軟體棧建設。據公開產業報道(如《財經》雜誌、ICViews等),頭部廠商如華為昇騰、寒武紀的編譯器團隊規模2024年有明顯擴充,但具體模型覆蓋進展無公開審計資料。

追蹤指標

以下指標可用於持續觀察運算元覆蓋率的產業趨勢,但多數無標準化的公開資料來源:

1. 開源社群硬性試跑資料

  • 觀察HuggingFace Model Hub上熱門模型在不同後端(CUDA/ROCm/Ascend等)的Issue和討論數量
  • 關注開源專案中各硬體的CI(持續整合)測試通過情況:PyTorch CI、ONNX Runtime驗收測試等
  • 此類資訊為碎片化、非結構化資料,可反映趨勢但缺乏統計顯著性

2. 廠商工具鏈註冊與外部評測

  • 各廠商定期釋出的“新增支援運算元/模型”清單(格式和頻率不統一,難以直接比較)
  • MLPerf推論基準的提交模型範圍和提交廠商數量:提交模型越多、種類越廣,間接反映該廠商後臺覆蓋的信心
  • 更新週期:可在每次MLPerf結果釋出時(約每季度一次)對比觀察

3. 上游架構更新頻率與廠商響應速度

  • PyTorch 2.x/TensorFlow/JAX release notes中硬體的支援宣告
  • 各晶片廠商對上游架構的Pull Request(PR)數量和頻率(可通過GitHub查詢)
  • PR數量可作為軟體棧投入力度的代理指標

4. 人才與組織指標

  • AI晶片公司招聘軟體編譯工程師的數量(LinkedIn/招聘網站),尤其關注MLIR、Triton、TVM等專項能力要求
  • 可以作為領先指標,預示12–18個月後的覆蓋改善速度

5. 學術與產業會議的技術報告

  • NeurIPS、MLSys、OSDI等會議中關於運算元生成、編譯器覆蓋的論文
  • 主要廠商在Hot Chips、GTC等會議中的軟體棧深度講解(通常提供方向性視角而非量化資料)

6. 重要新模型釋出後的覆蓋響應時間

  • 對標杆模型(Llama 4、GPT-5、Mamba-3等)從開源釋出到主要晶片廠商宣佈完整支援的時間間隔
  • 是衡量軟體棧響應速度和可擴充套件性的定性指標

資料可得性提示:以上指標絕大多數缺乏標準化、可審計的公開來源。目前產業對運算元覆蓋率的追蹤主要基於定性觀察和社群碎片化資訊,難以形成持續的量化資料庫。

信源

為確保可追溯性和事實準確性,以下列出本文主要依賴的資訊來源類別和具體出處,遵循“優先一手公開、標註二手推斷、標註未知資訊”原則。

一手公開來源

  • Apache TVM專案文件(GitHub開源倉庫)
  • NVIDIA TensorRT Developer Guide: “Supported Layers and Limitations”(官方技術文件,隨版本更新)
  • ONNX Operators規範(GitHub onnx/onnx倉庫,按Opset版本維護)
  • MLIR專案文件(GitHub llvm-project/mlir)
  • PyTorch ATen運算元文件及Release Notes(pytorch.org)
  • 各廠商公開工具鏈技術文件(華為CANN、AMD ROCm、Intel oneAPI等)
  • MLPerf官方結果(mlcommons.org)
  • Ansor論文 (OSDI 2020)、MLIR論文 (arXiv:2002.11054)、FlashAttention論文 (NeurIPS 2022) —— 學術原始文獻
  • 上市公司財務報告:NVIDIA FY2024 10-K、AMD 2024年度財報等

二手行業研究來源

  • 第三方市場研究機構(Gartner、IDC、Mercury Research、Jon Peddie Research等)的公開摘要(具體數字需核實完整報告口徑)
  • 中國信通院、前瞻產業研究院等國內機構的行業報告
  • ICViews、《財經》雜誌的產業報道

結構化標註要求(本文已遵循):

  • 所有財務/市場/份額/產能數字均標註年份、幣種、機構來源及說明
  • 無法獨立驗證的行業經驗資料,標註“據行業經驗”“公開資料未見精確揭露”
  • 公開資訊無法獲取或未經獨立審計的資料,明確標註“公開資料未見”
  • 所有對比性質描述均標明“定性判斷”“間接推斷”等限制性說明以區隔事實與判斷

免責宣告:運算元覆蓋率因涉及各廠商深度軟體技術棧和商業機密,公開系統性資料極為稀缺。本文所有分析基於上述信源的有限資訊綜合判斷,不構成對任何廠商的精確技術評估,亦不構成任何投資建議或推薦。文中不出現任何薦股、買賣建議、漲跌預測或“值得買/值得投”措辭。

source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助;不構成投資建議,不預測漲跌,不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型