晶片層 開放閱讀

自動排程

Auto-Scheduling

概念 ID
auto-scheduling
更新時間
2026-05-29
來源數量
待補

自動排程

3 秒看懂

一句話定義：自動排程是編譯器和AI架構中的核心技術，旨在無需人類手動最佳化的情況下，自動為深度學習計算圖找到在目標硬體上最優（或近似最優）的執行策略，以實現極致效能與資源效率。

核心目標：將演算法開發者從繁瑣、硬體特異的底層最佳化（運算元實現、記憶體版面配置、並行策略等）中解放出來，實現“一次編寫，處處高效執行”。

3 分鐘產業解釋

想像一下，一位軟體工程師編寫了一個新的神經網路模型。當他在NVIDIA GPU、AMD GPU、GoogleTPU或國產AI晶片上執行時，效能天差地別。要讓模型在每種硬體上都跑得快，傳統方法需要硬體專家手動調優，這個過程如同“手工作坊”，耗時費力且不可擴充套件。

自動排程就是這個領域的“工業革命”。它是一個智慧代理，通過演算法搜尋和機器學習，自動探索成千上萬種計算實現方式（如迴圈順序、記憶體訪問模式、執行緒塊大小），最終為特定硬體“定製”出一個高效的執行方案。它的出現，是AI基礎設施軟體棧成熟的關鍵標誌，直接決定了算力轉化為智慧的效率。

產業影響：

  • 對晶片廠商：是其軟體生態的核心護城河。一個優秀的編譯器和自動排程能力，能讓自研硬體的理論峰值效能更易被實際應用觸及。
  • 對雲端廠商/算力提供商：提升GPU/TPU叢集的平均利用率，直接轉化為更優的每瓦特效能和投資回報率（ROI）。
  • 對AI開發者/企業：降低部署門檻，縮短模型從研發到上線的時間，尤其利於邊緣裝置等資源受限場景的最佳化。

15 分鐘專家深入

自動排程（在特定上下文中也稱為“自動調優”或“自動程式碼生成”）是機器學習編譯器（ML Compiler） 的核心功能之一。其本質是一個最佳化問題：在給定一個計算圖（或運算元）和目標硬體規格的約束下，在龐大的可能實現空間中，搜尋使目標函式（如延遲、吞吐量、記憶體佔用）最優的實現方案。

關鍵組成部分：

  1. 搜尋空間（Search Space）：定義了最佳化變數，如迴圈分塊（Tiling）大小、迴圈順序、向量化方案、軟體流水線策略、記憶體快取策略、並行執行緒/執行緒塊的維度與大小等。
  2. 搜尋策略（Search Strategy）：如何在龐大（可能指數級）的搜尋空間中高效地尋找優解。從早期的暴力隨機搜尋、遺傳演算法，發展到基於成本模型（Cost Model）指導的搜尋，以及近年興起的基於強化學習（RL）或貝葉斯最佳化的搜尋。
  3. 成本模型（Cost Model）：是搜尋的“指南針”。它需要快速、相對準確地預測給定一個排程方案在目標硬體上的效能（如執行時間）。建模方式包括：基於規則的啟發式模型、基於學習的模型（用歷史排程-效能資料訓練）、以及基於取樣的快速實際執行。
  4. 程式碼生成（Code Generation）：將搜尋到的最優排程方案，轉換為目標硬體可執行的底層程式碼（如LLVM IR、CUDA C++、特定硬體指令）。

自動排程的粒度可以是：

  • 運算元級（Operator-level）：針對單個運算元（如矩陣乘法、卷積）進行最佳化。這是最成熟的部分。
  • 子圖/融合級（Subgraph/Fusion-level）：對多個運算元的融合進行最佳化，減少中間結果的記憶體讀寫，收益巨大但搜尋空間更復雜。
  • 全域性圖級（Graph-level）：對整個計算圖的排程策略進行聯合最佳化，是當前前沿挑戰。

技術原理（最深）

自動排程的機制可以分解為如下流程，並用一個簡化的程式碼塊說明其迴圈迭代的核心：

# 自動排程核心迭代迴圈（簡化）
def auto_schedule(compute_dag, target_hardware):
    # 1. 定義搜尋空間
    space = define_search_space(compute_dag, target_hardware)
    # 2. 初始化成本模型（可以是空的或基於規則的）
    cost_model = initialize_cost_model()
    # 3. 初始化排程方案池
    schedule_pool = initial_population() # e.g., 預設方案，隨機方案
    
    for iteration in range(MAX_ITERATIONS):
        # 4. 使用搜索策略選擇候選方案
        #    策略可能依賴於 cost_model 的預測
        candidate_schedules = search_strategy(space, schedule_pool, cost_model)
        
        # 5. 評估階段
        #    快速評估：使用 cost_model 預測
        #    精確評估：在真實硬體或高精度模擬器上編譯執行，獲取真實延遲/吞吐
        for schedule in candidate_schedules:
            if USE_FAST_EVAL:
                estimated_perf = cost_model.predict(schedule)
            else:
                compiled_code = codegen(schedule)
                real_perf = benchmark(compiled_code, target_hardware)
                # 6. 更新成本模型（如果使用基於學習的模型）
                cost_model.update(schedule, real_perf)
            
            schedule_pool.add(schedule, perf)
        
        # 7. 根據評估結果，更新搜尋策略/模型，進化排程方案池
        evolve_pool_and_strategy(schedule_pool, strategy)
    
    # 8. 返回找到的最優排程方案
    return best_schedule(schedule_pool)

關鍵引數與機制：

  • 迴圈分塊（Tiling）：為適配硬體快取（L1/L2/SRAM）層級，將大張量計算分解為小塊。塊大小（Tiling Size）是最重要的搜尋變數之一，直接決定快取命中率和計算強度。
  • 軟體流水線（Software Pipelining）：在迴圈中重疊資料的載入、計算和儲存操作，隱藏記憶體訪問延遲。
  • 記憶體作用域對映（Memory Scope Mapping）：決定資料放置在暫存器、共享記憶體（Shared Memory）還是全域性記憶體中，對訪存密集型運算元至關重要。
  • 並行化策略：如何將計算對映到硬體並行單元（GPU的執行緒/執行緒塊，TPU的脈動陣列）。涉及迴圈的並行維度和塊大小選擇。
  • 運算元融合（Operator Fusion）：自動將多個逐元素或約簡運算元融合為一個核心，減少全域性記憶體讀寫和核心啟動開銷。排程系統需判斷融合的收益與潛在的暫存器壓力增加。

技術演進史

自動排程的思想源於高效能運算（HPC）和資料庫查詢最佳化，但在AI編譯器中得以發揚光大。

  • 2010年代初 - 模板與專家經驗階段：最早的深度學習架構（如早期Torch， Theano）依賴高度最佳化的、由工程師手寫的計算庫（如MKL）。特定硬體的最佳化由少數專家完成。
  • 2016-2018 - TVM與基於模板的搜尋：華盛頓大學陳天奇等人提出的TVM專案是里程碑。它引入了基於手動定義模板的排程原語（如tile, parallel, vectorize），並結合隨機搜尋和遺傳演算法進行自動調優，首次在學術和工業界大規模展示了自動化最佳化硬體部署的潛力。
  • 2019-2021 - Ansor與無模板搜尋：為突破人工模板的限制，華盛頓大學和AWS等團隊提出了Ansor（TVM的一部分）。其核心創新是建置了一個層次化的、細粒度的搜尋空間，不再需要預定義模板，能夠自動生成前所未有的最佳化排程，效能超越了手寫模板。搜尋策略上更多采用基於學習的取樣和模型。
  • 2022至今 - 融合、全域性化與專用化：
    • 融合最佳化：如TVM的運算元融合、MetaSchedule（TVM的自動排程架構）等，專注於更智慧、更跨運算元的融合策略搜尋。
    • 全域性最佳化：探索將自動排程與自動並行（資料、模型、流水線並行）結合，進行端到端的分散式訓練排程最佳化。
    • 專用化：面向特定硬體（如新興的AI加速器、存算一體晶片）設計搜尋空間和成本模型。商業編譯器（如寒武紀MagicMind， 昇騰CANN中的自動調優）在此方向深入。

技術路線對比

維度基於模板/啟發式基於搜尋與學習 (如Ansor, MetaSchedule)基於專家系統的商業方案
核心方法依賴預定義的最佳化規則庫和人工編寫的模板。在建置的通用搜索空間內，用演算法自動搜尋，常結合機器學習成本模型。內建針對特定硬體架構深度最佳化的規則和專家知識。
優點速度快，開銷低，結果可預測，易於除錯。探索空間大，可能發現超越人類經驗的最佳化，通用性強。對目標硬體極致最佳化，效能頂尖，穩定性高。
缺點受限於模板表達能力，難以發現全新最佳化模式，遷移性差。搜尋耗時，需要大量評估資料，成本模型可能不準。高度不透明，與硬體繫結緊密，難以跨平台複用。
代表TVM 早期排程器， Halide。TVM MetaSchedule, Ansor, AWS Inferentia Compiler 的自動調優。NVIDIA CUDA/cuDNN (部分)， 華為昇騰CANN中的運算元最佳化引擎， 英特爾oneDNN。
適用場景穩定、成熟的運算元，快速原型驗證。新運算元、新架構探索，追求極限效能，模型部署自動化流水線。對效能要求最苛刻的生產環境，特定硬體生態內。

上下游

上游（輸入）：

  • 前端：深度學習架構（PyTorch, TensorFlow, JAX）生成的計算圖或中間表示（IR）。
  • 硬體規格：目標晶片的詳細架構引數（快取層次、頻寬、並行單元數量、指令集特性等）。

下游（輸出）：

  • 程式碼生成器：將排程方案翻譯為可執行程式碼（LLVM IR, OpenCL, CUDA, 專用指令）。
  • 硬體執行時：最終在CPU、GPU、NPU、FPGA等硬體上執行。

核心產業鏈： AI模型 -> AI架構（前端） -> ML編譯器（含自動排程） -> 程式碼生成 -> 硬體執行時與驅動 -> 物理晶片

關鍵指標

  1. 效能增益（Performance Gain）：相比基準實現（如樸素實現、手寫庫），自動排程帶來的加速比（Speedup）。這是終極指標。
  2. 搜尋時間（Search Time）：找到接近最優解所需的時間。直接影響部署效率和迭代速度。
  3. 搜尋成本（Search Cost）：搜尋過程中消耗的計算資源（CPU/GPU小時數）和能源。
  4. 解決方案質量穩定性（Robustness）：對於不同形狀的輸入張量，排程方案的效能是否保持穩定。
  5. 可移植性/可遷移性（Portability）：一套排程架構和流程，在面對不同硬體後端時，需要重新工作的程度。
  6. 記憶體佔用峰值：自動排程方案執行時產生的最大記憶體佔用，對邊緣和記憶體受限場景關鍵。

供需與市場資料

  • 需求側：
    • 模型爆炸：大型模型（LLM， 擴散模型）和模型結構多樣化，使手動最佳化不可能。
    • 硬體碎片化：從雲端端GPU到邊緣端NPU，硬體種類激增，要求統一的軟體最佳化介面。
    • 降本增效壓力：算力成本高昂，企業要求最大化硬體利用率。
  • 供給側：
    • 開源社群：以TVM及其生態（MetaSchedule）為核心，是最大的創新源和人才池。
    • 雲端廠商：AWS（為Inferentia/Trainium定製編譯器）、Google（為TPU定製的XLA/Mosaic）、阿里雲端（為含光800最佳化）均投入重兵自研，形成核心競爭力。
    • AI晶片公司：將其視為軟體棧的“皇冠”，是其產品能否用好的關鍵，均在自研。
  • 市場資料：
    • 自動排程本身不是一個獨立市場，但它是AI編譯器軟體棧的核心部分，是算力基礎設施的關鍵增值環節。其價值體現在晶片和雲端服務的定價與毛利率中。

代表公司與資本對映

  • 開源生態：Apache TVM 是專案核心，其商業化由多家公司推動。
  • 雲端運算巨頭（自研+應用）：
    • Google：XLA編譯器（用於TPU）， Pathways（用於Pod級編排）。
    • 亞馬遜雲端科技（AWS）：為自研晶片（Inferentia， Trainium）建置了深度整合的編譯器和自動調優系統。
    • 微軟：投資AI編譯器團隊，用於Azure AI基礎設施最佳化。
  • AI晶片公司（自研）：
    • 輝達（NVIDIA）：其軟體棧（CUDA， cuDNN， TensorRT）中包含大量隱式的和顯式的自動最佳化技術。
    • 華為海思/昇騰：CANN軟體棧中包含自動調優功能。
    • 寒武紀：MagicMind推論引擎整合自動最佳化。
    • Graphcore：Poplar SDK中的自動並行和排程。
    • 初創公司：如OctoML（由TVM創始人創立，提供TVM商業化服務）、SambaNova、Cerebras等，其軟體棧均以此為核心。

投資邏輯

  1. 軟體定義算力時代：在硬體效能趨同的背景下，軟體棧的最佳化能力成為核心差異化因素和更高的毛利率來源。自動排程是其中最關鍵的一環。
  2. 關注“賣鏟人”：直接投資於擁有強大自動排程能力的AI晶片公司（軟體棧是護城河）和雲端廠商（最佳化能力轉化為更優的算力服務價效比）。
  3. 生態卡位：投資於圍繞TVM等核心開源專案的商業化公司（如OctoML），或深度參與開源生態、能吸引頂尖編譯器人才的科技公司。
  4. 風險：技術迭代快，需持續高研發投入；開源專案可能使部分商業優勢弱化；對頂尖編譯器人才依賴性強。

常見誤讀糾偏

  1. 誤讀：“自動排程”就是簡單的“自動並行化”。
    • 糾偏：分散式資料並行和模型並行屬於自動並行的範疇，但並非自動排程的探索目標。自動排程的核心是單運算元或運算元融合後的計算和記憶體訪問最佳化，這在並行化之前就需要完成。二者是不同層級但可結合的最佳化。
  2. 誤讀：有了自動排程，硬體專家或效能工程師就不再需要了。
    • 糾偏：恰恰相反。自動排程極大地提升了對編譯器和硬體架構專家的需求。他們的工作從“為每個模型手寫最佳化程式碼”轉變為“設計更高效的搜尋空間、更準確的成本模型、更智慧的搜尋策略”，以及解決自動排程系統在複雜場景（如動態形狀、控制流）下遇到的新問題。專家的價值從“執行者”升級為“設計者和教練”。
  3. 誤讀：自動排程能找到全域性最優解。
    • 糾偏：由於搜尋空間巨大、評估成本高、成本模型有誤差，自動排程通常找到的是近似最優解（近似的全域性最優）。其目標是在可接受的時間和計算成本下，找到“足夠好”的解，而非數學上的最優。

學習路徑

  1. 基礎：理解深度學習基礎（運算元、計算圖），熟悉至少一種硬體（如GPU）的架構和效能瓶頸。
  2. 入門：閱讀TVM官方教程，瞭解Schedule、Tensorize、AutoTVM等基本概念。嘗試用TVM為一個簡單運算元（如矩陣乘法）編寫排程模板。
  3. 進階：深入研究論文《Ansor: Generating High-Performance Tensor Programs for Deep Learning》（OSDI‘20）和TVM MetaSchedule的設計文件。理解無模板搜尋空間和基於學習的成本模型。
  4. 實踐：克隆TVM倉庫，追蹤其meta_schedule目錄下的程式碼。為新的硬體後端貢獻或改進一個簡單的排程規則。
  5. 前沿：關注頂級系統會議（OSDI, SOSP, MLSys, CGO）中關於編譯器最佳化、自動調優的最新論文。

一句話總結

自動排程是將“算力”高效轉化為“智慧”的核心軟體魔法，它通過演算法化搜尋替代人工試錯，是實現AI模型在多樣化硬體上極致部署效率、驅動整個AI產業降本增效的關鍵基礎設施技術。

延伸閱讀與來源

  1. 核心論文：
    • Chen, T., et al. (2018). TVM: An Automated End-to-Endian Optimizing Compiler for Deep Learning. (OSDI‘18) - TVM開創性論文。
    • Zheng, L., et al. (2020). Ansor: Generating High-Performance Tensor Programs for Deep Learning. (OSDI‘20) - 無模板自動排程的里程碑。
  2. 開源專案：
    • Apache TVM: https://tvm.apache.org/ - 深入研究其程式碼庫是最佳實踐。
    • Tensor Comprehensions (Facebook): 早期自動排程的探索。
  3. 綜述與部落格：
    • The Deep Learning Compiler: A Comprehensive Survey (論文) - 系統性綜述。
    • TVM部落格及官方文件中關於MetaSchedule的章節。
  4. 行業分析：
    • 各主要雲端廠商（AWS， Google Cloud， Azure）和晶片公司（NVIDIA， AMD）關於其AI基礎設施和軟體棧的技術部落格與釋出會資料。
    • （注：因檢索失敗，具體數字與最新財務資料未引用。上述技術演進和公司資訊基於公開的學術論文、技術文件和行業公認知識。）

相關推薦

同產業鏈：chip-core

同產業鏈 · 相關公司

ASMLASML北方華創002371.SZ超微半導體AMD科林研發集團LRCX海光資訊688041.SH寒武紀688256.SH科磊KLAC拓荊科技688072

相關概念

FP4 四位浮點高階介面匯流排（Advanced Interface Bus）AOT 提前編譯AI For Electronic Design Automation空氣間隙（Air Gap）量測標記模擬存算 (Analog In-Memory Computing)模擬混合訊號驗證
source: 公開揭露與公開資料整理 本頁僅用於產業鏈學習、資訊檢索和研究輔助；不構成投資建議，不預測漲跌，不提供買賣、部位或目標價建議。
完整概念頁 複盤 13 節結構 公司投研頁 沿產業鏈找到受益公司 投資課 把概念轉成可跟蹤模型