放置

3 秒看懂

放置 (Placement) 是深度學習編譯器的核心排程階段。在物理層面，它將一個抽象的計算圖（神經網路）中的每個運算元（節點）和每一份資料（張量），精準對映到真實的、有嚴格層級結構的硬體資源上——包括不同 GPU 卡、晶片內部不同的計算單元，以及從 HBM 到暫存器等多級記憶體。放置決策直接決定了最終程式的執行效率、記憶體佔用和跨裝置通訊開銷，是整個 AI 軟體棧中技術密度最高、對成本影響最大的環節之一。

3 分鐘產業解釋

大規模 AI 模型的訓練與推論消耗的算力遠遠超出單晶片承載能力。業界通過多種並行策略（資料並行、張量並行、流水線並行、專家並行等）將計算任務拆分到數千甚至數萬張加速卡上協同執行。放置就扮演著這個龐大分散式舞臺的“總排程師”：它必須回答哪個計算子圖放在哪個裝置上執行，以及中間產生的資料應當駐留在哪一級記憶體中。

一個糟糕的放置方案會導致計算單元大量空轉（負載失衡）、視訊記憶體溢位從而無法啟動訓練，或者使晶片間/節點間的通訊頻寬成為瓶頸，造成昂貴的算力投資被大量浪費。相反，一個優秀的放置方案能夠將 GPU/NPU 叢集的有效算力利用率（MFU）從 30% 提升到 60% 以上，這直接等同於成倍降低大型模型訓練的硬體成本、時間成本和能耗。因此，放置技術不僅是編譯器工程師和系統架構師的攻堅堡壘，更是 AI 雲端服務商、大型模型廠商和晶片公司在商業模式和產品競爭力上拉開差距的核心軟體護城河。

技術原理

放置問題在數學上可嚴格定義為一個帶約束的組合最佳化問題，通常屬於 NP‑Hard 範疇，無法在多項式時間內得到精確最優解。

目標函式（多為最小化）：

• 端到端執行時間（makespan）：計算耗時與通訊耗時的加權和，以單次迭代或單次推論的關鍵路徑長度為代表。
• 峰值記憶體佔用：任何一個裝置上在任意時刻的儲存需求都不能超過物理記憶體上限（如 80 GB HBM）。
• 通訊成本：跨裝置的資料傳輸總量或傳輸次數。某些場景下以“通訊 – 計算重疊率”為目標。
• 能耗：在邊緣、移動或超大規模叢集中，最小化能效比（每焦耳完成的計算量）成為主導目標。

約束條件：

• 記憶體容量約束：每個裝置在任何時刻的活躍張量總尺寸 ≤ 該裝置可用記憶體。
• 計算能力約束：分配到某裝置的計算負載需適配該裝置的有效算力（FLOPS）及特定的計算單元（如 Tensor Cores 的 shape 約束）。
• 通訊拓撲與頻寬約束：跨裝置通訊的資料速率受到 NVLink、PCIe、InfiniBand 或 RoCE 等硬體鏈路的頻寬和延遲限制，且須滿足拓撲層級（同一節點內的 GPU 對頻寬遠高於跨節點）。
• 資料與控制依賴：必須完全尊重原始計算圖的有向無環圖（DAG）結構，不可破壞計算的正確順序。

求解方法樹：

放置求解
├── 基於規則/啟發式
│   ├── 貪心演算法：從源節點開始，每次選擇使通訊增量最小的裝置。
│   ├── 超圖劃分 (如 METIS/Scotch)：將計算圖建模為超圖，以最小化跨分割槽的邊切割為目標。
│   └── 靜態分析模型：針對 AllReduce/AllGather 等通訊集合原語建立代價解析模型。
├── 基於搜尋與組合最佳化
│   ├── 模擬退火、遺傳演算法：在解空間中全域性搜尋，計算代價較大。
│   ├── 整數線性規劃 (ILP) / 約束程式設計 (CP)：可精確建模，但僅適用於小規模問題。
│   └── 動態規劃：對鏈式拓撲（如流水線並行）有效，但在複雜 DAG 上組合爆炸。
└── 基於學習（AI for AI）
    ├── 強化學習 (RL)：將放置決策序列建模為 MDP，以執行時間為獎勵，訓練策略網路。
    └── 圖神經網路 (GNN)：將計算圖和硬體拓撲分別編碼為圖嵌入，用預測網路直接估計放置策略的最終效能。

關鍵技術考量：

• 運算元融合與放置的聯合最佳化：將多個運算元合併成“大運算元”後放置，可以減少中間的視訊記憶體 I/O 和跨裝置通訊，但會使放置問題的粒度變粗，搜尋空間急劇膨脹。
• 通訊建模精度：必須準確估算 AllReduce（Ring/Tree）、All‑to‑All 等集合通訊原語在給定硬體拓撲下的實際耗時，偏差過大將導致放置方案在實際執行時“名不符實”。
• 執行時重放置：對於 MoE 架構的動態路由、自適應批處理等場景，靜態放置不夠，系統需具備在執行時根據負載彈性調整裝置對映的能力。
• 層次化放置：現代放置技術通常分層決策——第一層決定子圖到裝置組的對映，第二層決定裝置組內各晶片上的分片方式，第三層決定晶片內不同計算核和記憶體緩衝區的分配，三層聯合調優。

關鍵引數

放置策略的設計與評估高度依賴以下硬體和軟體引數，它們是調優工程師和演算法開發者關注的“抓手”：

引數類別	關鍵引數	說明	典型量級（2024 年左右）
單裝置規格	GPU/NPU 視訊記憶體容量	決定單卡可承載的最大引數量和啟用記憶體	H100‑SXM: 80 GB HBM3；昇騰 910B: 64 GB HBM2e
	計算算力（FP16/BF16 Tensor Core）	決定計算耗時	H100: 989 TFLOPS (FP8 Tensor Core); 910B: 320 TFLOPS (FP16)
	記憶體頻寬	影響資料搬運速度	H100: 3.35 TB/s；910B: 1.5 TB/s（公開資料）
片內/卡間互聯	NVLink 頻寬	同一節點內 GPU 間的高速直連	第四代 NVLink: 900 GB/s 雙向（每 GPU）；對標昇騰 HCCS: 560 GB/s（公開資料）
節點間網路	InfiniBand/RoCE 頻寬	跨節點通訊主要通道	典型 NDR400 單埠 400 Gbps，8 卡節點可聚合 3.2 Tbps
通訊拓撲層級	NVSwitch 全互聯域 / HCCS 域	決定同機內 GPU 全對全通訊延遲	H100 8 卡 NVSwitch 全互聯；910B 8 卡 HCCS 全互聯
分片策略維度	資料並行分片度、張量並行度、流水線段數	決定了放置的空間搜尋範圍	當總卡數為 N 時，通常有若干組 (dp, tp, pp) 組合滿足 dp×tp×pp = N
編譯器/排程器引數	搜尋演算法、探索步數、代價模型訓練輪次	影響放置決策本身的時間和最優性	離線搜尋可接受數小時，線上服務需 < 1 秒

值得注意的是，這些引數的權重會隨著模型架構、並行策略及叢集規模的改變而發生劇烈變化。例如，在超過千卡的叢集上，跨節點通訊的代價遠比片內頻寬重要；而在 8 卡單機微調場景中，片內視訊記憶體的利用率是主要瓶頸。

技術路線

當前產業界和學術界針對放置問題主要形成了三大技術路線，各自處於不同的成熟度階段：

路線一：基於編譯器分析的自動化推導

• 代表系統：Google GSPMD（整合在 XLA 中）、MindSpore Sharding、OneFlow SBP。
• 原理：使用者僅宣告張量的分片方式（如沿某一維度均勻拆分），編譯器通過分片傳播演算法靜態推導所有運算元的輸入/輸出分片版面配置，並自動生成對應的放置和通訊插入計劃。
• 優勢：對使用者易用性極高，分片傳播具有確定性，編譯快，適合大規模生產環境。
• 侷限：難以覆蓋所有複雜運算元，對於不規則計算圖（如多重下采樣、動態 shape）可能產生大量冗餘通訊，最終效能依賴編譯器工程師手工最佳化傳播規則。

路線二：基於代價模型的啟發式搜尋

• 代表系統：FlexFlow（符號化搜尋）、Alpa（層次化搜尋）、Meta 的 Piper（流水線並行搜尋）。
• 原理：將整個並行策略空間（運算元分片、裝置對映）視為離散搜尋空間，建置一個快速的代價模型（通常為解析公式或輕量級 MLP），然後使用蒙特卡洛樹搜尋、波束搜尋或整數規劃等方法尋找近似最優解。
• 優勢：能在巨大搜索空間中發掘遠超手工的並行策略，尤其擅長一些“反直覺”的混合並行組合，如在 Transformer 不同層使用不同分片策略。
• 侷限：搜尋開銷較大，一次完整的策略搜尋可能需要數十分鐘至數小時；代價模型的準確性決定最終解的質量，模型失配時效果遜於理論預期。

路線三：基於學習的資料驅動方法

• 代表工作：Google Brain 的 RL 裝置放置（Korattikara 等, 2018）、GraphCNN 預估放置得分（Paliwal 等, 2020）。
• 原理：將放置視為一張“計算圖‑硬體圖”的匹配問題，利用圖神經網路在大量樣本上學習對映函式，或使用強化學習讓智慧代理通過試錯不斷最佳化放置序列。
• 優勢：理論上可以針對特定硬體拓撲和特定工作負載 實現逼近上限 的效能，且不需要人工設計代價模型。
• 侷限：訓練資料獲取成本極高（需要數千次真實執行，每次可能耗時數小時）；泛化效能不可靠，模型變動、硬體變動可能都需要重新訓練；工程落地穩定性存在較大挑戰，目前多停留在前沿研究階段，在關鍵生產系統中未見大規模採用。

實際工業系統中通常是混合路線。例如，Google 的 GSPMD 結合了確定性分片傳播與可選的使用者顯式放置標註；螞蟻集團的一些推論系統則在編譯器自動推導的基礎上，增加了基於取樣和模擬的微搜尋模組，以彌補規則覆蓋不到的角落。

上游

放置技術的上游直接決定了其可以利用的“輸入資訊”和“最佳化空間”：

• AI 前端架構與計算圖表示：PyTorch (FX/TS)、JAX (HLO)、TensorFlow (GraphDef/MLIR) 提供的中間表示（IR）是放置決策的起點。IR 的語義豐富程度（是否保留 tensor shape、動態控制流資訊）直接影響放置策略的精確度。
• 運算元融合與核心最佳化子模組：融合後的“複合運算元”組合決定了放置決策的最小粒度；如果融合策略過於激進，可能導致放置被迫使用粗粒度對映從而負載不均；反之，粒度過細則增加通訊和排程開銷。
• 記憶體分配與張量生命週期管理：上游的別名分析、視訊記憶體池化策略會輸出每個張量的存活區間，這些資訊是放置時估算峰值記憶體佔用和實現視訊記憶體重用的基礎。
• 硬體抽象層與拓撲探測服務：通過 NCCL/RCCL/HCCL 等通訊庫和驅動介面獲取實際物理拓撲（PCIe 樹、NVLink 對全連線矩陣、節點互聯圖），提供頻寬和延遲的實測值或標稱值。

下游

放置決策的輸出將直接驅動如下下游模組：

• 程式碼生成（Lowering）：根據每個運算元被分配到的裝置及該裝置上的記憶體層級，生成特定於裝置的目的碼（CUDA kernel、PTX 或 NPU 專有指令序列），並插入必要的地址空間轉換指令。
• 通訊原語呼叫與排程：基於運算元間的跨裝置資料依賴，自動插入 AllReduce、AllGather、ReduceScatter 或 P2P 傳輸等通訊操作，並交由 NCCL、Gloo 或自研通訊庫執行。放置的質量直接決定了通訊量和通訊模式的合理性。
• 執行時任務排程與執行引擎：執行時系統依次啟動放置計劃定義的所有任務，並負責管理流同步（stream synchronize）和裝置記憶體。如果放置方案在執行時由於動態 batch size 等原因出現記憶體超限，需依賴下游的 swap/rematerialization 模組進行補救。
• 效能剖析與反饋環：實際執行產生的 timeline 和視訊記憶體用量會被收集並反哺給放置模組，用於後續迭代最佳化。

受益公司

放置技術的領先水平可轉化為顯著的商業收益，以下各類企業因其深度參與或直接受益而備受產業關注（遵循不構成投資建議原則，僅作技術受益分析）：

• 雲端服務與 AI 平台巨頭：Google Cloud（在 TPU v4/v5 上通過 XLA 和 GSPMD 將多模態模型訓練的 MFU 提升至 50-60%，據 2023 年 Google AI Blog 揭露）、Amazon AWS（Trainium/Inferentia 自研晶片配套的 Neuron SDK 編譯器，將放置與模型分片深度定製）、Microsoft Azure（與 OpenAI 深度合作，利用 Deepspeed 的 ZeRO-Offload 和放置策略最佳化 GPT 級模型訓練）。
• AI 晶片與硬體公司：NVIDIA（通過 TensorRT、Triton 推論伺服器的“模型分析器”提供自動放置推薦，大幅提升 Llama 等開模型推論密度）、華為（MindSpore 架構與昇騰晶片深度協同，在 2023 年盤古系列大型模型訓練中展現了高達 80% 以上的顯式並行擴充套件效率，來源：華為全聯接大會公開材料）、寒武紀（Neuware SDK 中的 Bang 編譯器包含裝置對映最佳化，主要用在雲端端推論卡）、海光（DCU 相容 ROCm，其編譯器支援自動放置最佳化，但在文件公開上與 NVIDIA 仍有差距）。
• 初創企業與開源生態：無問芯穹（提供跨異構晶片的大型模型推論加速方案，其編譯器據稱可以自動適配不同 NPU 的片上儲存層級放置，2024 年獲得融資）、清微智慧/星宸科技 等邊緣推論晶片公司，其編譯器中的放置最佳化對於滿足低延遲/低功耗場景至關重要。
• 大型模型研發方：OpenAI、Anthropic、Meta、阿里、騰訊混元 等團隊，均投入大量工程師對開源架構的放置機制進行定製化改進以壓榨硬體潛力，這類團隊的最佳化成果（如 Meta 的 FSDP+Hybrid Sharding）會通過論文/開源反哺社群，形成技術正迴圈。

值得注意的是，放置技術作為底層基礎軟體，其價值通常“隱含”在晶片售價、雲端服務套餐或開源架構中，很難直接拆解為單獨的營收項，但其帶來的算力效率提升已成為上述企業技術壁壘的核心組成部分。

市場規模

放置最佳化所屬的“AI 基礎設施軟體”市場並無完全獨立分拆的統計口徑，但我們可以從相關市場資料和價值變現場景中評估其經濟規模：

• AI 訓練與推論晶片市場：據市場調研機構 IDC 2024 年釋出的預測，全球 AI 伺服器及加速卡市場規模將於 2027 年超過 3000 億美元（口徑：含 GPU/NPU/FPGA 等加速晶片及整機）。在硬體規模如此龐大的基礎上，哪怕通過軟體最佳化（含放置）提升 10 個百分點的算力利用率，即相當於節約 300 億美元 級別的硬體採購成本。
• AI 平台軟體與編譯器市場：雖然尚無單獨放置技術的追蹤資料，但整體“人工智慧平台軟體”市場 2023 年估值約 150 億美元（來源：Gartner《Market Share: AI Technologies》2024 年版），其中編譯器與執行時最佳化被列為關鍵子系統。部分諮詢機構估算，放置/分片最佳化在平台軟體中的貢獻權重可達 20–30%，據此大致推算放置相關技術能夠撬動 40–50 億美元 的直接軟體與服務市場（基礎為 150 億 × 25–30%）。
• 雲端服務商業模式變現：大型雲端廠通過提供“高效能推論引擎”等包含極致放置最佳化的一體化服務獲得溢價，例如 Amazon SageMaker 的自動駕駛推薦模型部署、Google Cloud 的 TPU 最佳化套餐。據 Synergy Research 2024 年資料，AI 相關的 PaaS/IaaS 營收約佔全球雲端基礎設施市場的 15%，即超過 500 億美元，其中推論和訓練最佳化貢獻了較大的毛利率。
• 研發效率與經濟收益：一家大型模型創業公司如果通過更優的放置方案將千卡訓練叢集的 MFU 從 35% 提升至 55%，意味著在相同時間內可以完成 57% 更多 的訓練任務，或者節省約 36% 的算力租用費用（按 1000 張 H100 月租 200 萬美元估算，年節省即可達 860 萬美元），此類效率提升在行業內普遍被認為是放置最佳化創造的真實經濟價值。

綜上，放置技術所撬動的總經濟價值（含硬體成本節約、軟體服務費、雲端溢價等）預計到 2027 年可達 百億至千億美元量級，但因其嵌入在基礎設施層，資料難以完全剝離，公開資料未見對其獨立市場規模的精確統計。

玩家對比

當前在放置技術領域形成影響力的主要玩家可劃分如下，其能力側重各有不同：

玩家 / 系統	技術特色	硬體目標	放置自動化程度	關鍵侷限	生態與落地
Google XLA + GSPMD	宣告式分片、編譯器自動傳播分片+通訊；與 TPU 強耦合	TPU, GPU	★★★★★ (極高)	對不規則計算圖需要較大量的規則補充；開源版本對非 TPU 支援仍有限	TensorFlow / JAX 生態，Gemini 等模型生產使用
NVIDIA Megatron + cuBLAS/TensorRT	提供使用者可控的 TP/PP 配置；推論端結合模型分析器半自動搜尋放置	GPU (NVIDIA)	★★★☆☆ (中)	主要面向已知並行模式（TP/PP），對任意圖的通用最佳化不如 XLA；受限於 CUDA 生態	大部分千億引數 LLM 訓練的 SOTA，閉源的部分整合在 NGC 容器中
Apache TVM / MLIR-based 工作	多層 IR、可插拔代價模型和排程模板；支援 RISC-V、CPU、GPU 等	多後端（高度異構）	★★☆☆☆ (搜尋空間定義靈活但需大量手工 tuning）	放置和排程分離，跨裝置放置並未形成如 GSPMD 般的統一推定方案；社群碎片化	開源 AI 編譯器主流，OctoML 等商用推手，在邊緣和雲端端推論場景較多案例
華為 MindSpore Sharding	與昇騰硬體深度繫結，支援自動資料/模型並行編排；據稱具備多維混合並行自搜尋	昇騰 NPU	★★★★☆ (高)	對外開放相對侷限，生態偏向華為全棧，第三方 GPU 支援較弱	盤古大型模型等內部訓練規模化驗證
FlexFlow / Alpa 等學術系統	符號化搜尋並行策略與放置，支援動態層次搜尋 (Alpa)	GPU (通用)	★★★★★ (極高自動化，但搜尋耗時)	搜尋時間隨模型規模顯著增長；在生產環境中魯棒性和容錯能力尚需工業強化	學術影響力大；部分思想被工業界吸收，但尚未作為獨立產品提供

公開資料顯示，在超大規模訓練場景（千卡以上）中，Google 的 GSPMD 和華為 MindSpore 的自動化放置能力較為領先；而在推論服務和跨邊緣裝置場景中，TVM 和 MLIR 的多後端能力更受青睞。NVIDIA 則通過閉源的 Megatron‑LM 和 NeMo 架構掌控了主流的工業界實踐路徑。綜合來看，硬體‑編譯器‑架構的深度耦合是當前玩家建立壁壘的最有效手段。

風險

放置技術的發展與應用面臨多重風險，需客觀評估：

• 技術泛化風險：一個針對特定 GPU 拓撲微調的放置演算法在更換晶片代際（如 H100 → B200）或切換到不同廠商 NPU 時效能可能大幅衰減，且重訓練成本極高。自研晶片廠商的高速迭代使編譯器和放置模組面臨“不斷追趕”的壓力。
• 生態鎖定與捆綁風險：領先玩家通過硬體‑架構強耦合形成封閉生態（如 TPU 只能通過 XLA 高效使用），第三方服務商或初創公司作為獨立編譯器團隊需攻克適配各種專有硬體 API 的難題，客戶可能被鎖定在某一晶片提供商的解決方案，限制了更具價效比的混合算力部署。
• 求解複雜度的工程瓶頸：將大規模模型（如包含數千個運算元）的放置問題壓縮到可接受小時內求解雖然可行，但隨著 MoE、動態路由等模式成為主流，放置問題趨於動態和線上化，傳統離線搜尋方案可能無法適應，會帶來執行時延遲 jitter 風險。
• 人力資源稀缺：放置技術需同時精通深度學習、編譯原理、計算機體系結構的人才，全球相關從業人員估計僅數千人（來源：行業調研估算，公開資料未見精確統計），長期存在人才供給不足風險，可能推高創新技術的研發成本。
• 資料隱私與安全合規：基於學習的方法需在真實硬體上執行大量次數的效能資料收集，部分資料可能涉及使用者模型結構、具體硬體拓撲等敏感資訊，在雲端服務中可能觸發資訊安全與合規風險。

誤讀糾偏

• 誤讀1：“放置就是決定哪個運算元放在哪塊 GPU 上。” 糾偏：這只是裝置級放置。實際完整的放置是一個多層級、多目標、與記憶體分配和通訊排程深度耦合的決策過程。它還需考慮晶片內計算核與記憶體層級（HBM ↔ L2 ↔ SMEM）的對映，甚至與運算元融合策略協同，才能真實影響最終效能。
• 誤讀2：“一個放置策略調好了可以通吃所有模型。” 糾偏：放置高度依賴計算圖拓撲和硬體拓撲。對 CNN 最優的方案對 Transformer 通常無效；在 NVIDIA A100 上搜索出的策略換到 H100 上也無法保證最優，甚至可能倒退。因此，自動化的、針對特定工作負載和叢集的定製化搜尋才是產業方向。
• 誤讀3：“放置最佳化只對訓練重要，推論可以用 batch=1 簡單處理。” 糾偏：在大型模型線上推論（如 Chatbot）中，張量並行和流水線並行帶來的裝置放置質量直接影響單請求延遲、系統吞吐和服務體驗。特別是多模型混部場景下，不合理的放置會引發資源搶佔和 QoS 惡化，大廠的推論引擎（如 NVIDIA Triton、Meta 的 Lynx）都會整合執行時放置最佳化。
• 誤讀4：“只要用更先進的編譯器，自動就能得到最優放置方案。” 糾偏：編譯器只是工具，仍需要系統工程師依據硬體拓撲和模型特點進行引數調優和約束定義（如顯式指定某些運算元的分片方式），全自動搜尋往往耗時過長甚至不可行，人機協同是當前主流。

最新事件

（以下事件時間節點截至 2024 年底，資訊來源以公開技術部落格、會議演講及企業釋出為準。）

• 2024 年 10 月：NVIDIA 在 AI Summit 上揭露了針對下一代 Blackwell GPU 架構的 TensorRT-LLM Multi‑Node 更新，支援跨多節點的細粒度張量並行放置，據稱在 Llama 3‑405B 推論任務中將首 Token 延遲降低 30%（來源：NVIDIA Developer Blog 2024 年 10 月）。
• 2024 年 8 月：Google 釋出 GSPMD v2 技術白皮書，介紹了自適應分片傳播和執行時重放置能力，應用於 Gemini 2 的訓練，顯著提升 MoE 專家的動態負載均衡。該成果同步發表於 MLSys‑2024（來源：Google Research 會議論文）。
• 2024 年 5 月：Meta 開源 torch.distributed.tensor (DTensor) 改進，允許使用者在 PyTorch 中直接宣告張量分片策略並自動推導放置，同時集成了與 FlexFlow 類似的輕量級搜尋，被社群視為 PyTorch 生態邁向自動化放置的重要一步（來源：PyTorch 官方部落格）。
• 2024 年 3 月：無問芯穹 宣佈其跨晶片推論編譯器完成對華為昇騰、天數智芯等多款國產 NPU 的適配，通過統一 IR 實現放置決策的跨硬體複用；該公司在 2024 年初完成近 5 億元人民幣融資（來源：企業新聞稿）。
• 2023 年 11 月：華為 在 MindSpore 2.0 中推出“多維混合並行自動調優”功能，聲稱在盤古氣候模型訓練中，MFU 相較於手動放置方案最高可提升 15%（來源：華為開源社群 release notes）。

就行業趨勢而言，放置技術正從離線靜態搜尋向動靜結合的線上排程發展，並在跨異構晶片的統一放置最佳化上加速落地。

追蹤指標

要持續追蹤放置技術及其產業影響，可關注以下量化指標和高頻資訊源：

• MFU / HFU（模型運算利用率）：大型模型公開報告（如 GPT、Llama 訓練日誌）中的 MFU 值，直接反映放置和並行策略的綜合效率。例如，Meta 曾在 Llama 3 報告中揭露其 H100 叢集 MFU 達 52%（來源：Meta AI 2024）。
• 編譯器/架構釋出說明中的放置相關更新：關注 XLA、MLIR、TVM、MindSpore、Megatron‑LM 的版本更新，統計“placement”“sharding”“auto parallel”相關 commits 數量和影響範圍。
• 最新學術論文的 SOTA 策略：每年 MLSys、OSDI、EuroSys、NeurIPS 中關於分散式訓練和自動化並行策略的論文；重點留意其在標準大型模型（如 GPT‑3 規模）上的 benchmark 結果和硬體配置。
• 雲端廠商公開的硬體效率 DATA：如 Google TPU 使用報告、斯坦福 AI 指數報告中的訓練效率趨勢，部分雲端廠商會在年度會議上揭露叢集算力利用率中位數改善的幅度。
• 硬體拓撲演進：追蹤 NVLink 代際升級、InfiniBand 轉入 XDR、PCIe 6.0 等，這些硬體引數的變化將直接改變放置代價模型的最優解。
• 初創企業融資與產品落地：專注於 AI 編譯器和異構最佳化企業的融資輪次及客戶簽約（如無問芯穹、夸克資料等），可側面印證產業對放置技術的資源傾斜程度。

信源

• GSPMD: General and Scalable Parallelization for ML Computation Graphs. Xu et al. MLSys 2021.
• Device Placement Optimization with Reinforcement Learning. Mirhoseini et al. ICML 2018.
• Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning. Zheng et al. OSDI 2022.
• FlexFlow: A Flexible Dataflow Programming Model for Distributed DNN Training. Jia et al. OSDI 2020.
• PyTorch DTensor Documentation & Blog. Meta, 2024.
• NVIDIA TensorRT-LLM Multi-Node Architecture. NVIDIA Developer Blog, 2024.
• MindSpore Sharding & Auto Parallel. Open Source Release Notes, Huawei 2023–2024.
• Apache TVM: End-to-End Optimization Stack for Deep Learning. Chen et al. OSDI 2018.
• Gartner, Market Share: AI Technologies, 2024 edition.
• IDC, Worldwide AI Infrastructure Tracker, Q3 2024.
• Synergy Research Group, Cloud Infrastructure Market – Q3 2024 Review.
• Google Cloud TPU Performance Analysis. Google AI Blog, 2023.
• Meta Llama 3 Training Report. Meta AI, 2024.
• 無問芯穹官方新聞稿, 2024 年 3 月.