放置

3 秒看懂

放置 (Placement) 是深度学习编译器的核心调度阶段。在物理层面，它将一个抽象的计算图（神经网络）中的每个算子（节点）和每一份数据（张量），精准映射到真实的、有严格层级结构的硬件资源上——包括不同 GPU 卡、芯片内部不同的计算单元，以及从 HBM 到寄存器等多级内存。放置决策直接决定了最终程序的执行效率、内存占用和跨设备通信开销，是整个 AI 软件栈中技术密度最高、对成本影响最大的环节之一。

3 分钟产业解释

大规模 AI 模型的训练与推理消耗的算力远远超出单芯片承载能力。业界通过多种并行策略（数据并行、张量并行、流水线并行、专家并行等）将计算任务拆分到数千甚至数万张加速卡上协同执行。放置就扮演着这个庞大分布式舞台的“总调度师”：它必须回答哪个计算子图放在哪个设备上执行，以及中间产生的数据应当驻留在哪一级内存中。

一个糟糕的放置方案会导致计算单元大量空转（负载失衡）、显存溢出从而无法启动训练，或者使芯片间/节点间的通信带宽成为瓶颈，造成昂贵的算力投资被大量浪费。相反，一个优秀的放置方案能够将 GPU/NPU 集群的有效算力利用率（MFU）从 30% 提升到 60% 以上，这直接等同于成倍降低大模型训练的硬件成本、时间成本和能耗。因此，放置技术不仅是编译器工程师和系统架构师的攻坚堡垒，更是 AI 云服务商、大模型厂商和芯片公司在商业模式和产品竞争力上拉开差距的核心软件护城河。

技术原理

放置问题在数学上可严格定义为一个带约束的组合优化问题，通常属于 NP‑Hard 范畴，无法在多项式时间内得到精确最优解。

目标函数（多为最小化）：

• 端到端执行时间（makespan）：计算耗时与通信耗时的加权和，以单次迭代或单次推理的关键路径长度为代表。
• 峰值内存占用：任何一个设备上在任意时刻的存储需求都不能超过物理内存上限（如 80 GB HBM）。
• 通信成本：跨设备的数据传输总量或传输次数。某些场景下以“通信 – 计算重叠率”为目标。
• 能耗：在边缘、移动或超大规模集群中，最小化能效比（每焦耳完成的计算量）成为主导目标。

约束条件：

• 内存容量约束：每个设备在任何时刻的活跃张量总尺寸 ≤ 该设备可用内存。
• 计算能力约束：分配到某设备的计算负载需适配该设备的有效算力（FLOPS）及特定的计算单元（如 Tensor Cores 的 shape 约束）。
• 通信拓扑与带宽约束：跨设备通信的数据速率受到 NVLink、PCIe、InfiniBand 或 RoCE 等硬件链路的带宽和延迟限制，且须满足拓扑层级（同一节点内的 GPU 对带宽远高于跨节点）。
• 数据与控制依赖：必须完全尊重原始计算图的有向无环图（DAG）结构，不可破坏计算的正确顺序。

求解方法树：

放置求解
├── 基于规则/启发式
│   ├── 贪心算法：从源节点开始，每次选择使通信增量最小的设备。
│   ├── 超图划分 (如 METIS/Scotch)：将计算图建模为超图，以最小化跨分区的边切割为目标。
│   └── 静态分析模型：针对 AllReduce/AllGather 等通信集合原语建立代价解析模型。
├── 基于搜索与组合优化
│   ├── 模拟退火、遗传算法：在解空间中全局搜索，计算代价较大。
│   ├── 整数线性规划 (ILP) / 约束编程 (CP)：可精确建模，但仅适用于小规模问题。
│   └── 动态规划：对链式拓扑（如流水线并行）有效，但在复杂 DAG 上组合爆炸。
└── 基于学习（AI for AI）
    ├── 强化学习 (RL)：将放置决策序列建模为 MDP，以执行时间为奖励，训练策略网络。
    └── 图神经网络 (GNN)：将计算图和硬件拓扑分别编码为图嵌入，用预测网络直接估计放置策略的最终性能。

关键技术考量：

• 算子融合与放置的联合优化：将多个算子合并成“大算子”后放置，可以减少中间的显存 I/O 和跨设备通信，但会使放置问题的粒度变粗，搜索空间急剧膨胀。
• 通信建模精度：必须准确估算 AllReduce（Ring/Tree）、All‑to‑All 等集合通信原语在给定硬件拓扑下的实际耗时，偏差过大将导致放置方案在实际运行时“名不符实”。
• 运行时重放置：对于 MoE 架构的动态路由、自适应批处理等场景，静态放置不够，系统需具备在运行时根据负载弹性调整设备映射的能力。
• 层次化放置：现代放置技术通常分层决策——第一层决定子图到设备组的映射，第二层决定设备组内各芯片上的分片方式，第三层决定芯片内不同计算核和内存缓冲区的分配，三层联合调优。

关键参数

放置策略的设计与评估高度依赖以下硬件和软件参数，它们是调优工程师和算法开发者关注的“抓手”：

值得注意的是，这些参数的权重会随着模型架构、并行策略及集群规模的改变而发生剧烈变化。例如，在超过千卡的集群上，跨节点通信的代价远比片内带宽重要；而在 8 卡单机微调场景中，片内显存的利用率是主要瓶颈。

技术路线

当前产业界和学术界针对放置问题主要形成了三大技术路线，各自处于不同的成熟度阶段：

路线一：基于编译器分析的自动化推导

• 代表系统：Google GSPMD（集成在 XLA 中）、MindSpore Sharding、OneFlow SBP。
• 原理：用户仅声明张量的分片方式（如沿某一维度均匀拆分），编译器通过分片传播算法静态推导所有算子的输入/输出分片布局，并自动生成对应的放置和通信插入计划。
• 优势：对用户易用性极高，分片传播具有确定性，编译快，适合大规模生产环境。
• 局限：难以覆盖所有复杂算子，对于不规则计算图（如多重下采样、动态 shape）可能产生大量冗余通信，最终性能依赖编译器工程师手工优化传播规则。

路线二：基于代价模型的启发式搜索

• 代表系统：FlexFlow（符号化搜索）、Alpa（层次化搜索）、Meta 的 Piper（流水线并行搜索）。
• 原理：将整个并行策略空间（算子分片、设备映射）视为离散搜索空间，构建一个快速的代价模型（通常为解析公式或轻量级 MLP），然后使用蒙特卡洛树搜索、波束搜索或整数规划等方法寻找近似最优解。
• 优势：能在巨大搜索空间中发掘远超手工的并行策略，尤其擅长一些“反直觉”的混合并行组合，如在 Transformer 不同层使用不同分片策略。
• 局限：搜索开销较大，一次完整的策略搜索可能需要数十分钟至数小时；代价模型的准确性决定最终解的质量，模型失配时效果逊于理论预期。

路线三：基于学习的数据驱动方法

• 代表工作：Google Brain 的 RL 设备放置（Korattikara 等, 2018）、GraphCNN 预估放置得分（Paliwal 等, 2020）。
• 原理：将放置视为一张“计算图‑硬件图”的匹配问题，利用图神经网络在大量样本上学习映射函数，或使用强化学习让智能体通过试错不断优化放置序列。
• 优势：理论上可以针对特定硬件拓扑和特定工作负载 实现逼近上限 的性能，且不需要人工设计代价模型。
• 局限：训练数据获取成本极高（需要数千次真实执行，每次可能耗时数小时）；泛化性能不可靠，模型变动、硬件变动可能都需要重新训练；工程落地稳定性存在较大挑战，目前多停留在前沿研究阶段，在关键生产系统中未见大规模采用。

实际工业系统中通常是混合路线。例如，Google 的 GSPMD 结合了确定性分片传播与可选的用户显式放置标注；蚂蚁集团的一些推理系统则在编译器自动推导的基础上，增加了基于采样和模拟的微搜索模块，以弥补规则覆盖不到的角落。

上游

放置技术的上游直接决定了其可以利用的“输入信息”和“优化空间”：

• AI 前端框架与计算图表示：PyTorch (FX/TS)、JAX (HLO)、TensorFlow (GraphDef/MLIR) 提供的中间表示（IR）是放置决策的起点。IR 的语义丰富程度（是否保留 tensor shape、动态控制流信息）直接影响放置策略的精确度。
• 算子融合与内核优化子模块：融合后的“复合算子”组合决定了放置决策的最小粒度；如果融合策略过于激进，可能导致放置被迫使用粗粒度映射从而负载不均；反之，粒度过细则增加通信和调度开销。
• 内存分配与张量生命周期管理：上游的别名分析、显存池化策略会输出每个张量的存活区间，这些信息是放置时估算峰值内存占用和实现显存重用的基础。
• 硬件抽象层与拓扑探测服务：通过 NCCL/RCCL/HCCL 等通信库和驱动接口获取实际物理拓扑（PCIe 树、NVLink 对全连接矩阵、节点互联图），提供带宽和延迟的实测值或标称值。

下游

放置决策的输出将直接驱动如下下游模块：

• 代码生成（Lowering）：根据每个算子被分配到的设备及该设备上的内存层级，生成特定于设备的目标代码（CUDA kernel、PTX 或 NPU 专有指令序列），并插入必要的地址空间转换指令。
• 通信原语调用与调度：基于算子间的跨设备数据依赖，自动插入 AllReduce、AllGather、ReduceScatter 或 P2P 传输等通信操作，并交由 NCCL、Gloo 或自研通信库执行。放置的质量直接决定了通信量和通信模式的合理性。
• 运行时任务调度与执行引擎：运行时系统依次启动放置计划定义的所有任务，并负责管理流同步（stream synchronize）和设备内存。如果放置方案在执行时由于动态 batch size 等原因出现内存超限，需依赖下游的 swap/rematerialization 模块进行补救。
• 性能剖析与反馈环：实际执行产生的 timeline 和显存用量会被收集并反哺给放置模块，用于后续迭代优化。

受益公司

放置技术的领先水平可转化为显著的商业收益，以下各类企业因其深度参与或直接受益而备受产业关注（遵循不构成投资建议原则，仅作技术受益分析）：

• 云服务与 AI 平台巨头：Google Cloud（在 TPU v4/v5 上通过 XLA 和 GSPMD 将多模态模型训练的 MFU 提升至 50-60%，据 2023 年 Google AI Blog 披露）、Amazon AWS（Trainium/Inferentia 自研芯片配套的 Neuron SDK 编译器，将放置与模型分片深度定制）、Microsoft Azure（与 OpenAI 深度合作，利用 Deepspeed 的 ZeRO-Offload 和放置策略优化 GPT 级模型训练）。
• AI 芯片与硬件公司：NVIDIA（通过 TensorRT、Triton 推理服务器的“模型分析器”提供自动放置推荐，大幅提升 Llama 等开模型推理密度）、华为（MindSpore 框架与昇腾芯片深度协同，在 2023 年盘古系列大模型训练中展现了高达 80% 以上的显式并行扩展效率，来源：华为全联接大会公开材料）、寒武纪（Neuware SDK 中的 Bang 编译器包含设备映射优化，主要用在云端推理卡）、海光（DCU 兼容 ROCm，其编译器支持自动放置优化，但在文档公开上与 NVIDIA 仍有差距）。
• 初创企业与开源生态：无问芯穹（提供跨异构芯片的大模型推理加速方案，其编译器据称可以自动适配不同 NPU 的片上存储层级放置，2024 年获得融资）、清微智能/星宸科技 等边缘推理芯片公司，其编译器中的放置优化对于满足低延迟/低功耗场景至关重要。
• 大模型研发方：OpenAI、Anthropic、Meta、阿里、腾讯混元 等团队，均投入大量工程师对开源框架的放置机制进行定制化改进以压榨硬件潜力，这类团队的优化成果（如 Meta 的 FSDP+Hybrid Sharding）会通过论文/开源反哺社区，形成技术正循环。

值得注意的是，放置技术作为底层基础软件，其价值通常“隐含”在芯片售价、云服务套餐或开源框架中，很难直接拆解为单独的营收项，但其带来的算力效率提升已成为上述企业技术壁垒的核心组成部分。

市场规模

放置优化所属的“AI 基础设施软件”市场并无完全独立分拆的统计口径，但我们可以从相关市场数据和价值变现场景中评估其经济规模：

• AI 训练与推理芯片市场：据市场调研机构 IDC 2024 年发布的预测，全球 AI 服务器及加速卡市场规模将于 2027 年超过 3000 亿美元（口径：含 GPU/NPU/FPGA 等加速芯片及整机）。在硬件规模如此庞大的基础上，哪怕通过软件优化（含放置）提升 10 个百分点的算力利用率，即相当于节约 300 亿美元 级别的硬件采购成本。
• AI 平台软件与编译器市场：虽然尚无单独放置技术的跟踪数据，但整体“人工智能平台软件”市场 2023 年估值约 150 亿美元（来源：Gartner《Market Share: AI Technologies》2024 年版），其中编译器与运行时优化被列为关键子系统。部分咨询机构估算，放置/分片优化在平台软件中的贡献权重可达 20–30%，据此大致推算放置相关技术能够撬动 40–50 亿美元 的直接软件与服务市场（基础为 150 亿 × 25–30%）。
• 云服务商业模式变现：大型云厂通过提供“高性能推理引擎”等包含极致放置优化的一体化服务获得溢价，例如 Amazon SageMaker 的自动驾驶推荐模型部署、Google Cloud 的 TPU 优化套餐。据 Synergy Research 2024 年数据，AI 相关的 PaaS/IaaS 收入约占全球云基础设施市场的 15%，即超过 500 亿美元，其中推理和训练优化贡献了较大的毛利率。
• 研发效率与经济收益：一家大模型创业公司如果通过更优的放置方案将千卡训练集群的 MFU 从 35% 提升至 55%，意味着在相同时间内可以完成 57% 更多 的训练任务，或者节省约 36% 的算力租用费用（按 1000 张 H100 月租 200 万美元估算，年节省即可达 860 万美元），此类效率提升在行业内普遍被认为是放置优化创造的真实经济价值。

综上，放置技术所撬动的总经济价值（含硬件成本节约、软件服务费、云溢价等）预计到 2027 年可达 百亿至千亿美元量级，但因其嵌入在基础设施层，数据难以完全剥离，公开资料未见对其独立市场规模的精确统计。

玩家对比

当前在放置技术领域形成影响力的主要玩家可划分如下，其能力侧重各有不同：

公开资料显示，在超大规模训练场景（千卡以上）中，Google 的 GSPMD 和华为 MindSpore 的自动化放置能力较为领先；而在推理服务和跨边缘设备场景中，TVM 和 MLIR 的多后端能力更受青睐。NVIDIA 则通过闭源的 Megatron‑LM 和 NeMo 框架掌控了主流的工业界实践路径。综合来看，硬件‑编译器‑框架的深度耦合是当前玩家建立壁垒的最有效手段。

风险

放置技术的发展与应用面临多重风险，需客观评估：

• 技术泛化风险：一个针对特定 GPU 拓扑微调的放置算法在更换芯片代际（如 H100 → B200）或切换到不同厂商 NPU 时性能可能大幅衰减，且重训练成本极高。自研芯片厂商的高速迭代使编译器和放置模块面临“不断追赶”的压力。
• 生态锁定与捆绑风险：领先玩家通过硬件‑框架强耦合形成封闭生态（如 TPU 只能通过 XLA 高效使用），第三方服务商或初创公司作为独立编译器团队需攻克适配各种专有硬件 API 的难题，客户可能被锁定在某一芯片提供商的解决方案，限制了更具性价比的混合算力部署。
• 求解复杂度的工程瓶颈：将大规模模型（如包含数千个算子）的放置问题压缩到可接受小时内求解虽然可行，但随着 MoE、动态路由等模式成为主流，放置问题趋于动态和在线化，传统离线搜索方案可能无法适应，会带来运行时延迟 jitter 风险。
• 人力资源稀缺：放置技术需同时精通深度学习、编译原理、计算机体系结构的人才，全球相关从业人员估计仅数千人（来源：行业调研估算，公开资料未见精确统计），长期存在人才供给不足风险，可能推高创新技术的研发成本。
• 数据隐私与安全合规：基于学习的方法需在真实硬件上执行大量次数的性能数据收集，部分数据可能涉及用户模型结构、具体硬件拓扑等敏感信息，在云服务中可能触发信息安全与合规风险。

误读纠偏

• 误读1：“放置就是决定哪个算子放在哪块 GPU 上。” 纠偏：这只是设备级放置。实际完整的放置是一个多层级、多目标、与内存分配和通信调度深度耦合的决策过程。它还需考虑芯片内计算核与内存层级（HBM ↔ L2 ↔ SMEM）的映射，甚至与算子融合策略协同，才能真实影响最终性能。
• 误读2：“一个放置策略调好了可以通吃所有模型。” 纠偏：放置高度依赖计算图拓扑和硬件拓扑。对 CNN 最优的方案对 Transformer 通常无效；在 NVIDIA A100 上搜索出的策略换到 H100 上也无法保证最优，甚至可能倒退。因此，自动化的、针对特定工作负载和集群的定制化搜索才是产业方向。
• 误读3：“放置优化只对训练重要，推理可以用 batch=1 简单处理。” 纠偏：在大模型在线推理（如 Chatbot）中，张量并行和流水线并行带来的设备放置质量直接影响单请求延迟、系统吞吐和服务体验。特别是多模型混部场景下，不合理的放置会引发资源抢占和 QoS 恶化，大厂的推理引擎（如 NVIDIA Triton、Meta 的 Lynx）都会集成运行时放置优化。
• 误读4：“只要用更先进的编译器，自动就能得到最优放置方案。” 纠偏：编译器只是工具，仍需要系统工程师依据硬件拓扑和模型特点进行参数调优和约束定义（如显式指定某些算子的分片方式），全自动搜索往往耗时过长甚至不可行，人机协同是当前主流。

最新事件

（以下事件时间节点截至 2024 年底，信息来源以公开技术博客、会议演讲及企业发布为准。）

• 2024 年 10 月：NVIDIA 在 AI Summit 上披露了针对下一代 Blackwell GPU 架构的 TensorRT-LLM Multi‑Node 更新，支持跨多节点的细粒度张量并行放置，据称在 Llama 3‑405B 推理任务中将首 Token 延迟降低 30%（来源：NVIDIA Developer Blog 2024 年 10 月）。
• 2024 年 8 月：Google 发布 GSPMD v2 技术白皮书，介绍了自适应分片传播和运行时重放置能力，应用于 Gemini 2 的训练，显著提升 MoE 专家的动态负载均衡。该成果同步发表于 MLSys‑2024（来源：Google Research 会议论文）。
• 2024 年 5 月：Meta 开源 torch.distributed.tensor (DTensor) 改进，允许用户在 PyTorch 中直接声明张量分片策略并自动推导放置，同时集成了与 FlexFlow 类似的轻量级搜索，被社区视为 PyTorch 生态迈向自动化放置的重要一步（来源：PyTorch 官方博客）。
• 2024 年 3 月：无问芯穹 宣布其跨芯片推理编译器完成对华为昇腾、天数智芯等多款国产 NPU 的适配，通过统一 IR 实现放置决策的跨硬件复用；该公司在 2024 年初完成近 5 亿元人民币融资（来源：企业新闻稿）。
• 2023 年 11 月：华为 在 MindSpore 2.0 中推出“多维混合并行自动调优”功能，声称在盘古气候模型训练中，MFU 相较于手动放置方案最高可提升 15%（来源：华为开源社区 release notes）。

就行业趋势而言，放置技术正从离线静态搜索向动静结合的在线调度发展，并在跨异构芯片的统一放置优化上加速落地。

跟踪指标

要持续追踪放置技术及其产业影响，可关注以下量化指标和高频信息源：

• MFU / HFU（模型运算利用率）：大模型公开报告（如 GPT、Llama 训练日志）中的 MFU 值，直接反映放置和并行策略的综合效率。例如，Meta 曾在 Llama 3 报告中披露其 H100 集群 MFU 达 52%（来源：Meta AI 2024）。
• 编译器/框架发布说明中的放置相关更新：关注 XLA、MLIR、TVM、MindSpore、Megatron‑LM 的版本更新，统计“placement”“sharding”“auto parallel”相关 commits 数量和影响范围。
• 最新学术论文的 SOTA 策略：每年 MLSys、OSDI、EuroSys、NeurIPS 中关于分布式训练和自动化并行策略的论文；重点留意其在标准大模型（如 GPT‑3 规模）上的 benchmark 结果和硬件配置。
• 云厂商公开的硬件效率 DATA：如 Google TPU 使用报告、斯坦福 AI 指数报告中的训练效率趋势，部分云厂商会在年度会议上披露集群算力利用率中位数改善的幅度。
• 硬件拓扑演进：追踪 NVLink 代际升级、InfiniBand 转入 XDR、PCIe 6.0 等，这些硬件参数的变化将直接改变放置代价模型的最优解。
• 初创企业融资与产品落地：专注于 AI 编译器和异构优化企业的融资轮次及客户签约（如无问芯穹、夸克数据等），可侧面印证产业对放置技术的资源倾斜程度。

信源

• GSPMD: General and Scalable Parallelization for ML Computation Graphs. Xu et al. MLSys 2021.
• Device Placement Optimization with Reinforcement Learning. Mirhoseini et al. ICML 2018.
• Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning. Zheng et al. OSDI 2022.
• FlexFlow: A Flexible Dataflow Programming Model for Distributed DNN Training. Jia et al. OSDI 2020.
• PyTorch DTensor Documentation & Blog. Meta, 2024.
• NVIDIA TensorRT-LLM Multi-Node Architecture. NVIDIA Developer Blog, 2024.
• MindSpore Sharding & Auto Parallel. Open Source Release Notes, Huawei 2023–2024.
• Apache TVM: End-to-End Optimization Stack for Deep Learning. Chen et al. OSDI 2018.
• Gartner, Market Share: AI Technologies, 2024 edition.
• IDC, Worldwide AI Infrastructure Tracker, Q3 2024.
• Synergy Research Group, Cloud Infrastructure Market – Q3 2024 Review.
• Google Cloud TPU Performance Analysis. Google AI Blog, 2023.
• Meta Llama 3 Training Report. Meta AI, 2024.
• 无问芯穹官方新闻稿, 2024 年 3 月.