AI SKU
1. 3 秒看懂
AI SKU 是面向人工智能工作负载专门定义的最小产品配置标识。它本质上不是“一颗芯片”,而是一个融合了算力、显存容量、互连带宽、功耗与定价的商务/技术组合。在同一芯片架构代次内,厂商通过裁剪计算单元数、显存位宽、封装形式和功耗上限,划分出从万卡级训练集群到边缘推理节点的不同产品。AI SKU 直接决定了能跑多大的模型、消耗多少电力以及集群的总拥有成本(TCO)。
2. 3 分钟产业解释
在 AI 基建的采购清单上,看到的并非简单的 GPU 型号,而是类似“H100 80GB HBM3 SXM”、“H100 NVL 94GB HBM3”或“MI300X 192GB HBM3”这类精确描述。这些标识对应的是同一个核心 GPU 架构下的不同 AI SKU。厂商的底层逻辑是基于物理现实与商业策略进行组合裁剪:晶圆良率导致的缺陷、HBM 显存堆栈的层数、最高可承受的热设计功耗(TDP),以及为了区隔市场而主动用熔丝禁用的计算单元。这些因素共同构成了一个多维度矩阵。
AI SKU 的划分将直接左右以下三大核心环节:
- TCO模型构建:单位算力的功耗瓦数与采购成本决定了模型训练的最终投入。一个错误的 SKU 选择可能导致电力预算超支或集群利用率不足。
- 集群组网拓扑设计:NVLink 域的大小、跨节点 All-Reduce 带宽以及对外扩展的网络能力均由 SKU 上的互连端口规格决定,这直接影响千卡集群的线性加速比。
- 软件栈兼容边界:驱动版本、算子库的优化粒度,甚至部分虚拟化功能(如 MIG)的可用性,都严格与特定 SKU 绑定。
因此,AI SKU 并不止是硬件的“配置单”,它是算力租赁商、云运营商与模型厂商在做技术选型及财务评估时的最小编址单元。
3. 技术原理
AI SKU 的分化并非随意而为,而是由一组严格的技术阀门组合控制,其核心机制遵循以下流程:
晶圆制造 → 良率筛选 → 核心计算规格分级
↓
封装设计 → 确定 HBM 堆叠数量与位宽 → 定义显存容量/带宽
↓
板卡设计 → 供电子系统与散热方案 → 锁定功耗上限(TDP)
↓
固件/熔丝 → 永久禁能部分单元 → 最终确定算力(FP16/BF16/FP8 Tensor FLOPS)
- 计算单元规格化:通过 eFuse(电子熔丝)或激光修调,在生产后期永久禁用一定比例的流处理器(SM)或张量核心(Tensor Core)。这允许厂商将不符合旗舰级功耗或缺陷标准的芯片降级出售。
- 显存位宽与容量配置:AI 加速器的显存带宽由启用的 HBM 堆栈数 × 1024-bit决定。例如,一个高端 SKU 启用 6 个 12-Hi HBM3E 堆栈,可提供 6144-bit 位宽与 144GB 容量;而一个主流 SKU 则启用 5 个 8-Hi 堆栈,提供 5120-bit 位宽与 80GB 容量。对于 MoE(混合专家)架构等显存密集型模型,带宽与容量的削减会直接导致性能急剧下降。
- 先进封装的决定性作用:高端 SKU 依赖 CoWoS-S(硅中介层)实现最高密度的 HBM 集成,其高成本与产能瓶颈是旗舰卡供应短缺的主要成因。而面向成本敏感型推理场景的 SKU,可能采用 CoWoS-R 甚至传统的 FCBGA 封装,以牺牲部分带宽换取供给稳定性。
- TDP 与电源拓扑强耦合:700W-1000W 级别的旗舰 SKU 要求板级供电方案采用更多相数的 DrMOS、高密度电源连接器,甚至引入 48V 供电架构以确保效率。这一功耗墙直接限制了 GPU 核心的持续加速频率,并决定了服务器的散热设计(风冷或液冷)。
4. 关键参数
评估 AI SKU 时,不能只看单一的峰值算力(如 TFLOPS),必须采用多维度交叉视角:
- 张量计算吞吐量:在不同精度下(FP16, BF16, FP8, INT8/FP4)的 TFLOPS 值。需区分是否包含稀疏计算加速,这是衡量训练与推理原始出力的基准。(来源:厂商官方白皮书,不同代际数值各异)。
- 显存容量与带宽:决定了可容纳的最大模型参数量及单 token 生成的延迟。对于千亿参数以上的大语言模型,带宽瓶颈往往比计算瓶颈更早出现。带宽常用单位:TB/s。
- 互连单通道速率与总带宽:多卡扩展的效率核心。单通道速率(如 50 GT/s PAM4)乘以链路总数,即跨卡双向总带宽,直接影响 Megatron 张量并行等分布式策略中的 All-Reduce 通信时延。
- TDP(热设计功耗):不仅是功耗问题,更是机房供电密度与散热方案的基础约束。一个 42U 机柜能承载多少张卡,直接由单卡 TDP 决定。
- 实例切分粒度:针对推理场景,单卡通过硬件分区(如 MIG)能隔离出的最小计算实例数量。这衡量了云端多租户服务的并发能力。
- eFuse/熔丝锁定配置:这是厂商用来定义 SKU 的最终物理手段。虽然用户不可见且不可改,但它决定了上述所有激活参数的最终上限。
5. 技术路线
市场主流的 AI SKU 可按功耗与计算能力分为三个清晰层级,各自遵循不同的技术实现路径:
| 维度 | 旗舰训练 SKU | 主流推理/训练 SKU | 边缘/入门 SKU |
|---|---|---|---|
| 核心芯片 | 全规格 Die,采用最激进的主频与 TDP | 同架构降级 Die 或通过熔丝禁能部分单元 | 较小面积 Die 或大幅禁能,TDP 严重受限 |
| 显存方案 | 搭载最新一代 HBM(如 HBM3E 12-Hi),追求最大带宽与容量 | 使用前代或低层数 HBM,容量与带宽适度削减 | 放弃 HBM,改用 GDDR 或 LPDDR,大幅降低成本 |
| 互连能力 | 满端口 NVLink/Infinity Fabric,配合多路 OSFP 网络接口 | 链路数削减,或降级为纯 PCIe 扩展 | 仅提供 PCIe 通道或无高速互连 |
| 功耗量级 | 高(700–1000W 级别) | 中(300–500W 级别) | 低(≤150W) |
| 核心用途 | 万亿参数级 LLM 预训练、HPC 仿真 | 高并发云推理、百亿参数模型微调、中小规模训练 | 边缘实时推理、视频流分析、工业视觉 |
| 主导封装 | CoWoS-S/L,高成本,供应受限 | 同系廉价或成熟节点封装,消耗更少中介层面积 | FCBGA、扇出型或成熟模组封装 |
| 供应瓶颈 | 严重受制于 CoWoS 产能与 HBM 颗粒交付 | 受先进封装产能间接挤压,可通过调整 HBM 需求缓冲 | 供应成熟,瓶颈主要在特定应用场景的集成生态 |
注:上述数值为跨代际行业通用范围概括,不完全对应特定产品型号。
6. 上游
AI SKU 的供给形态受制于一条集中度极高的上游产业链:
- 芯片设计与 IP 授权:核心计算架构、I/O 互联 Die(SerDes)、内存控制器等关键 IP 的授权方与架构设计商。例如,用于构建 NVLink 或 Infinity Fabric 的物理层 IP 决定了互连规格的上限。
- 晶圆制造:先进逻辑制程(如 5nm、4nm/3nm 级)的代工。不同 SKU 虽然可能使用同代工艺,但芯片面积、漏电流特性导致良率和成本不同。高功耗的大芯片对工艺的波动性尤其敏感。
- HBM 存储器:SK Hynix、三星等是 SKU 定义显存带宽与容量的决定性源头。根据公开数据,海力士在 2023-2024 年的 HBM3 市场中占据主导份额,其 12-Hi 产品的良率爬坡速度直接决定了旗舰 SKU 的季度出货节奏。
- 先进封装与基板:台积电的 CoWoS 是我们的主要约束。根据台积电 2023 年四季度法说会及后续声明,其 CoWoS 产能计划在 2024 年实现同比倍增,但仍未完全满足客户需求。ABF 载板的层数与尺寸则限制着大型芯片的封装方案。
- 板级供电与散热组件:承载高电流的智能功率级(DrMOS)和数字 PWM 控制器是供电核心。高 TDP SKU 已加速普及冷板式液冷甚至浸没式液冷方案,其组件供应链(如快接头、CDU)也已成为上游关键环节。
7. 下游
AI SKU 的最终形态完全基于下游采购方的业务模型定制:
- 服务器 ODM/OEM:如广达、富士康工业富联、超微等,它们将 AI SKU 板卡集成入带液冷和高压直流供电的定制服务器中。其设计方案需严格适配特定 SKU 的功耗、尺寸与互连拓扑。
- 云服务商与算力租赁商:CoreWeave、Lambda Labs 等 GPU 云是定价的“放大器”。它们根据单卡租赁回收周期反向测算可接受的采购成本,从而影响上游厂商对某一 SKU 定位的成功与否。AWS、微软 Azure 等超大规模厂商则在大量采购的同时,大规模部署内部自研 SKU,形成“通用+自研”的混合部署模式。
- 前沿模型厂商与实验室:OpenAI、Anthropic、国内头部大模型公司等是旗舰训练 SKU 的终极需求者。它们的采购决策高度集中于释放即时的最强算力,对供应延迟的容忍度极低。
- 企业级 AI 基础设施:金融机构、运营商和大型制造企业自建私有化部署,它们在采购时更关注主流 SKU 的生命周期稳定性、软件栈长期支持承诺以及与现有数据中心的散热兼容性。
8. 受益公司
不同公司在 SKU 价值链中的受益逻辑清晰:
- 通用 GPU 主导厂商(NVIDIA):凭借最完整的 AI SKU 矩阵,从 H100 到 B 系列,通过不同封装形态(SXM, NVL, PCIe)和互连代次覆盖所有细分市场。其数据中心收入的连续高速增长反映了 SKU 矩阵定价权的成功。(数据可追踪其季度财报中的数据中心业务营收及产品毛利率变化)。
- 挑战者架构厂商(AMD):以 Instinct 系列构建了基于 Chiplet 的差异化 SKU 路线。通过灵活搭配 3D V-Cache 与不同栈次 HBM,以更低的总成本切入主流训练与推理市场。
- 自研芯片阵营(Google, Amazon, Microsoft):TPU、Trainium/Inferentia、Maia 是典型的内部专用 SKU。它们不对外售卖,但受益于单一内部客户的放量应用,单位算力成本在大规模部署下具有优势,直接降低了自家的对外服务运营成本。
- HBM 及先进封装供应链公司:伴随每一个高端 AI SKU 的出货,HBM 颗粒与 CoWoS 封装产能的供应商将获得量价齐升的确定性收益,其营收增速与 AI 加速器出货量高度正相关。
- 服务器集成与散热方案商:高功耗旗舰 SKU 放量迫使数据中心转向液冷,直接带动相关散热组件供应商的营收规模与毛利率结构性提升。
9. 市场规模
由于 AI SKU 没有独立的市场统计口径,其规模隐含于几大板块的交集中,但可通过现有数据进行定性描述:
- AI 加速器芯片市场:据多个第三方分析机构(公开报告未逐一列出具体机构名称,需交叉印证)估算,2024 年全球 AI 加速器芯片的市场收入在数百亿美元量级,并预计在 2027-2028 年达到千亿美元级别,年复合增长率维持在高双位数。
- 结构分化特征明显:其中,训练用旗舰 SKU 占据最大营收份额,但推理用 SKU 的出货量正快速攀升,预计在 2025 年后成为增长的主力驱动。这标志着大模型正从开发期转向规模化应用落地期。
- 供需的持续性缺口:2023 全年至 2024 年,旗舰 AI SKU 的供给缺口维持在 20%-30%(不同渠道测算均值),主要瓶颈在 CoWoS 产能。预计随着 2024 年下半年台积电等厂商扩产落地,缺口开始收敛,但 HBM3E 的供给将接替成为新的核心约束。
- 注:以上具体数字需以当年咨询机构最新报告为准。
10. 玩家对比
以 2024 年初市场主流玩家的旗舰推理与训练 SKU 为例进行逻辑对比,不涉及具体买入建议:
- NVIDIA:其特点是 SKU 切分极其精细。不仅区分 HBM 容量,还通过 NVLink 桥接器与以太网端口的组合衍生出 NVL 等专为大语言模型推理设计的 SKU。生态护城河(CUDA)最深,使得同一颗芯片的不同软件切片(如 MIG)也可作为更高客单价的 SKU 进行售卖。
- AMD:主打显存容量与开放生态性价比。其旗舰推理 SKU 在同功耗下提供更大的 HBM 容量,对运行大尺寸模型有天然吸引力。其通用计算(ROCm)生态正加速追赶,但在部分小众算子覆盖上仍有差距。
- Intel Gaudi 系列:跳出了 NVLink 的标准框架,以集成以太网 RDMA 实现横向扩展,其 SKU 定位强调在特定模型下的性价比,例如在 Stable Diffusion 或某些推荐模型上提供极优的每美元推理性能。
- 云端自研(AWS Trainium/Inf2):作为纯粹的云端专用 SKU,其性能基准并不公开对标 GPU,但通过成本极低的租用价格和与自家 SageMaker 平台的深度耦合锁定用户,其竞争力体现在总体云服务账单的降低上。
11. 风险
配置与采购 AI SKU 涉及多重风险,需警惕:
- 先进封装供给中断与挤兑:高端 AI SKU 的命运与 CoWoS 等先进封装的扩产节奏深度绑定。一旦生产发生火灾、地震或设备交期延误,将导致旗舰卡全球性的缺货。2023 年的历史数据已证明了这种紧耦合的脆弱性。
- 功耗与冷却换代风险:1000W 级的 SKU 正迫使存量数据中心进行昂贵的电力与散热改改造。若某代际的能效比提升低于预期,大规模部署可能陷入电容量不足的困境,导致客户推迟采购。
- SKU 定义被管制重塑:地缘政治驱动的出口管制会强制催生“合规性阉割版”SKU,即刻意削减互连带宽或 TFLOPS 至特定阈值以下。这类产品会被打乱市场正常的定价体系,冲击原厂的全球分区供货策略。
- 软件生态锁定与迁移沉没成本:过度依赖某个 SKU 的特性(如特定的计算分区或低精度融合),会在转向其他厂家或自研芯片时产生巨大的工程迁移成本。这是一种非显性的,但最终体现在工程师人力和时间上的成本风险。
12. 误读纠偏
对 AI SKU 的以下常见认知需要纠偏:
误读一:“AI SKU 就是 GPU 型号+显存大小的简单排列” 事实并非如此。即便是相同 GPU 代号和显存容量(例如同为 80GB),SXM 封装的 SKU 支持全速互联网络和更高 TDP,而 PCIe 封装的 SKU 则受限于 300W 级别的功耗墙和较低的卡间带宽。买错封装形态可能意味着预想中的训练集群完全无法组网。
误读二:“算力(TFLOPS)是衡量 SKU 训练/推理能力的唯一指标” 这是典型的“单维度谬误”。在 LLM 推理中,当显存带宽被削减 40%,即使计算单元一个不少,其 token 生成延迟也将恶化 40% 以上。真正的 AI 性能综合依赖于“计算-内存-互连-功耗”四支柱的平衡。只看单精度峰值而忽略带宽,极易误判真实工作负载表现。
误读三:“通过固件解锁可以跨代升级 SKU” 出于商业驱动力的一致性,现代 AI SKU 的划分绝大多数是物理性、永久性的。这通过激光熔断(laser fuse)或 eFuse 实现,一经出厂,被禁用的单元从物理上被永久切断,固件和驱动仅能在剩余规格范围内进行优化,无法实现所谓的“付费解锁”核心算力。
13. 最新事件
截至 2024 年中的数据与趋势:
- HBM3E 认证与导入:头部存储厂商已向主要客户交付次世代 HBM3E 样品,散热特性与功耗效率改善,直接决定了下一代 B 系列等旗舰 SKU 的最终量产时间表与初期放量规模。
- 出口管制新规:美国商务部持续更新对华先进计算及半导体制造管制细则,导致几款超高端 AI SKU 被明确禁止出口至部分国家。为应对合规要求,原厂被迫推出了专门为中国市场设计的“合规版”SKU,削减了互连带宽以符合管制阈值。
- 算力租赁平台爆发:以无服务器 GPU 推理和按小时计费的千卡集群租赁服务爆发式增长。这表明下游市场对 AI SKU 的消费模式正从重资产采购转向服务化,这种模式会更直接地反馈各 SKU 的真实单位算力盈利能力。
- 液冷方案成为主流选项:伴随着多款功耗超过 700W 的旗舰 SKU 大规模出货,头部服务器 ODM 厂商已宣布其高密度 AI 服务器将标配冷板式液冷方案,这标志着风冷散热在大算力 SKU 时代正式退居次席。
14. 跟踪指标
为持续观察 AI SKU 市场的景气度与动向,需跟踪以下高价值指标:
- 台积电季度法说会:重点看 CoWoS/L 先进封装产能的资本开支计划及季度环比扩产幅度。这是整个工业界的首要供给先行指标。
- SK Hynix 与三星的 HBM 出货指引:关注 HBM3E 的良率、产能爬坡和营收占比。其出货量指引直接锁死了一个季度后全球能产出多少张高端卡。
- 头部 GPU 厂商数据中心业务营收拆分:看数据中心收入的绝对数、占总营收比重,以及管理层对推理型 SKU 出货量占比变化的具体描述,这能揭示产业所处阶段。
- 云厂商(CSP)资本开支:特别是用于 AI 基础设施的专项采购预算指引。跟踪其自研 SKU 与外部采购 SKU 的比例变化。
- MLPerf 等基准测试放榜:对照各厂商提交的推理与训练成绩,分析不同 SKU 在特定模型下的实际性能功耗比,寻找实际的规格与应用落差。
- 现货与云租赁价格:追踪如 GPU 算力云市场上某代表性旗舰 SKU 的每小时租赁价格变动,这是供需缺口的灵敏即时温度计。
15. 信源
为保持客观严谨,此类分析需交叉参考以下信息源类型:
- 原厂技术文档与白皮书:NVIDIA, AMD, Intel 官网的数据中心产品页。直接查阅数据手册以获取各 SKU 确切的 TFLOPS、TDP、HBM 容量及带宽。
- 半导体物理层分析机构:TechInsights, Yole Group 的深度报告,用于解构先进封装与 HBM 的真实成本结构与良率预估。
- 财务与供应链数据:通过各家公司的季度投资者关系页面,抓取关于产能、营收和终端市场出货量的一手陈述。
- 第三方技术评测社区:ServeTheHome, Tom‘s Hardware, SemiAnalysis(注意辨证看待其预测性结论)提供的实际功耗与性能定界。
- 行业基准测试组织:MLCommons(维护 MLPerf)的官方结果库,用于对比各 SKU 在封闭规则下的工程性能,规避宣传夸张。
免责声明: 本文所述所有数据、趋势和逻辑均为行业概念性分析框架,关键硬规格数值需以相关厂商官方最新发布的数据手册为准。任何市场、规模和份额相关的数字均需结合当年度的具体咨询报告进行精确校正,本文不构成任何形式的投资或采购决策建议。