芯片层 开放阅读

CXL 内存分层

CXL Memory Tiering

概念 ID
cxl-memory-tiering
更新时间
2026-05-29
来源数量
待补

CXL 内存分层(CXL Memory Tiering)

3 秒看懂

一句话定义: CXL 内存分层是利用 CXL(Compute Express Link)互联协议,将”本地高速 DRAM”与”CXL 附加的远端 DRAM”组织为多层内存架构,由操作系统/虚拟机管理程序动态调度数据放置,从而在不改变 CPU 内存控制器设计的前提下,以较低的每 GB 成本大幅扩展服务器可用内存容量。

类比: 本地 DDR 是办公桌(快、小),CXL 内存是隔壁文件柜(稍慢、大),NVMe 是地下室仓库(慢、巨)。分层调度器就是帮你决定哪些文件该放桌上、哪些放柜里的”助理”。

与 AI 的关系: 大模型参数/激活/KV-Cache 膨胀速度远超 HBM 容量增长,CXL 内存分层提供了一条容量弹性扩展路径,可望成为 HBM 与 NVMe 之间的关键中间层。

3 分钟产业解释

为什么需要 CXL 内存分层?

现代数据中心面临一个核心矛盾:计算能力增长快,内存容量增长慢,且内存成本攀升更快。

  • AI 训练侧: 一个千亿参数模型的训练需要同时驻留参数、梯度、优化器状态与激活值,仅优化器状态(Adam)就需要约 12 倍于参数量的内存字节数[行业通用估算]。
  • AI 推理侧: 长上下文推理的 KV-Cache 可占用数十 GB 乃至数百 GB 内存;多模型并发服务的内存需求更为庞大。
  • 传统扩展瓶颈: 增加本地 DDR DIMM 受限于 CPU 内存通道数与主板插槽,且 DDR 颗粒成本持续上涨;HBM 容量受限且价格极高(价格通常为 DDR 的数倍至十余倍[供应链估算])。

CXL 内存分层的解决思路:

  1. 通过 CXL 链路(基于 PCIe 物理层)附加额外的 DRAM 模块,突破 CPU 原生内存通道数的限制。
  2. OS/Hypervisor 将 CXL 附加内存识别为独立 NUMA 节点(延迟高于本地 DRAM),并在快/慢内存之间调度数据。
  3. 热数据留在本地 DRAM,冷/温数据自动”降级”到 CXL 内存——这就是分层(Tiering)

核心价值主张

维度传统方案CXL 内存分层
容量扩展受限于 DIMM 插槽/通道数可通过 CXL 链路外挂大量 DRAM,容量弹性远大于传统扩展
每 GB 成本DDR5:标准服务器级;HBM:极高CXL 附加 DDR5 成本接近标准 DDR5 模块(额外增加 CXL 控制器成本),显著低于 HBM[供应链估算]
延迟本地 DDR5:~80–100 ns(典型值[行业文献估算])CXL 附加内存:在本地 DDR 基础上增加 ~80–150 ns 开销(因具体实现与链路配置而异[厂商演示/行业文献估算])
带宽单 DDR5 通道:~38–45 GB/s(视频率而定[行业估算])受 CXL 链路带宽约束,PCIe 5.0 x16 单向 ~63 GB/s[PCIe 5.0 规范]

本质:用可接受的延迟/带宽换容量与成本优势。

15 分钟专家深入

CXL 内存分层在 AI 产业链中的位置

┌──────────────────────────────────────────────────────────────┐
│                        AI 应用层                              │
│  (LLM Training / Inference / Recommendation Systems)         │
├──────────────────────────────────────────────────────────────┤
│                     运行时 & 框架层                            │
│  (PyTorch / JAX / vLLM / TensorRT-LLM)                      │
│  → 模型并行、KV-Cache 管理、offloading 策略                    │
├──────────────────────────────────────────────────────────────┤
│                     OS / Hypervisor 层                        │
│  NUMA 感知调度、CXL 内存自动降级/升级、memory tiering 支持      │
├──────────────────────────────────────────────────────────────┤
│                     硬件平台层                                │
│  ┌─────────┐   CXL.mem   ┌──────────────────┐               │
│  │ CPU/GPU │◄────────────►│ CXL Type 3 设备   │               │
│  │         │  (PCIe 5.0/  │ (附加 DDR5 DRAM)  │               │
│  │ 本地    │   6.0 PHY)   │                   │               │
│  │ DDR5/   │              └──────────────────┘               │
│  │ HBM     │                                                 │
│  └─────────┘              可选: CXL Switch (2.0+)            │
└──────────────────────────────────────────────────────────────┘

关键观察:

  • 在 AI 推理场景中,模型权重是一次加载、多次读取的只读(或准只读)数据,非常适合放在 CXL 内存层——首次访问虽慢,但可预取到本地缓存层,后续命中本地 DRAM。
  • 对于训练场景,CXL 内存可存放优化器状态的冷分量或 checkpoint 数据,减少对 NVMe offload 的依赖。
  • CXL 内存分层不替代 HBM,而是补足 HBM 容量不足时的第二层弹性内存

技术原理

1. CXL 协议栈基础

CXL(Compute Express Link)是基于 PCIe 物理层构建的开放互联标准,由 CXL Consortium 维护。其协议栈包含三套子协议:

┌───────────────────────────────────┐
│          应用层                    │
├───────────┬───────────┬───────────┤
│  CXL.io   │ CXL.cache │ CXL.mem   │
│ (基于 PCIe │ (缓存一致  │ (主机访问  │
│  事务层)   │  性协议)   │  设备内存) │
├───────────┴───────────┴───────────┤
│        CXL 链路层                  │
├───────────────────────────────────┤
│     PCIe 物理层 (PHY)              │
└───────────────────────────────────┘

CXL.mem 是内存分层的核心协议:它允许主机 CPU 通过 CXL 链路发起对设备端 DRAM 的读写请求,设备端的内存控制器完成实际 DRAM 访问后返回数据。

2. CXL 设备类型与内存分层的关系

设备类型描述与内存分层的关系
Type 1仅使用 CXL.io + CXL.cache 的加速器(如 SmartNIC)无直接关系
Type 2使用 CXL.cache + CXL.mem 的加速器(如带本地内存的 GPU/FPGA)设备端内存可参与分层
Type 3纯内存扩展设备(Memory Expander / Pooler)内存分层的主角

Type 3 设备内部通常包含:

  • CXL 控制器芯片(如澜起科技 MXC、Astera Labs、Microchip 等厂商提供)
  • DDR5 DIMM 插槽或焊接式 DRAM 颗粒
  • 电源管理与温度监控模块

3. 内存分层的实现机制

3.1 硬件层:NUMA 拓扑映射

当 CXL Type 3 设备被系统识别后,OS 将其附加的内存映射为一个新的 NUMA 节点,且该节点具有较高的延迟特征。

          ┌──────────────┐
          │    CPU 0      │
          │ NUMA Node 0   │
          │ (本地 DDR5)   │
          │ Latency: ~Low │
          └──────┬───────┘
                 │ CXL Link (PCIe 5.0 x16)
                 │
          ┌──────┴───────┐
          │ CXL Type 3    │
          │ NUMA Node 2   │
          │ (附加 DDR5)   │
          │ Latency: ~Med │
          └──────────────┘

系统可同时拥有:

  • Node 0(本地 DRAM)—— 最低延迟
  • Node 2(CXL 附加 DRAM)—— 较高延迟(CXL 协议开销 + 设备控制器延迟)
  • 若接 NVMe,可进一步有 Node N(磁盘层)—— 最高延迟

3.2 软件层:分层调度策略

Linux 内核(5.x–6.x 演进) 已逐步加入 CXL 内存分层支持,核心机制包括:

① NUMA 感知内存分配

  • numactl --membind / --preferred 可手动指定应用的内存分配节点。
  • 应用可通过 mbind() 系统调用精细控制页面放置。

② 自动降级(Demotion)

  • Linux 内核的 memory tiering 子系统(mm/migrate.c 中的 demotion 路径)可自动将不活跃页面从本地 NUMA 节点迁移到 CXL NUMA 节点。
  • 降级策略基于页面访问热度(通过 LRU 列表、accessed bit 扫描等机制)。
  • 关键内核参数(具体名称和默认值随版本演进有所变化,建议查阅对应内核文档)包括 demotion 阈值、迁移频率等。

③ 主动升级(Promotion)

  • 当应用访问 CXL 层数据时,可触发页面迁回本地层。
  • 部分实现利用硬件提供的访问提示(access hint)或 PTE accessed bit 定期扫描来识别热点。

④ 用户态协作

  • 新型编程模型(如 libnumahbwlib)和运行时可感知内存层次,主动管理数据放置。
  • AI 框架(如 PyTorch)可通过自定义内存分配器将模型权重、KV-Cache 等分配到合适的层级。

3.3 延迟叠加分析(定性)

本地 DRAM 访问延迟构成:
  CPU → 内存控制器 → DDR PHY → DRAM 阵列 → 返回
  总计: ~80–100 ns [行业典型估算]

CXL 附加 DRAM 访问延迟构成:
  CPU → CXL Root Complex → PCIe PHY → CXL Link
    → CXL 设备控制器 → DDR PHY → DRAM 阵列
    → 返回路径(逆序)
  额外开销: ~80–150 ns [行业文献/厂商演示估算]
  总计: ~160–250 ns [行业估算,因实现而异]

关键变量影响额外延迟:

  • PCIe 链路代际(Gen5 vs Gen6):影响传输延迟,但协议处理开销可能占更大比重
  • CXL 控制器实现:不同厂商控制器的 pipeline 深度和协议处理效率不同
  • 链路宽度(x8 vs x16):影响带宽,对单次请求延迟影响较小
  • NUMA 跳数和拓扑:多级 switch 增加额外延迟

4. 与 CXL 内存池化(Pooling)的关系

CXL 2.0 引入了内存池化能力:通过 CXL Switch,多个主机可共享一组 CXL Type 3 内存设备。

  ┌────────┐   ┌────────┐   ┌────────┐
  │ Host A │   │ Host B │   │ Host C │
  └───┬────┘   └───┬────┘   └───┬────┘
      │            │            │
      └────────────┼────────────┘
                   │
            ┌──────┴───────┐
            │  CXL Switch  │
            │  (2.0+)      │
            └──┬──────┬────┘
               │      │
         ┌─────┴─┐  ┌─┴─────┐
         │Mem Dev│  │Mem Dev │
         │  A    │  │  B     │
         └───────┘  └────────┘

内存分层 vs 内存池化:

维度内存分层(Tiering)内存池化(Pooling)
核心目标在单一主机内构建快/慢内存层次多主机共享一组内存资源池
主机关系单主机使用多主机动态分配/释放
关键 CXL 版本CXL 1.1 即可实现基本分层CXL 2.0+ 需要 switch 支持
数据放置热/冷分层调度按需分配/回收
AI 场景价值单机大模型推理的容量扩展多节点推理集群的内存共享

两者可叠加使用:在一个 CXL 池化集群中,每台主机内部也进行本地 DRAM 与 CXL 内存的分层调度。

5. CXL 3.0/3.1 的进一步演进

CXL 3.0 基于 PCIe 6.0 物理层(PAM4 编码,64 GT/s/lane),并引入了多项增强:

  • 多头设备(Multi-Headed Device): 一个 CXL 设备可同时服务多个主机端口,提升池化灵活性
  • 增强的内存池化管理: 更精细的 QoS 和容量隔离
  • 向后兼容性设计: 支持与 CXL 2.0 设备混合部署

这些特性使得内存分层架构可以向更大规模、更细粒度的方向演进。


技术演进史

时间里程碑内存分层相关意义
2019CXL 1.0 规范发布奠定 CXL.mem 协议基础,Type 3 设备概念确立
2019CXL 1.1 发布微调,首批支持 CXL 的 CPU 开始研发(如 Intel Sapphire Rapids)
2022CXL 2.0 发布引入内存池化与 switch 支持,内存分层进入实用阶段
2023Intel Sapphire Rapids 发布(2023 年 1 月正式量产)首批支持 CXL 1.1 的量产服务器 CPU,业界首次大规模验证 CXL 内存扩展
2022三星/SK 海力士/美光 展示 CXL 内存模组原型内存厂商跟进,CXL DRAM 产品形态初步成型
2022–2023Linux 内核持续加入 CXL 支持NUMA 管理、设备枚举、分层调度基础代码合入主线
2022CXL 3.0 发布基于 PCIe 6.0 PHY,多头设备、增强池化
2023CXL 3.1 发布进一步细化 fabric 管理与安全机制
2023AMD EPYC Genoa(9004 系列)支持 CXLAMD 跟进,主流服务器平台 CXL 覆盖面扩大
2023–2024澜起科技 MXC 控制器量产国产 CXL 控制器芯片进入市场,供应链多元化
2024+多家厂商推进 CXL 内存产品化从原型演示走向小批量部署,软件生态持续成熟

技术路线对比(量化表)

指标本地 DDR5HBM3 / HBM3ECXL 附加 DDR5 (Type 3)NVMe SSD
容量/节点受限于 DIMM 槽数与内存通道数(典型服务器数十 GB 至 ~数 TB [视平台而定])单 HBM3 堆栈容量: 公开信息为 ~16–36 GB/堆栈 [厂商发布数据,视代际]理论上可通过多个 CXL 设备扩展至远超本地 DDR 容量上限 [取决于平台与 switch 规模]单盘数 TB 级
访问延迟~80–100 ns [行业典型估算]~数十 ns(HBM 与计算 die 封装在同一基板上,具体值厂商未完全公开)~160–250 ns(含 CXL 协议开销)[行业估算]~10–100 μs(NVMe SSD)[视队列深度]
带宽单通道 ~38–45 GB/s(DDR5-4800/5600 [行业估算]),多通道叠加单堆栈带宽: 厂商公布值可达数百 GB/s 级别(视代际与配置,具体值见厂商 spec)受 CXL 链路带宽约束:PCIe 5.0 x16 单向 ~63 GB/s [PCIe 5.0 规范]PCIe 4.0 x4 ~8 GB/s(顺序读)[行业典型]
每 GB 成本中等(服务器级 DDR5 [供应链估算])极高(通常为 DDR5 的数倍至十余倍 [供应链估算])接近标准 DDR5 + CXL 控制器成本增量 [供应链估算]低(但延迟极高)
易失性易失易失易失非易失(但延迟差距巨大)
AI 场景适用通用计算内存、中小模型GPU 侧显存、大模型训练 HBM 带宽需求大容量扩展、推理 KV-Cache、模型权重存储Checkpoint、冷数据归档

注: 上表中的具体数值为行业公开文献与厂商演示中的典型范围,因平台配置、固件版本、工作负载特征不同会有显著差异。标注 [行业估算] 的数据未经单一权威来源验证。


上下游

上游(CXL 内存分层的硬件与 IP 供应)

┌──────────────────────────────────────────────────────┐
│                      上 游                             │
├──────────────────┬───────────────────────────────────┤
│  CXL 控制器芯片   │ 澜起科技(MXC)、Microchip、         │
│                  │ Astera Labs、Rambus(IP授权)         │
├──────────────────┼───────────────────────────────────┤
│  DRAM 颗粒        │ 三星、SK 海力士、美光                 │
│  (CXL模组用DDR5) │ 长鑫存储(CXMT,潜在供应商)          │
├──────────────────┼───────────────────────────────────┤
│  CXL Switch       │ Microchip(XpressConnect 系列,      │
│                  │ 具体产品线命名请参阅厂商官网)、        │
│                  │ 其他厂商跟进中                       │
├──────────────────┼───────────────────────────────────┤
│  Retimer/PHY      │ Astera Labs、Parade Technologies、  │
│                  │ Broadcom                            │
├──────────────────┼───────────────────────────────────┤
│  CPU 平台          │ Intel(Sapphire/Emerald Rapids,     │
│  (CXL 主机端)    │ Granite Rapids)、AMD(EPYC 9004+)、│
│                  │ Arm 生态(部分厂商规划中)              │
└──────────────────┴───────────────────────────────────┘

中游(系统集成与软件)

环节关键参与者
服务器 OEM浪潮、新华三、Dell、HPE、Supermicro、联想
OS/HypervisorLinux 内核社区(核心贡献者包括 Intel、Meta、Google 等)、VMware/Broadcom(虚拟化支持)
管理软件各 OEM 的 BMC/BIOS CXL 配置管理、CXL Consortium 互操作性测试

下游(应用方)

场景需求特征
AI 推理服务大模型权重驻留、KV-Cache 扩展、多模型并发
AI 训练辅助Checkpoint 缓存、优化器状态冷数据存储
数据库/内存计算Redis/Memcached 容量扩展、SAP HANA 内存池化
云服务多租户内存资源池化,按需分配,提升内存利用率
HPC/科学计算大规模仿真需要的超大内存空间

关键指标

评估 CXL 内存分层方案时,技术侧需关注以下指标:

指标定义典型范围重要性
附加延迟CXL 内存访问延迟 − 本地 DRAM 访问延迟~80–150 ns [行业估算]决定工作负载适用性
有效带宽CXL 链路实际可为 CXL.mem 使用的吞吐受 CXL 链路规格与协议开销约束,远低于链路理论带宽决定带宽敏感型负载的性能
容量扩展比CXL 附加内存容量 / 本地 DRAM 容量取决于设备配置,可达数倍至更高 [视具体部署]核心商业价值
每 GB 总拥有成本DRAM 颗粒 + CXL 控制器 + 电力 + 散热 / 可用 GB理论上接近本地 DDR 的 1.x 倍 [供应链估算]决定 ROI
本地命中率访问命中本地 DRAM 层的比例因工作负载与调度策略而异越高则系统有效延迟越接近本地 DRAM
分层迁移开销页面在本地与 CXL 层之间迁移的 CPU/带宽消耗通常为后台低优先级任务,但高迁移率下可能影响前台性能需监控与调优
互操作性不同厂商 CPU、CXL 控制器、DRAM 模组的兼容性CXL Consortium 有互操作性测试计划部署风险

供需与市场数据

⚠️ 以下数据主要来自行业分析师报告、公开财报表述及供应链估算,非精确审计数据。具体数字因统计口径和时间点不同可能存在显著差异。

需求侧驱动

  • AI 模型规模增长曲线: 从 GPT-3(175B 参数)到更大模型,模型参数量呈指数增长,内存需求随之膨胀。训练一个超大模型可能需要 TB 级内存 [行业估算]。
  • 服务器内存容量增长瓶颈: 服务器 CPU 内存通道数增长缓慢(如从 8 通道到 12 通道),而 AI 应用对容量的需求增速远超此节奏。
  • 内存成本占服务器 BOM 比重: DRAM 已占服务器物料成本的重要份额(具体比例随 DRAM 周期波动),CXL 分层可通过在非关键数据上使用更经济的内存方案来优化成本。

供给侧进展

  • CXL 内存模组产品化: 三星、SK 海力士、美光均已展示 CXL 内存模组原型或早期产品,但截至所掌握的信息,大规模量产时间表尚未明确公开 [未充分披露]。
  • CXL 控制器供应链: 澜起科技 MXC 控制器是目前较为知名的 CXL 内存接口芯片之一,该公司在 CXL 领域有持续布局 [澜起科技公开信息]。
  • 市场预测(参考性质): 多家行业分析机构对 CXL 相关市场规模有不同预测,从数十亿美元到更高不等,预测时间窗口多为 2026–2030 年。具体数字因统计口径和假设差异较大 [行业报告估算]。

采纳时间线(定性判断)

2022–2023:  早期验证阶段(CPU 平台 + CXL 控制器原型 + 概念验证)
2024–2025:  小规模试部署阶段(特定 AI/数据库工作负载、云厂商内部试点)
2025–2027:  规模化部署阶段(预计随 CXL 2.0+ 生态成熟、软件栈完善)
2027+:      普及阶段(CXL 3.0+ 生态、池化广泛部署)

以上为行业共识性时间线的大致判断,实际进度取决于互操作性、软件生态成熟度和成本竞争力。


代表公司与资本映射

公司角色CXL 内存分层关联备注
IntelCPU + CXL 控制器 IP + 平台推动者Sapphire/Emerald/Granite Rapids 平台均支持 CXL;Intel 是 CXL Consortium 的核心推动者Intel 公开信息
AMDCPU 平台EPYC 9004(Genoa)系列支持 CXLAMD 公开信息
三星电子DRAM 颗粒 + CXL 内存模组展示过 CXL DRAM 模组原型,积极布局 CXL 产品线三星公开发布信息
SK 海力士DRAM 颗粒 + CXL 内存模组CXL 内存解决方案开发中SK 海力士公开信息
美光DRAM 颗粒 + CXL 内存模组CXL 内存产品开发中美光公开信息
澜起科技 (688008.SH)CXL 内存接口控制器芯片 (MXC)国内 CXL 控制器领域的代表企业,MXC 芯片切入 CXL 内存扩展价值链澜起科技公开信息
Astera LabsCXL Retimer / 连接解决方案CXL 物理层连接器件,保障信号完整性未上市
MicrochipCXL Switch / 控制器XpressConnect 系列 CXL 交换芯片(具体型号请查阅厂商官网)Microchip 公开信息
RambusCXL IP 授权提供 CXL PHY 与控制器 IP 授权Rambus 公开信息

A 股/港股相关映射(简要)

  • 澜起科技 (688008):CXL 控制器芯片标的,国内最直接映射
  • 兆易创新 (603986):DRAM 侧潜在受益(若 CXMT DDR5 颗粒进入 CXL 模组供应链)
  • 中际旭创/光模块板块:间接相关——CXL switch 与 retimer 对高速信号完整性有需求,但关联度较弱

投资逻辑

核心论点

  1. AI 内存墙是结构性问题: 模型规模增长持续快于内存容量/带宽增长,CXL 内存分层是少数已被硬件标准支持、有清晰产业链路径的解决方案之一。

  2. CXL 是内存产业从”卖颗粒”到”卖系统级方案”的关键转折点: CXL 控制器、switch、retimer 等新增环节创造了新的价值链,尤其利好上游芯片设计公司。

  3. 中国市场特殊性: 中国服务器厂商对国产 CXL 控制器有采购需求(供应链安全),澜起科技 MXC 可能受益于国产替代逻辑。

主要风险

风险说明
软件生态成熟度不足OS 调度策略、应用适配尚在早期;如果软件层无法有效利用 CXL 内存分层,硬件投资回报将受限
互操作性问题多厂商 CXL 设备间的兼容性验证需要时间;早期部署可能出现兼容性故障
延迟敏感型负载不适用对内存延迟极度敏感的工作负载(如某些 HPC 场景)可能无法受益于 CXL 分层
替代方案竞争LPDDR5X 扩展、新内存技术(如 CXL 附加的新型 NVM)、芯片内更大缓存等方案可能削弱 CXL 分层的必要性
标准演进节奏CXL 3.0+ 的成熟落地时间存在不确定性
技术采用周期数据中心客户通常保守,新技术从验证到规模部署的周期可能比预期更长

估值框架参考

  • 短期(1–2 年):关注 CXL 控制器芯片出货量、与服务器 OEM 的 design-in 进展。
  • 中期(3–5 年):关注 CXL 内存模组在 AI 推理集群中的实际部署规模、软件生态成熟度。
  • 长期(5+ 年):关注 CXL 池化架构在云数据中心的渗透率、是否成为”标准配置”。

常见误读纠偏

误读 1:「CXL 内存分层可以完全替代 HBM」

纠偏: 不可以。CXL 内存分层的延迟远高于 HBM(HBM 与 GPU die 封装在同一基板上,延迟远低于经 PCIe/CXL 链路走线的外部 DRAM),且 CXL 链路带宽远低于 HBM 堆栈内部带宽。HBM 满足的是带宽敏感的计算密集型需求(如矩阵乘法中的激活读写),而 CXL 内存分层满足的是容量敏感的存储密集型需求(如大模型权重驻留、KV-Cache 扩展)。两者是互补关系,不是替代关系。

误读 2:「CXL 内存分层只是给服务器加了一根内存条」

纠偏: 这忽略了三个关键

source: 公开披露与公开资料整理 本页仅用于产业链学习、信息检索和研究辅助;不构成投资建议,不预测涨跌,不提供买卖、仓位或目标价建议。
完整概念页 复盘 13 节结构 公司投研页 沿产业链找到受益公司 投资课 把概念转成可跟踪模型