Rack-scale Architecture

3 秒看懂

Rack-scale Architecture（机架规模架构）是一种将数据中心硬件资源——计算、内存、存储、加速器——在单个机架范围内解耦、池化并用高速互连重新组合的设计哲学。其目标是将硬件像软件一样可编排，实现“按需组装服务器”，打破传统刀片/机架式服务器固化的资源配比，大幅提升资源利用率，降低总体拥有成本（TCO），并允许不同硬件代际独立演进。用户通过管理软件发出一组逻辑服务器的资源需求，几秒内即可从池中抽取模块组成一台物理服务器，负载结束后资源回归池中等待下一次重组。

3 分钟产业解释

传统数据中心以单体服务器为最小采购和运维单元，其内部 CPU、内存、硬盘、网卡紧耦合。即使一台服务器内存空余 60%，也无法划拨给另一台内存不足的服务器；若要升级内存代际，往往需要对整机进行连带替换。Rack-scale Architecture 将机架内的各个功能模块制成独立滑板（sled）或抽屉：

• 计算模块：仅含 CPU、少量本地内存和基础固件，必要时可配备轻量存储。
• 内存模块：带有 CXL/内存语义控制器的大容量 DRAM 池，可被多计算节点通过缓存一致性互连共享。
• 存储模块：NVMe SSD 池、SAS/SATA 盘池或支持 NVMe-oF 的 JBOF（Just a Bunch Of Flash）。
• 加速模块：GPU、FPGA 或其它 ASIC 的专用加速器池。
• 网络模块：内置高带宽以太网或 InfiniBand 交换器件，提供机架内与机架间拓扑。

这些模块通过机架级互连背板（常基于 PCIe 交换、以太网、CXL 或专有光学互连）和统一管理固件连接在一起。编排软件相当于硬件层面的“操作系统”，负责发现资源、维持健康状态，并以 API 的形式向北暴露给云管理平台。运营商、超大规模云厂商（Hyperscaler）和大型互联网公司已在内部基础设施中部署此类架构，以提高 GPU、内存等稀缺资源的流转速度，并实现不同代际硬件的混合部署。

技术原理（最深，含机制与关键参数，附 ASCII 示意图）

资源解耦的逻辑拓扑

+------------------------------------------------------------------+
|                        Rack Management Software                  |
|      (Orchestrator: 发现、组合、健康监控、资源分配)                |
+------+-------+-------+-------+-------+-------+-------+------+----+
       |               |               |               |
       v               v               v               v
+------------+ +------------+ +------------+ +------------+
| Compute    | | Memory     | | Storage    | | Accelerator|
| Sled 1..n  | | Pool 1..m  | | Pool 1..k  | | Pool 1..j  |
| (CPU only) | | (DRAM+     | | (NVMe SSD) | | (GPU/FPGA)|
+------------+ | CXL ctrl)  | +------------+ +------------+
       |       +------+-----+       |               |
       +----------+----+-----------+---------------+----> ToR Switch
                  |                                 (Ethernet/IB)
                  +---- 机架内互连背板 (PCIe/CXL/Ethernet) ----+

动态组建逻辑服务器

编排器选定计算滑板 #1、内存池模块 #5（提供 256 GB 远端内存）、存储池模块 #12（两块 3.2 TB NVMe SSD）、加速器池模块 #2（一块 GPU）。机架管理控制器（Rack Management Controller，RMC）通过带外通道配置互连交换芯片，为计算滑板 #1 的 PCIe 总线建立到所述模块的独占或共享通道。在较新的实现中，若采用 CXL，该通道可承载 CXL.mem 和 CXL.cache 协议，使计算滑板能够以加载/存储指令直接访问远端内存，并在本地缓存中保持一致性。操作系统启动后，设备树呈现的即是一台“自有本地 CPU、远端内存、远端 NVMe 盘、远端 GPU”的逻辑服务器，应用无需感知底层物理解耦。负载释放后，互连中的逻辑访问边界被拆除，各模块回归空闲池，可立即用于其它逻辑服务器的组合。

核心连接协议

• CXL.mem：主机通过加载/存储访问设备附加内存，CPU 缓存一致性协议负责维护多副本一致。这是实现机架内内存池化的基石，典型附加内存延迟在百纳秒至微秒量级，取决于物理距离和交换层数。
• CXL.cache：允许加速器设备缓存主机内存，用于 GPU、FPGA 等主动访问主机内存的场景。
• PCIe 多主机与非透明桥（NTB）：在多个计算节点共享同一存储或加速器池时，通过 NTB 实现地址域隔离与故障边界，防止一个计算节点的错误影响其它节点。
• NVMe-oF（NVMe over Fabrics）：当存储池需要跨机架甚至跨行扩展时，通过 RoCE v2 或 TCP 网络封装 NVMe 命令，把存储资源作为网络目标挂载到计算节点，提供接近本地 NVMe 的延迟和带宽。
• RDMA 语义：在机架内或跨机架通信中，使用 InfiniBand 或 RoCE 的 RDMA 实现内存直接的远程读写，绕过远程 CPU，显著降低延迟，对于分布式缓存和加速器通信至关重要。

散热与供电重构

传统服务器为每台设备配备独立电源和风扇，容量叠加后效率往往不佳。Rack-scale 架构将 48 V 或 12 V 母线直接集成在机架背板或总线制汇流排上，各滑板通过盲插连接器取电，减少了多级电压变换损耗。同时，高功耗模块（GPU、高端 CPU）可采用冷板液冷直接带走热量，低功耗存储和内存模块仅在机架级统一风道中散热，液冷歧管与背板集成，使整机架能源使用效率（PUE）更可控，亦可针对不同负载分时调节各模块的功率配额。

关键参数

以下参数是评估 Rack-scale Architecture 实际能力与成熟度的核心指标，多数数值依赖具体实现与互连代际，此处仅给出定性描述及典型量级。

• 资源池化率：机架内可被远置共享的内存、存储、加速器容量占对应资源总量的比例。理想的池化率 > 80%，但按目前公开披露，多数早期部署仅在 30%~50% 之间，主要受限于 CXL 交换成本及内存池化软件栈成熟度。
• 远端内存访问延迟：计算节点通过 CXL.mem 读取远端内存一次的往返延迟。第一代 CXL 实现约在 250400 ns 附加延迟（相较于本地 DDR 内存约 80120 ns），CXL 3.0 引入多层交换和更高物理速率后，理论上可通过更优路由减小附加延迟，但具体量产数据公开资料未见。
• 远端内存带宽：单计算节点能稳定获得的远端内存带宽，受限于 CXL 链路宽度（x8/x16）和交换芯片吞吐能力。理论峰值在 PCIe 5.0 ×16 下可接近 64 GB/s，但实际共享池下的稳态带宽受多端口争抢影响，需按实际负载强度评估。
• 逻辑服务器重组时间：从 API 下发资源申请到硬件互连配置完毕、计算节点完成上电并引导 OS 的总耗时。理想的敏捷场景要求 < 60 秒，但包含 NVMe 分区格式化和堆栈初始化的场景可能延长到 3~5 分钟，目前公开报道中未见稳定生产环境下的秒级重组数据。
• 机架总功率密度与动态分配精度：典型满配机架可达 20~40 kW，解耦后能否以 1 W 或更低步长对各滑板功率进行精细限幅，直接影响混合负载共存的效率。部分支持 PMBus 和 RMC 管理的系统已实现滑板级动态功率分配，但精度因实施而异。
• 故障域隔离与重组速度：单个内存模块或交换芯片故障时，受影响逻辑服务器的迁移与重组耗时。理想情况下，仅需将故障组件标记为不可用，对应的计算节点与剩余健康资源重新组合，耗时应在秒级，但实际需要文件系统/应用层面的协同恢复，公开实测数据未见。

由于缺乏标准化的行业基准测试套件，上述参数目前仍以厂商各自公布的数据为主，建议横向对比时效时注意测试条件与负载类型，不宜简单数值对比。

技术路线

传统紧耦合服务器（基线）

所有资源封装在一块主板上，通过 PCIe 总线内部连接。内存与 CPU 距离最短，延迟最优，但资源配比固定，升级需整机替换，闲置资源无法复用。适用于负载稳定且规模较小的场景，但云化弹性场景下资源浪费明显。

刀片服务器/融合架构（过渡形态）

机箱内共享电源、散热、管理，服务器刀片可热插拔，但每块刀片内 CPU 与本机内存仍紧耦合。以 HPE BladeSystem、Dell MX 系列为代表。提高了运维密度和部分共享能力，但并未实现内存与计算的解耦，无法解决“内存竖井”问题。

全解耦 Rack-scale（目标形态）

计算、内存、存储、加速器各自独立成为池化资源，通过机架级缓存一致性互连（CXL/PCIe）进行重组，兼容多种硬件代际混用。典型实践包括 OCP Open Rack v3 系列规格、Intel 内部初代 RSA（Rack Scale Architecture）概念验证、以及各大云厂商的自研解耦机架。软件定义的范围从虚拟化层下沉到物理硬件层，是行业公认的下一代基础设施设计范式。

路线技术特征对比

上游

Rack-scale Architecture 的实现依赖一系列上游核心元器件与基础材料供应商：

• 芯片与 IP 层：CPU 供应商（Intel Xeon Scalable、AMD EPYC、Ampere Altra 等 ARM 平台）需集成 CXL 控制器与缓存一致性逻辑；交换芯片厂商（Broadcom、Microchip、Marvell、澜起科技）提供 PCIe/CXL 交换与重定时器；高速 SerDes 与 PHY IP 由 Synopsys、Cadence 等提供。
• 内存与存储器件：DRAM 原厂（Samsung、SK hynix、Micron）推出 CXL 内存模块，将原本仅限本机的内存扩展为可网络化访问的独立设备；NAND/NVMe SSD 控制器厂商适配 NVMe-oF 协议，支持直连池化。
• 连接与背板技术：高密度背板连接器（Amphenol、Molex、TE Connectivity）需支持 PCIe 5.0/6.0 高速信号完整性；光模块与有源铜缆（如 Intel、II-VI/Coherent、Lumentum）提供机架内和机架间长距互联。
• 电源与散热：高功率密度 DC 电源模块、汇流排及冷板液冷歧管供应商（Vertiv、CoolIT、Boyd Corporation 等），为 40 kW+ 机架提供高效供电和液冷解决方案。
• 管理组件：BMC/RMC 控制芯片与固件，如 ASPEED AST2600 等，需支持 Redfish 等标准协议。

下游

下游主要覆盖采购、部署、运营解耦机架的关键行业与客户：

• 超大规模云服务商（Hyperscaler）：Amazon Web Services、Microsoft Azure、Google Cloud、阿里云、腾讯云等，它们是最主要的推动者和早期部署者，通过自研设计或与 ODM 合作，在内部数据中心大批量应用定制化解耦机架，提升资源利用率和运营效率。
• 大型互联网与科技公司：Meta（原 Facebook）、ByteDance、百度、快手等拥有超大规模服务器集群的企业，在成本压力与性能需求下转向解耦方案，尤其在大模型训练等对内存和 GPU 需求波动剧烈的场景中。
• 电信运营商与边缘场景：随着 5G 核心网虚拟化（NFV）、移动边缘计算（MEC）对资源灵活性的需求，电信设备商和运营商也开始验证小规模机架解耦架构，以实现在有限空间内支撑多种工作负载。
• 金融、高性能计算与政务云：对性能和资源隔离要求较高的行业，可能采用解耦机架实现裸金属物理隔离与弹性并存的架构，满足合规要求的同时降低闲置成本。

受益公司

此处基于公开产品路线与生态参与进行定性罗列，不受投资建议目的驱动，也不纳入任何公司财务分析。

• 开放生态推动者与获益者：Meta、Microsoft 等通过 OCP 开放标准拉低了定制基础设施的门槛，使白盒解耦机架方案迅速向其他用户扩散，自身也获得供应链多样性和采购议价能力。
• 核心芯片与互连巨头：Intel、AMD 通过将 CXL 集成到 CPU 路线图中，扩展处理器在内存池化时代的价值；NVIDIA 借助 NVLink、NVSwitch 构建机架级 GPU 池化能力，紧密耦合的加速器架构也可视为 rack-scale 理念的特例；Broadcom 和 Marvell 在交换芯片端获取增量市场。
• 内存与存储供应商：Samsung、SK hynix、Micron 等将内存从服务器的“配件”变为可独立交付的池化模块，有望开辟全新产品品类（如 CXL Memory Expander），改变原有以服务器为单位的销售模式。
• ODM 与系统整机商：Wiwynn、Quanta、Inventec、英业达等 ODM 大厂，以及超聚变、浪潮信息等服务器厂商，通过推出符合 OCP 标准的解耦滑板、液冷机架及管理软件，承接云厂商大规模订单，份额有望持续提升。
• 管理软件与固件提供商：提供 Redfish 基座管理、智能编排中间件的独立软件厂商，也将随着硬件解耦复杂度上升而获得价值增长空间。

市场规模

公开资料未见针对全球 Rack-scale Architecture 的独立市场收入与出货量统计口径。其产业规模目前散布于多个细分行业的“交集”中，难以直接加总。建议通过关联市场的公开研究报告间接衡量：

• 服务器与主板出货量：IDC 和 Gartner 每季度发布全球服务器供应商营收与出货量，其中包含了定制化/白盒机架系统的统计。可关注其中 Open Compute 设计及 ODM direct 份额的变化，作为解耦渗透率的间接指标。
• CXL 内存及交换机市场：若干第三方（如 650 Group、Yole Intelligence）自 2023 年起开始发布 CXL 专用内存模块与交换芯片的出货量、营收预测。如需量化数字，应直接查阅其最新付费版报告，本文不予转载或估算。
• 数据中心互连（DCI）与液冷市场：高端互连背板和液冷方案的扩张一定程度上反映高密度、高功耗机架的采用情况，可参考 Dell’Oro Group、Omdia 的数据中心以太网交换与液冷市场报告。
• 云厂商资本开支：Hyperscaler 每季度披露的资本开支中，部分用于自研基础设施，可结合公开技术演讲（如 OCP Global Summit）推测解耦架构部署规模，但无单独财务拆解。

整体而言，来自 AI/ML 负载的内存带宽压力和数据中心 TCO 优化需求，正在推动解耦机架从概念验证走向规模部署，其市场动能与相关标准（CXL 3.0、OCP Open Rack v3）的商用节奏高度相关。如需获取具体金额预测，应参阅上述专业机构的最新数据库。

玩家对比

下表基于公开技术路线与市场参与角色进行定性比较，不对任何公司进行竞争力评级或投资建议。

风险

技术成熟度与标准收敛风险

CXL 虽已收敛为行业内最主流的互连协议，但其 3.0 规范中定义的多级交换、多主机共享等高级特性尚未大量量产部署。目前市面上可见的外设主要停留在 CXL 1.1/2.0 的点对点内存扩展层面，机架级共享池的软硬件堆栈仍处于原型与小批量阶段。若未来 CXL 演进步伐不及预期，或被新出现的竞争性互连（如 UALink）分流，可能导致已投入的解耦设计面临沉没成本。

软件与管理复杂性超预期

管理数万片独立的硬件模块并保持高可靠性，对编排软件提出了极高要求。故障模块的隔离、内存页的热迁移、NUMA 亲和性调度等在理论上已有原型实现，但在生产环境兼容现有虚拟化与容器平台仍需大量工程投入。如果软件栈成熟度跟不上硬件速度，用户可能将解耦系统视为不可靠或难以维护的“超级玩具”，延迟规模化采购。

生态锁定与供应链单一化

尽管 OCP 等组织力图实现开放互操作，但若少数芯片厂商在给定时间段内成为 CXL 交换与控制器事实上的唯一供应源，或云厂商内部采用大量私有扩展，均可能造成新形态下的供应链集中风险，反向削弱基础设施的议价能力与多元选择，背离 rack-scale 倡导的“开放硬件”初衷。

安全隔离边界重新定义

在共享的资源池中，逻辑服务器间仅靠地址域和访问控制隔离，物理内存或加速器上的数据残留、侧信道攻击以及跨租户信息泄露成为新型安全威胁。相关防御机制（如内存清洗、安全加密虚拟化、设备重置协议）虽已在定义，但实际部署和性能损耗仍缺乏公开的量化报告，可能成为合规敏感行业采纳的主要障碍。

经济效益未达预期

池化与解耦带来的采购灵活性可能被更高的初期投入（高速背板、光互连、液冷改造）和运维复杂度所抵消。若单位资源综合 TCO 无法在 3~5 年周期内显著优于传统刀片/融合架构，且目前多数公开 TCO 模型依赖大量假设条件，真实案例公开披露极少，企业的迁移意愿可能受限。

误读纠偏

1. “Rack-scale Architecture 就是把刀片服务器做得更大” 错误。刀片服务器机箱虽然共享电源、散热和管理总线，但每块刀片本质上仍是一台完整的服务器，CPU、内存、本地存储强耦合。机架规模架构的核心要求是把内存从计算节点中解耦出来，形成物理上独立且可多节点共享的池，并通过缓存一致性互连使多计算节点直接访问统一的内存空间，这是本质差异。

2. “只要引入 CXL 交换机就算实现 rack-scale” CXL 交换是关键的硬件使能器之一，但真正的 rack-scale 架构必须覆盖：硬件的模块化解耦设计、管理控制器的统一编排能力、固件/BIOS/OS 的协同支持，以及用于资源发现与组合的 API 体系。仅单点替换部分背板为 CXL 交换机而无上层智能编排，只能算局部互联升级，无法达到“按需重组逻辑服务器”的弹性目标。

3. “解耦等于性能下降，只能用于冷数据场景” 远端内存的附加延迟确实高于本地 DDR，但通过 CXL 缓存一致性、页面放置策略和智能预取算法，多数应用在合理 NUMA 分区下可实现约 80%~95% 的性能。对于内存带宽饥饿型负载（如内存数据库、AI 推理的大容量字典查询），扩充远端内存带来的容量收益往往超过轻微延迟增加的影响，不可一概而论。

4. “很快就能在公有云上买到按小时的解耦裸金属” 目前多数解耦机架被 Hyperscaler 用于内部工作负载或专属的裸金属产品线，并未完全开放为多租户即用即付。出租共享硬件池涉及到安全隔离、计费单元拆分以及运维责任归属等仍未彻底解决的组织与工程问题，公开资料未见任何公有云宣布全面提供解耦式弹性裸金属的服务时间表。

最新事件

（截至 2025 年 4 月，基于各公司公开博客、OCP 峰会演讲、行业媒体公开报道，不包含未披露细节）

• CXL 3.0 规范落地与设备商用启动：CXL 联盟在 2023 年发布 3.0 规范，支持多级交换和多头主机共享，使机架级内存池互连成为可能。部分厂商在 2024 年已展示采用 CXL 3.0 交换的参考设计，但量产芯片和系统仍处于样品或有限供应阶段。
• 三星/海力士 CXL 内存模块进入样品交付：Samsung 在 2023~2024 年间推出 512 GB CXL 内存扩展器，并进入多客户概念验证阶段；SK hynix 也展示类似产品，部分超大规模客户已将其用于特定的大内存应用测试。
• OCP Open Rack v3 与解耦设计提交增加：越来越多 ODM 和云厂商将解耦机架设计提交 OCP 社区，包括液冷滑板、CXL 背板连接器引脚定义以及智能电源分配模块等。2024 年全球峰会上可见超过 10 种基于 CXL 的机架原型展示。
• NVIDIA 持续强化机架级 GPU 池化（NVSwitch/NVLink）：在 DGX GB200 等新一代产品中，NVIDIA 将 GPU 间的互连扩展到整个机架，形成逻辑上的巨型加速器，进一步验证了机架级池化的工程可行性，但该模式为封闭生态，与开放 CXL 形成两条路径的对比。
• UALink 联盟成立：AMD、Broadcom、Cisco、Google、HPE、Intel、Meta 和 Microsoft 于 2024 年 5 月联合组建 UALink 联盟，旨在为 AI 加速器到加速器通信定义开放标准，可能对 CXL 在高性能推理/训练领域的角色形成互补或竞争，具体影响有待观察。
• 多家云厂商在 2024 年公开提及解耦内存/存储部署：在各自技术大会上，一些云厂商展示了基于 CXL 的内存分层与池化在加速内存数据库、大规模多租户 AI 推理方面的效果，但未披露具体部署规模和成本数据。

跟踪指标

要判断 Rack-scale Architecture 是否真正走向产业规模化，可重点观察以下可量化的指标，多数数据可从公开财务报告、行业组织发布或厂商博客中抽取。

• CXL 兼容 CPU 出货渗透率：Intel Xeon Scalable（第四代及之后）和 AMD EPYC（Genoa 及之后）均已支持 CXL 1.1 或更高版本。跟踪这些 CPU 的季度出货量可反映支持解耦的计算基础规模。
• CXL 外设与交换芯片出货量：关注主要交换芯片厂商（Broadcom、Marvell、Microchip）的财报或演讲中是否披露 CXL 相关端口数或营收，以及三星、海力士等内存厂商的 CXL 内存模块出货量指引。
• OCP 市场采纳比率：OCP 市场分析报告会统计 ODM 白盒服务器出货占比，以及 OCP 方案在总服务器市场的渗透率，间接触及解耦架构的增量空间。
• 云厂商资本开支中“定制基础设施”占比：分析 Amazon、Microsoft、Google、Meta 等季度 10-Q/10-K，关注与自有数据中心设计和硬件采购相关的披露，结合 ODM 直接业务营收，推断解耦机架的增量。
• 互连标准化进展：CXL 联盟成员数、互操作测试（Plugfest）参与厂商数及通过率、OCP 及相关工作组接收的设计提交数量。
• 液冷渗透率与机架功率密度中位数：Uptime Institute 等机构的年度调查，可提供高密度机架（>30 kW）比例的变化，反映高功耗解耦系统的落地节奏。

信源

本页内容基于以下公开、权威的行业来源进行综合、归纳，不包含任何机密或专利信息：

• Open Compute Project（OCP）：全球服务器硬件开放标准的主要制定与推动组织，发布 Open Rack v3、解耦滑板及液冷等规格。网址：https://www.opencompute.org/
• Compute Express Link（CXL）联盟：维护 CXL 规范，发布互操作白皮书。网址：https://www.computeexpresslink.org/
• CXL 3.0 白皮书：CXL 联盟 2023 年发布的官方技术规范概览，描述了多级交换和共享内存拓扑。
• OCP Global Summit 演讲：每年举行的全球峰会，云厂商、ODM 与芯片厂商披露最新设计与部署案例，视频与演示文稿可于 OCP 官网获取。
• 主要芯片厂商官网与开发者博客：Intel、AMD、NVIDIA 的官方新闻室和技术博客，包含 CXL 路线图与解耦参考架构介绍。
• 内存与存储厂商新闻稿：Samsung、SK hynix、Micron 发布的 CXL 内存扩展器产品公告和技术白皮书。
• 行业分析机构报告方向参考：650 Group（CXL 与内存互连）；Dell’Oro Group（数据中心网络与液冷）；IDC、Gartner（服务器与系统出货量）；Yole Intelligence（先进互连与半导体）；Omdia（数据中心基础设施）。具体数字与图表需查阅原付费报告。