North-South Traffic

3 秒看懂

一句话定义：南北向流量是数据中心内部网络与外部网络（互联网/WAN/客户端）之间交换的数据流，是数据中心的”进出口货流量”。

核心记忆点：进/出数据中心 = 南北向；数据中心内部互访 = 东西向。在 AI 时代，训练侧的流量主角是东西向，推理服务侧的南北向流量特征决定了用户体验与边缘架构。

3 分钟产业解释

流量的”罗盘方向”隐喻

在网络架构中，工程师借用地理方位来描述流量方向：

方向	定义	典型路径
North-South（南北向）	跨越数据中心边界的流量：外部用户/终端 ↔ 内部服务器集群	客户端 → Internet → 边界路由器 → 防火墙 → 负载均衡 → 服务器
East-West（东西向）	数据中心内部、服务器/服务之间的流量	服务器A ↔ 服务器B（同一集群或跨机架）

“北”指外部（上游网络/用户侧），“南”指内部（下游/服务器侧），源自传统网络拓扑图中客户端在上、服务器在下的画法。

为什么 AI 产业链需要关注这个概念？

大模型训练：以集群内部通信为主，东西向流量占绝对主导。千卡/万卡集群的网络瓶颈本质上是东西向带宽问题，这推动了 RoCE、InfiniBand、NVLink/NVSwitch 等高带宽低延迟互联技术的采用。
AI 推理服务：南北向流量特征显著——用户请求（输入 prompt + 输出 token）必须跨越互联网边界，对时延、吞吐、抖动更敏感。
训练数据管道：海量训练数据从对象存储（S3/OSS）加载到集群，构成大规模南北向流量，推动了数据高速导入网络（Data Ingestion Network）的架构演进。
网络设备选型：传统防火墙/负载均衡器按南北向流量设计；现代数据中心 Clos/Leaf-Spine 架构则为东西向流量优化。

15 分钟专家深入

1. 南北向流量的技术特征

                    ┌─────────────────────────────────────────────┐
                    │              Internet / WAN                  │
                    └─────────────────┬───────────────────────────┘
                                      │
                          ┌───────────▼───────────┐
                          │    Border Router       │  ← 南北向流量入口
                          └───────────┬───────────┘
                                      │
                          ┌───────────▼───────────┐
                          │  Firewall / IDS / IPS  │  ← 安全策略检查点
                          └───────────┬───────────┘
                                      │
                          ┌───────────▼───────────┐
                          │   Load Balancer (L4/L7)│  ← 南北向流量调度
                          └───────────┬───────────┘
                                      │
              ┌───────────────────────┼───────────────────────┐
              │                       │                       │
    ┌─────────▼─────────┐ ┌──────────▼──────────┐ ┌──────────▼──────────┐
    │  Leaf Switch      │ │   Leaf Switch        │ │   Leaf Switch        │
    │  (Rack 1)         │ │   (Rack 2)           │ │   (Rack N)           │
    │  ┌───┐ ┌───┐     │ │   ┌───┐ ┌───┐       │ │   ┌───┐ ┌───┐       │
    │  │ S │ │ S │ ... │ │   │ S │ │ S │ ...   │ │   │ S │ │ S │ ...   │
    │  └───┘ └───┘     │ │   └───┘ └───┘       │ │   └───┘ └───┘       │
    └───────────────────┘ └─────────────────────┘ └─────────────────────┘
              ↑                                                   ↑
              └─────────────── 东西向流量 ─────────────────────────┘

关键特征：

维度	南北向流量	东西向流量
流量占比（传统 DC）	估计 70-80% [行业经验估算]	估计 20-30% [行业经验估算]
流量占比（现代云/DC）	估计 20-30% [行业经验估算]	估计 70-80% [行业经验估算]
经过的安全设备	防火墙、WAF、IDS/IPS、DDoS防护	微分段策略、服务网格
协议分布	HTTP(S)、DNS、SMTP 等	RPC（gRPC）、数据库协议、存储协议
流量模式	请求-响应、突发性强	持续性数据交换、批量同步
性能敏感点	时延（用户体验）、吞吐（大文件传输）	带宽（allreduce）、尾延迟（straggler）

2. 南北向流量的典型场景

场景一：AI 推理服务（L4/L7 LB 架构）

用户 Prompt (1-100KB)
        │
        ▼
  [API Gateway / L7 LB]  ← 南北向入口，限流/鉴权/路由
        │
        ▼
  [Inference Server (GPU)]
        │
        ▼
  Token Stream (10-100KB)  ← SSE/WebSocket 长连接
        │
        ▼
      用户

输入 Token 数 × Token/请求 = 南北向上行带宽
输出 Token 数 × Token/请求 × 并发 = 南北向下行带宽
长连接（SSE/WebSocket）对连接保持和负载均衡有特殊要求

场景二：训练数据摄入

对象存储 (S3/OSS/Petabytes)
        │  ← 南北向（跨网络边界）
        ▼
  [Data Loader Node / Cache Layer]
        │  ← 东西向（集群内分发）
        ▼
  [GPU Node 1] [GPU Node 2] ... [GPU Node N]

大规模训练的数据摄入是典型的南北向突发流量
推动了分布式缓存（Alluxio）和数据本地化策略

3. 对网络架构的影响

传统架构（南北向主导）：

三层架构：Core → Aggregation → Access
流量汇聚于核心层，便于策略管控
核心设备成为瓶颈和单点故障

现代架构（东西向主导）：

Leaf-Spine（Clos）架构：无阻塞、横向扩展
南北向流量通过 Border Leaf 或独立的 Edge 设备处理
安全策略从边界向内部”下沉”（微分段/Zero Trust）

技术原理

南北向流量的协议栈视角

┌─────────────────────────────────────────────────────────────────────┐
│                        应用层                                       │
│   HTTP/HTTPS, gRPC-over-TCP, WebSocket, DNS, BGP                   │
├─────────────────────────────────────────────────────────────────────┤
│                        传输层                                       │
│   TCP (可靠传输，南北向主力), UDP (DNS, 实时音视频)                   │
├─────────────────────────────────────────────────────────────────────┤
│                        网络层                                       │
│   IPv4/IPv6, 路由协议 (BGP 用于边界, OSPF/IS-IS 用于内部)            │
├─────────────────────────────────────────────────────────────────────┤
│                        链路层                                       │
│   Ethernet (外部), 可能是 VLAN trunk 或 MPLS                        │
└─────────────────────────────────────────────────────────────────────┘

南北向流量的关键技术组件

1. 负载均衡（Load Balancing）

类型	位置	典型方案	AI 场景适用
L4 LB	传输层（TCP/UDP）	Nginx Stream, LVS, Cloud LB	批量 API 请求分发
L7 LB	应用层（HTTP）	Nginx, Envoy, HAProxy	API 路由、A/B 流量切分
全局 LB	DNS 层	DNS 轮询, Anycast	多地域推理服务调度

2. 安全边界设备

流量路径：
  Client ──→ [DDoS Scrubbing] ──→ [WAF] ──→ [API Gateway] ──→ [Auth] ──→ Backend
                │                   │              │              │
                ▼                   ▼              ▼              ▼
           大流量攻击          SQL注入/XSS    限流/熔断      JWT/OAuth
           防护                防护           路由           鉴权

3. 连接管理

TCP 连接池：南北向连接复用，减少握手开销
长连接 vs 短连接：SSE/Streaming 推理需要长连接，传统 REST 用短连接
Connection Draining：优雅停机时等待现有连接完成

带宽与延迟模型（定性）

南北向 RTT ≈ 客户端↔边缘网络延迟 + 边缘↔DC延迟 + 处理延迟
           ≈ 10-50ms (同城) | 50-200ms (跨省) | 100-300ms (跨境)
           [量级估算，实际因ISP/路由而异]

东西向 RTT ≈ 同机架（InfiniBand/NVLink等低延迟互联）1-5μs，
             同机架（普通以太网交换）约5-20μs，
             同DC跨机架20-100μs，
             跨DC 1-10ms
           [量级估算，取决于互联技术与交换机延迟]

技术演进史

第一阶段：南北向主导时代（2000s）

架构：传统三层网络（Core-Aggregation-Access）
流量特征：Web 服务为主，用户请求 → 服务器响应
安全模型：边界防火墙 = 安全域分界线
代表技术：F5 BIG-IP, Cisco ASA, 传统 CDN

第二阶段：云化与虚拟化（2010s）

驱动因素：虚拟化、容器化、微服务架构兴起
流量变化：东西向流量开始超过南北向
技术应对：SDN、Overlay 网络、微分段（VMware NSX）
南北向演进：API 网关兴起（Kong, Apigee），安全从 L3/4 向 L7 延伸

第三阶段：AI 与云原生时代（2020s）

AI 训练：万卡集群的东西向流量极度密集，推动 RDMA/RoCE、InfiniBand、NVLink 的采用
AI 推理：南北向流量特征回归——用户请求/响应是典型的南北向
Serverless：函数级粒度的南北向流量，冷启动时延敏感
边缘计算：将南北向入口下沉到边缘节点，减少 RTT

趋势展望

趋势	对南北向流量的影响
端侧 AI（On-device AI）	减少云端南北向流量（推理本地化）
AI Agent / Function Calling	多轮交互增加连接保持需求
多模态大模型（图像/视频）	单次请求带宽显著增加
隐私计算/联邦学习	跨机构加密南北向流量增加

技术路线对比

数据中心网络拓扑选择与南北/东西向流量关系

架构类型	南北向效率	东西向效率	扩展性	AI训练适用性	代表方案
传统三层	高（集中管控）	低（核心瓶颈）	差	差	企业传统DC
Leaf-Spine (2-tier)	中（需额外Border Leaf）	高	中	中	中小规模云DC
Leaf-Spine (3-tier)	中	高	高	良	大型云/AI DC
Rail-Optimized	中	极高（GPU直连）	中	优（AI训练专用）	NVIDIA DGX SuperPOD
Disaggregated	高（灵活调度）	高	极高	良	下一代云架构

负载均衡方案对比

方案	层级	南北向场景	性能上限	典型厂商/方案
DNS LB	L7(DNS)	全局调度	受DNS TTL限制	Cloudflare, Route53
L4 LB (软件)	L4	高吞吐	受CPU限制	LVS, DPVS
L4 LB (硬件)	L4	高吞吐+低延迟	Tbps级 [厂商规格]	F5, A10
L7 LB (代理)	L7	精细路由/鉴权	受CPU限制	Envoy, Nginx, Caddy
Service Mesh	L7	内部+边界	Sidecar开销	Istio (Envoy), Linkerd

上下游

南北向流量涉及的产业链环节

上游（基础设施层）                    中游（网络/安全层）              下游（应用层）
┌──────────────────┐            ┌──────────────────────┐        ┌──────────────────┐
│ 光模块/光缆       │            │ 路由器/交换机         │        │ 云服务商          │
│ (400G/800G transceiver)│      │ (Cisco, Juniper,     │        │ (AWS, Azure, GCP, │
│                  │            │  Arista, 华为, H3C)   │        │  阿里云, 腾讯云)   │
├──────────────────┤            ├──────────────────────┤        ├──────────────────┤
│ ISP/骨干网        │            │ 负载均衡              │        │ CDN               │
│ (三大运营商,     │            │ (F5, Nginx, Envoy,   │        │ (Akamai, Cloudflare│
│  Tier-1 ISP)     │            │  云LB服务)            │        │  网宿, 七牛)       │
├──────────────────┤            ├──────────────────────┤        ├──────────────────┤
│ 专线/SD-WAN      │            │ 安全设备/服务         │        │ AI推理平台         │
│ (MPLS, Internet  │            │ (Palo Alto, Fortinet,│        │ (OpenAI API,       │
│  transit)        │            │  CrowdStrike, 奇安信) │        │  各云厂商模型API)  │
└──────────────────┘            └──────────────────────┘        └──────────────────┘

关键物料/技术依赖

环节	关键依赖	南北向相关性
光模块	100G (QSFP28/QSFP+), 400G/800G (QSFP-DD)	边界带宽由光模块速率决定
DDoS 清洗	流量清洗中心、Anycast	第一道南北向防线
TLS 终结	SSL/TLS 证书、硬件加速	HTTPS 南北向必经
API 网关	限流算法、协议转换	L7 南北向入口

关键指标

南北向流量运维与架构设计核心指标

指标	定义	重要性	量级参考
带宽利用率	实际流量/链路容量	过高导致丢包/拥塞	警戒线通常 <70% [行业经验]
RTT (Round-Trip Time)	请求-响应往返时延	直接影响用户体验	国内 <100ms [估算], 跨境 <300ms [估算]
P99 延迟	99分位延迟	长尾体验、SLA达标	AI推理 P99 通常要求 <1-2s [估算]
QPS/TPS	每秒请求数/事务数	衡量吞吐能力	取决于业务，大厂API网关可达百万QPS [估算]
连接数	并发TCP连接	影响LB/网关资源	百万级连接 [估算]
丢包率	丢失包/总包	南北向丢包触发TCP重传	目标 <0.01% [估算]
可用性	正常服务时间比例	SLA 承诺	99.9%~99.999%

AI 场景下的特殊指标

场景	关键南北向指标	说明
LLM 推理 (Chat)	首 Token 延迟 (TTFT)	从请求到达到第一个Token返回
LLM 推理 (Chat)	Token 吞吐率 (Tokens/s)	输出速度影响用户感知
训练数据摄入	有效带宽 (Goodput)	考虑重传/拥塞后的有效吞吐
模型下载/分发	分发延迟	新模型上线到全球边缘的时间

供需与市场数据

数据中心流量增长趋势

注意：以下数据为行业报告口径估算，具体数字因统计来源而异。

维度	数据/趋势	来源口径
全球数据中心IP流量	持续增长，视频/AI为主要驱动力	Cisco VNI / GSMA 等 [历史报告]
南北向 vs 东西向占比	业界普遍认为现代DC中东西向占60-80%+	行业分析师估算
AI推理流量增速	随大模型普及快速上升，具体倍数未充分披露	供应链估算
全球CDN市场	数百亿美元规模，年增长率约10-15%	行业报告估算
负载均衡/ADC市场	数十亿美元规模	行业报告估算

供需结构

需求侧驱动：

AI 推理服务爆发（ChatGPT/Copilot 等应用）
多模态内容（高清图像/视频生成）增加单请求带宽
全球化服务要求跨地域南北向低延迟

供给侧约束：

边际出口带宽成本
DDoS 攻击规模持续增长（Tbps级）
TLS 计算开销（虽有硬件加速）

代表公司与资本映射

按产业链环节

环节	代表公司	业务关联度	备注
网络设备（边界）	Cisco (CSCO), Arista (ANET), Juniper (已被HPE收购)	高	边界路由器/交换机
网络设备（国产）	华为, 新华三 (紫光), 锐捷网络	高	国内市场主力
负载均衡/ADC	F5 Networks (FFIV), Nginx (F5旗下), Envoy (开源)	高	L4/L7 南北向核心
CDN/边缘	Akamai (AKAM), Cloudflare (NET), Fastly (FSLY)	高	南北向流量加速/安全
CDN/边缘（国产）	网宿科技, 七牛云, 阿里云CDN	高	国内市场
安全（边界）	Palo Alto (PANW), Fortinet (FTNT), CrowdStrike (CRWD)	中高	防火墙/WAF/DDoS
安全（国产）	奇安信, 深信服, 天融信	中高	国内安全市场
API 网关/管理	Kong (未上市), Apigee (Google), AWS API Gateway	中	L7 南北向入口
云厂商	AWS, Azure, GCP, 阿里云, 腾讯云	中	提供LB/CDN/安全全套

AI 推理平台（南北向流量新变量）

公司/平台	模式	南北向流量特征
OpenAI	API 服务	全球API入口，多模态请求带宽大
Anthropic	API 服务	类似OpenAI
Google (Vertex AI)	云平台	依托GCP网络
阿里云 (通义)	云平台	国内骨干网+CDN
火山引擎 (字节)	云平台	字节系网络资源

投资逻辑

南北向流量视角下的投资主线

1. 带宽基建（“修路”逻辑）

逻辑：AI推理 + 多模态内容 → 南北向带宽需求持续增长
标的方向：光模块（400G/800G）、骨干网设备、专线服务
关注变量：AI推理实际流量增速 vs 预期

2. 安全合规（“海关”逻辑）

逻辑：南北向是安全边界，合规/攻防需求刚性
标的方向：下一代防火墙、WAF、DDoS防护、零信任
关注变量：攻击规模升级、合规政策变化

3. 边缘加速（“最后一公里”逻辑）

逻辑：AI推理低延迟要求 + 全球化部署 → CDN/边缘计算价值提升
标的方向：CDN龙头、边缘计算平台、GPU边缘节点
关注变量：边缘AI推理的可行性验证

4. API经济（“收费站”逻辑）

逻辑：大模型即服务 → API网关/管理成为必经之路
标的方向：API管理平台、开发者工具
关注变量：API调用量增速、定价模式

风险提示

东西向替代风险：端侧AI普及可能减少云端南北向流量
价格战风险：CDN/带宽价格持续下降趋势
技术替代风险：新型协议/架构可能改变流量模式

常见误读纠偏

❌ 误读一：“南北向流量正在消亡，所有流量都是东西向”

纠偏：

东西向流量在总量占比上确实在增长（现代DC中估计60-80%+）
但南北向流量的绝对值仍在持续增长，且是用户体验的直接决定因素
AI推理服务反而强化了南北向流量的重要性（每个用户请求/响应都必须跨边界）
正确理解：比例在变，但绝对量增长，且战略重要性不减

❌ 误读二：“有了 CDN 就不需要关注南北向流量架构”

纠偏：

CDN 解决的是静态内容和部分动态内容的分发，是加速层而非架构替代
AI 推理服务的 API 流量无法简单缓存（每次请求都是独特计算）
TLS 终结、鉴权、限流等仍需在应用侧处理
CDN 本身也是南北向流量架构的一部分，不能完全替代源站架构设计

❌ 误读三：“南北向流量只需要关注带宽，不需要关注延迟”

纠偏：

带宽决定吞吐量（能传多少），延迟决定响应速度（多快到达）
对于 LLM 推理的流式输出，首字节延迟对用户体验影响极大
不同业务有不同瓶颈：大文件传输是带宽瓶颈，实时交互是延迟瓶颈
需要根据业务特征同时优化两个维度

❌ 误读四：“防火墙在南北向边界就够了”

纠偏：

零信任架构（Zero Trust）要求永不信任、持续验证
现代安全架构需要东西向微分段 + 南北向边界防护 + 应用层安全
云原生环境下，Service Mesh 提供了应用层的双向 mTLS
单一边界防护不足以应对内部威胁和横向移动攻击

学习路径

入门阶段

网络基础：理解 OSI 七层模型、TCP/IP 协议栈
数据中心架构：了解传统三层 vs Leaf-Spine 架构
推荐阅读：《计算机网络：自顶向下方法》（Kurose & Ross）

进阶阶段

云网络：学习 VPC、子网、安全组、NAT 网关等概念
负载均衡：实践 Nginx/Envoy 配置，理解 L4/L7 区别
推荐阅读：Cloudflare Blog, AWS Networking 文档

专家阶段

大规模 DC 网络：Google B4、Microsoft SWAN 等论文
AI 集群网络：InfiniBand vs RoCE, Rail-Optimized 拓扑
安全架构：零信任模型、Service Mesh 安全

实践建议

使用 Wireshark 抓包分析南北向 vs 东西向流量
在云上搭建带 LB 的 Web 服务，观察流量路径
阅读大型 AI 推理平台的架构博文（如 OpenAI, Anthropic 公开分享）

一句话总结

南北向流量是数据中心的”门面”——AI 训练靠东西向”搬运数据”，但最终每个用户的体验都由南北向流量的质量决定。

延伸阅读与来源

核心参考资料

来源	内容	备注
Cisco Annual Internet Report	全球流量预测，含南北向分析	历史报告，Cisco 已停止更新
Google “Jupiter Evolving” 论文	大规模 DC 内部网络架构（东西向优化）	学术论文
Microsoft “SWAN” 论文	流量工程，优化跨DC流量	学术论文
NVIDIA DGX SuperPOD 架构文档	AI集群网络拓扑（Rail-Optimized）	厂商白皮书
Cloudflare Blog	大量关于南北向流量、DDoS、CDN的实践文章	技术博客

术语速查

术语	含义
NAT	Network Address Translation，网络地址转换
SLB/ALB/NLB	Server/Application/Network Load Balancer
WAF	Web Application Firewall
GSLB	Global Server Load Balancing
TTFT	Time To First Token，首Token延迟
SSE	Server-Sent Events，服务端推送（流式推理常用）
RDMA	Remote Direct Memory Access，远程直接内存访问
RoCE	RDMA over Converged Ethernet

本页技术事实基于公开可查的网络架构原理与行业共识撰写。具体市场数据和厂商规格以各公司