North-South Traffic

3 秒看懂

一句話定義：南北向流量是資料中心內部網路與外部網路（網際網路/WAN/客戶端）之間交換的資料流，是資料中心的”進出口貨流量”。

核心記憶點：進/出資料中心 = 南北向；資料中心內部互訪 = 東西向。在 AI 時代，訓練側的流量主角是東西向，推論服務側的南北向流量特徵決定了使用者體驗與邊緣架構。

3 分鐘產業解釋

流量的”羅盤方向”隱喻

在網路架構中，工程師借用地理方位來描述流量方向：

方向	定義	典型路徑
North-South（南北向）	跨越資料中心邊界的流量：外部使用者/終端 ↔ 內部伺服器叢集	客戶端 → Internet → 邊界路由器 → 防火牆 → 負載均衡 → 伺服器
East-West（東西向）	資料中心內部、伺服器/服務之間的流量	伺服器A ↔ 伺服器B（同一叢集或跨機架）

“北”指外部（上游網路/使用者側），“南”指內部（下游/伺服器側），源自傳統網路拓撲圖中客戶端在上、伺服器在下的畫法。

為什麼 AI 產業鏈需要關注這個概念？

大型模型訓練：以叢集內部通訊為主，東西向流量佔絕對主導。千卡/萬卡叢集的網路瓶頸本質上是東西向頻寬問題，這推動了 RoCE、InfiniBand、NVLink/NVSwitch 等高頻寬低延遲互聯技術的採用。
AI 推論服務：南北向流量特徵顯著——使用者請求（輸入 prompt + 輸出 token）必須跨越網際網路邊界，對時延、吞吐、抖動更敏感。
訓練資料管道：海量訓練資料從物件儲存（S3/OSS）載入到叢集，構成大規模南北向流量，推動了資料高速匯入網路（Data Ingestion Network）的架構演進。
網路裝置選型：傳統防火牆/負載均衡器按南北向流量設計；現代資料中心 Clos/Leaf-Spine 架構則為東西向流量最佳化。

15 分鐘專家深入

1. 南北向流量的技術特徵

                    ┌─────────────────────────────────────────────┐
                    │              Internet / WAN                  │
                    └─────────────────┬───────────────────────────┘
                                      │
                          ┌───────────▼───────────┐
                          │    Border Router       │  ← 南北向流量入口
                          └───────────┬───────────┘
                                      │
                          ┌───────────▼───────────┐
                          │  Firewall / IDS / IPS  │  ← 安全策略檢查點
                          └───────────┬───────────┘
                                      │
                          ┌───────────▼───────────┐
                          │   Load Balancer (L4/L7)│  ← 南北向流量排程
                          └───────────┬───────────┘
                                      │
              ┌───────────────────────┼───────────────────────┐
              │                       │                       │
    ┌─────────▼─────────┐ ┌──────────▼──────────┐ ┌──────────▼──────────┐
    │  Leaf Switch      │ │   Leaf Switch        │ │   Leaf Switch        │
    │  (Rack 1)         │ │   (Rack 2)           │ │   (Rack N)           │
    │  ┌───┐ ┌───┐     │ │   ┌───┐ ┌───┐       │ │   ┌───┐ ┌───┐       │
    │  │ S │ │ S │ ... │ │   │ S │ │ S │ ...   │ │   │ S │ │ S │ ...   │
    │  └───┘ └───┘     │ │   └───┘ └───┘       │ │   └───┘ └───┘       │
    └───────────────────┘ └─────────────────────┘ └─────────────────────┘
              ↑                                                   ↑
              └─────────────── 東西向流量 ─────────────────────────┘

關鍵特徵：

維度	南北向流量	東西向流量
流量佔比（傳統 DC）	估計 70-80% [行業經驗估算]	估計 20-30% [行業經驗估算]
流量佔比（現代雲端/DC）	估計 20-30% [行業經驗估算]	估計 70-80% [行業經驗估算]
經過的安全裝置	防火牆、WAF、IDS/IPS、DDoS防護	微分段策略、服務網格
協議分佈	HTTP(S)、DNS、SMTP 等	RPC（gRPC）、資料庫協議、儲存協議
流量模式	請求-響應、突發性強	持續性資料交換、批次同步
效能敏感點	時延（使用者體驗）、吞吐（大檔案傳輸）	頻寬（allreduce）、尾延遲（straggler）

2. 南北向流量的典型場景

場景一：AI 推論服務（L4/L7 LB 架構）

使用者 Prompt (1-100KB)
        │
        ▼
  [API Gateway / L7 LB]  ← 南北向入口，限流/鑑權/路由
        │
        ▼
  [Inference Server (GPU)]
        │
        ▼
  Token Stream (10-100KB)  ← SSE/WebSocket 長連線
        │
        ▼
      使用者

輸入 Token 數 × Token/請求 = 南北向上行頻寬
輸出 Token 數 × Token/請求 × 併發 = 南北向下行頻寬
長連線（SSE/WebSocket）對連線保持和負載均衡有特殊要求

場景二：訓練資料攝入

物件儲存 (S3/OSS/Petabytes)
        │  ← 南北向（跨網路邊界）
        ▼
  [Data Loader Node / Cache Layer]
        │  ← 東西向（叢集內分發）
        ▼
  [GPU Node 1] [GPU Node 2] ... [GPU Node N]

大規模訓練的資料攝入是典型的南北向突發流量
推動了分散式快取（Alluxio）和資料本地化策略

3. 對網路架構的影響

傳統架構（南北向主導）：

三層架構：Core → Aggregation → Access
流量匯聚於核心層，便於策略管控
核心裝置成為瓶頸和單點故障

現代架構（東西向主導）：

Leaf-Spine（Clos）架構：無阻塞、橫向擴充套件
南北向流量通過 Border Leaf 或獨立的 Edge 裝置處理
安全策略從邊界向內部”下沉”（微分段/Zero Trust）

技術原理

南北向流量的協議棧視角

┌─────────────────────────────────────────────────────────────────────┐
│                        應用層                                       │
│   HTTP/HTTPS, gRPC-over-TCP, WebSocket, DNS, BGP                   │
├─────────────────────────────────────────────────────────────────────┤
│                        傳輸層                                       │
│   TCP (可靠傳輸，南北向主力), UDP (DNS, 即時音影片)                   │
├─────────────────────────────────────────────────────────────────────┤
│                        網路層                                       │
│   IPv4/IPv6, 路由協議 (BGP 用於邊界, OSPF/IS-IS 用於內部)            │
├─────────────────────────────────────────────────────────────────────┤
│                        鏈路層                                       │
│   Ethernet (外部), 可能是 VLAN trunk 或 MPLS                        │
└─────────────────────────────────────────────────────────────────────┘

南北向流量的關鍵技術元件

1. 負載均衡（Load Balancing）

型別	位置	典型方案	AI 場景適用
L4 LB	傳輸層（TCP/UDP）	Nginx Stream, LVS, Cloud LB	批次 API 請求分發
L7 LB	應用層（HTTP）	Nginx, Envoy, HAProxy	API 路由、A/B 流量切分
全域性 LB	DNS 層	DNS 輪詢, Anycast	多地域推論服務排程

2. 安全邊界裝置

流量路徑：
  Client ──→ [DDoS Scrubbing] ──→ [WAF] ──→ [API Gateway] ──→ [Auth] ──→ Backend
                │                   │              │              │
                ▼                   ▼              ▼              ▼
           大流量攻擊          SQL隱碼攻擊/XSS    限流/熔斷      JWT/OAuth
           防護                防護           路由           鑑權

3. 連線管理

TCP 連線池：南北向連線複用，減少握手開銷
長連線 vs 短連線：SSE/Streaming 推論需要長連線，傳統 REST 用短連線
Connection Draining：優雅停機時等待現有連線完成

頻寬與延遲模型（定性）

南北向 RTT ≈ 客戶端↔邊緣網路延遲 + 邊緣↔DC延遲 + 處理延遲
           ≈ 10-50ms (同城) | 50-200ms (跨省) | 100-300ms (跨境)
           [量級估算，實際因ISP/路由而異]

東西向 RTT ≈ 同機架（InfiniBand/NVLink等低延遲互聯）1-5μs，
             同機架（普通乙太網路交換）約5-20μs，
             同DC跨機架20-100μs，
             跨DC 1-10ms
           [量級估算，取決於互聯技術與交換器延遲]

技術演進史

第一階段：南北向主導時代（2000s）

架構：傳統三層網路（Core-Aggregation-Access）
流量特徵：Web 服務為主，使用者請求 → 伺服器響應
安全模型：邊界防火牆 = 安全域分界線
代表技術：F5 BIG-IP, Cisco ASA, 傳統 CDN

第二階段：雲端化與虛擬化（2010s）

驅動因素：虛擬化、容器化、微服務架構興起
流量變化：東西向流量開始超過南北向
技術應對：SDN、Overlay 網路、微分段（VMware NSX）
南北向演進：API 閘道器興起（Kong, Apigee），安全從 L3/4 向 L7 延伸

第三階段：AI 與雲端原生時代（2020s）

AI 訓練：萬卡叢集的東西向流量極度密集，推動 RDMA/RoCE、InfiniBand、NVLink 的採用
AI 推論：南北向流量特徵迴歸——使用者請求/響應是典型的南北向
Serverless：函式級粒度的南北向流量，冷啟動時延敏感
邊緣計算：將南北向入口下沉到邊緣節點，減少 RTT

趨勢展望

趨勢	對南北向流量的影響
端側 AI（On-device AI）	減少雲端端南北向流量（推論本地化）
AI Agent / Function Calling	多輪互動增加連線保持需求
多模態大型模型（影像/影片）	單次請求頻寬顯著增加
隱私計算/聯邦學習	跨機構加密南北向流量增加

技術路線對比

資料中心網路拓撲選擇與南北/東西向流量關係

架構型別	南北向效率	東西向效率	擴充套件性	AI訓練適用性	代表方案
傳統三層	高（集中管控）	低（核心瓶頸）	差	差	企業傳統DC
Leaf-Spine (2-tier)	中（需額外Border Leaf）	高	中	中	中小規模雲端DC
Leaf-Spine (3-tier)	中	高	高	良	大型雲端/AI DC
Rail-Optimized	中	極高（GPU直連）	中	優（AI訓練專用）	NVIDIA DGX SuperPOD
Disaggregated	高（靈活排程）	高	極高	良	下一代雲端架構

負載均衡方案對比

方案	層級	南北向場景	效能上限	典型廠商/方案
DNS LB	L7(DNS)	全域性排程	受DNS TTL限制	Cloudflare, Route53
L4 LB (軟體)	L4	高吞吐	受CPU限制	LVS, DPVS
L4 LB (硬體)	L4	高吞吐+低延遲	Tbps級 [廠商規格]	F5, A10
L7 LB (代理)	L7	精細路由/鑑權	受CPU限制	Envoy, Nginx, Caddy
Service Mesh	L7	內部+邊界	Sidecar開銷	Istio (Envoy), Linkerd

上下游

南北向流量涉及的產業鏈環節

上游（基礎設施層）                    中游（網路/安全層）              下游（應用層）
┌──────────────────┐            ┌──────────────────────┐        ┌──────────────────┐
│ 光模組/光纜       │            │ 路由器/交換器         │        │ 雲端服務商          │
│ (400G/800G transceiver)│      │ (Cisco, Juniper,     │        │ (AWS, Azure, GCP, │
│                  │            │  Arista, 華為, H3C)   │        │  阿里雲端, 騰訊雲端)   │
├──────────────────┤            ├──────────────────────┤        ├──────────────────┤
│ ISP/骨幹網        │            │ 負載均衡              │        │ CDN               │
│ (三大運營商,     │            │ (F5, Nginx, Envoy,   │        │ (Akamai, Cloudflare│
│  Tier-1 ISP)     │            │  雲端LB服務)            │        │  網宿, 七牛)       │
├──────────────────┤            ├──────────────────────┤        ├──────────────────┤
│ 專線/SD-WAN      │            │ 安全裝置/服務         │        │ AI推論平台         │
│ (MPLS, Internet  │            │ (Palo Alto, Fortinet,│        │ (OpenAI API,       │
│  transit)        │            │  CrowdStrike, 奇安信) │        │  各雲端廠商模型API)  │
└──────────────────┘            └──────────────────────┘        └──────────────────┘

關鍵物料/技術依賴

環節	關鍵依賴	南北向相關性
光模組	100G (QSFP28/QSFP+), 400G/800G (QSFP-DD)	邊界頻寬由光模組速率決定
DDoS 清洗	流量清洗中心、Anycast	第一道南北向防線
TLS 終結	SSL/TLS 證書、硬體加速	HTTPS 南北向必經
API 閘道器	限流演算法、協議轉換	L7 南北向入口

關鍵指標

南北向流量運維與架構設計核心指標

指標	定義	重要性	量級參考
頻寬利用率	實際流量/鏈路容量	過高導致丟包/擁塞	警戒線通常 <70% [行業經驗]
RTT (Round-Trip Time)	請求-響應往返時延	直接影響使用者體驗	國內 <100ms [估算], 跨境 <300ms [估算]
P99 延遲	99分位延遲	長尾體驗、SLA達標	AI推論 P99 通常要求 <1-2s [估算]
QPS/TPS	每秒請求數/事務數	衡量吞吐能力	取決於業務，大廠API閘道器可達百萬QPS [估算]
連線數	併發TCP連線	影響LB/閘道器資源	百萬級連線 [估算]
丟包率	丟失包/總包	南北向丟包觸發TCP重傳	目標 <0.01% [估算]
可用性	正常服務時間比例	SLA 承諾	99.9%~99.999%

AI 場景下的特殊指標

場景	關鍵南北向指標	說明
LLM 推論 (Chat)	首 Token 延遲 (TTFT)	從請求到達到第一個Token返回
LLM 推論 (Chat)	Token 吞吐率 (Tokens/s)	輸出速度影響使用者感知
訓練資料攝入	有效頻寬 (Goodput)	考慮重傳/擁塞後的有效吞吐
模型下載/分發	分發延遲	新模型上線到全球邊緣的時間

供需與市場資料

資料中心流量增長趨勢

注意：以下資料為行業報告口徑估算，具體數字因統計來源而異。

維度	資料/趨勢	來源口徑
全球資料中心IP流量	持續增長，影片/AI為主要驅動力	Cisco VNI / GSMA 等 [歷史報告]
南北向 vs 東西向佔比	業界普遍認為現代DC中東西向佔60-80%+	行業分析師估算
AI推論流量增速	隨大型模型普及快速上升，具體倍數未充分揭露	供應鏈估算
全球CDN市場	數百億美元規模，年增長率約10-15%	行業報告估算
負載均衡/ADC市場	數十億美元規模	行業報告估算

供需結構

需求側驅動：

AI 推論服務爆發（ChatGPT/Copilot 等應用）
多模態內容（高畫質影像/影片生成）增加單請求頻寬
全球化服務要求跨地域南北向低延遲

供給側約束：

邊際出口頻寬成本
DDoS 攻擊規模持續增長（Tbps級）
TLS 計算開銷（雖有硬體加速）

代表公司與資本對映

按產業鏈環節

環節	代表公司	業務關聯度	備註
網路裝置（邊界）	Cisco (CSCO), Arista (ANET), Juniper (已被HPE收購)	高	邊界路由器/交換器
網路裝置（國產）	華為, 新華三 (紫光), 銳捷網路	高	國內市場主力
負載均衡/ADC	F5 Networks (FFIV), Nginx (F5旗下), Envoy (開源)	高	L4/L7 南北向核心
CDN/邊緣	Akamai (AKAM), Cloudflare (NET), Fastly (FSLY)	高	南北向流量加速/安全
CDN/邊緣（國產）	網宿科技, 七牛雲端, 阿里雲端CDN	高	國內市場
安全（邊界）	Palo Alto (PANW), Fortinet (FTNT), CrowdStrike (CRWD)	中高	防火牆/WAF/DDoS
安全（國產）	奇安信, 深信服, 天融信	中高	國內安全市場
API 閘道器/管理	Kong (未上市), Apigee (Google), AWS API Gateway	中	L7 南北向入口
雲端廠商	AWS, Azure, GCP, 阿里雲端, 騰訊雲端	中	提供LB/CDN/安全全套

AI 推論平台（南北向流量新變數）

公司/平台	模式	南北向流量特徵
OpenAI	API 服務	全球API入口，多模態請求頻寬大
Anthropic	API 服務	類似OpenAI
Google (Vertex AI)	雲端平台	依託GCP網路
阿里雲端 (通義)	雲端平台	國內骨幹網+CDN
火山引擎 (位元組)	雲端平台	位元組系網路資源

投資邏輯

南北向流量視角下的投資主線

1. 頻寬基建（“修路”邏輯）

邏輯：AI推論 + 多模態內容 → 南北向頻寬需求持續增長
標的方向：光模組（400G/800G）、骨幹網裝置、專線服務
關注變數：AI推論實際流量增速 vs 預期

2. 安全合規（“海關”邏輯）

邏輯：南北向是安全邊界，合規/攻防需求剛性
標的方向：下一代防火牆、WAF、DDoS防護、零信任
關注變數：攻擊規模升級、合規政策變化

3. 邊緣加速（“最後一公里”邏輯）

邏輯：AI推論低延遲要求 + 全球化部署 → CDN/邊緣計算價值提升
標的方向：CDN龍頭、邊緣計算平台、GPU邊緣節點
關注變數：邊緣AI推論的可行性驗證

4. API經濟（“收費站”邏輯）

邏輯：大型模型即服務 → API閘道器/管理成為必經之路
標的方向：API管理平台、開發者工具
關注變數：API呼叫量增速、定價模式

風險提示

東西向替代風險：端側AI普及可能減少雲端端南北向流量
價格戰風險：CDN/頻寬價格持續下降趨勢
技術替代風險：新型協議/架構可能改變流量模式

常見誤讀糾偏

❌ 誤讀一：“南北向流量正在消亡，所有流量都是東西向”

糾偏：

東西向流量在總量佔比上確實在增長（現代DC中估計60-80%+）
但南北向流量的絕對值仍在持續增長，且是使用者體驗的直接決定因素
AI推論服務反而強化了南北向流量的重要性（每個使用者請求/響應都必須跨邊界）
正確理解：比例在變，但絕對量增長，且戰略重要性不減

❌ 誤讀二：“有了 CDN 就不需要關注南北向流量架構”

糾偏：

CDN 解決的是靜態內容和部分動態內容的分發，是加速層而非架構替代
AI 推論服務的 API 流量無法簡單快取（每次請求都是獨特計算）
TLS 終結、鑑權、限流等仍需在應用側處理
CDN 本身也是南北向流量架構的一部分，不能完全替代源站架構設計

❌ 誤讀三：“南北向流量只需要關注頻寬，不需要關注延遲”

糾偏：

頻寬決定吞吐量（能傳多少），延遲決定響應速度（多快到達）
對於 LLM 推論的流式輸出，首位元組延遲對使用者體驗影響極大
不同業務有不同瓶頸：大檔案傳輸是頻寬瓶頸，即時互動是延遲瓶頸
需要根據業務特徵同時最佳化兩個維度

❌ 誤讀四：“防火牆在南北向邊界就夠了”

糾偏：

零信任架構（Zero Trust）要求永不信任、持續驗證
現代安全架構需要東西向微分段 + 南北向邊界防護 + 應用層安全
雲端原生環境下，Service Mesh 提供了應用層的雙向 mTLS
單一邊界防護不足以應對內部威脅和橫向移動攻擊

學習路徑

入門階段

網路基礎：理解 OSI 七層模型、TCP/IP 協議棧
資料中心架構：瞭解傳統三層 vs Leaf-Spine 架構
推薦閱讀：《計算機網路：自頂向下方法》（Kurose & Ross）

進階階段

雲端網路：學習 VPC、子網、安全組、NAT 閘道器等概念
負載均衡：實踐 Nginx/Envoy 配置，理解 L4/L7 區別
推薦閱讀：Cloudflare Blog, AWS Networking 文件

專家階段

大規模 DC 網路：Google B4、Microsoft SWAN 等論文
AI 叢集網路：InfiniBand vs RoCE, Rail-Optimized 拓撲
安全架構：零信任模型、Service Mesh 安全

實踐建議

使用 Wireshark 抓包分析南北向 vs 東西向流量
在雲端上搭建帶 LB 的 Web 服務，觀察流量路徑
閱讀大型 AI 推論平台的架構博文（如 OpenAI, Anthropic 公開分享）

一句話總結

南北向流量是資料中心的”門面”——AI 訓練靠東西向”搬運資料”，但最終每個使用者的體驗都由南北向流量的質量決定。

延伸閱讀與來源

核心參考資料

來源	內容	備註
Cisco Annual Internet Report	全球流量預測，含南北向分析	歷史報告，Cisco 已停止更新
Google “Jupiter Evolving” 論文	大規模 DC 內部網路架構（東西向最佳化）	學術論文
Microsoft “SWAN” 論文	流量工程，最佳化跨DC流量	學術論文
NVIDIA DGX SuperPOD 架構文件	AI叢集網路拓撲（Rail-Optimized）	廠商白皮書
Cloudflare Blog	大量關於南北向流量、DDoS、CDN的實踐文章	技術部落格

術語速查

術語	含義
NAT	Network Address Translation，網路地址轉換
SLB/ALB/NLB	Server/Application/Network Load Balancer
WAF	Web Application Firewall
GSLB	Global Server Load Balancing
TTFT	Time To First Token，首Token延遲
SSE	Server-Sent Events，服務端推送（流式推論常用）
RDMA	Remote Direct Memory Access，遠端直接記憶體訪問
RoCE	RDMA over Converged Ethernet

本頁技術事實基於公開可查的網路架構原理與行業共識撰寫。具體市場資料和廠商規格以各公司