AI Factory(AI 工廠)
3 秒看懂
AI Factory = 把大規模算力基礎設施當作”生產智慧”的工廠。 它的”原材料”是電力和晶片,“產線”是萬卡/十萬卡叢集 + 高速互聯 + 編排軟體,“產品”是 Token(推論輸出)或訓練好的模型權重。投資視角:它是 AI 時代最重資產的一環,決定”智慧產能”的上限。
3 分鐘產業解釋
為什麼叫”工廠”?
傳統制造業的邏輯:原材料 → 產線 → 標準化產品。AI Factory 完全對映:
| 製造業概念 | AI Factory 對應 |
|---|---|
| 原材料 | 電力(MW 級)、矽片、銅/光纜 |
| 產線裝置 | GPU/AI 加速器、交換器、液冷系統 |
| 工藝配方 | 訓練架構(Megatron、DeepSpeed、FSDP 等) |
| 在製品(WIP) | 正在訓練的模型權重 / 正在服務的推論例項 |
| 產品 | Token(推論)或訓練完成的模型(訓練) |
| 產能指標 | FLOPS 算力吞吐、Token/s、模型完成周期 |
| 工廠管理員 | 叢集排程編排系統(Kubernetes + 自研排程器) |
NVIDIA CEO 黃仁勳在多次公開演講中將這一概念具象化——未來每家企業、每個主權國家都將擁有自己的 AI Factory。這不是營銷話術,而是產業正在發生的真實形態:
- 訓練側:一個前沿模型的訓練成本已進入 [數千萬至數億美元量級,具體視模型規模與叢集規模而定,各家未充分揭露],需要數千至數萬張加速卡連續執行數週至數月。
- 推論側:當 AI 服務從”實驗室 Demo”變成”日活數億的產品”,推論 Token 的需求以指數級增長,需要持續擴容的推論叢集來”量產 Token”。
AI Factory 的三大形態
- Hyperscaler AI Factory:雲端廠商(AWS、Azure、GCP、阿里雲端、字節跳動火山引擎等)自建或共建的超大規模訓練/推論叢集,規模通常在 [萬卡至十萬卡級別,行業估算]。
- Sovereign AI Factory:主權國家或地區建設的國產化 AI 算力基礎設施,如沙特 NEOM、歐盟 EuroHPC 擴充套件、中國多地智算中心。
- Enterprise AI Factory:大型企業自建的專用 AI 算力設施,規模通常在 [千卡級別,行業估算],用於行業大型模型微調與私有化推論部署。
15 分鐘專家深入
從”用 AI”到”造 AI”的範式躍遷
在 ChatGPT 之前,企業”用 AI”的方式是呼叫 API 或部署輕量模型。AI Factory 代表的躍遷是:組織不再只是 AI 的消費者,而是 AI 的生產者——擁有自己的”智慧產線”,持續生產模型和推論服務。
這一躍遷的經濟學邏輯:
傳統軟體:邊際成本趨近於零 → 規模效應極強
AI 推論:每次推論消耗算力 → 邊際成本 > 0 → 產能受限於物理基礎設施
AI 訓練:一次性鉅額資本投入 → 模型成為"數字資產" → 攤銷後推論成本下降
因此 AI Factory 的核心競爭壁壘不在於”有沒有 GPU”,而在於 端到端的系統工程能力——從硬體選型、叢集組網、液冷散熱、電力規劃,到訓練架構最佳化、故障容錯、彈性排程的全棧能力。
AI Factory 的技術棧解剖
┌─────────────────────────────────────────────────┐
│ 應用層 (Application) │
│ ChatBot / Agent / 程式碼生成 / 自動駕駛模型 ... │
├─────────────────────────────────────────────────┤
│ 推論服務層 (Serving) │
│ vLLM / TensorRT-LLM / SGLang / Triton Server │
│ KV Cache 管理 / Speculative Decoding / │
│ Continuous Batching │
├─────────────────────────────────────────────────┤
│ 訓練架構層 (Training Stack) │
│ Megatron-LM / DeepSpeed / FSDP / JAX/XLA │
│ 3D 並行 (TP + PP + DP) / ZeRO / 梯度累積 │
├─────────────────────────────────────────────────┤
│ 叢集編排層 (Orchestration) │
│ Kubernetes + 自研排程器 / SLURM │
│ 故障恢復 / 彈性伸縮 / 作業佇列管理 │
├─────────────────────────────────────────────────┤
│ 通訊互聯層 (Network Fabric) │
│ InfiniBand NDR/XDR / RoCE v2 │
│ NVLink / NVSwitch (節點內) │
│ 集合通訊: AllReduce, AllGather, All-to-All │
├─────────────────────────────────────────────────┤
│ 計算層 (Compute) │
│ GPU / TPU / AI 加速器 │
│ HBM 記憶體 / 片上 SRAM │
├─────────────────────────────────────────────────┤
│ 基礎設施層 (Infrastructure) │
│ 電力 (MW 級) / 液冷 (冷板或浸沒) / 機架 │
│ 變壓器 / UPS / 備用發電 │
└─────────────────────────────────────────────────┘
為什麼”電力”是 AI Factory 的第一約束?
訓練一個前沿大型模型的叢集功耗可達 [數十 MW 級別,行業估算],相當於一箇中小型城鎮的用電量。推論側同樣如此——當推論請求達到日均數十億次時,持續執行的推論叢集功耗同樣以 MW 計。
這意味著:
- 資料中心選址的核心變數從”離使用者近”變成”離電力近”
- 電力成本佔 AI Factory 運營成本的 [顯著比例,行業估算約 20-40%]
- 新能源(核電小型堆、光伏儲能)正成為 AI Factory 的戰略性上游
”萬卡叢集”到底難在哪?
不是買 10000 張卡插上就能用。核心挑戰:
- 通訊瓶頸:萬卡規模下,AllReduce 等集合通訊的延遲和頻寬成為訓練效率的關鍵制約。節點內靠 NVLink/NVSwitch,節點間靠 InfiniBand/RoCE,拓撲設計直接決定 MFU(Model FLOPS Utilization)。
- 故障率:萬卡叢集中,單卡/單節點故障的機率不可忽略。MTBF(平均無故障時間)在單卡層面可能達到 [廠商未充分揭露],但萬卡並行時,叢集級別的有效 MTBF 會顯著縮短。需要 彈性容錯 機制——checkpoint 頻率、快速重排程、冗餘設計。
- 散熱:單張高階 GPU 的 TDP 功耗處於 [數百瓦量級],萬卡叢集的散熱必須依賴液冷(冷板或浸沒式)。
- 軟體棧複雜度:3D 並行(Tensor Parallelism + Pipeline Parallelism + Data Parallelism)的切分策略、通訊重疊、梯度累積、混合精度訓練的引數調優,每一層都影響最終 MFU。
技術原理(專家級深入)
AI Factory 的核心生產函式
將 AI Factory 抽象為一個生產函式:
模型產出 = f(峰值算力, MFU, 訓練時長, 資料質量)
Token 產出 = f(推論算力, 批處理效率, 請求特徵)
訓練側:MFU 是核心 KPI
MFU(Model FLOPS Utilization) 衡量的是實際用於模型計算的有效算力佔理論峰值的比例。
MFU = 實際模型吞吐 FLOPS / 理論峰值 FLOPS
MFU 受多因素影響:
- 通訊開銷(並行策略、網路頻寬)
- 記憶體頻寬瓶頸(HBM 頻寬 vs 計算強度)
- 架構開銷(運算元融合、編譯最佳化)
- 故障恢復導致的計算損失
公開報告中,業界領先的訓練叢集 MFU 可達 [30%-50% 區間,基於公開技術報告,不同模型和叢集配置差異顯著]。這意味著理論上價值 100 的算力,實際有效產出可能只有 30-50。MFU 每提升 1 個百分點,等價於節省鉅額資本支出。
3D 並行的通訊拓撲
在萬卡訓練中,通常採用三重並行:
┌───────────────────────────────────────────────┐
│ Data Parallelism (DP) │
│ 每個 DP rank 持有完整模型副本,處理不同資料 │
│ 通訊: AllReduce(梯度同步)或 ReduceScatter │
│ │
│ ┌─────────────────────────────────────────┐ │
│ │ Pipeline Parallelism (PP) │ │
│ │ 模型按層切分為多個 stage,序列流水線執行 │ │
│ │ 通訊: 點對點(相鄰 stage 間傳遞啟用值) │ │
│ │ │ │
│ │ ┌───────────────────────────────────┐ │ │
│ │ │ Tensor Parallelism (TP) │ │ │
│ │ │ 單層內的矩陣運算按列/行切分 │ │ │
│ │ │ 通訊: AllReduce / AllGather │ │ │
│ │ │ (通常在同一節點內,依賴高速片間互聯)│ │ │
│ │ └───────────────────────────────────┘ │ │
│ └─────────────────────────────────────────┘ │
└───────────────────────────────────────────────┘
關鍵設計原則:
- TP 放在節點內:因為 TP 需要頻繁的 AllReduce 通訊,延遲敏感,必須用最高頻寬的片間互聯(如 NVLink/NVSwitch)
- PP 跨節點:通訊量相對較小(僅傳遞層間啟用),對頻寬要求略低
- DP 跨最大範圍:通訊量大但可與計算重疊(通過梯度累積減少通訊頻率)
MoE(Mixture of Experts)架構還引入 Expert Parallelism(EP),通訊模式以 All-to-All(dispatch/combine tokens 到對應 expert 所在的 rank)為主,對網路的 all-to-all 頻寬和延遲要求更高。
推論側:Token 工廠的生產節拍
推論的生產函式更接近傳統制造業的”節拍時間(takt time)“概念:
單 Token 延遲 ≈ Prefill 階段計算 + Decode 階段逐 Token 生成
吞吐量(Token/s)≈ 併發請求數 × 單請求 Token/s
關鍵最佳化技術:
- Continuous Batching:動態插入新請求,不等整批完成,提高 GPU 利用率
- PagedAttention / KV Cache 管理:類似作業系統虛擬記憶體的分頁機制,避免 KV Cache 記憶體碎片
- Speculative Decoding:用小模型”草擬”多個 token,大型模型一次性驗證,提升單請求速度
- Tensor Parallelism(推論):大型模型單請求推論時,通過 TP 切分降低單卡記憶體壓力和延遲
算力需求的量級感知
訓練一個前沿大型模型(具體引數量級未充分揭露):
- 所需計算量: [10^24 ~ 10^26 FLOP 量級,基於公開論文估算]
- 叢集規模: [數千至數萬張加速卡]
- 訓練時長: [數週至數月]
- 電力消耗: [數十 MW 級別持續執行]
推論(以日活數億的 ChatBot 為例):
- 每日 Token 請求數: [數十億至數百億,基於公開運營資料估算]
- 推論叢集持續執行,產能按需擴充套件
技術演進史
AI 工廠的五個階段
| 階段 | 時間(約) | 標誌性事件 | 規模量級 |
|---|---|---|---|
| 1. 實驗室階段 | 2012-2016 | AlexNet/AlphaGo,單機多卡或小規模 GPU 叢集 | 8-64 張 GPU |
| 2. 超算化階段 | 2017-2020 | Google TPU Pod、NVIDIA DGX SuperPOD 概念出現,Transformer 論文發表 | 百卡至千卡 |
| 3. 萬卡元年 | 2021-2022 | Meta RSC(約 16,000 張 A100)、Google PaLM 訓練叢集 [規模約 6,000+ TPU v4,基於公開資訊] | 萬卡 |
| 4. 十萬卡衝刺 | 2023-2024 | xAI Memphis 叢集 [宣稱 10 萬張 H100 級別]、各大雲端廠商競相建設超大規模叢集 | 萬卡至十萬卡 |
| 5. AI Factory 常態化 | 2025+ | Sovereign AI 基建、企業級 AI Factory 普及、推論 Token 成為標準化商品 | 十萬卡+,分散式 |
關鍵拐點分析
2023 年 ChatGPT 效應:將 AI 從技術圈帶入公眾視野,直接引爆了對訓練算力和推論算力的指數級需求。各大科技公司的資本支出在此後出現顯著增長,多家頭部公司 AI 相關資本支出達到 [百億美元級別/年,基於廠商財報揭露]。
從 DGX 到 SuperPOD 到 AI Factory:NVIDIA 的產品線演變清晰地映射了這一趨勢——從賣單卡(GPU),到賣整機(DGX),到賣叢集方案(DGX SuperPOD / HGX),再到現在幫助客戶規劃整個 AI Factory(含網路、儲存、軟體、運維),體現了價值從”器件”向”系統”的遷移。
技術路線對比
AI Factory 核心技術選型對比
| 維度 | 路線 A(以 NVIDIA 生態為代表) | 路線 B(以 Google TPU 為代表) | 路線 C(以自研 ASIC 為代表) |
|---|---|---|---|
| 計算晶片 | GPU(通用性強,生態成熟) | TPU(針對矩陣運算深度最佳化) | 定製 ASIC(Trainium/Inferentia 等) |
| 片間互聯 | NVLink / NVSwitch(節點內) | ICI(Inter-Chip Interconnect) | 因廠商而異 |
| 網路互聯 | InfiniBand(主流) / RoCE v2 | Google 自研光學互聯 | InfiniBand / RoCE / 自研 |
| 軟體生態 | CUDA / cuDNN / NCCL + 開源架構 | JAX / XLA / Pathways | 各廠自研 SDK,相容主流架構 |
| MFU 表現 | [公開報告中約 30-50%,因模型/配置差異大] | [TPU 訓練 MFU 公開論文報道過較高水平] | 依賴具體實現,資料有限 |
| 可獲得性 | 供應鏈成熟,但高階卡供不應求 | 僅限 Google Cloud 使用 | 廠商鎖定,生態尚在建設 |
| 適用場景 | 訓練+推論通用,生態最廣 | Google 內部及 GCP 客戶 | 特定推論/訓練工作負載最佳化 |
| 供應鏈風險 | 台積電代工,受地緣政治影響 | 三星/台積電,自用為主 | 因晶片代工方而異 |
互聯拓撲路線對比
| 拓撲方案 | 代表方案 | 特點 | 適用規模 |
|---|---|---|---|
| Fat Tree | InfiniBand Fat Tree | 無阻塞,成本高,經典方案 | 萬卡級 |
| Rail-Optimized | NVIDIA 推薦的 rail-optimized 拓撲 | 最佳化節點間通訊,減少交換器層級 | 萬卡至十萬卡 |
| Torus/Mesh | TPU Pod ICI 拓撲 | 低直徑、高頻寬,但路由複雜 | 千卡至萬卡 |
| 混合拓撲 | Rail-Optimized + 多級交換 | 平衡成本與效能,當前主流實踐 | 十萬卡級 |
注: 以上 MFU 資料來自公開技術論文和行業估算,不同模型架構、序列長度、並行策略下差異顯著,不宜直接橫向比較。
上下游
AI Factory 產業鏈全景
上游(核心器件與材料) 中游(整合與建設) 下游(運營與應用)
┌──────────────────────┐ ┌──────────────────────┐ ┌──────────────────────┐
│ GPU/AI 加速器 │ │ 伺服器整機(OEM/ODM) │ │ 雲端廠商(Hyperscaler) │
│ HBM 儲存 │ │ 叢集整合與組網 │ │ Sovereign AI 運營方 │
│ 交換晶片/光模組 │ → │ 資料中心建設(土建+機電)│ → │ 大型模型訓練方 │
│ 液冷零部件 │ │ 液冷系統整合 │ │ AI 推論服務商 │
│ 電力裝置(變壓器等) │ │ 叢集軟體平台 │ │ 終端 AI 應用 │
└──────────────────────┘ └──────────────────────┘ └──────────────────────┘
關鍵上游瓶頸(當前階段)
- 先進製程產能:高階 AI 加速器依賴先進製程(如7nm及以下,最新代次已推進至4nm/5nm),全球產能集中於台積電,擴產週期長。
- HBM 儲存:HBM(高頻寬儲存器)是 AI 加速器的核心瓶頸之一。每張高階 GPU 配置的 HBM 容量持續增長(從 HBM2e 到 HBM3 到 HBM3E),供應商主要為 SK 海力士、三星、美光,產能緊張。
- CoWoS 先進封裝:台積電的 CoWoS(Chip-on-Wafer-on-Substrate)系列封裝是將 GPU die 與 HBM 整合的關鍵工藝,產能同樣是瓶頸。
- 高階交換晶片/光模組:400G/800G 光模組、InfiniBand 交換晶片的需求隨叢集規模增長。
- 電力基礎設施:變壓器、中壓配電裝置的交付週期因 AI 資料中心建設潮而拉長。
關鍵指標
| 指標 | 含義 | 參考範圍(行業估算) |
|---|---|---|
| 叢集峰值 FLOPS | 叢集理論最大算力(FP8/FP16/BF16) | 萬卡 H100 級叢集約 [ExaFLOPS 量級] |
| MFU(Model FLOPS Utilization) | 有效算力 / 峰值算力 | 訓練:[約 30-50%,公開報告] |
| Token/s(推論吞吐) | 單位時間產出的推論 token 數 | 因模型大小和硬體差異大 |
| $/M Token(推論成本) | 每百萬 Token 的成本 | 持續下降中,因模型和平台而異 |
| PUE(Power Usage Effectiveness) | 資料中心能效比 | 傳統:1.3-1.6;液冷 AI DC:[1.1-1.2] |
| 叢集有效線上率 | 扣除故障維護後的有效執行時間比例 | 萬卡級 [估計 85-95%,取決於容錯能力] |
| $/FLOPS(資本效率) | 單位算力的資本投入 | 持續最佳化中 |
| 電力成本 ($/kWh) | 運營成本關鍵變數 | 因地區差異顯著($0.03-$0.15+) |
| Scaling Efficiency | 從 N 卡擴充套件到 2N 卡時的吞吐提升比 | 理想:2x,實際 [約 1.6-1.9x,行業估算] |
供需與市場資料
需求側:算力需求的指數增長
- 訓練側:前沿模型的訓練計算量大致遵循 [scaling law 關係,計算量與引數量和資料量的乘積成正比]。隨著模型規模和資料規模同步增長,單次訓練所需的總 FLOPS 呈超線性增長。
- 推論側:AI 應用的普及(ChatBot、程式碼助手、多模態 Agent 等)驅動推論 Token 需求以指數級增長。據行業估算,推論算力需求在 AI 總算力需求中的佔比正在持續提升,逐步超過訓練需求。
供給側:擴產與瓶頸並存
- 全球 AI 加速器出貨量:[具體數字各機構估算差異較大,行業共識為年出貨量達數百萬張量級,且持續增長]
- 資料中心建設:全球主要雲端廠商的 AI 相關資本支出合計已達到 [千億美元級別/年,基於廠商財報揭露的各公司 CapEx 資料]
- 瓶頸環節:先進製程產能、HBM 供應、CoWoS 封裝產能、電力基礎設施
市場規模
全球 AI 基礎設施市場(含計算、網路、儲存、資料中心)的規模:
- [具體數字各行業報告口徑不同,整體為千億美元級別且高速增長,2025 年後預計持續擴大]
- 細分市場增速排序(行業共識):AI 加速器 > AI 網路 > AI 儲存 > 資料中心基礎設施
代表公司與資本對映
AI Factory 產業鏈代表公司
| 產業位置 | 代表公司 | 核心角色 | 資本對映邏輯 |
|---|---|---|---|
| AI 加速器 | NVIDIA | GPU 生態主導者,從晶片到系統的全棧供應商 | AI Factory 最核心的”賣鏟人” |
| AI 加速器 | AMD | GPU 挑戰者(MI 系列) | 份額邊際增長 |
| AI 加速器 | Google(TPU) | 自研 TPU + Cloud,自用+雲端服務 | 縱向整合 |
| AI 加速器 | AWS(Trainium) | 自研推論/訓練晶片 | 降低對 NVIDIA 依賴 |
| AI 加速器 | 國產 AI 晶片廠商 | 華為昇騰、寒武紀等 | Sovereign AI 邏輯 |
| HBM 儲存 | SK 海力士、三星、美光 | HBM 供應核心 | AI 產能的實物期權 |
| 先進封裝 | 台積電 | CoWoS 系列封裝產能 | AI 算力的物理瓶頸 |
| 網際網路絡 | Broadcom、Marvell | 交換晶片、光模組 | AI 叢集的”神經系統” |
| 網路 | NVIDIA(InfiniBand)/ AMD(Pensando) | 高速互聯方案 | 繫結整體方案 |
| 伺服器整機 | 廣達、緯創、超微 Super Micro | AI 伺服器 OEM/ODM | 量增邏輯 |
| 資料中心/電力 | Equinix、Vantage、中金資料 | AI DC 運營 | 重資產、長週期 |
| 雲端服務 | AWS、Azure、GCP、阿里雲端 | AI Factory 運營方 | Token 經濟學 |
NVIDIA 的”AI Factory 供應商”角色演變
NVIDIA 不僅賣晶片,而是在向 AI Factory 整體解決方案供應商 轉型:
- DGX:單臺 AI 伺服器
- DGX SuperPOD:預整合叢集方案(含計算、網路、儲存、軟體)
- DGX Cloud:雲端端 AI Factory
- NVLink / NVSwitch / InfiniBand:通訊基礎設施
- CUDA / NeMo / NIM:軟體平台
這意味著 NVIDIA 正在捕獲 AI Factory 中 從矽片到軟體的全棧價值,這既是其估值溢價的核心來源,也是客戶尋求替代方案的動因。
投資邏輯
核心投資命題
AI Factory 是 AI 時代最確定的”基礎設施軍備競賽”。
無論最終哪個模型勝出、哪個應用爆發,對算力基礎設施的需求都是確定性最高的。這類似於網際網路時代的”賣光纖/賣路由器”邏輯。
三條投資主線
-
“賣鏟人”主線(確定性最高)
- AI 加速器(NVIDIA、AMD、國產晶片)
- HBM 儲存(SK 海力士、三星、美光)
- 先進封裝(台積電 CoWoS 產能)
- 網際網路絡(交換晶片、光模組)
- 伺服器整機(OEM/ODM)
-
“建廠人”主線(重資產、長週期)
- 資料中心 REITs / 運營商
- 電力基礎設施(變壓器、發電裝置)
- 液冷系統供應商
- 特徵:CAPEX 前置、營收滯後、但現金流量可預測性強
-
“運營工廠”主線(需求側)
- 雲端廠商 / AI 推論服務商
- Token 經濟學:成本下降 → 用量爆發 → 營收增長
- 風險:競爭格局、模型開源衝擊
關鍵風險
- 供給瓶頸緩解後的價格競爭:當先進製程產能、HBM 產能逐步釋放,硬體價格可能面臨下行壓力
- 需求波動:如果前沿模型能力提升放緩(scaling law 遇到瓶頸),訓練側算力需求增速可能減速
- 地緣政治:先進晶片出口管制影響供應鏈格局
- 技術代際切換風險:新架構(如更高效的推論晶片)可能顛覆現有格局
- 電力約束:部分地區電力供應可能成為硬約束
常見誤讀糾偏
❌ 誤讀一:“AI Factory 就是買一堆 GPU 堆在一起”
糾偏:買卡只是第一步。AI Factory 的核心競爭力在於 系統工程能力——叢集組網拓撲設計、通訊最佳化(MFU 提升)、彈性容錯機制、散熱與電力規劃、軟體棧全棧最佳化。一個 MFU 只有 20% 的萬卡叢集,其等效算力可能不如一個 MFU 達到 40% 的五千卡叢集。“會建廠”比”有錢買裝置”更重要。
❌ 誤讀二:“AI Factory 的產能瓶頸只在 GPU 晶片”
糾偏:GPU 晶片固然關鍵,但瓶頸是 多點併發 的——HBM 記憶體、CoWoS 封裝產能、高速互聯裝置(光模組、交換器)、液冷裝置、甚至 電力基礎設施(變壓器、變電站)都可能成為產能瓶頸。2023-2024 年的情況顯示,某些環節的交付週期甚至長於 GPU 本身。
❌ 誤讀三:“推論算力需求小於訓練,推論叢集不需要太多投入”
糾偏:隨著 AI 應用的普及,推論算力的 累計需求 正在超過訓練算量。訓練是一次性的(模型訓完就結束),但推論是 持續的——模型一旦上線服務,推論叢集必須 7×24 執行。頭部 AI 應用的推論算力消耗已達到 [極大規模,基於行業估算],且仍在快速增長。推論側的 AI Factory 建設將成為長期主題。
❌ 誤讀四:“萬卡叢集 = 一萬張卡的線性疊加”
糾偏:叢集的 Scaling Efficiency(擴充套件效率)遠低於線性。通訊開銷、故障率、負載不均衡等因素導致實際吞吐增長低於卡數增長。從千卡到萬卡,MFU 通常會有所下降(通訊拓撲更復雜),需要更精細的工程最佳化才能維持效率。叢集規模越大,系統工程的邊際難度越高。
學習路徑
入門(建立直覺)
- 閱讀:NVIDIA 官方部落格關於 DGX SuperPOD 的架構介紹
- 閱讀:各雲端廠商(AWS、Azure、GCP)關於 AI 基礎設施的產品文件
- 理解:什麼是 MFU、3D 並行、集合通訊
進階(技術深入)
- 論文:Megatron-LM 系列論文(NVIDIA)——理解大型模型訓練的並行策略
- 論文:DeepSpeed ZeRO 系列(Microsoft)——理解記憶體最佳化
- 論文:Google TPU 系列論文——理解定製化 AI 加速器的設計思路
- 實踐:在小規模叢集上嘗試分散式訓練(PyTorch DDP / FSDP)
專家級(產業判斷)
- 財報研讀:NVIDIA、台積電、SK 海力士、各雲端廠商的季度財報——從 CapEx、HBM 營收、資料中心營收中提取產業訊號
- 供應鏈調研:關注 CoWoS 產能擴張進度、HBM 代際演進(HBM3E → HBM4)、光模組升級週期(400G → 800G → 1.6T)
- 行業會議:GTC(NVIDIA)、Hot Chips、OCP Summit——獲取最新技術路線資訊
一句話總結
AI Factory 是 AI 產業從”手工作坊”走向”工業製造”的標誌——誰掌握了從矽片到 Token 的全棧生產能力,誰就掌握了智慧時代的”制空權”。
延伸閱讀與來源
| 來源 | 說明 |
|---|---|
| [NVIDIA GTC 演講] | Jensen Huang 關於 AI Factory 概念的多次闡述(GTC 2024 等) |
| [Megatron-LM 技術論文] | NVIDIA 關於大型模型分散式訓練的核心論文(Shoeybi et al.) |
| [DeepSpeed 技術論文] | Microsoft 關於 ZeRO 最佳化的系列論文 |
| [Google TPU 系列論文] | Jouppi et al., 關於 TPU 架構的多篇論文 |
| [廠商財報] | NVIDIA/AMD/台積電/SK 海力士/各雲端廠商季度財報中的 CapEx 及資料中心業務資料 |
| [Semianalysis] | Dylan Patel 團隊的 AI 算力產業深度分析(訂閱制) |
| [行業研究報告] | 各券商關於 AI 算力產業 |