訓練晶片

1. 3 秒看懂

訓練晶片是專為深度學習訓練階段設計的硬體加速器，核心任務是讓千億甚至萬億引數模型在儘可能短的時間、可控的成本內完成反覆迭代。它與推論晶片的根本區別在於必須支撐反向傳播與高精度梯度更新，因此對浮點算力、視訊記憶體頻寬與容量、多芯高速互連提出了極端苛刻的要求。

2. 3 分鐘產業解釋

在深度學習工作流中，“訓練”是在海量資料上反覆調整神經網路權重的過程，包含前向計算、損失計算、反向傳播和權重更新。這要求硬體同時具備：

• 高吞吐矩陣計算：處理大規模張量乘加運算，通常以每秒浮點運算次數（TFLOPS/PFLOPS）衡量。
• 龐大的近存子系統：模型引數、梯度、最佳化器狀態和中間啟用必須全部駐留在靠近計算單元的高速記憶體中，頻繁讀寫，對容量和頻寬要求遠超通用計算。
• 極致的橫向擴充套件：單顆晶片的算力和記憶體遠不夠用，需數千乃至數萬顆晶片協同工作，這對片上與片間互連的頻寬、延時以及分散式訓練軟體棧的並行效率構成巨大挑戰。

因此，訓練晶片的設計、製造與部署是整個AI產業鏈中技術壁壘最厚的環節，直接決定了一個機構訓練前沿大型模型的能力上限。當前全球訓練晶片市場呈現高度集中、供給緊缺、技術迭代極快的特徵，並深度綁定製程工藝、HBM（高頻寬儲存器）和先進封裝產能。

3. 技術原理

深度學習的訓練過程是一個通過梯度下降求解最佳化問題的迭代過程。訓練晶片的架構即圍繞這個計算圖展開。

1. 核心計算模式
訓練任務中，超過90%的浮點運算集中於全連線層和卷積層的矩陣乘法（GEMM）以及注意力機制的大矩陣乘法。因此，現代訓練晶片的計算架構本質上是一個GEMM加速引擎——無論GPU的張量核心（Tensor Core），還是Google TPU的脈動陣列，都是為高效執行 A \times B + C 而設計。

2. 混合精度訓練機制
為提升吞吐並節省記憶體，業界普遍採用自動混合精度訓練。前向和反向傳播使用速度更快的低精度格式（如BF16/FP16），但同步維護一份FP32權重主副本以保證數值穩定性。梯度計算完成後，低精度梯度被轉換為FP32，用於更新主副本權重。NVIDIA自A100起在Tensor Core中引入對TF32、BF16、FP8的硬體支援，Google TPU v5p則在BF16和INT8之外加入對FP8的原生支援，這些均為混合精度訓練提供了關鍵硬體支撐（來源：NVIDIA A100白皮書、Google Cloud TPU文件）。

3. 分散式訓練的通訊模型
大規模訓練必須依靠多種並行策略的組合：

• 資料並行：每張卡持有完整模型副本，切分資料。反向傳播後，所有卡上的梯度需通過AllReduce進行全域性平均，對多卡互連頻寬有持續高需求。
• 張量並行：將單層內的權重矩陣切分到多卡平行計算，中間啟用需要即時在卡間交換，通常涉及AllReduce/ReduceScatter操作，對頻寬和延遲極其敏感，一般都部署在高速域內互連（如NVLink）上。
• 流水線並行：按層將模型切分成多個階段放在不同卡上，資料像流水線一樣傳遞。啟用與梯度通過點對點傳輸，相對張量並行的通訊量較小，但負載均衡和氣泡問題需要精細排程。
• 專家混合（MoE）並行：路由機制決定每個token僅啟用部分專家，引發非規則的All-to-All通訊，對互連的全域性頻寬和低延遲提出額外挑戰（DeepSpeed-MoE, 2022）。

4. 儲存與計算的平衡
訓練面臨嚴重的“儲存牆”：以千億引數模型為例，僅BF16引數就佔約200GB，加上梯度、動量、方差等最佳化器狀態（如Adam所需）以及中間啟用，總記憶體需求輕鬆超過1TB。為緩解記憶體壓力，常採用啟用重計算（Checkpointing），拋掉部分中間啟用，在反向傳播時從上一個檢查點快速重算，本質是以計算換記憶體。NVIDIA A100的80GB HBM2e與H100的80GB HBM3正是在這一約束下連續提升容量，而H200進一步將容量推至141GB HBM3e，以容納更大型模型或更多啟用（來源：NVIDIA官網）。

5. 通訊計算的協同
在實際叢集中，計算卡之間還需通過節點間網路（如InfiniBand NDR400、乙太網路RoCEv2）傳輸聚合後的梯度。AllReduce環狀演算法將梯度分塊後，沿環逐步匯聚，最終每張卡獲得完整累加結果。通訊與計算的重疊程度、集合通訊庫（如NCCL、RCCL）的效率，直接決定大規模縮放時的額外開銷。

4. 關鍵引數

評價訓練晶片不能單看紙面算力，需從多個維度綜合衡量。

• 峰值算力（Peak Throughput）
  以特定精度（BF16/FP8/FP16）下的理論每秒浮點運算次數表示，是“紙面速度”上限。例：NVIDIA H100 SXM標稱BF16 Tensor Core算力為1979 TFLOPS（來源：NVIDIA 2023官方規格）。實際負載中持續利用率通常遠低於此。

• 記憶體頻寬（Memory Bandwidth）與容量
  決定資料能多快送入計算核心，以及能容下多大型模型與資料。H100 SXM配備80GB HBM3，頻寬3.35 TB/s；H200增至141GB HBM3e，頻寬4.8 TB/s（來源：NVIDIA 2023）。AMD MI300X則以192GB HBM3、5.3 TB/s的頻寬吸引大型模型訓練客戶（來源：AMD 2023）。

• 互連頻寬
  片間高速鏈路的單鏈路頻寬×鏈路數量決定域內擴充套件效率。NVIDIA NVLink 4.0提供900 GB/s的GPU間雙向頻寬，NVSwitch可實現伺服器內所有GPU全互聯。域間則主要依賴InfiniBand或乙太網路，單埠400/800 Gbps逐步普及（來源：NVIDIA NVLink白皮書）。

• 實際訓練效能（Real-world Performance）
  用代表性模型（如GPT-3 175B）測量每步耗時或每秒處理token數。MLPerf Training基準測試提供了不同廠商平台在固定任務上的可比成績。例如，MLPerf Training 3.1結果中，NVIDIA H100叢集在GPT-3 175B任務上大幅領先上一代A100（來源：MLCommons 2023）。此類測試更能反映系統級能力。

• 線性擴充套件效率（Scaling Efficiency）
  當GPU數量成倍增加時，實際訓練速度的提升比例。在千卡甚至萬卡規模下，通常難以維持理想的線性加速，通訊開銷和負載不均衡是主因。當前頭部叢集在GPT-3級別模型上可實現的擴充套件效率約在85%–95%之間（來源：Meta OPT-175B技術報告、NVIDIA NeMo Megatron架構公開資訊）。

• 軟體生態效率
  架構相容性、編譯器最佳化、運算元庫覆蓋率最終體現為硬體對計算圖的執行效率。CUDA生態的成熟度使得NVIDIA GPU的實際利用率可達50%–70%；而部分自研ASIC由於軟體棧尚不完善，利用率可能不足30%，這直接影響TCO（總擁有成本）模型。

*注：以上具體數值來自各公司官方公佈的產品規格或MLCommons公開結果，未標明來源處為行業定性共識。

5. 技術路線

當前訓練晶片存在多條技術路線，各有側重。

路線	架構特點	程式設計靈活性	能效比（定性）	生態成熟度	典型場景
GPU（通用GPU）	眾核+張量核心，高頻寬記憶體子系統，強大片間互連	高（CUDA/ROCm）	中	極高	通用訓練、科研、雲端上大規模訓練
DSA/TPU類	脈動陣列或專用資料流，緊耦合編譯棧	低（繫結特定架構/編譯器）	高	廠商鎖定，自成體系	超大規模內部訓練，追求極致TCO，如Google TPU、Amazon Trainium
FPGA	可程式設計邏輯閘陣列，硬體可重配置	低（需硬體程式設計）	中高（特定任務）	低	演算法原型驗證、低延遲定製訓練（極少用於主訓練）
存內計算/新型架構	在儲存器內直接執行計算，減少資料搬運	極低（定製）	潛在極高	極低	學術研究，面臨精度、容量與製程挑戰

GPU路線之所以主導市場，不僅因其硬體迭代快，更因CUDA生態積累了超過300萬開發者和數百個預訓練模型，形成深厚的護城河。NVIDIA Hopper架構（H100/H200）支援Transformer Engine，在FP8精度下實現效能再提升。

DSA/TPU類的極致最佳化帶來效率優勢。Google TPU v5p的BF16峰值算力達459 TFLOPS（單晶片），並通過光電路交換器（OCS）實現靈活拓撲，可建置4096顆TPU的Pod（來源：Google Cloud 2023）。Amazon Trainium2則主打價效比和與AWS Neuron SDK的深度整合，標稱單晶片BF16算力約830 TFLOPS（來源：AWS re:Invent 2023）。

初創路線的挑戰在於同時跨越硬體設計、HBM供給、先進封裝和軟體生態四大門檻。公開資料顯示，多數創業公司聚焦稀疏訓練、存算一體等細分創新，尚未在大型模型主訓練叢集中形成規模替代。

6. 上游

訓練晶片的上游涵蓋設計工具、核心IP、製造與封裝、儲存等多個高壁壘環節。

• 設計IP與EDA
  高速SerDes、HBM PHY、PCIe/CXL控制器、片間互連IP（如NVIDIA NVLink授權或自研）等決定晶片的互聯能力。EDA工具供應商Synopsys、Cadence提供關鍵的設計驗證和2.5D/3D封裝設計支援（來源：公司官網）。

• 製造與封裝

  • 邏輯製程：訓練晶片計算核心需要最先進製程以提升能效。2023–2024年，NVIDIA H100/B200、AMD MI300X、Intel Gaudi 3均採用或計劃採用台積電4nm/5nm類工藝（來源：台積電技術研討會公開資訊）。自研ASIC如Google TPU v5p同樣依賴台積電先進製程。
  • 先進封裝：整合邏輯核心與HBM的2.5D封裝（如台積電CoWoS-S/R/L、英特爾EMIB）成為產能瓶頸。據台積電2023年Q3法說會，CoWoS產能持續擴增，但2024年仍供不應求。
  • HBM：當前HBM3/HBM3e主要由SK海力士和三星供應，美光亦在追趕。據TrendForce（2024年Q1）資料，SK海力士佔據HBM市場約50%份額，三星約40%，美光約10%。HBM的產能和熱效能直接限制訓練晶片的出貨與規格。

• 互連與網路裝置
  節點間網路依賴高速交換器、光模組、DAC/ACC線纜。InfiniBand市場由NVIDIA Mellanox主導；乙太網路側，博通、Marvell提供800G交換器晶片，光模組主力供應商包括中際旭創、Coherent等（來源：LightCounting 2024報告）。

• 功率與散熱
  單顆訓練晶片的熱設計功耗（TDP）從A100的400W升至H100的700W，GB200甚至超1000W（來源：NVIDIA）。液冷方案（直接晶片液冷或浸沒式）從可選項變為大規模叢集的標配，帶動冷板、CDU、快接頭等上游產業鏈。

7. 下游

訓練晶片的下游客戶高度集中，以超大規模雲端服務商、頭部AI實驗室和國家超算中心為主。

• 雲端運算服務商
  亞馬遜AWS、微軟Azure、Google雲端、甲骨文雲端等通過購買訓練晶片建置訓練叢集，以“訓練即服務”（Training as a Service）的方式提供給廣大企業客戶。據Omdia 2023年估算，微軟和Meta是NVIDIA H100的最大買家之一，分別採購超過15萬塊（來源：Omdia 2023；具體數字系估算區間，未獲公司直接確認）。Google雖大量使用自研TPU，但也在部分雲端場景採購外部GPU。

• 前沿AI實驗室與大型科技公司
  OpenAI、Anthropic、Meta、xAI、DeepMind等專注於前沿模型訓練的機構，通常直接大規模部署訓練晶片。Meta於2022年上線的AI Research SuperCluster（RSC）內含6080塊NVIDIA A100（來源：Meta 2022年部落格），其2024年公佈的兩座24000塊H100叢集更顯示了超萬卡整合的決心。

• 國家/超算中心
  各個國家的新一代超級計算機普遍搭載訓練晶片用於科學計算和AI。例如，美國的Frontier使用AMD Instinct MI250X，歐洲的LUMI同樣基於AMD GPU。日本ABCI 3.0計劃採用NVIDIA GPU。這些中心驅動部分訓練需求，同時作為技術驗證平台。

• 二線雲端與企業私域部署
  金融、電信、醫療等領域的企業開始自建小型訓練叢集用於垂直模型微調。但規模遠小於頭部雲端廠商，採購議價能力較弱，更多通過伺服器OEM（如Dell、Supermicro、浪潮資訊）獲取。

8. 受益公司

訓練晶片的需求擴張直接拉動了從晶片設計、儲存到封裝測試等多個環節的公司業績。以下列出各環節典型受益主體及公開資料（註明資料來源與年份，無法獲取者註明“公開資料未見”）。

• 晶片設計與銷售

  • NVIDIA：資料中心業務營收FY2024（截至2024年1月）達475億美元，年增率增長217%。其中絕大部分來自訓練和推論GPU（來源：NVIDIA FY2024年報）。
  • AMD：資料中心GPU營收2024年Q1約4億美元，全年展望上調至逾40億美元，主要受Instinct MI300X訓練和推論需求驅動（來源：AMD 2024Q1財報電話會）。
  • 自研ASIC服務商：博通為Google TPU提供ASIC設計服務，據分析師估算，2023財年AI相關定製晶片營收約佔其半導體營收的10%–15%（來源：Mizuho Securities 2023年研究報告）。Marvell則參與Amazon Trainium等定製專案。

• HBM供應商
  SK海力士率先量產HBM3e，並在2024年3月開始向NVIDIA供貨；三星電子HBM3通過NVIDIA認證並預計2024年Q2量產HBM3e；美光HBM3e也進入送樣階段（來源：公司官方新聞稿）。HBM的高單價令儲存廠營收結構大幅改善，以SK海力士為例，2023年Q4 DRAM業務營業獲利轉正，HBM貢獻顯著（來源：SK海力士2023Q4財報）。

• 封裝與測試
  台積電的CoWoS封裝產能是訓練晶片供給的關鍵瓶頸。據台積電2024年Q1法說會，2024年CoWoS產能將年增率翻倍以上，仍無法完全滿足需求。日月光、安靠等在先進封裝上亦在積極擴產，承擔部分外包封裝需求。聯發科、GUC（創意電子）等提供封裝設計服務。

• 網路裝置
  訓練叢集對800G光模組和高頻寬交換器的需求急速膨脹。據LightCounting預測，2024年800G光模組出貨量將超過1000萬隻，主要由AI叢集驅動（來源：LightCounting 2024年1月報告）。NVIDIA Mellanox InfiniBand交換器/網絡卡繼續在該領域維持主導。

• 伺服器/系統整合
  工業富聯、廣達、Supermicro等成為AI伺服器的主要組裝商，直接受益於訓練晶片出貨增加。據TrendForce 2024年1月新聞稿，2024年全球AI伺服器出貨量預計年增率增長約40%，其中訓練伺服器佔比較高。

*注：以上涉及營收預測或外部估算資料均來自已公開的研究報告或公司展望，不構成任何投資或交易建議。

9. 市場規模

訓練晶片市場處於高速擴張期，各機構口徑略有差異，但均指向爆發式增長。

• GPU及AI加速器總體市場：據IDC 2023年12月釋出的報告，2023年全球AI加速器市場（含訓練和推論）約450億美元，預期到2027年超過1500億美元，年複合增長率約35%。其中訓練市場佔據相當比例。
• 專用於訓練的晶片銷售額：由於多數訓練晶片同時可用於推論，嚴格區分訓練和推論的市場規模較難統計。據Omdia 2023年的估算，僅NVIDIA的資料中心GPU中，訓練相關銷售額佔比約60%–70%（來源：Omdia 2023報告）。據此推算，2023年NVIDIA訓練相關營收約300億美元。加上AMD、自研ASIC等，全球訓練晶片市場2023年總額約350億–400億美元（估算口徑）。
• 台積電先進封裝產能對映：台積電2023年CoWoS產能約為每月1.2萬片12英寸等效晶圓，2024年預計擴至2.5萬片以上（來源：台積電2023Q4法說會、供應鏈媒體Digitimes報道）。每片晶圓可切割的訓練晶片數量取決於晶片面積，大致可推算訓練晶片的年出貨量在數百萬顆級別。
• 中國訓練晶片市場：受出口管制影響，中國本土訓練晶片市場正經歷替代加速。據IDC中國2024年報告，2024年中國AI晶片市場（含訓練和推論）預計規模約85億美元，其中訓練晶片佔比約40%，華為昇騰、寒武紀、海光資訊等為主要供應方（來源：IDC中國 2024Q1 AI晶片追蹤報告，具體數字為綜合多方推估，官方精確值公開資料未見）。

公開資料未見全球訓練晶片市場單一權威性年銷售額統計，各方資料可能存在重複計算和口徑差異，以上數字僅作參考。

10. 玩家對比

訓練晶片的主要參與者可分為三大陣營：GPU雙雄、自研ASIC巨頭、以及中國本土與新銳創企。

（1）NVIDIA – 訓練生態的基石

• 代表產品：H100、H200、B200（Blackwell）。
• 架構優勢：第四代Tensor Core支援FP8 Transformer Engine，NVLink 4.0加上NVSwitch實現高頻寬域內互聯，InfiniBand Networking端到端掌控。
• 生態壁壘：CUDA、cuDNN、NCCL、NeMo Megatron架構形成完整閉環，MLPerf Training持續霸榜。
• 市場地位：據Mercury Research 2024Q1報告，在資料中心獨立GPU領域，NVIDIA市佔率約92%–95%（出貨量與銷售額口徑均主導，來源：Mercury Research 2024年5月）。

（2）AMD – 開放路線的追趕者

• 代表產品：Instinct MI300X。
• 架構特點：基於CDNA 3架構，記憶體容量和頻寬大幅領先同期NVIDIA產品（192GB HBM3，5.3TB/s）。
• 生態策略：以開源ROCm軟體棧對抗CUDA，PyTorch對ROCm的支援已較成熟，但運算元覆蓋率和最佳化深度仍遜於CUDA。
• 市場進展：2024年AMD預計資料中心GPU營收超40億美元，與Microsoft、Meta等頭部客戶深度合作，逐步進入大規模訓練叢集（來源：AMD 2024Q1財報電話會）。

（3）自研ASIC陣營

• Google TPU：已迭代至v5p，單晶片BF16算力459 TFLOPS，4096顆TPU v5p的Pod可提供超百EFLOPS算力，專為內部Gemini模型和Cloud TPU服務最佳化，不對外售賣晶片（來源：Google Cloud 2023）。
• Amazon Trainium2：標稱BF16算力約830 TFLOPS，32顆晶片組成Trainium2伺服器，與AWS Neuron SDK深度整合，主打大型模型訓練的價效比並減少對NVIDIA依賴（來源：AWS re:Invent 2023）。
• Meta MTIA：第一代僅用於推論，2024年公開的下一代MTIA據說將支援訓練，但具體架構和規模尚未揭露（來源：Meta 2024年工程部落格，無詳細規格）。
• 微軟Maia：2023年釋出的Maia 100專為Azure OpenAI等內部訓練和推論工作負載打造，由台積電5nm工藝製造，微軟計劃2024年內部部署（來源：Microsoft Ignite 2023）。

（4）中國本土與新興創企

• 華為昇騰：Atlas 900叢集基於昇騰910系列，已用於國內多個大型模型訓練，被列為部分國產化替代方案。受制程限制，910B的BF16算力約為NVIDIA A100的80%左右（來源：科大訊飛等公開揭露的可行替代性描述，無官方直接對比資料）。
• 寒武紀：思元系列（MLU）針對訓練和推論，但在大型模型訓練叢集中的部署規模公開資料未見詳細資料。
• 其他創企：Cerebras、Graphcore、SambaNova等通過晶圓級整合或特定資料流架構尋求差異化，但在主流大型模型訓練中的市佔率極低，多用於個性化場景和概念驗證。

*注：市佔率與算力數字均源自上文標註的第三方報告或公司官方，僅用於客觀比較，不代表任何投資建議。

11. 風險

訓練晶片產業面臨多重結構性風險。

• 供應鏈集中度過高
  先進製程幾乎完全依賴台積電，HBM供應集中在SK海力士和三星，先進封裝產能同樣被少數廠商把持。任何地緣衝突、自然災害或產能規劃失誤都可能導致全行業供給中斷。

• 記憶體與功耗牆
  模型引數增長遠超晶片記憶體提升速度，HBM容量與頻寬幾乎是線性提升，但模型所需記憶體呈超線性增長。同時，單晶片TDP突破1000W後，供電和散熱挑戰陡增，可能觸及資料中心基礎設施極限。

• 軟體生態鎖定與遷移成本
  CUDA生態形成強烈的路徑依賴，企業若轉投其他硬體，需承擔運算元移植、除錯、效能調優等大量工程成本。這使新進入者即便硬體引數佔優，也難以短時間贏得客戶。

• 出口管制與地緣政治
  美國對高階訓練晶片和製造裝置的出口管制持續加碼，不僅影響中國客戶獲取最先進晶片，也迫使中國加速自研替代，引發全球訓練晶片市場分裂為“兩個平行市場”的風險。這可能導致重複投資和生態碎片化。

• 泡沫與需求波動
  當前訓練晶片需求有相當部分來自對AGI（通用人工智慧）前景的長期押注和資本支出驅動，若大型模型商業變現速度不及預期，雲端廠商可能削減資本支出，導致訓練晶片訂單快速下滑。

• 技術路線押注風險
  若未來出現顛覆性的訓練演算法（如前向-前向訓練、梯度無關最佳化等），大幅降低對反向傳播和高精度矩陣乘法的依賴，現有訓練晶片的架構優勢可能被削弱。

12. 誤讀糾偏

• 誤讀1：“推論晶片可以當訓練晶片用，反之亦然。”
  糾偏：訓練晶片必須支撐完整的反向圖傳播和高精度狀態累積，其記憶體子系統設計、算力精度支援遠高於典型的推論晶片。用推論晶片強行做訓練，或者用訓練晶片做輕量推論，都會導致嚴重的價效比和能效錯配。少數晶片（如NVIDIA H100）設計上兼具訓練和推論能力，但這是通過在同一架構下為不同任務最佳化，並非表示所有訓練與推論晶片可以簡單互換。

• 誤讀2：“模型引數規模的單位位元組數就是訓練所需記憶體。”
  糾偏：混合精度訓練中，記憶體除存放參數外，還要同時容納梯度、最佳化器狀態（如Adam的動量與方差），通常為引數體積的3–4倍，再加上中間啟用。千億引數模型往往需要TB級記憶體，遠非模型檔案200GB可以覆蓋。僅因為能把模型塞進視訊記憶體，不代表能夠順利進行甚至高效完成訓練。

• 誤讀3：“峰值算力越高，訓練一定越快。”
  糾偏：實際訓練吞吐受限於記憶體頻寬、通訊頻寬和軟體效率。許多自稱高算力的加速器由於記憶體頻寬不足或運算元生態不完善，在實際負載中利用率極低，最終訓練速度遠不如理論值。評估時應優先看MLPerf等基準成績而非標稱TFLOPS。

• 誤讀4：“自研訓練晶片一定能降低整體成本。”
  糾偏：自研ASIC的NRE（一次性工程費用）、軟體棧開發和維護成本極高，僅有在其訓練規模足夠大、能夠攤薄前期投入時，TCO才可能優於採購通用GPU。對於年訓練需求不足數萬卡規模的廠商，自研經濟性存疑。

13. 最新事件

（本節所述事件時間截至2024年Q2，來源為公開新聞報道和公司官方公告。）

• NVIDIA Blackwell平台釋出（2024年3月GTC）：全新Blackwell架構B200 GPU配備192GB HBM3e，NVLink 5.0頻寬達1.8TB/s，並推出72顆GPU組成的GB200 NVL72機架級系統，旨在將萬億引數模型的訓練和推論推向新階段（來源：NVIDIA新聞室）。
• AMD MI300X大規模部署（2024年）：微軟Azure首批MI300X例項上線，用於GPT-4級別模型的推論和部分訓練；Meta也宣佈將MI300X用於大型模型推論和部分訓練負載（來源：AMD 2024Q1財報電話會、Microsoft Azure部落格）。
• 台積電CoWoS產能持續告急（2024年Q1）：台積電總裁魏哲家在法說會上表示，儘管2024年CoWoS產能較2023年倍增，仍無法滿足客戶需求，部分訂單排至2025年，並持續在龍潭、竹南、中科等地擴產（來源：台積電2024年1月法說會記錄）。
• 美國更新出口管制（2023年10月及後續調整）：美國商務部工業安全域性（BIS）進一步限制高效能訓練晶片出口至中國，涉及總處理效能（TPP）和效能密度閾值。NVIDIA特供版H20等效能大幅縮減。這加速了華為昇騰等替代方案在國內的部署。
• Google TPU v5p上線（2023年12月）：通過Google Cloud向外部提供，支援高達4096晶片的Pod，主打大型模型訓練和科學計算，被認為是NVIDIA H100的強力替代（來源：Google Cloud部落格）。
• 特大叢集成為常態：Meta於2024年3月宣佈正訓練Llama 3，使用兩個各含24,576塊H100的叢集；xAI的Colossus叢集據稱已部署10萬塊H100（來源：Elon Musk X平台言論，規模未完全證實）。
• CXL與記憶體池化進行中：部分廠商嘗試用CXL（Compute Express Link）記憶體擴充套件卡擴大訓練可見的容量，但當前延遲和頻寬限制使其僅適用於冷資料解除安裝，尚不能根本解決記憶體牆。

14. 追蹤指標

要持續洞察訓練晶片產業動態，應定期追蹤以下公開指標和資料來源。

指標類別	具體指標	常見來源
晶片供應商經營資料	NVIDIA資料中心季度營收、AMD資料中心GPU營收、博通/美滿AI相關訂單金額	公司季度財報、電話會記錄
HBM與儲存	HBM合約價漲幅、季度出貨量、主要供應商產能計劃	TrendForce、DRAMeXchange、公司財報
先進封裝	台積電CoWoS月產能及擴產進度、外包OSAT業績	台積電法說會、Digitimes、供應鏈媒體報道
雲端廠商資本支出	AWS、Azure、Google雲端、Meta的資本支出展望	公司季度財報、電話會
科技巨頭採購	主流GPU出貨估計、海關資料、Omdia/IHS等報告	Omdia、IDC、臺灣產業鏈調研筆記
軟體生態	ROCm/PyTorch對非NVIDIA硬體的覆蓋度和效能更新、MLPerf Training最新成績	GitHub倉庫、MLCommons官網
地緣政治	美國商務部BIS出口管制實體清單和引數閾值更新	美國聯邦公報、BIS網站
前沿模型規模	公佈的最大密集模型引數量、訓練所用GPU時（如“訓練耗時xxx H100-天”）	科技公司技術報告、論文

*注：以上所有具體數字在文章中均未直接預測，只是說明資訊獲取渠道。

15. 信源

為撰寫本文所參考的關鍵資料與常用資訊源梳理如下，均以公開可獲取為原則，不包含付費終端獨有資料。

• NVIDIA：官方技術白皮書（Ampere、Hopper、Blackwell）、GTC主題演講幻燈片、季度財報、部落格。
• AMD：Instinct MI300X技術資料、ROCm文件、季度財報。
• Google Cloud：TPU系統架構論文（ISCA 2017等）、Cloud TPU使用者指南、官方部落格。
• AWS：Trainium/Inferentia相關技術文件和re:Invent主題演講。
• Meta：AI硬體和叢集建設工程部落格。
• MLCommons：MLPerf Training基準測試結果。
• 第三方市場研究機構：Omdia（雲端和AI基礎設施）、IDC（全球AI加速器追蹤）、TrendForce（儲存與封裝）、Mercury Research（GPU出貨）、LightCounting（光模組）。
• 學術與系統會議：MLSys、NeurIPS（系統方向）、ISCA、HPCA、SC。
• 關鍵論文：Attention Is All You Need、Megatron-LM系列、ZeRO最佳化器系列、DeepSpeed-MoE、Efficient Large-Scale Language Model Training on GPU Clusters（NVIDIA NeMo Megatron論文）。
• 公司官方揭露：台積電、SK海力士、三星電子、Intel等季報與法說會紀要。
• 法規機關：美國聯邦公報（BIS出口管制規則）。

*由於訓練晶片產業變化極快，所有市場資料和公司業績建議查詢最新一期官方財報或權威第三方最新報告。本文撰寫時以2024年Q2為時間節點綜述，具體數字請以原始來源為準。