PFLOPS

3秒看懂

PFLOPS (PetaFLOPS) 是浮點運算速度的單位，全稱 Peta Floating-point Operations Per Second，即每秒能執行 10¹⁵（一千萬億）次浮點運算。 1 PFLOPS = 1 000 TFLOPS = 1 000 000 GFLOPS。當前頂級的 AI 訓練晶片單顆已可提供數 PFLOPS 的算力，大型智算叢集的算力則以數百、數千 PFLOPS（即 EFLOPS 級別）計量。如果把 1 PFLOPS 換算成日常裝置，大約相當於 20 000~30 000 臺主流筆記型電腦的算力加總。在 AI 語境下，PFLOPS 已不只是工程資料，它反映的是訓練大型模型所需的生產能力、資本密度和技術代差。

3分鐘產業解釋

在人工智慧產業鏈中，算力是燃料，大型模型是引擎，而 PFLOPS 正是計量燃料供應能力的核心標尺。

• 入場券門檻：訓練 GPT-4、Gemini Ultra 等十萬億引數級模型，通常需要消耗總計算量達 數千億 PFLOPS·小時（數十 EFLOPS·天）級別。據 Epoch AI 估算，GPT-4 訓練總計算量約為 2.15 × 10²⁵ FLOPs，等效於約 25 000 塊 A100 GPU 執行 90~100 天。不具備數百 PFLOPS 有效訓練算力的叢集，幾乎無法參與頂級大型模型的競賽。
• 資本密集的象徵：一個由數萬張高階 GPU 組成、總算力達數十 EFLOPS 的叢集，其 硬體採購成本往往高達數十億美元，且還需要配套製冷、供電、網路等基礎設施。因此，企業揭露的 PFLOPS/EFLOPS 建設規模，直接反映其在 AI 領域的資本支出力度與戰略決心。
• 硬體迭代的標尺：2022 年釋出的 NVIDIA H100 GPU 在 FP8 稀疏模式下可提供約 3.96 PFLOPS 的峰值算力，使單晶片正式邁入 PFLOPS 紀元；2024 年釋出的 B200 GPU 則通過 FP4 進一步將單晶片算力拉昇至最高約 10 PFLOPS。單晶片 PFLOPS 的提升速度，直接表徵著半導體工藝、架構設計和儲存頻寬的綜合突破。

核心認知：談論 PFLOPS，本質是在談論 一種戰略性生產能力、一個沉重的資本門檻，以及一輪仍在加速的技術迭代。誰擁有能效更優、可彈性擴充套件的 PFLOPS 叢集，誰就在基礎模型的競賽中佔據主動。

技術原理

1. 浮點運算與 FLOPS

FLOPS 衡量的是計算機每秒鐘執行的浮點乘、加、乘加等運算次數。一次“乘加運算”（MAC）通常被計為兩次浮點運算（一次乘法、一次加法）。 對於 AI 負載，張量（矩陣）運算佔主導，算力密度極高，因而 FLOPS 成為比一般指令吞吐量（IPS）更直接的效能指標。

2. 晶片理論峰值 PFLOPS 計算

晶片峰值FLOPS ≈ 計算單元數 × 每單元每週期運算次數 × 時脈頻率

以典型的 AI 加速器（含 Tensor Core）為例：

• 計算單元數：指 GPU 中的流式多處理器（SM）數量或專用 AI 引擎（NPU/TPU）的矩陣乘法陣列數。
• 每週期運算次數：由硬體架構決定。NVIDIA Tensor Core 在一個時鐘週期內可完成 4×4×4 矩陣乘加，相當於 128 次浮點運算；新一代架構通過結構化稀疏可將有效運算量再翻倍。
• 時脈頻率：受工藝、功耗限制，通常為 1 GHz~2 GHz 級別。

最終標稱的峰值 PFLOPS 是在 最高吞吐精度（如 FP8、INT8 或 FP4）下，啟用所有硬體特性（如稀疏）後計算的理論值，短期內極少能在真實負載中達到。

3. 精度與算力倍率

同一晶片在不同浮點/整數精度下的理論峰值差異巨大，以 NVIDIA H100 SXM 為例（來源：NVIDIA H100 白皮書，2022）：

• FP32（單精度）：約 67 TFLOPS
• FP16/BF16：約 989 TFLOPS（約 0.99 PFLOPS）
• FP8（密集）：約 1 979 TFLOPS（約 1.98 PFLOPS）
• FP8（啟用稀疏）：約 3 958 TFLOPS（≈ 3.96 PFLOPS）

可見，精度每降低一級（如從 FP16→FP8），理論算力幾乎翻倍。2024 年釋出的 NVIDIA B200 進一步支援 FP4，將單晶片峰值推至約 10 PFLOPS（來源：NVIDIA 2024 GTC 主題演講）。

4. 系統級有效算力與 Roofline 模型

叢集有效 PFLOPS = Σ（單節點峰值 PFLOPS）× 叢集利用率（MFU）

• MFU（Model FLOPs Utilization）：訓練或推論實際計算量佔硬體理論最大計算量的比例。在大規模語言模型訓練中，MFU 通常在 35%~60%（來源：NVIDIA Megatron-LM 論文，2020；MosaicML 技術報告，2023）。
• 限制 MFU 的主要瓶頸包括：記憶體頻寬牆（HBM 吞吐不足導致計算單元空轉）、通訊牆（節點間 AllReduce/All-to-All 延時）、排程損耗（流水線氣泡、負載不均）等。
• Roofline 模型可直觀刻畫：應用的實際效能受制於計算峰值（水平線）和頻寬瓶頸（斜線），最優效能取決於負載的計算密度能否突破拐點。

因此，系統 PFLOPS ≠ 堆砌晶片 PFLOPS，必須結合互聯架構、儲存層次和軟體棧綜合評價。

關鍵引數

• 理論峰值 PFLOPS ：晶片或叢集在理想精度、最大時鐘、滿佔計算單元條件下的極限運算吞吐。評估時須嚴格對標使用精度，不可直接跨精度相加。
• 有效 PFLOPS / MFU ：實際任務中持續輸出的計算吞吐。例如，訓練一個 175B GPT 模型，若叢集峰值 1 000 PFLOPS（FP16）、MFU＝45%，則有效算力僅 450 PFLOPS。
• 能效比（FLOPS/Watt） ：PFLOPS/MW 或 TFLOPS/W。NVIDIA H100 SXM（TDP 700 W）在 FP8 密集模式下峰值能效比約 2.8 TFLOPS/W；B200 通過架構改進將能效比進一步提升，但整體叢集還需計入網路、冷卻等外圍功耗。
• 記憶體頻寬與容量 ：HBM3/HBM3e 的堆疊位寬與速率決定單片 GPU 的可用頻寬。例如 H100 提供約 3.35 TB/s（HBM3），AMD MI300X 提供約 5.3 TB/s（HBM3），更高的頻寬對視運算密度的訓練任務提升 MFU 至關重要。
• 互聯頻寬與拓撲 ：節點內 NVLink、節點間 InfiniBand/RoCE 的頻寬和延遲決定了分散式訓練的可擴充套件性。以 NVIDIA DGX 叢集為例，每個 GPU 到網路的頻寬需與計算吞吐匹配，以免通訊成為瓶頸。
• 每美元算力（TFLOPS/$） ：用於衡量採購與運營的經濟效率。受晶片定價、部署規模、電力費用等影響。雲端服務商常按“每 EFLOPS·月的總成本”來評估自建與租用方案。

技術路線

以下對比基於廠商公開白皮書及行業廣泛引用的供應鏈估算，實際效能因散熱、配置、軟體最佳化存在差異。表中精度均已標明，FP8/FP4 等多為當前最具商業競爭力的精度。

晶片 / 加速器型號	釋出/出貨年份	核心工藝	代表性精度下的峰值算力	記憶體頻寬 (典型)	片間互聯	應用場景
NVIDIA H100 SXM	2022	定製 4N	FP8 稀疏：~3.96 PFLOPS (¹)	~3.35 TB/s HBM3	NVLink 4.0 + NVSwitch	大型模型訓練/推論
NVIDIA B200	2024 (釋出)	定製 4NP？(²)	FP4：最高約 10 PFLOPS (³)	~8 TB/s HBM3e	NVLink 5.0 + NVSwitch	下一代訓練、萬億引數推論
AMD MI300X	2023 末	5nm/6nm	FP8：~2.6 PFLOPS；FP16：~1.3 PFLOPS (⁴)	~5.3 TB/s HBM3	Infinity Fabric	大型模型訓練/推論、HPC
Intel Gaudi 3	2024 (釋出)	5nm	BF16：約 1.8 PFLOPS；FP8：1.8 PFLOPS (⁵)	~3.7 TB/s HBM2e	片上 RoCE 整合	訓練、推論
Google TPU v5p	2023	未公開	BF16：~459 TFLOPS (⁶)	未公開	ICI 互聯	雲端上大型模型訓練
華為昇騰 910B	2024（量產）	先進工藝	FP16：~320 TFLOPS (⁷，供應鏈估算)	~400 GB/s HBM2e	HCCS 互聯	國產訓練/推論

注： ¹ NVIDIA H100 白皮書，2022；稀疏為 2:4 結構化稀疏。 ² 工藝資訊 NVIDIA 尚未揭露完全。 ³ NVIDIA GTC 2024 主題演講，FP4 數值；FP8/FP16 未完整公開。 ⁴ AMD CDNA 3 架構白皮書，2023。 ⁵ Intel Habana Gaudi 3 釋出資料，2024 年 4 月。 ⁶ Google Cloud TPU v5p 釋出部落格，2023 年 12 月。 ⁷ 供應鏈調研及公開行業分析，2023‑2024。

當前技術路線呈現三大趨勢：精度下探（FP8→FP4，算力倍增）、儲存升級（HBM3→HBM3e 頻寬大幅提升）、互聯封閉化（NVIDIA NVLink/NVSwitch 逐步形成全棧私有高速互聯，AMD 和 Intel 分別推出開放標準的 UALink 等方案，但生態仍待完善）。

上游

AI 算力產業鏈的上游聚焦於 硬體基礎設施的零部件與製造，是決定 PFLOPS 供給能力的關鍵瓶頸環節。

• AI 晶片設計：NVIDIA、AMD、Intel、華為海思、Google（TPU 自研）、亞馬遜（Trainium/Inferentia）等。晶片的架構 IP（如輝達 Tensor Core、ARM 指令集）、EDA 工具（Cadence、Synopsys）亦屬上游核心。
• 先進製程與製造：台積電（CoWoS 先進封裝、3nm/4nm 製程）、三星（4nm）等。2024 年臺積電 CoWoS 月產能已擴至約 35 000 片（來源：台積電 2Q24 法說會展望），但 AI 晶片訂單仍使產能持續緊缺。
• HBM 記憶體：SK 海力士（HBM3/HBM3e 主力供應商）、三星、美光。2024 年 HBM3e 已量產供貨 NVIDIA B200 等平台，產能擴張決定高階 GPU 出貨上限。
• 網路互聯器件：高速交換器（Arista、Cisco、NVIDIA Spectrum/Quantum）、光模組/光引擎（中際旭創、Coherent、Finisar）、DAC/AEC 銅纜聯結器、交換器晶片（Broadcom、Marvell）等。一個萬卡叢集對 400G/800G 光模組的需求可達數十萬只。
• 製冷與供電：液冷/浸沒式液冷方案（CoolIT、Vertiv）、高密電源模組、UPS 等。晶片 TDP 突破 1 000 W（如 B200 NVL 方案），迫使資料中心採用液冷，帶動上游熱管理需求。

這些上游環節的產能擴張節奏、技術良率和地緣風險，直接決定全球 PFLOPS 的供給曲線。

下游

下游涵蓋 算力整合、應用消費和軟體生態，將上游的“裸算力”轉化為可使用的 AI 生產力。

• 伺服器 OEM/ODM：Dell、HPE、浪潮資訊、聯想、Supermicro、廣達、富士康等，將晶片、記憶體、網路整合至伺服器節點，交付定製化液冷整機櫃。
• 雲端運算廠商：亞馬遜 AWS、微軟 Azure、Google GCP、阿里雲端、騰訊雲端、華為雲端等，既是算力的最大采購方，也是向下遊客戶出售 PFLOPS 服務的平台。雲端廠商內部大量採用自研加速器（AWS Trainium、Google TPU）以降低外部 GPU 依賴。
• 大型模型研發與 AI 應用：OpenAI、Anthropic、Meta、字節跳動、百度、商湯等，是 PFLOPS 的最終消費者。其模型規模、訓練頻次和推論流量，決定了下游算力需求的增速能維持多久。
• AI 架構與編譯軟體棧：PyTorch、JAX、TensorFlow，以及 NVIDIA CUDA、AMD ROCm、華為昇騰 MindSpore/Ascend 等。軟體生態的質量直接影響 MFU 和新硬體的遷移成本。
• 中介軟體與最佳化工具：NVIDIA TensorRT-LLM、vLLM、DeepSpeed、Megatron-LM、Ray 等，致力於提高 PFLOPS 利用效率、壓縮推論成本。

下游環節的景氣度與上游的供給能力形成相互強化關係：下游應用爆發 → 雲端廠商追加資本支出 → 進一步拉昇上游訂單 → 產能緊張推高 PFLOPS 的單位成本 → 下游廠商加速自研以控制成本。

受益公司

以下僅基於產業鏈位置與公開資訊揭露，不代表任何投資建議，不構成買賣判斷。

• 算力晶片與系統：NVIDIA（AI 訓練/推論 GPU 市佔率超 80%，據 Omdia 2023 年 AI 處理器追蹤）、AMD（MI300 系列出貨量提升）、Intel（Gaudi 3 及未來 Falcon Shores）、博通（定製 ASIC 與網路晶片）、Marvell（定製 XPU 與交換晶片）；華為昇騰（國產替代核心）。
• 晶圓代工與封裝：台積電（手握絕大多數 AI 晶片先進製程及 CoWoS 封裝訂單）、日月光、安靠等，產能利用率與 ASP 同步上行。
• HBM 供應商：SK 海力士（2024 年 HBM3e 市場主導地位，據集團財報及 TrendForce 報道）、三星、美光，HBM 已成為限制 GPU 出貨的關鍵部件。
• 伺服器與液冷：Supermicro、Dell、浪潮資訊等 AI 伺服器訂單快速增長；液冷方案和 CDU 供應商受益於高功耗叢集部署。
• 網路裝置與光模組：NVIDIA（Spectrum/Quantum 交換器）、Arista、中際旭創（800G 光模組核心供應商，2024 年出貨量大幅放量，據公司投資者交流）等。
• 雲端服務廠商：微軟 Azure、亞馬遜 AWS、Google雲端等，因 AI 算力租賃營收大幅增加；大規模的資本支出亦加深其與上游繫結。

產業鏈受益方向隨技術代際更迭而動態變化，但整體呈現“晶片→儲存→網路→整合→雲端服務”的輪動特徵。

市場規模

• 全球 AI 晶片市場：據 Gartner 2024 年第二季度統計，2023 年全球 AI 處理器（含 GPU、CPU、ASIC、FPGA）銷售營收約為 534 億美元，2024 年預計達到 671 億美元，年增率增長約 25.7%（來源：Gartner Forecast Analysis: AI Semiconductors, Worldwide, 2024）。其中，資料中心 AI 加速器是增長最快的子市場。
• AI 伺服器：IDC 2024 年《Worldwide AI Server Tracker》預測，2024 年全球 AI 伺服器市場規模將超過 500 億美元，至 2027 年複合年增長率（CAGR）約 20%~25%，主要由 GPU 伺服器和自研 ASIC 伺服器推動。
• 雲端運算算力開支：三大北美雲端廠商（Amazon、Microsoft、Alphabet）2024 年合計資本支出展望超過 1 700 億美元（來源：各公司 2024 Q1 財報電話會），其中大部分投向 AI 基礎設施，包括 GPU 叢集、網路和資料中心，這直接反映在 PFLOPS 級算力採購上。
• HBM 市場：TrendForce 2024 年 3 月資料顯示，2024 年 HBM 銷售額佔整體 DRAM 市場的比重將從 2023 年的約 5% 躍升至 10% 以上，容量與頻寬的升級構成 PFLOPS 增長的物理約束。

以上資料均對應全球市場，口徑為晶片/系統銷售額或雲端資本支出，年份標明為 2023 或 2024 指導值。中國市場的細分資料因缺乏權威第三方報告公開，此處不予推算，僅能引用趨勢判斷。

玩家對比

選取目前商業可及的 AI 訓練/推論加速平台，從算力、生態、產能、開放性四個維度進行定性對比。

NVIDIA

• 算力：B200 FP4 約 10 PFLOPS，H100 FP8 稀疏約 3.96 PFLOPS；配套 NVLink 5/NVSwitch 提供超 1.8 TB/s 總頻寬。
• 生態：CUDA 生態粘性極高，PyTorch 等架構深度最佳化；TensorRT-LLM 大幅壓縮推論成本。
• 產能與供應：受台積電 CoWoS 和 HBM3e 約束，H100/B200 交付週期長，但份額絕對領先（據 Omdia 2023 AI 加速器市場營收份額約 80%）。

AMD

• 算力：MI300X FP8 約 2.6 PFLOPS，HBM3 頻寬 5.3 TB/s，容量 192 GB，在推論吞吐上表現優秀。
• 生態：ROCm 持續追趕，對 PyTorch/JAX 支援逐步成熟；但部分最佳化仍落後於 CUDA，企業級適配成本較高。
• 產能與供應：同樣受先進封裝限制，但憑藉台積電分配的部分產能，2024 年目標上調 AI 晶片營收展望至 35 億美元（來源：AMD 1Q24 業績會）。

Intel

• 算力：Gaudi 3 BF16 約 1.8 PFLOPS，整合 24 個 200 GbE 網路埠，針對橫向擴充套件的 HPC/訓練場景最佳化。
• 生態：提供 OneAPI 和 Habana 軟體棧，力圖建置開放的跨架構生態；但第三方模型適配尚不及 NVIDIA 廣泛。
• 產能與供應：自用 Intel 代工或台積電，HBM2e 供應相對充裕，但在雲端巨頭中的採納率仍待提升。

自研 ASIC 陣營（Google TPU、AWS Trainium、微軟 Maia 等）

• 算力：TPU v5p BF16 ~459 TFLOPS（單晶片），但通過 ICI 互聯可線性擴充套件至數萬晶片。Trainium2 預計 FP8 約 0.5 PFLOPS。
• 生態：專有架構（JAX/TensorFlow，AWS Neuron SDK），不與第三方直接競爭。
• 產能與供應：自研自用，不對外銷售，產能完全服務於自家雲端需求。其大規模部署正侵蝕部分 GPU 份額。

國產 GPU/NPU（華為昇騰 910B 等）

• 算力：FP16 峰值約 320 TFLOPS，多卡互聯效能依賴 HCCS，大叢集效率隨軟體棧最佳化逐步提升。
• 生態：MindSpore 和 Ascend 軟體棧日趨完善，支援 PyTorch 適配；但運算元覆蓋度和分散式訓練穩定性尚不及國際主流方案。
• 產能與供應：基於國內先進製造能力，但在產能規模、良率方面未公開揭露。

綜合而言，當前 算力巔峰依然由 NVIDIA 定義，但第二梯隊（AMD、Intel）和垂直自研力量正在縮小生態差距；國產方案在特定區域內建置自主可控的 PFLOPS 叢集，成本與規模資料公開資料有限。

風險

• 地緣政治與出口管制：美國 BIS 對高階 AI 晶片、半導體裝置的出口限制持續加碼（2022 年 10 月、2023 年 10 月、2024 年 3 月多次修訂規則），直接影響 GPU 和先進製程的跨境流動，可能扭曲全球 PFLOPS 供給格局。
• 產能集中風險：先進製程（<5nm）和 CoWoS/LSI 封裝高度集中於台積電，HBM 生產集中於 SK 海力士和三星。任何一家工廠的地震、停電或地緣事件均可能導致 AI 晶片交付大幅延遲。
• 需求斷檔或泡沫風險：若未來大型模型訓練回報遞減，或推論需求增長不及預期，鉅額的算力資本支出可能轉化為沉沒成本，造成 PFLOPS 供給過剩和價格戰。
• 能效與電網瓶頸：單個超大規模叢集功率可達 100 MW 以上，2024‑2025 年已出現多起因電力供應不足而推遲資料中心部署的案例。若電網擴容速度跟不上，將壓低叢集可投運的 PFLOPS 上限。
• 技術路徑更迭：若未來出現顛覆性的非馮·諾依曼計算範式（如存內計算、光學計算），現有 GPU 堆疊路線建置的 PFLOPS 叢集可能面臨資產減值風險。
• 軟體生態分裂：CUDA 的鎖定效應與多種替代架構並存，導致部分硬體即便有高理論 PFLOPS，也因軟體適配不足而利用率極低，產生“紙面算力”風險。

誤讀糾偏

1. 誤讀：峰值 PFLOPS = 實際可用的有效算力。 糾偏：峰值 PFLOPS 是按最高吞吐精度、滿計算單元、零通訊損耗計算的實驗室上限。大型模型訓練中，受記憶體頻寬、AllReduce 通訊、流水線氣泡等影響，有效算力利用率（MFU）往往只有 35%~60%。評估平台必須看實際負載下的“有效 PFLOPS”，而非宣傳頁上的峰值。

2. 誤讀：叢集 PFLOPS 越大，效能就一定越好。 糾偏：叢集效能是系統工程結果。一個由低頻寬網路連線、未做拓撲最佳化的萬卡叢集，可能因通訊擁塞而等效吞吐還不如一個高度最佳化的千卡叢集。擴充套件效率（實際 PFLOPS / 線性擴充套件期望值） 比絕對規模更有意義。

3. 誤讀：不加精度說明，直接比較不同晶片的 PFLOPS。 糾偏：同一晶片 FP32/FP16/FP8/FP4 算力可能相差數倍。例如 H100 FP32 僅 67 TFLOPS，FP8 稀疏卻達 3.96 PFLOPS。比較時必須指明精度，否則無異於用“美元”和“日元”直接比價。

4. 誤讀：人工智慧只需要訓練算力，推論算力不重要。 糾偏：隨著模型部署規模膨脹，推論成本已佔 AI 總算力消耗的相當比重。Meta 2024 年直言推論是“大規模算力投資中最具回報的部分”（來源：Meta 1Q24 財報電話會）。推論階段更看重低延遲、高吞吐與低功耗，單晶片 PFLOPS 數值可能不是最優評判指標。

5. 誤讀：PetaFLOPs 和 PetaOps 是一個概念。 糾偏：FLOPS 特指浮點運算，OPS 泛指所有型別運算（含整數、邏輯）。在 AI 加速器中，整數單元（用於量化推論）的 OPS 可能遠高於浮點 FLOPS，混淆二者會扭曲硬體能力對比。

最新事件

• 2024‑03 NVIDIA Blackwell 平台亮相：釋出 B200 GPU，宣稱 FP4 算力最高 10 PFLOPS，