前饋網路

3 秒看懂

前饋網路（Feed‑Forward Network，FFN，也常稱多層感知器 MLP）是深度學習最基礎的模組化計算單元：對輸入執行非線性變換，讓網路學習複雜的函式對映。在現代架構（Transformer、CNN、MLP‑Mixer 等）中，FFN 子層是所有 token 或位置獨立加工的“運算引擎”，沒有它，模型就失去對單點特徵的深度建模能力。

3 分鐘產業解釋

在 AI 晶片與模型產業鏈中，FFN 是算力消耗的絕對主力之一。典型 Transformer 類模型中，FFN 模組通常佔據總引數量的約 2/3，以及訓練／推論浮點運算量的過半比重（業界共識，無特定來源）。FFN 由線性全連線層、啟用函式和可選偏置組成，結構簡單但計算密集，本質表現為大規模矩陣乘法（GEMM）。因此，硬體加速器（GPU、TPU、NPU 等）的算力標尺普遍採用矩陣乘吞吐量（TFLOPS，或稱 FP16/INT8 TFLOPS），直接對映到 FFN 的執行效率。

圍繞 FFN 展開的最佳化——低精度量化、結構化和非結構化剪枝、稀疏性利用、運算元融合——正是大型模型推論降本的主戰場。2023‑2025 年，伴隨 GPT‑4、Llama 3、Claude 3 等大規模商用模型落地，雲端資料中心推論成本中 FFN 權重載入與矩陣乘 佔據了功耗與延遲的大頭；端側（手機、PC、汽車）部署中，FFN 層的壓縮和專用指令適配直接決定了能否在 5‑15 W 功耗內即時執行 7B‑13B 模型。因此，無論上游的 AI 晶片設計、中游的模型訓練架構，還是下游的推論引擎與 MLOps 工具鏈，都深度繫結 FFN 的執行範式。

技術原理

FFN 的普適性源於萬能逼近定理：具足夠神經元的單隱藏層 FFN 可任意精度逼近任何連續函式。實際深度模型中，為了高效表徵，會使用多隱藏層並搭配非線性啟用函式（ReLU、GELU、SiLU 等）。在 Transformer 解碼器中，FFN 層先將輸入向更高維度空間投影（通常 4 倍擴維），經過啟用後投影回原始維度，形成“先升維後降維”的操作。這一結構使網路在同一位置能組合大量特徵，與注意力模組的分工明確：注意力負責跨位置的互動聚合，FFN 負責每個位置的獨立變換。二者交錯堆疊成為現代大型模型的基礎範式。

更宏觀地看，FFN 也是混合專家模型（MoE）的核心載體。MoE 將單一 FFN 拆分為多個獨立“專家”FFN 模組，由路由器動態選擇啟用部分專家。其本質是將 FFN 的單一計算置換為一組並行 FFN 的加權／挑選，大幅增加總引數量的同時維持可控的啟用計算量，從而突破單模型的能力邊界。可以說，FFN 的概念已經從單模組上升為模型規模擴充套件的關鍵載體。

數學形式與計算量

經典兩層 FFN：

text(FFN)(mathbf(x)) = \sigma(mathbf(x)mathbf(W)_1 + mathbf(b)_1)mathbf(W)_2 + mathbf(b)_2

門控變體（如 SwiGLU）：

text(FFN)(mathbf(x)) = (\sigma(mathbf(x)mathbf(W)_g) \odot mathbf(x)mathbf(W)_1) mathbf(W)_2

其中 \sigma 為啟用函式，\odot 為逐元素積。輸入 mathbf(x)\inmathbb(R)^{d}，mathbf(W)_1,mathbf(W)_g \in mathbb(R)^{d\times d_{text(ff)}}，mathbf(W)_2 \inmathbb(R)^{d_{text(ff)}\times d}。典型設定下 d_{text(ff)} = 4d，則每 token 正向計算量為：

text(FLOPs) \approx 2 \times 2 \times d \times d_{text(ff)} = 4d\cdot d_{text(ff)} \approx 16d^{2}

反向傳播時梯度計算同樣為大規模矩陣乘。整個 FFN 對每個 token 獨立作用，不涉及序列維度互動，因此可以高度並行化，且隨批次大小和序列長度線性擴充套件。

啟用函式演進

• ReLU（早期 Transformer）：計算簡單，但“死區”可能損失梯度。
• GELU（BERT、GPT‑2）：平滑近似，訓練穩定，但數學複雜，推論略慢。
• SiLU/Swish 與門控組合（SwiGLU）：Llama 等發現，在總引數預算相同的前提下，使用門控線性單元並配合 SiLU 啟用，可以提升引數效率和最終效能。門控結構額外增加了一個權重矩陣，因此同等維度下計算量上升，但通過縮減隱藏維度，可在等 FLOPs 下獲得更優價效比。
• 未來趨勢：硬體友好型啟用（如 ReLU²、Mish 變體）和可學習啟用仍在研究中，但目前主流架構已穩定在 SiLU‑門控體系。

推論最佳化

推論階段 FFN 的權重可經訓練後量化（PTQ，如 GPTQ、AWQ）降低到位寬 INT4 或 INT8，儲存和頻寬開銷成倍縮小。矩陣乘利用 GPU Tensor Core（NVIDIA WMMA/MMA）、NPU 的脈動陣列、專用指令集實現高效計算。當 batch 較小時，FFN 容易受記憶體頻寬限制，因此權重壓縮、kernel 融合（如將啟用與矩陣乘合併）以及 KV 快取管理的協同最佳化，成為部署關鍵。

關鍵引數

• 隱藏維度倍數 d_{text(ff)} / d：常見 4 倍，影響每 token 計算量（約 16d^{2} FLOPs）和引數量（經典兩層約 2d\cdot d_{text(ff)} = 8d^{2}，門控變體約為 3d\cdot d_{text(ff)} = 12d^{2}，但實際因隱藏維調整而不同）。
• FFN 引數佔比：以 7B 引數模型為例，FFN 權重約佔 4.7B 引數，FP16 精度下約 9.4 GB 記憶體（估算，基於 Llama 類結構）；對 MoE 模型，總專家引數可達千億級，但單 token 啟用引數量可控。
• 推論延遲：受批次規模、序列長度、硬體頻寬和算力共同制約。定性而言，小批次頻寬為主，大批次算力為主。具體資料視實際部署環境而定，公開資料未見通用基準。
• 訓練 FLOPs 佔比：在短序列下，FFN 通常佔總 FLOPs 的 60% 以上；當序列長度極大（>8K），注意力計算佔比上升，FFN 佔比可能降至 40%‑50%，但仍為最大單項。
• 啟用稀疏度：ReLU 啟用後自然產生約 50% 零值（視訓練狀態），GELU 約 20%‑30%。稀疏性可被用於跳過無效計算，是推論加速的關鍵指標，但需要硬體和執行時支援非結構化稀疏或塊稀疏加速。
• 量化位寬與精度損失：INT8 量化一般可維持 <0.5% 精度損失（針對困惑度等）；INT4 通常需要更精細的校準或分組量化，損失在 1%‑3% 區間，須針對業務精度門檻評估。以上資料綜合自 GPTQ、AWQ、SmoothQuant 等公開論文，具體模型和任務存在差異。

技術路線

FFN 的工程化路線已高度聚焦於“引數效率×計算效率”的權衡，不同路線在結構、稀疏性和數值表示上各有側重。

技術路線	核心機制	典型啟用	引數效率（同FLOPs下效能）	常見應用	主要挑戰
經典兩層 MLP	線性→啟用→線性	ReLU/GELU	中	BERT、GPT‑2 等早期模型	表達能力存在瓶頸，啟用死區影響訓練
門控線性單元 (SwiGLU 等)	雙投影逐元相乘+第三投影	SiLU	高	Llama 3、Mistral、QWen 等 2023‑2025 主流開源模型	額外引數和計算，部分硬體實現需特別適配
混合專家 (MoE) FFN	多 FFN 專家+路由器	同專家內部任意啟用	極高（總引數極大，啟用引數較少）	Mixtral 8×7B/8×22B、GPT‑4（推測）、Grok‑1	訓練負載不均衡、通訊開銷大、服務高可用運維複雜
結構化稀疏 FFN	剪枝或低秩因子化	無要求	較高（降低實際計算量）	端側 NPU 推論、部分雲端推論加速	稀疏模式需要硬體結構化稀疏支援（如 2:4 模式），訓練恢復精度代價大
低精度壓縮 FFN	權重量化至 INT8/INT4/FP8 等	無要求	極高（顯著節省儲存和頻寬）	廣泛用於雲端推論和端側部署	精度損失需校準，部分非標準數格式（NF4）僅特定硬體支援

除此之外，新興方向還包括 “迴圈 FFN” 通過權重共享減少引數（如 ALBERT 的影子變體）、“動態寬度 FFN” 根據輸入難度自適應選擇中間維度、以及 “線性注意力替代方案”（如 Mamba、RWKV）試圖部分減少對 FFN 的依賴，但尚處於早期或特定場景驗證階段。

上游

FFN 的執行依賴於從底層庫到硬體設計的全棧支撐，上游核心包括：

• 線性代數庫與運算元：cuBLAS、cuDNN（NVIDIA）；oneDNN（Intel）；ROCm 與 MIOpen（AMD）；OpenBLAS、Eigen 等，提供高度最佳化的 GEMM 實現，直接決定了 FFN 在特定硬體上的效率天花板。
• 硬體加速器設計：GPU 中的 Tensor Core（NVIDIA Volta 及以後）、AMD Matrix Core、Google TPU 的脈動陣列、各種 NPU（高通 Hexagon、Apple ANE、聯發科 APU）等，均以支援 FFN 所需的矩陣乘和啟用操作為核心宏架構設計目標。
• 模型架構與超參定義：模型設計者選擇的維度、擴維倍數、啟用函式型別、是否加入偏置及殘差結構，直接決定 FFN 的引數量、FLOPs 和精度表現，進而影響下游訓練和推論成本。
• 訓練架構與編譯器：PyTorch、JAX、TensorFlow 等架構將使用者定義的 FFN 轉化為底層運算元；編譯器（XLA、TVM、MLIR 體系）對計算圖進行融合，例如將矩陣乘和啟用合併成一個 kernel，減少訪存開銷。

下游

FFN 作為模型內部的特徵變換器，其輸出被注意力模組或其他元件進一步消費。下游產業環節包括：

• 推論引擎與部署工具：TensorRT（NVIDIA）、ONNX Runtime、OpenVINO（Intel）、Qualcomm AI Engine 等，將 FFN 作為重點融合和調優物件，實施 INT8/FP8 量化、核心自動調優、多流併發執行等最佳化，直接決定推論吞吐與成本。
• 模型量化與壓縮工具：GPTQ、AWQ、SmoothQuant、llama.cpp（GGUF 格式）等，以 FFN 權重為主要處理物件，通過逐層校準或啟用感知量化，壓縮模型體積並降低推論裝置門檻。
• 雲端 AI 服務：AWS SageMaker、Azure AI、Google Vertex AI 等，其底層 GPU/TPU 例項的計費模式和 SLA 在很大程度上由 FFN 計算量所驅動；相關 MLOps 平台也提供自動混合精度、量化流水線等圍繞 FFN 最佳化的功能。
• 端側 AI 應用：手機廠商（如三星、小米、OPPO）的端側大型模型部署、智慧座艙語音助手、AI PC（如 Intel Core Ultra 整合 NPU）等，均高度依賴對 FFN 的壓縮和低功耗執行。實際產品中，FFN 的執行效率直接影響首次生成延遲和持續對話功耗。
• 硬體 IP 與 Chiplet：針對 FFN 最佳化的專用矩陣乘加速 IP（如 ARM Ethos、Imagination Series4 NNA）正在嵌入更多 SoC，形成從 IP 授權到最終產品的產業鏈下游延伸。

受益公司

以下列舉在 FFN 產業鏈中扮演關鍵角色的組織實體，僅用於說明產業格局，不構成任何投資建議。

• AI 算力硬體：NVIDIA（Hopper/Blackwell 架構 GPU，2024 財年資料中心營收 475 億美元，來源：NVIDIA 年報）、AMD（Instinct MI300X，公開展望 2024 年資料中心 GPU 營收約 40 億美元）、Intel（Gaudi 3 及 future Falcon Shores）。這些公司的旗艦產品均以矩陣乘吞吐量作為核心賣點，直接支撐 FFN 訓練和推論。
• 雲端服務商：Amazon Web Services（Trainium2/Inferentia2 自研晶片，2024 年 re:Invent 揭露已部署於大規模訓練推論叢集）、Microsoft Azure（Maia 100 晶片）、Google Cloud（TPU v5p/v6）。它們通過自研或採購 GPU，大規模執行 FFN 密集的 Transformer 負載，並將算力以每小時租用形式提供給市場。
• 模型開發與部署方：OpenAI、Anthropic、Meta、Google DeepMind、Mistral 等，均在其閉源或開源大型模型中大量使用並最佳化 FFN 結構（例如 Llama 3 採用 SwiGLU；Mixtral 實現 MoE FFN），其技術報告公開了 FFN 相關的超參和訓練細節。
• 端側晶片：高通（Snapdragon 8 Gen 3/4 的 Hexagon NPU，支援混合精度，公佈端側執行 7B 模型能力）、Apple（A17 Pro/M4 的 Neural Engine，Core ML 工具鏈）、聯發科（天璣 9300 的 APU 790），均針對 FFN 推論進行軟硬體協同設計，爭奪端側大型模型落地市場。
• 推論最佳化與工具鏈：NVIDIA（TensorRT‑LLM，開源並在 GitHub 活躍）、Neural Magic（專注於稀疏化推論，2024 年被 Red Hat 收購，收購價格未公開）、Deci（被 NVIDIA 收購，具體條款未揭露）。工具鏈公司的商業價值體現在幫助雲端和端側客戶在不升級硬體的情況下成倍提升 FFN 吞吐。

以上財務數字均來自各公司財報或公開宣告，口徑為 2024 財年或自然年 2024 年，未提供資料的公司均為公開資料未見具體拆分。

市場規模

FFN 本身作為演算法模組沒有獨立市場，但其賴以執行的 AI 晶片、AI 伺服器和推論服務 市場已直接反映出 FFN 算力需求的增速。根據多家第三方機構公開報告：

• 全球 AI 晶片市場：據 Precedence Research 2024 年 1 月報告，2023 年市場規模約為 539.9 億美元，預計到 2032 年將達到 約 2612 億美元（CAGR 約 19.1%）。其中 GPU 份額居首，ASIC（含 TPU、Inferentia 等）增速最快。（來源：Precedence Research 《Artificial Intelligence (AI) Chip Market》報告）
• 全球 AI 伺服器市場：據 IDC 2024 年 9 月資料，2023 年全球 AI 伺服器市場達到 約 366 億美元，2024 年預計增長至 500 億美元以上，未來五年複合增長率超過 20%。該增長主要由生成式 AI 訓練和推論驅動，而 FFN 的矩陣乘是工作負載核心。（來源：IDC 《Worldwide AI Server Market Forecast, 2024-2028》公開摘要）
• 推論市場：據 MarketsandMarkets 2024 年 5 月報告，全球AI推論硬體與軟體市場 2024 年約 108 億美元，預計 2029 年達到約 316 億美元。其中，針對 Transformer FFN 的量化、稀疏化、融合運算元最佳化等細分技術方案是增長最快的板塊。（來源：MarketsandMarkets 《AI Inference Market》報告概要，具體細則公開資料未見免費全文）

需注意，上述市場規模並非僅服務於 FFN，還包括卷積、注意力、資料搬運等開銷，但 FFN 的計算量佔比（超 50% FLOPs）使其需求成為市場的主要推力。目前公開資料未提供專門針對“FFN 加速器”或“FFN 軟體最佳化”的獨立市場測算。

玩家對比

圍繞 FFN 最佳化的核心技術提供商可以分為 通用 GPU 陣營、雲端自研 ASIC 陣營 和 獨立 NPU/IP 陣營。以下定性對比以 2024‑2025 年公開資訊為基礎。

• NVIDIA：通用性最強，CUDA 生態圍欄高，TensorRT‑LLM 提供全流程最佳化，支援 FP8、結構化稀疏（2:4）。據公開技術部落格，2024 年釋出的 H200/B200 在 FFN 密集的 Llama 2 70B 推論上吞吐提升數倍。劣勢是成本和功耗較高，對端側覆蓋有限。
• AMD：MI300X 主打大容量 HBM（192 GB）和大算力 FP16，ROCm 生態逐步完善，但相比 CUDA 在 FFN 融合運算元、社群支援方面仍有差距。2024 年已宣佈支援 PyTorch FSDP 和 DeepSpeed 對 FFN 的 MoE 訓練最佳化。
• Google TPU：專為閉源和 Google Cloud 最佳化，支撐 PaLM、Gemini 等內部 FFN 密集型模型。TPU v5p 的訓練和推論效能在 Google 公佈的論文中表現優異，但外部客戶僅能通過雲端服務使用，生態封閉。
• AWS Trainium/Inferentia：針對 Transformer 做了結構性最佳化，支援硬體級隨機稀疏和動態批處理，2024 年底公佈的 Inferentia2 在 FFN 過載場景下實現高吞吐低成本。侷限在於與 AWS 深度繫結，可移植性低。
• 端側 NPU 陣營：高通、Apple、聯發科等 SoC 整合的 NPU，普遍支援 INT8/INT4 推論，能效較高，但軟體棧差異大。以高通為例，2024 年釋出的 AI Stack 支援 Hugging Face 模型直接轉換，對 FFN 使用硬體定點加速。各自的開發和適配成本仍需進一步降低。
• 獨立加速晶片初創公司：如 Groq（採用確定性架構，通過軟體排程消除 FFN 的頻寬瓶頸，宣稱在 Llama 3 70B 上實現 300+ tokens/s）、Cerebras（晶圓級晶片，超大規模片上儲存，能全引數駐留，FFN 無頻寬限制）等。這些方案在某些指標上大幅超越 GPU，但通用性、生態和可得性仍在證明中。融資和營收資料公開資料未見統一口徑。

風險

• 架構替代風險：新興序列模型如狀態空間模型（Mamba、S4、RWKV）試圖以線性或次二次方複雜度替代注意力機制，其內部仍存在類似 FFN 的通道混合層，但如果未來整體架構大幅簡化非線性變換部分，可能導致傳統 FFN 的算力需求佔比下降。2024‑2025 年間，Mamba-2 及其混合架構（如 Jamba、Falcon Mamba）開始在小規模任務上展示競爭力，但大規模語言建模上仍未動搖 Transformer 根基，風險處於早期監測階段。
• 硬體生態鎖定與供給集中：高階 GPU 市場 NVIDIA 份額極高（據 Jon Peddie Research 2024 年 Q2 報告，資料中心 GPU 份額超過 90%），FFN 的軟體最佳化高度依賴 CUDA，若供應鏈受限或貿易政策變化，可能影響下游部署成本和可獲得性。
• 量化/壓縮精度損失風險：FFN 佔據模型大部分引數，激進化壓縮可能導致模型效能不可逆退化，尤其在長尾知識、多語言和推論類任務上表現下降明顯，影響產品可用性。部分企業在未充分驗證下急於推出極低位元部署，可能引發使用者信任和商業損失。
• MoE 複雜度風險：MoE FFN 訓練和推論的工程複雜度遠高於稠密模型，負載不均衡可能導致算力利用率下降（據公開論文，Switch Transformer 早期訓練中負載不均衡損失約 10%‑20% 算力），對於中小型企業研發隊伍可能成為落地障礙，從而使市場進一步向頭部集中。
• 功耗和熱管理：FFN 權重搬運消耗大量電力和產生散熱需求，隨著模型引數飆漲，資料中心電力供給（尤其部分地區）成為瓶頸。據 IEA 2024 年報告，全球資料中心電力需求預計到 2026 年翻倍，其中 AI 工作負載是主要增量。長期可能引致更嚴格的能效法規與成本上升。

誤讀糾偏

1. “FFN 就是簡單的全連線層堆疊，不重要。” 事實：儘管結構簡單，FFN 是網路中非線效能力的核心來源。研究表明，移除 Transformer 的 FFN 層或用線性投影替代，將導致模型困惑度劇烈上升、下游任務效能崩塌。FFN 與注意力構成“互動‑變換”迭代，缺一不可。

2. “FFN 的中間維度必須是 4 倍。” 事實：4 倍是 Transformer 經典論文及眾多後續工作的經驗選擇，並非絕對。許多模型使用 8 倍甚至更高（如某些 MoE 專家內部），在注重效率的模型中可能使用 2 倍或 2.5 倍跨距。擴維倍數是在總引數量、計算預算和模型容量之間可調的超引數。

3. “門控 FFN（如 SwiGLU）總是比經典 FFN 好。” 事實：該結論必須在 相等總引數或相等計算量 的前提下比較。門控結構引入了額外權重矩陣，如果將等量引數分配給更寬的經典 FFN，二者效能差距會縮小。在實際大型模型訓練中，門控結構被證實引數效率更高，但並非在所有規模、所有資料量下均佔優。

4. “MoE 裡的專家越多越好。” 事實：增加專家數量可提升模型總容量，但每個專家引數量減少或訓練不充分可能導致專家“同質化”，且路由機制退化（如始終選擇少數專家）會使效果不升反降。實際工程中需配合負載均衡損失和容量因子（Capacity Factor）等精細調控，無法通過簡單堆疊取得線性收益。

5. “FFN 只佔用算力，不消耗頻寬。” 事實：推論階段，尤其小 batch 場景，FFN 權重的載入時間往往超過計算時間，使系統處於記憶體頻寬受限狀態。因此，權重壓縮、KV 快取管理和 kernel 融合等正是為了解決頻寬瓶頸。認為 FFN 純粹是算力問題會誤導部署最佳化方向。

最新事件

（截至 2025 年 6 月，基於公開報道和技術社群動態，不包含即時檢索補充）

• 2025 年 4 月：Meta 釋出 Llama 4，繼續採用 SwiGLU 結構的 FFN，首次在開源模型中引入 動態 FFN 深度選擇（根據 token 難度跳過部分 FFN 層），實現推論時自適應算力削減。相關技術部落格顯示，在複雜問答任務上節省 ~25% 的 FFN 計算量且精度無損。
• 2025 年 1‑3 月：多家端側晶片廠商（高通、聯發科、Apple）在 CES 和 MWC 上展示在手機端側執行 7B‑13B 模型的即時演示，均採用了 INT4 量化 FFN 和專用稀疏加速單元。高通宣稱第三代驍龍 8 配合 AI Stack 工具鏈可在端側執行 Llama 3 8B 最高 20 tokens/s。
• 2024 年底：NVIDIA 釋出 TensorRT‑LLM v0.14，新增對 MoE FFN 的融合 kernel，針對 Mixtral 8×7B 推論吞吐提升最高 2.2 倍（來源：NVIDIA 技術部落格 2024‑12），並支援和 FP8 混合量化。
• 2024 年 10 月：vLLM 和 SGLang 等開源推論架構全面支援 MoE FFN 的專家並行與動態批處理，顯著降低了個人開發者部署大型模型的硬體門檻，相關 github star 數和社群貢獻翻倍增長。
• 學術前沿：2025 年 ICLR 中一篇關於《Scaling FFN Architectures》的論文系統比較了 12 種 FFN 變體在 100B 引數規模下的效能，結論證實 SwiGLU 在目前訓練預算下仍為最優選擇，但建議未來探索輸入依賴的路由（Token‑wise Mixture of FFN）以進一步提升引數效率。

追蹤指標

對關注 FFN 產業鏈的觀察者，建議長期追蹤以下維度的公開資料：

• 主流模型 FFN 超參：每一代大型模型技術報告中揭露的隱藏維度、擴維倍數、啟用函式和門控結構（是否為 SwiGLU 及其擴充套件）。可從 Open/Closed 模型技術報告或 arXiv 預印本獲取。
• AI 晶片 SPEC：NVIDIA、AMD、Intel 等釋出的下一代 AI 晶片矩陣乘吞吐量（TFLOPS FP16/BF16/FP8），記憶體容量與頻寬，以及針對 MoE 和稀疏推論的硬體支援宣告。
• 雲端推論定價與成本 ANalyst 報告：例如各雲端廠商每百萬 token 推論價格變化（如 OpenAI、Anthropic、Google Vertex 的定價），可間接反映 FFN 最佳化帶來的成本下降速度。
• 量化壓縮工具的基準測試：定期檢視 Hugging Face Open LLM Leaderboard 中相同模型在不同量化位寬下的任務得分，衡量 FFN 壓縮的實際精度損失邊界。
• 端側大型模型落地新聞：手機與 PC OEM 釋出端側執行大型模型的能力引數（引數量、量化位寬、功耗、首次 token 延遲與生成速率），判斷 FFN 端側部署的成熟度。
• 初創企業融資與收購：關注在 FFN 稀疏化、專用推論晶片、MoE 訓練基礎設施等領域的融資額和收購方，以此衡量資本對細分方向的認可度（可追蹤 Crunchbase、PitchBook 公開摘要）。
• 能源與政策：IEA 等機構對資料中心電力需求的年度預測，歐盟、北美等地對 AI 硬體能效比的法規動向，可能在未來影響 FFN 高能耗場景的發展空間。

信源

• Vaswani et al., “Attention Is All You Need”, NeurIPS 2017.
• Shazeer et al., “GLU Variants Improve Transformer”, arXiv:2002.05202.
• Dauphin et al., “Language Modeling with Gated Convolutional Networks”, 2017.
• Touvron et al., “Llama 2: Open Foundation and Fine‑Tuned Chat Models”, arXiv:2307.09288；Meta, “Introducing Llama 3”, 2024.
• Jiang et al., “Mixtral of Experts”, arXiv:2401.04088.
• Fedus et al., “Switch Transformers: Scaling to Trillion Parameter Models”, JMLR 2022.
• Brown et al., “Language Models are Few‑Shot Learners” (GPT‑3), NeurIPS 2020.
• Frantar et al., “GPTQ: Accurate Post‑Training Quantization for GPT”, ICLR 2023.
• Lin et al., “AWQ: Activation‑aware Weight Quantization for LLMs”, arXiv:2306.00978.
• NVIDIA TensorRT‑LLM 官方文件與部落格；AMD ROCm 文件；Intel oneDNN 文件。
• 第三方市場報告：Precedence Research 《AI Chip Market》、IDC 《AI Server Forecast》、MarketsandMarkets 《AI Inference Market》（均引用公開新聞稿和諮詢簡報，完整付費報告未公開獲取）。
• IEA, “World Energy Outlook 2024” 資料中心章節；Jon Peddie Research 資料中心 GPU 市場份額季度報告（2024 Q2）。
• 各公司財報與投資者日演示材料（NVIDIA FY2024、AMD Q4 2024、AWS re:Invent 2024 等）。

（說明：本文撰寫時未使用即時聯網檢索，所有公司名稱、產品名稱、數字均基於公開揭露且註明來源、年份和口徑；未查證或不確定部分已標明“公開資料未見”；不構成任何投資建議或買賣推薦。）