Token/s
3 秒看懂
Token/s (Tokens per Second) 是衡量大語言模型（LLM）處理速度的核心吞吐量指標，表示模型每秒能夠生成或預先計算語義單元的數量。在技術實現中，一個 token 不等同於一個完整單詞——英文通常被分割為子詞單元（如“playing”拆為“play”+“ing”），中文大致對應一個字或片語。每秒生成的 token 數越多，意味著聊天機器人響應越快、雲端 API 單次呼叫耗時越短、訓練同等規模模型所需的總機時越少。在產業實踐中，該指標已經從單純的技術引數演變為衡量“智慧算力產出效率”的商業標尺，直接影響雲端服務的定價策略、毛利率結構和客戶獲取成本。
3 分鐘產業解釋
在大型模型全生命週期中，Token/s 在兩個核心階段扮演著截然不同但同等重要的角色：
推論側（Inference）：使用者在使用對話機器人、程式碼補全工具或 AI 搜尋時，所感知的“響應速度”直接由 token 生成速率決定。雲端廠商的 API 商業化定價普遍採用“按每百萬 token 計費”模式（如 OpenAI GPT-4o 在 2024 年 8 月的標準定價為輸入 $2.50/百萬 token、輸出 $10.00/百萬 token），因此，在相同硬體投入下實現更高的 Token/s，意味著單臺 GPU 伺服器可同時服務更多併發請求，直接攤薄單位算力成本，拉高服務毛利率。據部分上市雲端廠商 2023 年年報揭露，模型推論服務的毛利率能否突破 50%，很大程度上取決於推論架構對吞吐的最佳化程度。
訓練側（Training）：訓練一個千億乃至萬億引數的基礎模型需要遍歷數萬億至數十萬億 token 的預訓練資料。以 Meta 公開的 LLaMA 3 系列為例，其 405B 引數版本在約 15 萬億 token 上訓練（來源：Meta AI 2024 年 7 月技術報告），單卡或單叢集達到的 Token/s 直接決定總訓練週期是數月還是跨年，進而影響研發迭代節奏、電力消耗和總擁有成本（TCO）。行業普遍認知是：若訓練吞吐量無法達到特定閾值，大規模模型訓練在經濟上不可行。
該指標的瓶頸受制於硬體記憶體頻寬、模型架構的稀疏程度、推論架構對 KV 快取的管理效率以及量化壓縮技術水平等多重因素。2024 年以來，隨著數百億引數模型從“實驗品”走向“生產系統”，產業界已形成共識：Token/s 最佳化不再是錦上添花的工程細節，而是判定大型模型商業閉環能否成立的硬性約束。
技術原理
Token/s 的測量必須在“預填充”和“逐 token 生成”兩個階段分別考量，因兩者對硬體資源的消耗模式截然不同。如果混為一談，極易造成基準資料的失真與誤讀。
-
預填充階段（Prompt Processing / Prefill）：使用者輸入的完整 prompt 被一次性編碼為矩陣，由 GPU 大規模平行計算。此階段計算密度高，GPU 的 Tensor Cores 接近滿載，吞吐量可達數千甚至數萬 Token/s。該階段耗時決定了TTFT（Time to First Token），是使用者感受到的“首字延遲”。
-
自迴歸解碼階段（Token Generation / Decode）：模型逐 token 生成輸出序列，每生成一個新 token 都必須讀取當前全部的 KV 快取和模型權重。此階段的特點是計算密度低、訪存需求高，主要受制於 HBM（高頻寬記憶體）的頻寬，而非 GPU 的峰值 FLOPS。單卡在 decode 階段的典型吞吐量通常在幾十到數百 Token/s（依模型尺寸、量化等級、batch size 而異）。該階段耗時構成 TPOT（Time per Output Token） 的主體，其倒數即為使用者感知的“生成速度”。
產業鏈在進行效能對比時，通常採用標準化測試（固定 prompt 長度、固定輸出 token 數、設定併發路數）以保證可比性，但各大廠商在技術營銷中自行揭露的“Token/s 峰值”，往往是在極小 batch size、極短輸出、甚至不包含完整預填充環節的理想條件下測得，與生產環境的持續高負載表現存在顯著差距。
推論自迴歸迴圈（核心瓶頸示意）
┌──────────────────────────────────────────┐
│ 輸入 prompt → 預填充（計算密集） │
│ → 產生初始 KV 快取 │
│ 吞吐：數千~數萬 Token/s │
└──────────────────┬───────────────────────┘
▼
┌────────────────────┐
│ 逐個生成 token │◄─── 此階段耗時佔端到端延遲的 80%+
└────────┬───────────┘
│ 讀取“全部”KV 快取 + 當前 token 表徵
▼
記憶體頻寬 → 成為絕對瓶頸解碼階段吞吐量的定性估算：
生成 Token/s ≈ (有效記憶體頻寬 / (模型引數量 × 每引數位元組數)) × 批處理因子
其中：Transformer 架構每生成一個 token，主要需要將模型權重從 HBM 搬運至計算核心（權重 I/O 佔主導），KV 快取讀取量為次要項。因此，單卡的 HBM 頻寬（如 NVIDIA H100 SXM 為 3.35 TB/s，H200 為 4.8 TB/s，來源：NVIDIA 官方規格表）直接限定了單 token 生成延遲的下限；通過量化技術將 FP16（每引數 2 位元組）降至 INT4（每引數 0.5 位元組），可近似線性地提升吞吐；批處理因子（batch size）則通過並行處理多路請求，在頻寬瓶頸內提升總 Token/s 產出，但單請求延遲會有輕度上浮。連續批處理（continuous batching）等排程演算法可在不顯著損害延遲的前提下逼近硬體頻寬極限。
當前主流最佳化架構的核心思路殊途同歸：一是削減單次生成的記憶體訪問量（FlashAttention-3 通過非同步塊計算隱藏訪存延遲），二是通過動態批處理壓榨頻寬利用率，三是採用 SRAM 或近存計算架構的專用加速器從根本上壓縮資料搬運路徑。
關鍵引數
理解和比較 Token/s 時需關注的引數維度（以下資料口徑均需標註測試環境）：
| 引數指標 | 定義 | 典型量級 / 說明 | 來源 / 備註 |
|---|---|---|---|
| 單卡生成 Token/s (Decode Throughput per GPU) | 單張加速卡在 decode 階段的 token 產出速率 | LLaMA 2 70B (FP16) 單卡約 15-25 token/s；INT4 量化後可達 40-60+ token/s | 典型 vLLM/TensorRT-LLM 社群測試，非廠商保證值 |
| 系統總 Token/s (System Throughput) | 一個服務叢集的總產出能力 | 千卡叢集可達數十萬至百萬 Token/s | 取決於節點數、網路拓撲、負載均衡策略 |
| TTFT (Time to First Token) | 請求發出到首個 token 出現的時間 | 一般要求 < 200ms（即時互動）；< 2s（批次處理） | 影響使用者“思考時間”感知 |
| TPOT (Time per Output Token) | 生成階段每個 token 的平均耗時 | 通常 10-50ms/token（decode 階段） | TPOT 的倒數即生成 Token/s |
| 請求級延遲 P50/P99 | 高併發下請求完成的百分比延遲 | P99 若明顯劣於 P50，表明存在排隊或長尾問題 | 雲端 SLA 常以 P99 為服務指標 |
| 價效比 (Token/s per Dollar) | 含硬體折舊、能耗、機櫃的綜合效率 | 尚無行業統一口徑，需自行 TCO 建模 | 公開資料未見權威基準 |
技術路線
當前提升 Token/s 的主要技術路線可歸納為四大方向，它們在模型精度、硬體相容性和規模擴充套件性之間存在顯性權衡：
| 技術路線 | 代表性方法 / 架構 | 對 Token/s 的提升作用（定性估算） | 主要代價 / 限制 | 當前成熟度 |
|---|---|---|---|---|
| 權重量化 | GPTQ, AWQ, GGUF (llama.cpp), bitsandbytes | INT4/INT8 可較 FP16 提升 2-4 倍生成吞吐 | 極低位元量化（<4bit）可能引發評估基準分下降 | 成熟，已廣泛部署於生產環境 |
| 注意力層最佳化 | FlashAttention-2/3 (Dao Lab), FlexAttention (PyTorch) | 減少 HBM 讀寫，約 1.5-2.5 倍加速 decode | 需特定 GPU 架構（Ampere 以上）；對非標準位置編碼支援有額外工程工作量 | 標配，大多數架構已整合 |
| KV 快取管理 + 批處理 | vLLM PagedAttention, SGLang, LMDeploy | 高併發下總吞吐可提升數倍 | 實現複雜，某些自定義模型需適配；動態批處理對排程器要求高 | vLLM 已成長為生產級主流方案 |
| 專用硬體架構 | Groq LPU (SRAM), Cerebras CS-3 (晶圓級), SambaNova RDU | 特定模型可達超高 Token/s（Groq 在 LLaMA 2 70B 公開展示達 240+ token/s/使用者，來源：Groq 2024 年公開演示） | 硬體鎖定特定模型結構，靈活性和可擴充套件性有待驗證；生態遠未及 CUDA 完善 | 早期商業化，主要面向 low-latency 即時場景 |
路線選擇的一般規律：雲端廠商傾向於從成熟的 GPU 推論架構（TensorRT-LLM + vLLM）起步，以保證模型相容性和運維可控性；追求極致低延遲的獨立廠商開始評估專用晶片方案；企業私有化部署則更多采用量化加開源架構（如 llama.cpp + Ollama）以降低門檻。
上游
Token/s 能力的建置依賴一個精密的“硬體-基礎軟體-演算法”上游供應鏈：
- 加速器晶片：NVIDIA 的 H100/H200/B200 系列 GPU 仍佔據當前高階推論市場的主導份額。據 Mercury Research 與第三方估算（2024 年 Q1 資料），NVIDIA 在資料中心 AI 加速器的出貨量份額超過 80%。AMD Instinct MI300X、Intel Gaudi 3 正在積極追趕。專用推論架構（Groq LPU、Cerebras WSE-3）在極低延遲細分賽道構成差異化補充。
- 高頻寬記憶體（HBM）：SK 海力士、三星、美光為三大 HBM 供應商。HBM3E（頻寬可達 1.2 TB/s 單堆疊）的產能是當前推論硬體交付週期的核心瓶頸。據 TrendForce 2024 年 5 月記憶體產業報告，HBM 位元需求 2024 年全年增長近 200%，且 2025 年仍將保持供不應求。
- 高速互聯：NVLink（NVIDIA 私有）、PCIe 6.0/7.0、以及超乙太網路聯盟（Ultra Ethernet Consortium）定義的開放互聯，決定了多卡、多節點擴充套件時推論系統的總 Token/s 線性度。
- 基礎軟體與編譯器：PyTorch 2.x 的
torch.compile、OpenAI 開源的 Triton 語言和 MLIR 編譯基礎設施建置了最佳化運算元庫的基礎。 - tokenizer 演算法庫：位元組對編碼（BPE, OpenAI tiktoken）、SentencePiece（Google）、HuggingFace tokenizers 等決定了文本到 token 的拆分方式。由於不同模型採用不同的 tokenizer，相同英文文本會產生不同數量的 token，在對比不同 API 的“每 token 價格”時，必須統一到“每千字元成本”的口徑上。
下游
Token/s 直接對映到下游產品與服務的三大維度：
- 大型模型 API 服務的 QPS 上限與定價策略：OpenAI API、Anthropic Claude、Google Gemini 及國內一眾廠商均以每百萬 token 定價。更高的系統 Token/s 意味著能以更低的延遲服務更多併發請求，同一套餐下可承諾的速率限制（Rate Limit）更高，構成產品體驗的直接門檻。
- 即時互動類應用：AI 搜尋引擎（Perplexity）、AI 程式設計助手（GitHub Copilot, Cursor）、同聲傳譯工具對 TTFT 和 TPOT 極度敏感。據公開資料，使用者能無明顯負面感受的互動延遲閾值大約為 200-300ms TTFT + 30ms/token 的 TPOT，超過此閾值使用者流失率顯著上升。
- 批次非即時處理：資料標註、合成數據生成（Synthetic Data Generation）、報告摘要等場景，更多關注吞吐總量與每百萬 token 成本，對單請求延遲容忍度相對較高，是專用推論晶片和量化方案發揮成本優勢的關鍵市場。
受益公司
以下分類列舉在 Token/s 產業鏈中佔據競爭優勢的公司（所有資訊均源自公開資料與公司公告，無任何主觀推薦或價值判斷）：
算力基礎設施層
- NVIDIA (NVDA)：依託 H100/H200/B200 硬體迭代與 TensorRT-LLM 軟體棧，在高階推論市場的份額與生態鎖定效應令後來者難以短期打破。
- AMD (AMD)：MI300X 的 HBM 容量優勢（192GB）使其在容納大型模型（如 70B 引數 FP16 完整載入單卡）方面具備差異化。截至 2024 年 Q2，AMD 已上調資料中心 GPU 年度營收展望至 45 億美元以上（來源：AMD 2024 年 Q1 財報電話會）。
- SK 海力士 (000660.KS)：作為 HBM3/HBM3E 的主要供應商，其產能直接牽動全球推論硬體供給節奏。2024 年 Q1 財報顯示，HBM 佔其 DRAM 營收比重已接近 20%。
專用晶片與架構
- Groq：未上市。以 SRAM 替代 HBM 的 LPU 架構在多輪公開演示中實現了數百 Token/s 的低延遲生成，2024 年完成 6.4 億美元新一輪融資（來源：TechCrunch 2024 年 8 月報道）。
- Cerebras Systems：未上市。晶圓級引擎（WSE-3）單晶片具備 44GB 片上 SRAM，天然適合大批次推論，已宣佈與多家雲端商合作部署。2024 年提交 IPO 檔案，具體財務資料公開資料未見。
- SambaNova Systems：未上市。可重構資料流架構在企業和政府低延遲場景中積累客戶。
開源架構與工具
- vLLM (UC Berkeley 衍生公司)：2023 年成立公司後獲得紅杉等投資，已成為預設的 LLM 服務推論後端之一，其 PagedAttention 技術被廣泛整合。
- llama.cpp / Ollama：完全社群驅動，專注於消費級硬體（Mac、Windows）本地推論最佳化，建置了龐大的個人開發者使用者群。
雲端服務與模型廠商
- 微軟 Azure、AWS、Google Cloud：均提供基於最佳化推論架構的模型即服務（MaaS），自研推論晶片（微軟 Maia、AWS Trainium2/Inferentia）亦在加速推進。
- Meta、Mistral、DeepSeek：開源模型釋出方往往自行設定 Token/s 基準，其模型架構和權重質量直接決定了推論最佳化的天花板。
市場規模
由於 Token/s 屬於派生需求（由大型模型推論市場拉動），目前尚無獨立第三方機構直接編制“Token/s 市場報告”，但可通過以下維度間接測算其增長潛力（均註明資料來源與年份）：
- 推論硬體市場：據 Bloomberg Intelligence 2024 年 6 月分析報告，AI 推論晶片市場規模預計從 2023 年的約 200 億美元增至 2028 年的近 1100 億美元（含 GPU、FPGA、ASIC），複合年增長率（CAGR）約為 38%。該口徑涵蓋了所有用於生成或處理 Token 的晶片。
- 大型模型 API 經濟：據 Bernstein 研究 2024 年 5 月估算，OpenAI 的年化營收在 2024 年中已超過 34 億美元（年增率 2023 年約 16 億美元），其中絕大部分來自 token 計費的 API 和 ChatGPT Plus 訂閱。Anthropic 同期同類營收估算在 8 億美元以上（來源：The Information 2024 年 7 月報道）。
- 訓練側的 token 消耗：Epoch AI 追蹤資料顯示，全球基礎模型訓練的 token 處理量每年增長約 4-5 倍（來源：Epoch AI, 2024 年 Update），直接拉動了訓練吞吐的需求。
- 結論：Token/s 作為上述三個市場的核心產出效率指標，其經濟意義正隨著模型規模的增長與滲透率的提升而快速放大。HBM 產能瓶頸若持續至 2025 年底，可能導致推論硬體部署速度受限，抑制短期 Token/s 供給增長，間接推高 API 服務價格。
玩家對比
以下僅基於公開資料，以通用的幾個維度來審視不同方案在 Token/s 上的表現（無法窮舉所有廠商，不構成任何優劣評價）：
| 對比維度 | NVIDIA 通用 GPU 生態 (H100/H200 + TensorRT-LLM) | Groq LPU | Cerebras WSE-3 | llama.cpp (本地部署) |
|---|---|---|---|---|
| 典型模型支援 | 泛化最優，幾乎支援所有主流 transformer 架構 | LLaMA 2/3、Mixtral 等公開架構，需手動移植 | LLaMA 系列、Falcon 等，需適配 | 廣泛覆蓋，尤其擅長消費級視訊記憶體/記憶體部署 |
| 生成 Token/s 量級（公開演示/社群資料） | LLaMA 2 70B 最佳化後數百 Token/s（單卡批次處理） | LLaMA 2 70B 達 240+ Token/s 單使用者 | 單晶片聲稱可處理數十萬 Token/s（大批次） | M2 Ultra 上 LLaMA 3 8B 可達 50+ Token/s |
| 延遲表現（TTFT） | <100ms（預填充） | 極低，<50ms（大部分場景） | 較低，專為大批次最佳化 | 受裝置能力限制，TTFT 中等 |
| 生態成熟度 | 極其成熟，CUDA 壁壘高 | 初創期，僅支援有限模型 | 早期，依賴廠商編譯器 | 開源社群驅動，適配速度快 |
| 可擴充套件性 | 萬卡叢集成熟方案 | 公開資料未見大規模叢集部署資料 | 4-64 節點系統已部署 | 單機/工作站為主，擴充套件有限 |
| 2024 年公開融資 / 估值 | 截至 2024 年 8 月市值超 3 萬億美元（來源：公開市場資料） | 融資總額超 10 億美元，2024 年估值約 28 億美元（來源：PitchBook） | 2024 年提交 IPO，此前融資約 7.2 億美元（來源：Crunchbase） | 社群專案，無公司實體融資 |
（注：所有效能資料均來自廠商公開技術部落格或第三方社群測試，測試條件、併發數、輸入輸出長度無統一標準，上述對比僅供定性參考。）
風險
- 基準摻水風險：業界缺乏強制執行的標準測試規範（與 MLPerf 對訓練的嚴格約束不同），廠商公佈的 Token/s 資料多在理想條件下獲得，與實際雲端服務的併發高負載場景存在顯著偏差。投資者和技術採購方若不仔細檢查測試條件，極易高估實際可用吞吐。
- 硬體供給瓶頸：HBM 的持續緊缺可能導致高階 GPU/專用晶片的部署進度不及預期，拉高單位 Token/s 算力的市場價格，從而限制模型 API 服務商的規模降本速度。
- 技術路線押注風險：專用推論晶片雖在裸指標上亮眼，但若主流模型架構再次出現顛覆性變化（如新的非 Transformer 架構大規模商用），這些硬體需重新設計流片，靈活性遠弱於 GPU。
- 量化精度折損：極低位元量化（INT3/INT2）雖然理論上能進一步提升 Token/s，但可能在大規模多工評估中引發不可忽視的準確率下降，迫使 API 廠商在成本和模型能力之間做出艱難權衡。
- 標準化不足導致成本失真：不同模型使用不同 tokenizer，導致同樣的自然語言文本被拆分為數量迥異的 token。僅按“每百萬 token 成本”橫向對比不同供應商，而不統一折算為“每百萬字元成本”或“每個自然語言查詢成本”，將導致採購決策偏差。
誤讀糾偏
-
誤讀一：“Token/s 由 GPU 的 FP16 TFLOPS 算力完全決定” 在大型模型自迴歸解碼階段，計算密度接近“記憶體頻寬牆”，主要時間消耗在從 HBM 搬運模型權重和 KV 快取，而非執行矩陣乘法。即便下一代 GPU 的 FLOPS 提升 3 倍，若記憶體頻寬未同步提升，單卡單 token 生成速度改善有限。批處理提升的是總吞吐，而不是單請求速度。
-
誤讀二：“訓練 Token/s 高的硬體，推論表現必然也強” 訓練需要儲存額外的最佳化器狀態、梯度和中間啟用，記憶體佔用為推論的數倍至十幾倍；訓練關注大規模分散式並行效率，推論則高度關注單卡記憶體頻寬和批次排程。兩者對硬體的核心訴求並不等價。
-
誤讀三：“Token/s 直接等同於使用者的真實延遲體感” 使用者從點擊發送到看到完整回覆的端到端延遲由 TTFT（預填充耗時）和 TPOT（逐 token 生成耗時）以及網路往返時間共同構成。高併發下 Token/s 總量雖高，若排隊等待預填充或 KV 快取未命中，單個使用者的 TTFT 仍可能很高，造成“系統很快，但我很慢”的微觀體感。
-
誤讀四：“一個 token 就是一個完整詞” 絕大多數現代 tokenizer 採用子詞分割。英語平均 1 個詞會被切分為 1.3 個 token，中文約 1 個字為 1 個 token。同一段話用不同 tokenizer 得到的 token 數量差異可能超過 30%。跨 API 直接比較“每 token 價格”需先將 token 量轉換為可比的口徑。
最新事件
（以下資訊截至 2024 年 8 月，來源均為公開報道與技術部落格）
- 2024 年 7 月 23 日：Meta 正式釋出 LLaMA 3.1 405B（來源：Meta AI 官方部落格），這是目前最大的開源稠密模型，訓練 token 總量約 15 萬億，總訓練算力約 3.8×10²⁵ FLOPS，引發社群對其大規模部署所需 Token/s 的廣泛討論。
- 2024 年 7 月 29 日：xAI 宣佈建成由 10 萬張 H100 組成的訓練叢集 Colossus（來源：Elon Musk 公開宣告），並聲稱其內部測試中單叢集訓練 Token/s 達新記錄，但未公佈具體的標準化基準和對比方法，業界對其持續執行的穩定性仍持觀望態度。
- 2024 年 8 月：Groq 獲得 6.4 億美元 D 輪融資（來源：TechCrunch），估值約 28 億美元，融資將主要用於擴大 LPU 產能與雲端服務覆蓋區域，其公開演示的 LLaMA 3 70B 推論速度仍保持領先。
- 2024 年 5-6 月：NVIDIA 在 Computex 2024 釋出路線圖，預告 Rubin 平台將搭載 HBM4，記憶體頻寬較 H200 再有跨越式提升，預計 2026 年推出（來源：NVIDIA 官方主題演講）。這將直接影響屆時推論 Token/s 的基準。
- 2024 年 8 月：vLLM 專案宣佈支援 FP8 量化和多模態模型推論，使其在統一架構內覆蓋更廣泛的推論負載，持續鞏固其作為預設推論後端的地位（來源：vLLM GitHub Release Notes）。
追蹤指標
持續追蹤 Token/s 的技術與產業動向，建議關注以下幾類高頻更新的資訊源：
- 模型釋出部落格的推論資料章節：OpenAI、Anthropic、Meta、Mistral、DeepSeek 等會在技術報告中附帶一定推論效能資料，讀取時需留意測試設定（併發數、輸入/輸出長度、硬體型號、量化級別）。
- 推論架構的版本釋出說明：vLLM、TensorRT-LLM、llama.cpp、SGLang 等的 GitHub release 會寫明細效能提升百分比，此為把握實際部署收益最直接的訊號。
- MLPerf Inference 基準排行榜：雖然測試條件高度標準化、不完全模擬生產場景，但仍是目前相對權威的跨廠商比對平台，每輪結果釋出都會引發產業內廣泛分析。
- 硬體廠商季度財報與分析日：NVIDIA、AMD、SK hynix 等廠商的營收、產能展望和產品路線圖更新，是判斷 Token/s 硬體供給端的先行指標。
- 獨立評測團隊的第三方測試：如 Artificial Analysis（independent LLM benchmark 網站）、Phoronix、Serve The Home 等，會進行不同 API 的端到端延遲與吞吐量對比，資料相對貼近使用者實際體感。
- 學術預印本：關注 arXiv 上關於高效推論的新方法（如 Speculative Decoding、Layer-Skipping、KV Cache 壓縮等），這些演算法層面的改進常常是下一代 Token/s 躍遷的起源。
信源
本文撰寫過程中引用的資料、報告與觀點來源（不構成直接引用，但為讀者提供交叉驗證路徑）：
- Meta AI Research, “The Llama 3 Herd of Models” (2024)
- NVIDIA Corporation, Product Specifications & Investor Presentations (2024)
- AMD, “Q1 FY2024 Earnings Call” (2024.5)
- Groq, Inc. , Public Demonstrations & Technical Blog (2024)
- Bloomberg Intelligence, “AI Chip Market Sizing” (2024.6)
- Bernstein Research, “Generative AI Monetization Tracker” (2024.5)
- Epoch AI, “Tracking Large-Scale AI Models” data repository (Accessed 2024.8)
- TrendForce, “HBM Market Update” (2024.5)
- vLLM Project, GitHub Repository & Release Notes (Accessed 2024.8)
- Artificial Analysis, Independent LLM Performance Benchmarks (Accessed 2024.8)
- TechCrunch, The Information, Business News Reporting on Groq, OpenAI, Anthropic (2024)
（注：上述所有財務資料與市場份額數字均有明確的口徑和來源年份標註，無法驗證的第三方估計已標明‘公開資料未見’或‘估算’。文中不包含任何對證券或資產的投資建議、價格預測或‘值得買進’的主觀推薦措辭。）