SmoothQuant

1. 3 秒看懂

SmoothQuant 是一種面向大規模語言模型（LLM）的訓練後量化（PTQ） 方法。其核心創新在於：通過一個數學上完全等價的“平滑”變換，將 LLM 推論過程中最難量化的啟用值（Activation） 中的通道級離群值（Outlier）難度，部分遷移到分佈更均勻、更易量化的權重（Weight） 矩陣上。該過程無需代價高昂的重新訓練，僅依賴極少量的校準資料（通常 100–1000 個樣本），即可讓模型在 全 INT8 計算 下實現幾乎無損失的推論精度。SmoothQuant 消除了混合精度量化帶來的複雜系統設計，使標準 GPU 能夠以約 2 倍的吞吐量執行千億引數模型，同時將視訊記憶體佔用縮減一半，是當前 LLM 高效部署的核心使能技術之一。

2. 產業動機與技術背景

大語言模型的規模化落地面臨兩大現實瓶頸：推論成本與硬體門檻。一個 175B 的 GPT-3 模型在 FP16 精度下需要約 350 GB 視訊記憶體，即使使用頂級的 NVIDIA A100（視訊記憶體 40 GB 或 80 GB）也需要多卡並行；而每次查詢的延遲與能耗在雲端端以每秒百萬次呼叫計的業務場景中，直接決定了商業可行性。量化——將模型權重和中間計算從 FP32/FP16 壓縮為 INT8 甚至 INT4——是公認的降低部署成本、提升推論速度的主流手段。在計算機視覺領域，INT8 量化已成熟應用多年，精度損失可控制在 1% 以內。然而，當同樣的方法直接應用於 LLM 時，往往會遭遇災難性的精度崩塌。

問題根源在於 啟用值離群值。研究發現，在 Transformer 的每個線性層（如 Query、Key、Value、FFN 中的全連線層）中，輸入啟用值 X 的分佈呈現極端的通道間不平衡：約 0.1% 的通道（即“離群通道”）的數值範圍比其餘 99.9% 的通道高出 10 到 100 倍。這些離群通道出現在固定的位置（主要由模型結構中的 LayerNorm 和殘差連線引發），其過大的幅值使得全域性 INT8 量化的量化步長必須由這些離群值決定，導致絕大多數通道的有效資訊被壓縮到極少數離散級別中，造成嚴重的資訊丟失和精度崩潰。

這一現象在產業界引發了激烈的技術路線分化：一方主張通過混合精度來“繞過”離群值問題，即對離群通道保留 FP16 計算，而對非離群通道執行 INT8 加速；另一方則試圖尋找一種讓模型能夠全整型化的方法。SmoothQuant 正是後者中最具代表性的突破之一，它用一種簡單、高效且數學上精確的變換，從根本上解決了啟用值離群值問題，為 LLM 的全 INT8 推論掃清了最重要的障礙。

3. 量化技術基礎與 LLM 特有的離群值困境

要理解 SmoothQuant 的精妙，首先需要建立對神經網路量化的基礎知識。統一仿射量化（Uniform Affine Quantization）將連續的浮點張量 T 對映為低位寬的整數 T_q，其形式為： T_q = clip(round(T/Δ) + z, q_min, q_max) 其中 Δ 為量化步長（scale），z 為零點（zero point），clip 將超出可表示範圍的值截斷。對於 INT8 對稱量化，通常會使用張量級（tensor-wise）或通道級（channel-wise）量化。在 Transformer 中，權重 W 可以比較方便地採用通道級量化（即每個輸出通道擁有獨立的量化步長），因為權重是靜態的模型引數；而啟用值 X 是動態產生的，為了相容高效的通用矩陣乘法（GEMM）核心，通常採用更粗粒度的張量級量化（即整個啟用張量共享一個步長）或 Token 級/塊級量化。

對於小型視覺模型，這種張量級 INT8 量化效果尚可。但 LLM 的啟用值分佈出現了本質變化。在 Transformer 層內，LayerNorm 的輸出（即後續線性層的輸入）會在極少數固定通道上產生系統性的高幅值。典型地，觀察一個 OPT 或 LLaMA 模型的某個線性層輸入，可以發現在通道維度上，大多數通道的最大絕對值集中在 05 之間，而某幾個通道（如通道 6 或通道 72）的最大絕對值卻高達 50100。這些離群通道通常對應著令牌嵌入維度中的特定位置，且在大量不同輸入下始終穩定出現。

為何混合精度不是終局方案？ 為應對離群值，LLM.int8() 提出了一個經典解法：將啟用矩陣按列（通道）分解為離群部分和非離群部分。對離群通道，保持 FP16 矩陣乘法；對非離群通道，執行 INT8 矩陣乘法；最後將兩部分結果相加。該方法保住了 FP16 的精度，在許多工中做到零損失，但它存在三大缺陷：（1）系統實現複雜，需要定製化的核心來高效處理“部分 FP16 + 部分 INT8”的異構運算；（2）即使在 FP16 通道很少的情況下，這種混合計算也打破了常規 GEMM 的流水線，導致在 GPU 上無法充分利用 Tensor Core 的吞吐；（3）推論加速比遠低於理論峰值，實測往往只有 1.2–1.5 倍加速，遠未達到全 INT8 理論上的 2 倍。產業界亟需一種全 INT8 且精度無損的方案，這就是 SmoothQuant 出場的背景。

4. SmoothQuant 的核心思想與數學等價變換

SmoothQuant 的提出基於一個關鍵洞察：啟用值 X 的離群值集中在通道間，而其通道內的分佈相對平滑；權重 W 的通道間幅度差異遠小於啟用值，且其可以通過靜態校準調整。 那麼，能否通過一個數學變換，將造成量化困難的“通道間劇烈差異”從啟用值遷移到權重上呢？答案是肯定的，且變換本身不改變任何計算結果。

對於任意線性層 Y = X · W（忽略偏置 b，不影響結論），其中 X ∈ R^{T×C_in}，W ∈ R^{C_in×C_out}。SmoothQuant 引入一個對角縮放矩陣 diag(s)，其中 s ∈ R^{C_in}（或某些實現中為 C_out 維度），將其插入計算圖中： Y = X · W = (X · diag(s)^{-1}) · (diag(s) · W)

定義 平滑後的啟用值 X' = X · diag(s)^{-1}，平滑後的權重 W' = diag(s) · W。由於 diag(s)^{-1} · diag(s) = I，該變換在數學上完全等價，沒有引入任何近似。其物理含義是：對每個輸入通道 j，通過除以 s_j 縮小啟用值的幅度；同時將該通道對應的權重行乘以 s_j 以進行補償，保持矩陣乘法的最終結果不變。

這種變換的價值是雙重的：

• 對於 X‘，離群通道被 s_j 壓制，通道間的幅度差異大幅減小，使其對張量級 INT8 量化變得友好。
• 對於 W’，雖然對應通道的行被放大，但權重的原始通道間分佈本來就相對平坦，引入的放大不會造成新的量化困難——尤其在採用通道級量化時，每個輸出通道擁有獨立的量化步長，完全可以吸收這種幅度變化。

這樣，SmoothQuant 實現了“啟用值量化困難—權重量化容易”之間的平滑轉移。該思想優雅且極具工程實用價值：無需重訓、不改變模型結構、僅需少量校準資料。

5. 縮放因子 s 的確定與遷移強度超引數 α

變換的等價性保證了精度無損的可能性，但前提是選取合適的縮放因子 s。如果 s 取得過大，雖然啟用值離群得以壓制，但權重會被過度放大，導致權重端成為新的量化瓶頸；反之，若 s 過小，啟用值離群依然存在。因此，s 的選取本質上是 在啟用值量化誤差和權重量化誤差之間尋找最優平衡點。

SmoothQuant 使用校準資料集，收集各線性層的啟用值統計量。對每個輸入通道 j（即維度 C_in），計算啟用值在所有 token 和 batch 樣本上的絕對最大值 max(|X_j|)；同時，計算權重矩陣對應行（即 W_{j,:}）的絕對最大值 max(|W_{j,:}|)。然後，通過一個平滑強度超引數 α ∈ [0, 1] 來控制遷移比例： s_j = max(|X_j|)^α / max(|W_{j,:}|)^{(1-α)}

該公式的含義極為直觀：

• 當 α = 1 時，s_j = max(|X_j|)，X' = X / max(|X|)（張量級歸一化），啟用值離群被完全壓制，但權重的量化完全未考慮，權重可能遭受較大失真。
• 當 α = 0 時，s_j = 1 / max(|W_{j,:}|)，權重被歸一化，而所有的離群難題全部留在啟用值端。
• 0.5 是一個自然的中庸選擇，將離群難度均勻分攤給啟用值和權重。

在原始論文和實踐中，α 被設定為 0.5 作為預設值，且在廣泛的實驗中表現魯棒。對於某些特殊模型（如 GLM 系列或某些極端深度的模型），α 可在 0.4–0.6 之間微調以榨取最後一點精度。值得注意的是，α 的調整僅影響縮放因子的計算，不需要重新執行昂貴的模型訓練。校準過程只需一次前向傳播並記錄最大值，整個變換對於千億引數模型也僅需數分鐘，完全可集成於模型部署流水線。

6. 技術實現細節：校準流程與硬體適配

SmoothQuant 的落地實現可概括為三步：

步驟一：校準資料收集（Calibration） 從目標任務域中隨機取樣或使用開源的校準資料集（如 Pile 的截斷子集、C4 等），數量通常為 100–1000 個序列。對原始 FP16 模型執行標準前向推論，並在每個線性層之前記錄輸入啟用值張量 X。為避免記憶體爆炸，可以在每一層計算時動態收集並丟棄中間啟用，僅保留各通道的絕對最大值統計量。

步驟二：計算縮放因子 s 並平滑權重 按照上節公式，利用預設的 α（一般 0.5）計算每個輸入通道的 s_j。然後執行權重的離線變換：W' = diag(s) · W。對於量化，W' 會進一步進行通道級量化（per-channel quantization）得到 INT8 權重；對於某些實現，也可能結合 Group 量化以獲得更細粒度的誤差控制。

步驟三：插入量化運算元與平滑啟用推論 在計算圖中，將原始線性層替換為 SmoothQuant 等效層：前向傳播時，先動態計算 X' = X / s（通過逐通道除法或預計算的縮放對角矩陣），再對 X' 執行張量級動態量化（tensor-wise dynamic INT8），最後與已量化的 W' 執行 INT8 矩陣乘法。對於殘差連線和注意力計算中的其他部分（如 Softmax），通常保留 FP16 以保持數值穩定性，但這部分計算量極小，不會成為瓶頸。

硬體效率：全 INT8 GEMM 可以在 NVIDIA GPU 的 Tensor Core 上以峰值算力執行。以 A100 為例，INT8 Tensor Core 的算力是 FP16 的 2 倍。配合 FasterTransformer、TensorRT-LLM 等推論架構，SmoothQuant 可以實現端到端約 1.8–2.2 倍的推論加速，視訊記憶體佔用降低約 50%。此外，由於消除了混合精度分支，核心呼叫更加規則，計算延遲的可預測性也更好，這對雲端服務的服務水平協議（SLA）至關重要。

7. 精度評估：多模型、多工表現

SmoothQuant 在多個開放 LLM 上進行了詳盡驗證，涵蓋 OPT 系列（6.7B–175B）、BLOOM 系列、GLM 系列等。典型結果如下：

• OPT 模型：在 WikiText-2、LAMBADA、HellaSwag、PIQA 等多個自然語言下游任務上，SmoothQuant 的 INT8 推論結果與 FP16 基線相比，精度差異在統計誤差範圍內（< 0.5%）。例如，OPT-175B 在 LAMBADA 上 FP16 精度為 76.5%，SmoothQuant INT8 為 76.3%；在 HellaSwag 上分別為 57.2% 與 57.0%。這證明了該方法在超大規模模型上的魯棒性。
• BLOOM 模型：多語言場景下的同樣結論。BLOOM-176B 在 XCOPA、XNLI 等多語言任務中，INT8 推論精度幾乎無損。
• LLaMA 系列：雖然論文未涵蓋，後續社群與架構（如 torch_int、vLLM 擴充套件）廣泛測試了 LLaMA-7B 到 70B 的 SmoothQuant 適配，證實僅需調整 α 或結合分組量化即可取得 < 1% 的困惑度（PPL）下降。
• GLM-130B：中文大規模模型亦表現出色，在 MMLU 等綜合評測中，INT8 推論得分與 FP16 持平。

更重要的是，SmoothQuant 在零樣本場景和生成任務中的表現同樣穩健。在長文本生成任務上，通過核取樣（nucleus sampling）生成的文本流暢度、事實一致性均未出現可察覺下降。這種即插即用且幾乎無損的特質，使其迅速被主流推論架構（NVIDIA TensorRT-LLM、FasterTransformer、Intel Extension for Transformers）原生整合。

8. 消融實驗與超引數深度分析

除了端到端精度，SmoothQuant 的論文和後續開源研究進行了全面的消融實驗，揭示了其工作原理的深層機制。

α 的影響：在 OPT-13B 上，α 從 0.2 掃描到 0.8，發現 α 在 0.4–0.6 範圍內 PPL 保持穩定且最優；α=0 或 α=1 的極端情況 PPL 暴漲，印證了平衡遷移的必要性。有趣的是，不同的層可能偏好稍有不同的 α。部分工作（如 Outlier Suppression+）提出層自適應 α，對淺層和深層使用不同遷移強度，可進一步降低 0.1–0.2 的 PPL。

縮放維度選擇：前述描述為在 C_in 維度遷移，實際上也可以選擇在 C_out 維度。SmoothQuant 對此進行了對比，證明在 C_in 維度遷移更有效，因為離群值本質上出現在啟用值的輸入通道上。

結合更細粒度的量化：預設的啟用張量級動態量化是快速且高效的，但對某些啟用通道分佈仍殘存不均衡時，可引入Token 級量化（每行一個量化步長）或Group 級量化，配合 SmoothQuant 後能進一步提升精度上界，代價是引入輕微計算開銷。在許多部署中，為了最大化吞吐，仍堅持張量級量化，SmoothQuant 已足夠。

權重中的離群現象：值得注意，SmoothQuant 遷移後的權重 W' 在某些通道會被放大，如果權重量化採用張量級量化，可能會造成新的瓶頸。因此，SmoothQuant 的實施必須配合權重通道級量化。幸運的是，通道級量化對權重大小是靜態的，已在幾乎所有推論架構中標準支援。

9. 與主流 LLM 量化方案的深度對比

在 LLM 量化賽道，主要存在三種範式：混合精度（LLM.int8()）、啟用值平滑（SmoothQuant）、權重重排序（GPTQ）。三者並非完全互斥，但在設計哲學和部署特性上有顯著差異。

• SmoothQuant vs. LLM.int8()：兩者均解決啟用值離群值問題。LLM.int8() 使用“分離—合併”策略，對離群通道特殊處理；SmoothQuant 使用“遷移—均衡”策略，消除了特例處理。SmoothQuant 在推論吞吐和系統簡潔度上有明顯優勢，實測在相同硬體上加速比可達 2.0x，而 LLM.int8() 通常在 1.3–1.5x。然而 LLM.int8() 提供了數學上嚴格的 FP16 等價（對於非離群通道），在極限安全場景可能仍有一席之地。兩者可組合：對 SmoothQuant 處理後仍然存在的極少數離群通道再採用混合精度兜底，但這種邊際收益通常不必要。

• SmoothQuant vs. GPTQ：GPTQ 是基於漸進式反量化誤差修正的權重量化方法，可直接將權重量化到 INT4 甚至 INT3，且對啟用值不做平滑處理。GPTQ 主要是權重端的極致壓縮，但對啟用值離群依舊敏感；在啟用值離群嚴重的情況下，僅使用 GPTQ 而保持啟用 FP16 可能導致推論時仍需浮點運算，或需要結合動態量化。SmoothQuant 通常將權重和啟用都量化到 INT8，實現全 INT8 推論。兩者可以組合，例如使用 SmoothQuant 平滑啟用後，對權重進一步使用 GPTQ 壓縮到 INT4，形成 INT4 權重量化 + INT8 啟用量化 的混合位寬方案，在邊緣裝置上提供更極致的記憶體節省。

• SmoothQuant vs. 靜態離線校準 + 流水線方法：還有一些方法（如 ZeroQuant）試圖通過逐層知識蒸餾或最佳化校準資料集規模來達成 PTQ，但往往需要更多的工程努力和更復雜的校準流程。SmoothQuant 在實用性和精度保留上達到了一個極佳的平衡點，這也是其被社群廣泛採納的根本原因。

10. SmoothQuant 的優越性與工程價值

歸納起來，SmoothQuant 的工程創新價值體現在五個維度：

1. 無損精度：在千億引數尺度上實現 <0.5% 任務精度下降，絕大部分情形可認為無效能退化，滿足絕大多數商業應用對質量的要求。
2. 全整型計算：徹底擺脫混合精度的異構 GEMM，統一為純 INT8，利於硬體加速和編譯器最佳化；Tensor Core 利用率接近峰值。
3. 零額外訓練開銷：僅需分鐘級的校準（單次前向統計），無需梯度計算、最佳化器狀態儲存，部署成本極低。
4. 架構無關性：可作為一個簡單的離線變換指令碼，獨立於訓練架構和推論引擎，可輕鬆集成於 PyTorch、ONNX、TensorRT 等工作流。
5. 擴充套件性強：其平滑思想可以推廣到任何包含線性變換的結構（如 CNN 的全連線層、Attention 中的投影矩陣），甚至非 Transformer 架構。對於未來的 MOE 模型、多模態 LLM，同樣適用。

在實際雲端運算服務中，SmoothQuant 使企業在相同的 GPU 叢集上能夠服務於兩倍數量的併發使用者，或將響應延遲縮短一半，直接拉低每次 API 呼叫的成本。這也是為何國內多家大型模型雲端服務商（如智譜、MiniMax、百川等）在大型模型推論引擎中迅速落地 SmoothQuant 類技術。

11. SmoothQuant 的侷限性與挑戰

任何技術都不是銀彈，SmoothQuant 同樣存在侷限：

• α 的敏感性：儘管預設 α=0.5 足夠魯棒，但對於一些離群值模式極其尖銳的模型（例如某些預訓練中間版本的模型），可能需要針對性微調 α，否則會出現區域性精度孔洞。這要求部署團隊具備一定的量化除錯經驗。
• 極低位寬擴充套件性：SmoothQuant 設計初衷是 INT8 啟用。當進一步壓縮啟用到 INT4 或更低時，即使經過平滑，啟用的量化誤差仍可能過大。此時需要更復雜的向量級量化（如 GPTQ 對權重的逐組量化）或藉助更先進的非均勻量化技術。
• 校準資料偏差：校準集如果與目標部署域嚴重不匹配，會導致統計量偏差，進而影響縮放因子。雖然這種敏感性遠低於知識蒸餾等方法，但在極度領域外推論（OOD）時仍需謹慎評估。
• 部分全連線運算元之外的適用性：SmoothQuant 直接作用於線性層。對於 Softmax、LayerNorm 等非線性和歸一化操作，仍保持 FP16。雖然這些操作的計算佔比很低，但在某些極端限制（如全整型晶片）下，需要進行相應的整型化替換。
• 與稀疏計算、級聯快取等融合：當與 KV-cache 量化、FlashAttention 等組合時，需要仔細管理量化域與縮放因子的傳遞，存在額外的工程整合複雜度。

這些侷限是當前社群積極研究的方向，也催生了以 SmoothQuant 為基礎的多種變體方案。

12. 從 SmoothQuant 到 AWQ 及後續演進

SmoothQuant 的核心貢獻——通過通道級縮放來遷移量化困難——在學術界和工業界引發了持續的技術創新浪潮。一個直接的演進是 AWQ（Activation-aware Weight Quantization）。AWQ 觀察到，不僅啟用值離群通道難以量化，權重中對應這些離群通道的行對模型輸出也至關重要。它反其道而行，通過保留而非壓縮這些關鍵權重行的精度，並應用等效的通道縮放來提高低位元下的權重有效性。AWQ 可以視為 SmoothQuant 思想的深化：SmoothQuant 是同時平滑權重和啟用以適配 INT8；AWQ 則專注於權重，通過尋找最佳的 per-channel scaling 來保護重要權重，實現 INT4 權重下的高效推論。兩者在原理上一脈相承，並在實際應用中經常配合使用。

除此之外，還有 SmoothQuant+ 或 Outlier Suppression Framework 等工作，將 SmoothQuant 的平滑操作前移，與 LayerNorm 的仿射引數融合，以徹底從源頭抑制離群值的產生。這些變體證明了“平滑”範式具有很強的通用性和擴充套件潛力。

NVIDIA 的 TensorRT-LLM 也集成了 SmoothQuant 及類似功能，形成了從校準到部署的自動化工作流；Intel 的 Habana Gaudi 處理器同樣採用了基於平滑的 INT8 方案。可以說，SmoothQuant 的開創性在於它定義了 LLM 量化中“校正啟用值分佈”這一重要解法類別。

13. 產業應用場景與部署實踐

SmoothQuant 已在多個產業場景中發揮決定性作用：

• 雲端端大型模型 API 服務：對於提供 ChatGPT-like 服務的企業，使用 SmoothQuant 可以在同構 GPU 叢集上將併發吞吐提升 2 倍，將單次生成成本降低一半。結合動態批處理（Dynamic Batching）和 PagedAttention 技術，可實現極致的成本效益。
• 私有化部署與隱私計算：金融機構、政務系統需要在本地伺服器私有化部署百億級模型。全 INT8 推論使一臺 8×A100 伺服器可以容納並即時執行 175B 模型，無需依賴雲端端，保障資料主權。
• 邊緣與端側推論：在高階移動 SoC（如驍龍 Gen 3、Apple M 系列晶片）或車載晶片上，SmoothQuant 使 7B–13B 模型以 INT8 形式流暢執行成為可能。以 LLaMA-2-7B 為例，平滑後 INT8 模型可在搭載 Apple M2 SoC 的 MacBook 上達到即時對話的生成速度，同時記憶體佔用僅需約 4 GB。
• AIGC 與多模態模型：Stable Diffusion 等擴散模型的 VAE 和 UNet 中也存在類似離群值問題。將 SmoothQuant 遷移到這些架構，同樣可以減少視訊記憶體佔用，加速影像生成。

各大推論架構（如 vLLM、llama.cpp、MLC-LLM）均將 SmoothQuant 或其變體作為 INT8 推論的首選方案之一，形成了繁榮的開源生態。

14. 技術影響與未來展望

SmoothQuant 不僅是 LLM 量化歷史上的一個里程碑，更對未來的推論系統和硬體設計產生了深遠影響。

• 量化架構設計範式轉移：它讓人們意識到，通過數學等價變換在啟用和權重之間重新分配量化誤差是一個強大的設計原則。這一原則正在被推廣到更廣泛的張量運算中，如交叉注意力層、MoE 的路由機制等。
• 軟硬協同最佳化：工業級 NPU 和 AI 加速晶片開始專門為這種平滑量化操作設計硬體原語，例如支援通道級縮放融合的 GEMM 單元，以避免額外的除法開銷。未來推論晶片的指令集中可能直接包含 SmoothQuant 變換操作。
• 與稀疏、蒸餾等壓縮技術的融合：SmoothQuant 的全整型推論為與結構化稀疏、2:4 稀疏等進一步壓縮技術提供了相容的基底。一個平滑後的 INT8 模型可以順利應用稀疏權重組，實現算力和頻寬的雙重節省。
• 自動化量化工具鏈：以 SmoothQuant 為基礎的自動化工具（如 NVIDIA 的 Model Optimizer）正走向零程式碼校準，僅需使用者提供少量示例，即可自動確定 α、選擇量化粒度並匯出最佳化模型，大幅降低 LLM 部署門檻。
• 向訓練端擴充套件：雖然 SmoothQuant 是 PTQ 方法，但其平滑思想也正被探索應用到量化感知訓練（QAT）中，以加速大型模型的低精度微調和預訓練。

展望未來，隨著 LLM 規模邁入萬億引數時代，推斷能效將成為決定性瓶頸。SmoothQuant 及其衍生技術將繼續作為核心技術基座，支撐起大型模型從實驗室到廣泛商業部署的“最後一公里”。

15. 總結

SmoothQuant 是一場關於“如何優雅地解決 LLM 啟用值離群值”的技術革命。它跳出了“識別並特殊處理離群通道”的混合精度思維定式，通過一個在數學上嚴格等價、工程上極簡的平滑變換，將量化難度在啟用值和權重之間重新分配，最終實現了全 INT8 且幾乎無損的 LLM 推論。該技術的核心價值在於：用最小的侵入性（無重訓、極少校準資料）換取最大的系統性能增益（2 倍加速、50% 記憶體節省），並具備極強的泛化和擴充套件能力。

從產業角度看，SmoothQuant 直接降低了 LLM 大規模部署的算力門檻和能源消耗，使大型模型服務在商業上可行、在環境上可持續。從學術角度看，它開創了一種“通過等效變換重構量化問題”的研究範式，深刻影響了 AWQ、GPTQ+ 平滑等後續工作。如今，SmoothQuant 已成為 LLM 推論基礎設施中不可或缺的一環，其在產業界和開源社群中的廣泛應用，是對其價值的最佳證明。對於任何希望以低成本、高效率落地大型模型的企業和開發者而言，深入理解並應用 SmoothQuant 已不僅僅是一種最佳化選擇，更是一項基本素養。