Bias

1 3 秒看懂

Bias（偏置）是神經網路中每個神經元在加權輸入之上附加的可學習標量常數，賦予模型“平移”決策邊界的能力，使得即便所有輸入為零，網路也能輸出非零值。它貫穿從經典感知機到萬億引數 Transformer 的整個深度學習體系，在硬體加速器設計中雖僅佔用極小的面積與算力，卻直接影響模型的擬合精度與泛化能力。

2 3 分鐘產業解釋

在產業視角下，Bias 遠非神經網路裡一個微不足道的加法項。硬體工程師為這條“+b”的路徑需要單獨設計資料通路、融合流水線並管理其記憶體搬運；架構開發者要處理 Bias 與批次歸一化（Batch Normalization）的合併最佳化，以避免冗餘計算；演算法研究者則在設計網路時反覆權衡保留 Bias 所帶來的精度收益與額外的儲存、頻寬開銷。隨著歸一化層（BN、LayerNorm）的普及，大量卷積層和全連線層在實踐中有意省略 Bias，但注意力機制中的相對位置偏置、量化模型中的高精度偏置保留等場景，又讓 Bias 重新成為設計關鍵。可以說，Bias 是深度學習中最容易被忽略卻又最能體現軟硬體協同精髓的元件——丟掉的只是一丁點矽面積，但做錯的代價是整顆 AI 晶片的精度指標不達標。

3 技術原理

深入 Bias 需要沿著三條脈絡展開：數學本徵、體系結構實現與網路設計策略。 數學上，一個神經元輸出為 y = σ(∑(w_i·x_i) + b)，其中 b 獨立於 x，使得啟用函式的輸入可以向正或負方向整體偏移，從而在輸入空間為零時神經元仍可處於啟用/抑制狀態。反向傳播中，∂L/∂b = ∂L/∂z（δ = ∂L/∂z 為上游回傳的誤差訊號），這使得 Bias 的梯度與權重的梯度相比具有天然的簡化性——硬體上往往可以複用該誤差訊號直接更新 Bias。 體系結構層面，現代 AI 加速器（GPU 的 Tensor Core、NPU 的脈動陣列）核心是高效的矩陣乘法單元，但矩陣乘法原生不產生 Bias 加法。因此必須通過“epilogue”（尾部融合）設計，在矩陣乘累加結果流出時立即疊加 Bias，通常與啟用函式、歸約操作融合成單次記憶體寫入。例如 NVIDIA CUTLASS 模板庫中將 Bias 作為 epilogue 的可選運算元，以極低的延遲和零額外記憶體頻寬開銷完成。 網路設計策略上，卷積層+BN的組合幾乎使 Bias 變得多餘：因為 BN 會先對卷積輸出做減均值除方差，偏置的效果將被完全抵消。PyTorch 中 nn.Conv2d 預設 bias=True，但用於接 BN 的網路時多數實踐者顯式設 bias=False 以節省引數。而對於沒有歸一化或歸一化不扣除偏置的層（如部分 RNN、Transformer 的無偏置注意力投影），Bias 仍是必需。尤其是Transformer 的相對位置偏置（Relative Position Bias），在 T5、Swin Transformer 等架構中，偏置變成一個由相對位置索引的可學習查表向量，直接影響注意力分數的偏移，屬於極少量引數卻顯著影響效能的典型。

4 關鍵引數

• 引數量佔比：通常低於模型總引數量的 0.1%–1%。以 Meta 釋出於 2023 年的 LLaMA-2 70B 模型為例，各層 bias 引數累計約 170 MB（FP16），佔總體權重的 0.25% 左右（資料基於 HuggingFace 開源權重檔案統計，釋出日期 2023 年 7 月）。
• 記憶體足跡：每個 Bias 向量大小為 Out_features × dtype_Bytes，常規 1K 通道 FP16 僅 2 KB；即便是千億模型，所有 Bias 合計約數百 MB 量級（估算口徑：以 70B 模型乘以 10 倍擴充套件，未考慮 MoE 等稀疏儲存）。
• 計算開銷：矩陣乘後累加 Bias，新增 MAC 等效比率為 1/In_features，通常可近似為零。在典型的 Transformer 前饋層（in_features=4096）中，Bias 計算佔該層總計算量的 0.024% 以下。
• 精度影響：在量化推論中，Bias 的位寬策略可產生顯著影響。依據業內公開的 MLPerf Inference v3.0 提交結果（2023 年釋出），某 INT8 量化的 ResNet-50 模型若將 Bias 也量化為 INT8，top-1 準確率較保留 FP32 Bias 可再下降 0.2–0.5 個百分點；公開資料未見大規模統一基準，但多數推論架構預設對 Bias 採用 INT32 或 FP16 更高精度儲存。
• 硬體融合依賴度：衡量 AI 晶片“融合能力”的關鍵指標。缺乏對 Bias 直通加法器支援的晶片，在承載 GPT 類模型時需額外通過片外記憶體寫回中間結果後再加偏置，據 Hot Chips 2021 某初創 NPU 公開演講材料，該操作使 Transformer layer 延遲增加 8%–12%，能效比惡化約 15%（來源：Hot Chips 2021 技術報告，廠商匿名）。

5 技術路線

Bias 的存在形式隨著深度學習範式的變遷，呈現出幾條清晰的技術路線分化：

1. 全連線與早期 CNN 路線（2012–2015）：幾乎每個線性層均保留 Bias，cuDNN 初期以獨立核心執行 Bias 加法，導致額外核心啟動開銷。後期 cuDNN 引入“Convolution + Bias + Activation”融合，大幅降低開銷。
2. BN 後的偏置省略路線（2015–至今）：Ioffe & Szegedy 的 Batch Normalization（2015）證明緊接 BN 的卷積層可以省去 Bias。PyTorch 社群主流實踐由此分裂，大批視覺模型預設 bias=False。ResNet、EfficientNet 等里程碑模型均採用此策略。
3. Transformer 之投影層保留路線（2017–至今）：Vaswani 等人原始 Transformer 中，Q/K/V 線性投影預設含 Bias，而其後緊跟的 LayerNorm 也會抹去線性平移，但注意力得分空間中的偏置仍有效發揮作用。現代大型模型如 GPT-3、LLaMA 等在注意力投影中幾乎都保留 Bias（查閱相關開原始碼，2023 年版本），因為直接連線殘差流，表示空間未強制歸一。
4. 相對位置偏置路線（2019–至今）：自Google T5（2019）和 Swin Transformer（2021）起，相對位置偏置將 Bias 泛化為可學習的成對偏移矩陣或視窗內查表向量，在影像和文本任務上均實現明顯漲點。成為區域性注意力機制中不可或缺的結構先驗，引數佔比極小但增益顯著。
5. 量化部署中的高精度偏置路線（2020–至今）：TensorRT、ONNX Runtime 等推論引擎普遍支援對 Bias 單獨設定更高精度（如 INT32 或 FP16），以控制量化噪聲。高通、Apple Neural Engine 等行動端推論硬體也已內建相應混合精度處理單元（來源：高通 Hexagon NPU 技術白皮書，2022 年釋出；Apple ANE 公開文件，2023 年更新）。

技術路線對比表：

維度	Conv+BN 省偏置	Transformer 保留偏置	相對位置偏置	量化高精偏置
典型代表	ResNet, EfficientNet	GPT-3, LLaMA	Swin, ViT 區域性窗	TensorRT 最佳化模型
Bias 存在位置	僅分類頭保留	注意力投影、FFN 部分保留	注意力分數偏置矩陣	同原架構，但位寬更高
引數佔比	<0.01%	0.1%–0.5%	<0.1%（查表）	不變，但儲存位元增加
精度貢獻	省略無顯著損失	移除可能導致 PPL 上升 0.1–0.3（據某開源復現報告）	視窗內影像分類可漲 0.3–0.5 點 top-1	保留 FP32 bias 可使量化模型精度損失收斂至 <0.5%
實現複雜度	架構自動移除	需要架構支援可選	需自定義偏置生成邏輯，少量程式碼	編譯器/工具鏈需支援混合精度配置

上表定性對比基於多家公開論文與開源社群經驗總結，精確數值因任務和模型而異，公開資料未見統一基準。

6 上游

神經網路模型設計與自動微分架構（PyTorch、JAX、TensorFlow）構成 Bias 的上游。上游決定每一層的 bias=True/False 及初始化策略（通常為零初始化，少量用小常數打破對稱性），並在反向傳播中自動推導偏置梯度。架構的運算元序號產生器制也影響下游編譯器是否可以識別並融合 Bias。此外，模型結構搜尋（NAS）與 HuggingFace 等模型庫也對偏置策略產生傳播效應——一旦某個主流配置省略了 Bias，成千上萬的下游微調模型將繼承該選擇。

7 下游

Bias 的下游涵蓋 AI 編譯器、推論引擎和物理加速器。

AI 編譯器（XLA、TVM、MLIR 方言）：負責將圖級別的 Bias 加法融合進矩陣乘或卷積的流水線。若融合失敗，Bias 將作為孤立運算元插入，導致額外的全域性記憶體讀寫和核心啟動，延遲明顯上升。TVM 社群 2022 年引入的“BiasAdd 橫向融合”Pass 可自動將多個並行的 Bias 加法合併為一個批處理核心。

推論引擎（TensorRT、ONNX Runtime、OpenVINO）：普遍提供“Conv+Bias+Activation”融合最佳化，並在量化流程中單獨處理 Bias。TensorRT 8.6（2023 年釋出）進一步允許通過 Q/DQ 節點精確控制 Bias 的量化引數，防止直接吸收到 INT8 權重中造成不可恢復的偏移。

AI 加速器硬體（GPU、NPU、TPU、FPGA）：需在脈動陣列或張量核心的結果出口處整合標量-向量廣播加法器，或配備可程式設計 epilogue 單元。輝達從 Ampere 架構開始提供專門的“bias load”指令，在 epilogue 階段零延遲載入偏置向量。Google TPUv4 則在矩陣乘單元內部的累加器後直接配置加法通路，XLA 編譯器 2022 年的更新日誌顯示，針對 TPU 的 Bias 融合可減少約 5% 的推論延遲（來源：Google Cloud TPU 文件，2022）。寒武紀、燧原等國產 NPU 在 2023 年公開的 SDK 文件中也將 Bias 旁路成功率列為硬體效能調優關鍵項。

8 受益公司

Bias 本身不構成獨立產業，但其融合實現的質量直接對映到 AI 晶片與軟體棧的競爭力分佈。以下類別公司直接或間接受益於對 Bias 的高效處理：

• GPU/AI 加速器巨頭：輝達（NVIDIA）憑藉 CUTLASS 庫、TensorRT 推論引擎和從 Hopper 到 Blackwell 架構持續進化的 epilogue 設計，在應對大型模型推論時可將 Bias 開銷壓至幾乎為零，構成生態護城河。AMD 通過 MIOpen 和 hipBLASLt 提供類似能力，但公開可查的大型模型端到端融合覆蓋度仍落後，2023 年社群測試顯示部分 Transformer 變體存在融合缺口（來源：ROCm 社群 GitHub issue，2023）。Google TPU 原生整合 Bias 加法，XLA 能夠自動融合，使得 TPU 使用者無需感知該細節。
• 端側推論 IP 廠商：Arm 的 Ethos-NPU（2022 年釋出）實現了硬體級 bias 旁路，支援 INT8 卷積後累加 INT32 bias，其技術文件宣稱可避免因 bias 導致的額外 DMA 操作。高通 Hexagon NPU、Apple ANE 均具備同類能力，構成移動終端高效執行輕量級 Transformer 的底層保障。
• AI 編譯器與工具鏈供應商：如 OctoML（Apache TVM 的商業化實體）、Deci.AI 等，它們通過自動融合最佳化賦予各類硬體平台更好的 Bias 處理能力，間接提升晶片在客戶端的可用性，其技術價值在碎片化硬體生態中更加凸顯。
• 大型模型開發商：OpenAI、Meta、DeepMind 等對 Bias 的取捨雖有演算法層面的考慮，但一旦依賴特定硬體的 Bias 融合特性，就會對供應商形成粘性。不過該影響隱性，尚無單獨公開揭露的決策依據。

上述公司僅作為產業鏈角色客觀呈現，不構成任何投資或採購建議。

9 市場規模

Bias 並不存在一個獨立核算的市場，其價值深嵌於 AI 晶片、AI 軟體棧以及最終應用效能的細微差異中。然而可以從相關市場間接度量其經濟影響：

• AI 晶片市場：根據 MarketsandMarkets 2024 年 1 月釋出的報告，全球 AI 晶片市場規模在 2023 年估計為 623 億美元，預計 2028 年將達到 1,848 億美元（報告口徑：含 GPU、NPU、FPGA 等）。未能良好支援 Bias 融合的晶片在基準測試和實際部署中落於下風，可能被市場淘汰，可大致認為該市場價值的 5%–10% 左右與運算元融合等關鍵微架構能力直接關聯，公開資料未見專門拆分。
• 推論伺服器與邊緣裝置成本：若因缺少 Bias 融合導致 Transformer 延遲增加 10%，在同等吞吐量要求下需要多部署約 11% 的推論加速卡。以單卡成本 1 萬美元、部署 1,000 卡的中型推論叢集估算，額外硬體成本可達 1,100 萬美元（估算口徑：基於雲端推論例項定價與 GPU 官方指導價，2023 年水平）。此成本差異成為大型雲端廠商和 AI 創業公司採購時的重要參考。
• 量化工具市場：全球 AI 模型最佳化工具市場預計 2025 年達到約 30 億美元（來源：Fortune Business Insights 2023 年報告），其中大約 15%～25% 的功能涉及 Bias 精度保留與融合最佳化，對應約 4.5 億～7.5 億美元的間接市場關聯。

以上估算僅用於說明規模量級，並非嚴格統計。

10 玩家對比

廠商/專案	硬體/軟體平台	Bias 融合能力	量化 Bias 支援	備註
NVIDIA	A100/H100/B200 GPU, cuDNN, CUTLASS, TensorRT	支援 epilogue 階段零延遲加法，融合擴充套件至 Attention 偏置	可獨立指定 bias 精度為 INT32/FP16	生態最完整，2023 年 CUTLASS 3.x 支援混合精度 bias
AMD	MI250/MI300 GPU, MIOpen, hipBLASLt	支援 Conv/GEMM+Bias+Activation 融合，社群反饋 Transformer 部分模式融合不穩定	支援 INT32 bias，但部分量化工具鏈仍需手動配置	跨架構相容性持續改善中，2024 半年報揭露融合覆蓋率約 85%
Google	TPU v4/v5, XLA 編譯器	脈動陣列輸出硬體加法器，XLA 自動融合，無需使用者干預	支援 INT32 bias，量化訓練時自動保留 FP32 bias	閉源生態但融合能力一流，公開 Benchmark 顯示融合零開銷
Intel Habana	Gaudi2/Gaudi3, SynapseAI 編譯器	TPC 可程式設計核生成融合核心，支援 Bias+GeLU 等複雜尾部	支援 FP32 bias 混合精度	收購後生態仍處追趕期，2023 年 MLPerf 提交顯示高效融合
國產 NPU（寒武紀、燧原等）	思元系列、雲端燧系列等	自有編譯棧實現 Bias 旁路，部分平台仍依賴手動 INI 調優	支援 INT32/FP16 bias	公開技術文件顯示融合成功率達 90%+（2023 年），但端到端易用性仍有差距
Apache TVM/OctoML	軟體編譯器	通用 BiasAdd 融合 Pass，支援多種後端，非硬體原生仍需額外排程	支援 QNN Bias 高精度量化配置	社群活躍，2024 年新增“Bias 自動吸收”最佳化

對比資料來源於各廠商公開文件、社群提交記錄和 MLPerf 2023—2024 年提交結果，僅反映技術公開特性，不構成效能排名。

11 風險

技術風險：

• 融合相容性風險：不同硬體和編譯器對 Bias 融合的支援程度不一，模型移植時可能出現“隱式融合失效”，導致推論延遲突然升高、精度損失不易定位。這種風險在大型模型多平台部署時尤為突出。
• 量化精度塌陷：權值極度壓縮到 INT4/INT8 後，Bias 若未保持足夠精度（如 INT16 或 FP16），會破壞輸出分佈，出現“token 生成重複”或“幻覺率上升”等問題。公開資料未見統一的容忍度標準。
• 工具鏈斷層：自定義運算元或非常規結構（如螺旋狀稀疏連線）可能繞過編譯器的 Bias 融合模式，造成線性層計算效率急劇下降，修復往往需要深入底層實現。

產業風險：

• 過度簡化風險：學術界與部分工程團隊將“Conv+BN 去偏置”作為普適規則套用至所有模型，可能在新架構（如狀態空間模型、液體網路）中錯誤消除必要偏置，導致效能不佳且難以排障。
• 硬體鎖定風險：對某款晶片 Bias 融合高度依賴的模型，在更換平台時可能需重新進行精度與效能調優，使用者無形中被鎖定於特定加速器生態。
• 行業標準化不足：截至 2025 年，尚無跨廠商的 Bias 處理標準（如 ONNX 運算元規範中的 bias 仍為可選輸入，並未強制融合語義），可能導致不同推論服務間的精度差異，最終影響使用者信任。

12 誤讀糾偏

誤讀一：“有了 Batch Normalization，Bias 徹底沒用了” 糾正：BN 的確將前一層的平移效果抹去，但僅對緊鄰的線性變換生效。LayerNorm 同樣對輸入進行減均值操作，會完全抵消前一線性層偏置的平移效果。然而注意力投影層的偏置、位置偏置直接嵌入非歸一化的注意力分數空間，作用不可被 BN/LN 覆蓋，移除會導致模型擬合能力下降。因此“歸一化後必去偏置”僅對特定卷積架構成立，並非普適法則。

誤讀二：“Bias 就是模型偏差（bias），是導致欠擬合的元兇” 糾正：這是對機器學習中不同“bias”概念的混淆。引數偏置（Bias）是一個可學習的加法項，提高模型表達能力；而 bias-variance tradeoff 中的 bias 指模型預測的系統性偏離，是函式空間選擇問題。引數偏置減少本應有的欠擬合風險，而非增加。若誤以為兩者等同而去掉所有偏置，可能導致模型容量不足。

誤讀三：“Bias 記憶體佔用忽略不計，隨便保留就可以了” 糾正：在大規模分散式訓推中，每層保留 Bias 會增加大量 AllReduce 同步元素，儘管每個向量尺寸很小，但數千層疊加後可能擠佔控制面帶寬，且梯度通訊中的微量延遲經數千次迭代後產生可觀複利。2022 年一篇 NSDI 論文（作者匿名）分析指出，LLM 訓練中移除部分不必要的 bias 可減少約 3% 的梯度通訊量，公開資料未見進一步量化驗證。因此是否保留 Bias 需要從系統角度綜合權衡。

13 最新事件

• Blackwell 架構進一步加強 epilogue 靈活性（2024 年 3 月 GTC）：NVIDIA 釋出 B200 GPU，新增支援“Tile-based bias load”指令，使視窗注意力相對位置偏置的查表操作直接融進 Tensor Core 微流水線，官方公佈在 GPT-MoE 類模型上實現了偏置融合零額外時鐘週期。
• 大規模視覺模型重拾 Bias（2023–2024）：ViT-22B 等大視覺模型在 FFN 和投影層大規模保留 Bias，公開技術報告稱淺層移除 Bias 會造成小樣本學習的嚴重退化，顯示出超大規模下 Bias 的不可替代性（來源：Google ViT-22B arXiv 論文，2023 年 2 月）。
• ONNX 社群新 opset 擬標準化 Bias 融合屬性（2023 年 11 月）：ONNX 1.14 版本草案提議為 Conv、Gemm 運算元增加 fuse_bias 布林屬性，強制推論引擎若宣告支援該 opset 則必須保證 Bias 融合後精度與數學可分離執行一致，否則需返回錯誤。該提案仍在討論中，截至 2025 年 3 月尚未正式納入。
• 國產 AI 編譯器密集釋出 Bias 融合 Pass（2024 年 1 月–6 月）：寒武紀、燧原等通過 GitHub 開源部分編譯器程式碼，新增“Bias+GeLU”和“Bias+Silu”融合模式，華為昇騰 CANN 5.0 也通過圖最佳化實現 Transformer 多分支 Bias 合併。多家企業 CES 2024 技術釋出會提及該能力。
• 量化 Bias 位寬建議首次出現在行業協會白皮書（2024 年 5 月）：邊緣 AI 聯盟（Edge AI Consortium）釋出量化最佳實踐白皮書，建議在 8-bit 及以下權值量化時，Bias 至少保留 16-bit 精度，且不被吸收進權重，預計會影響下一代 NPU IP 設計。

14 追蹤指標

• 主流架構預設設定：追蹤 PyTorch、TensorFlow 最新版本中 Conv2d、Linear 等層的預設 bias 值，以及官方教程中推薦用法。截至 2025 年 2 月，PyTorch 2.2 仍預設 bias=True，但官方 Transformer 模型庫多數已顯式配置為 False（來源：TorchVision、HuggingFace transformers 原始碼）。
• 硬體融合覆蓋率：查閱各晶片廠商 SDK 釋出的“支援融合運算元列表”，統計 GEMM+Bias、Conv+Bias+Activation 的測試覆蓋率。公開資訊可參考 MLPerf 推論提交中 “end-to-end model without standalone bias kernel” 申明數量。
• 量化精度公差：追蹤 TensorRT、ONNX Runtime 的 Release Notes 中關於量化 bias 精度選項的變化，尤其是 INT4 部署中對 bias 位寬建議的調整。
• 學術論文偏置使用統計：Analysing 近一年頂會（NeurIPS、ICLR、ICML、CVPR）新模型架構對 Bias 的使用頻率，特別是新序列模型（如 S4、Mamba）是否引入偏置項。公開資料未見系統性統計，但可人工抽樣或以 NLP 工具定期爬取。
• 位置偏置的演變：關注 Transformer 變體中相對位置偏置的表徵方式變化（一維表格、多項式函式、旋轉編碼替代），此將直接影響硬體的查表或即時計算單元設計。
• 社群討論與 Issue：監控 GitHub 上 pytorch/pytorch、NVIDIA/cutlass、apache/tvm 等倉庫內含“bias”的高熱度 Issue，往往能提前發現融合失效、精度問題等早期訊號。

15 信源

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
• Ioffe, S., & Szegedy, C. (2015). Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. ICML.
• Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
• Liu, Z., et al. (2021). Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV.
• Raffel, C., et al. (2019). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR.
• NVIDIA CUTLASS Documentation – Epilogue. https://github.com/NVIDIA/cutlass
• NVIDIA TensorRT Developer Guide – Quantization. https://docs.nvidia.com/deeplearning/tensorrt/
• Google TPU Performance Guide – Fused Ops (2022). https://cloud.google.com/tpu/docs/performance-guide
• Arm Ethos-NPU Technical Reference Manual (2022).
• Qualcomm Hexagon NPU White Paper (2022).
• Apache TVM Documentation – BiasAdd Fusion. https://tvm.apache.org/docs/
• MLPerf Inference Results v3.0, v3.1 (2023). https://mlcommons.org/benchmarks/inference/
• MarketsandMarkets. AI Chip Market Report (Jan 2024).
• Fortune Business Insights. AI Model Optimization Market Report (2023).
• Edge AI Consortium White Paper on Quantization Best Practices (May 2024).
• Hot Chips 2021 proceedings (selected startup NPU presentation).
• ViT-22B: An Image is Worth 22B Transformers, Dehghani et al., arXiv 2023.
• LLaMA-2 model card and HuggingFace config (2023). Meta Platforms, Inc.

部分行業慣例和量級估算來自作者對相關文件的整理，僅供參考。