Occupancy(佔據網路)
定位:自動駕駛 3D 感知核心範式 · 端雲端協同鏈路
標籤:感知演算法 BEV/3D 端到端 鏈-雲端
更新:2025 年 Q2
⚡ 3 秒速覽
| 關鍵詞 | 說明 |
|---|
| 一句話定義 | 將車輛周圍 3D 空間離散化為體素(Voxel),逐體素預測”是否被佔據+語義類別”的感知表徵方法 |
| 核心價值 | 用統一網格統一建模車輛、行人、異形障礙物(落石/施工錐/動物),告別”先檢測再建圖”的兩階段範式 |
| 產業位置 | 感知演算法層 → 為下游規劃/控制提供稠密 3D 佔據柵格輸入 |
📖 3 分鐘理解
是什麼?
Occupancy Network(佔據網路)是一種 稠密 3D 語義佔據預測 方法:
- 體素化:以自車為中心,將周圍空間(典型範圍:前 60–100 m、左右 40 m、高 8 m)劃分為 0.2–0.4 m 邊長的立方體網格。
- 預測任務:對每個體素輸出兩維資訊——
- 佔據機率:該格是否被實體佔據(二值/機率)
- 語義標籤:車輛/行人/建築/道路/植被/空(可選多類別)
- 輸出:一張高解析度 3D 佔據柵格,供規劃模組做碰撞檢測與路徑搜尋。
為什麼火?
| 驅動因素 | 說明 |
|---|
| 特斯拉效應 | 2022 AI Day 公佈 Occupancy Network,將其作為 FSD v11 核心感知模組 |
| 長尾難題 | 傳統 3D 檢測器只能識別訓練集內類別;Occupancy 用”佔據”替代”類別”兜底所有未知物體 |
| 端到端趨勢 | Occupancy 輸出的體素柵格天然適配端到端架構(佔據 → 代價體 → 規劃軌跡) |
典型技術鏈路
多相機影像 ──→ Backbone(ResNet/ViT) ──→ BEV 特徵 ──→ 3D 升維 ──→ Occupancy Head
│
攝像頭 + LiDAR(可選)──────────────────────────────────────────────┘
▼
3D 佔據柵格
│
▼
規劃/控制模組
關鍵效能指標(公開基準參考)
| 指標 | 說明 | 典型值(2024 公開論文/開源) |
|---|
| mIoU(運動物體) | 運動體素交併比 | 30–45(純視覺) |
| mIoU(全場景) | 含靜止結構 | 40–55(視覺+LiDAR) |
| 推論延遲 | 端側單幀耗時 | 30–80 ms(Orin 級別) |
🔬 15 分鐘專家深入
一、技術原理
1.1 從 BEV 到 Occupancy 的演進
| 階段 | 代表工作 | 核心思想 |
|---|
| 2D 檢測 | YOLO/CenterNet | 在影像平面檢測 2D 框 |
| 3D 檢測 | DETR3D/PETR | 從影像預測 3D 框(長寬高+朝向) |
| BEV 語義 | BEVFormer/LSS | 將影像特徵投影到鳥瞰圖,做語義分割 |
| Occupancy | Tesla OccNet/FlashOcc | 在 BEV 基礎上增加高度維,逐體素預測佔據+語義 |
關鍵躍遷:BEV 僅是”俯視投影”(丟失高度資訊),Occupancy 是真正的 3D 體素網格,能表達立交橋、隧道、車輛底盤等多層結構。
1.2 核心技術模組
① 2D→3D 特徵提升(Lift)
- LSS 系(Lift-Splat-Shoot):預測每個畫素深度分佈,將 2D 特徵”沿射線撒回”3D 空間。
- Transformer 系(BEVFormer):用 3D 參考點查詢 BEV 特徵,通過交叉注意力聚合多視角影像資訊。
- 顯式深度監督:引入 LiDAR 點雲端或深度真值做深度估計輔助損失。
② 3D 編碼器
- 將稀疏 3D 特徵體素化後送入 3D 卷積(如 SparseConv)或 3D Transformer。
- 稀疏化是關鍵:整幅場景體素數量可達 200³≈800 萬,必須用雜湊表/稀疏卷積只計算被佔據區域。
③ Occupancy Head
- 分類頭:逐體素做多分類(空/車/人/建築…),常用 Focal Loss 或 Dice Loss。
- 迴歸頭(可選):預測體素內 TSDF(截斷符號距離場),用於更精細的表面重建。
④ 時序融合
- 融合歷史幀的 BEV/佔據特徵(迴圈結構或幀間注意力),提升遮擋區域的推論能力。
- 可進一步做 佔據流(Occupancy Flow) 預測,估計每個體素的速度向量。
1.3 代表開源方案對比
| 方案 | 機構 | 年份 | 特點 |
|---|
| SurroundOcc | 北大/商湯 | 2023 | 首個大規模 Occupancy 資料集 + 基線 |
| FB-OCC | 人大/圖森 | 2023 | 前後向特徵對齊,mIoU 提升 |
| OccNet (Tesla) | Tesla | 2022 | 工程化標杆,細節未開源 |
| FlashOcc | 華中科技大學 | 2024 | 輕量化設計,延遲低至 30 ms@Orin |
| OpenOccupancy | 地平線 | 2024 | 面向量產,配合地平線晶片最佳化 |
注:上表 mIoU 數值因資料集劃分不同不可直接橫向比較,此處僅列方案定位。
二、產業鏈全景
2.1 產業鏈圖譜(鏈-雲端視角)
┌─────────────────────────────────────────────────────────────────┐
│ 雲端 端 (Cloud) │
│ ┌──────────┐ ┌──────────────┐ ┌─────────────────────────┐ │
│ │ 資料閉環 │ │ 模擬測試平台 │ │ 模型訓練/蒸餾/壓縮 │ │
│ │ (採集→標註│ │ (CARLA/LGSVL │ │ (GPU叢集 A100/H100) │ │
│ │ →迴流) │ │ →自研) │ │ │ │
│ └──────────┘ └──────────────┘ └─────────────────────────┘ │
└──────────────────────────┬──────────────────────────────────────┘
│ 模型下發 OTA
┌──────────────────────────▼──────────────────────────────────────┐
│ 車 端 (Chain) │
│ ┌─────────┐ ┌───────────┐ ┌────────────┐ ┌──────────────┐ │
│ │ 感測器 │→│ 域控晶片 │→│ Occ 演算法棧 │→│ 規劃/控制 │ │
│ │攝像頭×N │ │Orin/征程6 │ │ (前處理→ │ │ 佔據柵格→ │ │
│ │LiDAR(可)│ │TDA4/自研 │ │ 骨幹→Head)│ │ 代價體→軌跡 │ │
│ └─────────┘ └───────────┘ └────────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────────────┘
2.2 上游:感測器與晶片
| 環節 | 代表公司/產品 | 備註 |
|---|
| 攝像頭模組 | 舜宇光學、歐菲光、聯創電子、Sunny Optical | 車規級 800 萬畫素前視+環視 |
| LiDAR | 禾賽 AT128、速騰 M1/M2、圖達通 Falcon | 部分 Occ 方案融合 LiDAR 做深度真值/點雲端監督 |
| 域控晶片 | 輝達 Orin-X、地平線征程 6、黑芝麻 C1236、TI TDA4VH | Occ 演算法對算力需求高(30–100 TOPS 起步) |
| 記憶體 | 三星/LPDDR5、SK 海力士 | 體素特徵佔用視訊記憶體大,高頻寬儲存是瓶頸之一 |
2.3 中游:演算法/軟體
| 型別 | 代表公司/團隊 | 說明 |
|---|
| 全棧自研 | 特斯拉、華為 ADS、小鵬 XNGP、理想 AD Max | 端到端+Occ 一體設計 |
| Tier-1 方案 | Momenta、地平線 SuperDrive、商湯絕影 | 提供感知演算法+中介軟體,賣給主機廠 |
| 開源/學術 | OpenMMLab (MMDet3D)、SurroundOcc、nuScenes-Occ | 推動行業基線與評測標準 |
2.4 下游:整車與 Robotaxi
| 場景 | 應用方式 | 代表 |
|---|
| L2+ 量產車 | Occ 輸出直接餵給規控模組 | 特斯拉 FSD v12、華為 ADS 3.0、小鵬 XNGP |
| L4 Robotaxi | Occ 與高精地圖融合,做更精細的碰撞檢測 | Waymo、百度 Apollo、小馬智行 |
| 低速場景 | 泊車/園區,Occ 處理異形障礙物 | 縱目科技、酷黑科技 |
三、代表公司深度
3.1 特斯拉(Tesla)
| 維度 | 詳情 |
|---|
| 釋出節點 | 2022 AI Day 首次展示 OccNet;2024.8 釋出端到端 FSD v12.5,Occ 融入端到端網路 |
| 技術特點 | 純視覺(8 攝像頭);自迴歸式多幀時序融合;DOJO 超算訓練 |
| 資料優勢 | 截至 2024 年,全球車隊累計行駛里程超 300 億英里(公司揭露),持續回傳 Corner Case |
| 爭議 | 純視覺方案在惡劣天氣/夜間是否可靠仍有行業爭論 |
3.2 華為 ADS
| 維度 | 詳情 |
|---|
| 釋出時間 | 2023 年 Q3 隨問界 M9 釋出 ADS 2.0,引入 GOD 網路(通用障礙物檢測,Occ 思路) |
| 2024 進展 | ADS 3.0(2024.9 釋出),端到端+GOD 網路一體化;支援雷射雷達+視覺融合 |
| 搭載車型 | 問界 M9、M7,智界 S7,享界 S9 等 |
| 算力平台 | MDC 810(400+ TOPS) |
3.3 小鵬汽車
| 維度 | 詳情 |
|---|
| 釋出時間 | 2023 年 1024 科技日公佈 XNet 2.0(引入 Occ) |
| 2024 進展 | 2024 年 5 月釋出端到端架構,Occ 作為感知-規控銜接層 |
| 搭載車型 | G6、G9、X9、P7+ |
| 算力平台 | Orin-X × 2 |
3.4 理想汽車
| 維度 | 詳情 |
|---|
| 釋出時間 | 2024 年釋出端到端+VLM 雙系統架構,Occ 為核心表徵 |
| 技術路線 | 視覺為主 + 雷射雷達輔助真值監督 |
| 搭載車型 | MEGA、L9/L8/L7 Max 版 |
| 2025 規劃 | 公開資料稱計劃將模型引數從約 30 億擴充套件至超 50 億(口徑待官方確認) |
3.5 Momenta
| 維度 | 詳情 |
|---|
| 定位 | Tier-1 演算法供應商,向主機廠輸出”飛輪”資料閉環方案 |
| Occ 方案 | 提供 Occ 感知棧+模擬工具鏈,支援客戶適配不同晶片 |
| 合作車企 | 上汽智己、豐田(戰略合作) |
3.6 地平線
| 維度 | 詳情 |
|---|
| 晶片 | 征程 5(128 TOPS)、征程 6(560 TOPS) |
| Occ 生態 | 釋出 OpenOccupancy 開源工具,聯合學術界建立評測基線 |
| SuperDrive | 2024 年釋出城區 NOA 全棧方案,Occ 為核心感知模組 |
四、中國產業進展
4.1 時間線
| 時間 | 事件 |
|---|
| 2022.10 | 特斯拉 AI Day 公佈 OccNet,國內技術社群開始跟進研究 |
| 2023.04 | SurroundOcc 資料集開源(北大/商湯),推動學術復現 |
| 2023.10 | 小鵬 1024 日公佈 XNet 2.0(含 Occ),國內首個公開量產 Occ 方案之一 |
| 2023.Q4 | 華為 ADS 2.0 隨問界 M9 上市,GOD 網路(Occ 思路)落地 |
| 2024.Q1 | 地平線 OpenOccupancy 開源,聯合 10+ 高校建立評測 |
| 2024.05 | 小鵬釋出端到端架構,Occ 融入端到端管線 |
| 2024.09 | 華為 ADS 3.0 釋出,端到端+GOD 一體化 |
| 2024.Q4 | 理想汽車公佈端到端+VLM 雙系統,Occ 為感知核心 |
| 2025.Q1 | 多家主機廠(比亞迪、長城、長安)揭露 Occ 相關專利或技術預研 |
4.2 產學研格局
| 層面 | 代表 | 說明 |
|---|
| 學術 | 北大、清華、上海交大、華中科大、中科院 | 在 CVPR/ECCV/ICCV 發表多篇 Occ 相關論文 |
| 開源 | OpenMMLab (MMDet3D)、SurroundOcc、OpenOccupancy | 提供工具鏈和基線模型 |
| 產業 | 華為、小鵬、理想、Momenta、地平線、商湯絕影 | 量產或接近量產 |
| 標準 | 公開資料未見統一的 Occ 評測國家標準;行業多沿用 nuScenes / SurroundOcc 基準 | |
4.3 中國市場特殊性
| 特點 | 說明 |
|---|
| LiDAR 普及率高 | 與特斯拉純視覺路線不同,國內主流方案多采用”視覺+雷射雷達”融合,Occ 可利用 LiDAR 點雲端做深度真值監督 |
| 城區 NOA 競賽 | 2024–2025 年國內城區 NOA 快速落地,Occ 作為統一障礙物表徵成為標配 |
| 晶片自主化 | 地平線征程 6、黑芝麻 C1236 等國產晶片推動 Occ 在國產平台的最佳化部署 |
五、風險與爭議
5.1 技術風險
| 風險 | 說明 |
|---|
| 計算開銷 | 體素解析度越高(0.1 m vs 0.4 m),體素數量呈立方增長;高解析度 Occ 在端側部署仍面臨算力與記憶體瓶頸 |
| 真值標註成本 | 3D 體素級標註極其昂貴;主流方案依賴 LiDAR 點雲端投影生成偽真值,可能引入系統性偏差 |
| 時序一致性 | 多幀融合的 Occ 在高速/急轉彎場景可能出現時序抖動或”幽靈體素” |
| 邊界模糊 | 佔據機率閾值的選取(0.3? 0.5?)直接影響規劃模組的保守性/激進性,尚無行業統一標準 |
5.2 產業爭議
| 爭議 | 正方 | 反方 |
|---|
| 純視覺 vs 融合 | 特斯拉:純視覺足夠,資料規模彌補硬體短板 | 華為/小鵬等:LiDAR 提供可靠深度真值,安全冗餘不可少 |
| Occ vs 傳統 3D 檢測 | Occ 能兜底長尾障礙物 | 傳統檢測在已知類別上精度更高,Occ 精度仍落後 5–10 mIoU |
| 端到端黑箱 | Occ 是端到端的中間表徵,最終可解釋性下降 | 規劃模組仍需顯式佔據柵格做安全校驗 |
| 資料安全 | Occ 訓練依賴海量回傳資料,涉及地理資訊/隱私 | 需平衡資料利用與合規(《汽車資料安全管理若干規定》等) |
5.3 監管與合規
| 維度 | 現狀 |
|---|
| 功能安全 | Occ 屬於感知模組,需滿足 ISO 26262 ASIL-B 或以上要求;但”佔據柵格”作為新表徵,FMEA(失效模式分析)尚無成熟範式 |
| 資料合規 | 中國《汽車資料安全管理若干規定(試行)》要求車外人臉/車牌等資訊脫敏;Occ 涉及的點雲端/影像資料需合規處理 |
| 測試標準 | 公開資料未見針對 Occ 的國家級測試標準;行業多參照 C-NCAP / i-VISTA 智慧駕駛評測 |
六、關鍵資料彙總
| 資料項 | 數值 | 口徑/來源 |
|---|
| 特斯拉全球車隊累計里程 | >300 億英里 | 2024 年公司揭露 |
| 輝達 Orin-X 單晶片算力 | 254 TOPS | 輝達官網 |
| 地平線征程 6 算力 | 560 TOPS | 2024 年釋出會,地平線官方 |
| 華為 MDC 810 算力 | 400+ TOPS | 華為智慧汽車解決方案官網 |
| Occ 典型體素解析度(量產) | 0.2–0.4 m | 行業通用配置(2024 公開論文) |
| Occ 端側推論延遲(Orin 級) | 30–80 ms | FlashOcc 等論文(2024) |
| 華為 ADS 3.0 釋出時間 | 2024 年 9 月 | 華為釋出會 |
| SurroundOcc 資料集場景數 | 107,000+ 幀 | 論文公開(2023) |
說明:部分數值為公開論文/釋出會資料,實際量產引數可能因軟硬體版本不同存在差異。
七、未來展望
| 方向 | 趨勢 |
|---|
| 端到端融合 | Occ 從獨立模組逐漸融入端到端網路(感知→規控一體),減少模組間資訊損失 |
| 4D 佔據(+時序) | 從 3D 佔據擴充套件到 4D(含速度/加速度場),為規劃提供動態預測 |
| Occ + 世界模型 | 佔據柵格作為世界模型的”狀態空間”,支撐模擬/預測/決策閉環 |
| 輕量化部署 | 知識蒸餾+稀疏卷積+INT8 量化,目標:10 ms 級延遲@中端晶片 |
| 標準化 | 推動行業統一 Occ 評測基準與安全規範 |
免責宣告:本文僅供技術科普與產業鏈研究參考,不構成任何投資建議或產品推薦。資料截至 2025 年 Q2,如有更新請以官方最新揭露為準。