神經輻射場 (Neural Radiance Field)

1 3 秒看懂

• 一句話定義：NeRF 是一套利用深度學習從 2D 影像重建 3D 場景的演算法，輸入是若干張照片，輸出是一個可以從任意視角觀看的連續立體空間。
• 核心價值：把“拍照”變成“造空間”，跨進實景三維內容的自動化生成門檻。
• 所處環節：位於 3D 數字內容生產鏈條的上游技術與中游工具層，向下連線計算硬體、採集裝置，向上賦能影視、遊戲、電商、數字孿生、自動駕駛等行業。
• 關鍵數字：2020 年原始 NeRF 論文發表後，衍生變體論文超 1000 篇；相關 3D 重建全行業市場 2022 年約 12.9 億美元（Grand View Research 2023）。

2 3 分鐘產業解釋

• 技術本質：NeRF 不是攝像頭，不是晶片，而是一個數學函式的神經網路表示。它用多層感知機 (MLP) 隱式地記住場景中每個空間點的顏色和密度，再通過體渲染生成影像。整個過程完全可微分，因此能用照片直接端到端訓練。
• 產業角色：NeRF 被封裝在應用軟體和雲端服務中，充當從原始影像到可渲染 3D 模型的**“自動拼圖機”。它解決的是傳統攝影測量、雷射掃描在反射/透明表面、薄結構、複雜光照條件**下易失敗的問題。
• 商業鏈路：採集端（手機、相機、雷射雷達）→ 計算端（本地 GPU 或雲端 GPU 叢集）→ 演算法平台（Luma AI、Polycam、NVIDIA Instant NeRF、商湯 SenseMARS 等）→ 應用端（遊戲引擎外掛、數字孿生平台、影視虛擬製片工具）。營收模式目前以 SaaS 訂閱、API 呼叫和解決方案定製為主。
• 時間視窗：2023–2024 年，隨著 3D Gaussian Splatting (3DGS) 等新技術出現，訓練與渲染速度提升 1–2 個數量級，“準即時神經渲染”從實驗室走出，產業化節奏明顯加快。

3 技術原理

• 場景表示：原始 NeRF 將場景建模為一個連續 5D 函式 F_\Theta(mathbf(x), mathbf(d)) \to (mathbf(c), \sigma)，mathbf(x) \in mathbb(R)^3 為空間點座標，mathbf(d) 為視角方向，輸出顏色 mathbf(c) 和體積密度 \sigma。常用實現是一個全連線 MLP。
• 位置編碼與高頻恢復：使用高頻正弦/餘弦函式將低維座標對映到高維空間：\gamma(p)=(\sin(2^0 p),\cos(2^0 p),\dots,\sin(2^{L-1}p),\cos(2^{L-1}p))。該技巧使 MLP 能捕獲紋理和邊緣細節，是原始 NeRF 成功的核心工程貢獻之一。
• 體渲染方程：從相機光線上取樣 N 個點，積分得到畫素顏色 hat(C)(mathbf(r)) = \sum_{i=1}^N T_i \alpha_i mathbf(c)_i，其中 \alpha_i = 1 - \exp(-\sigma_i \delta_i)，透射率 T_i = \prod_{j=1}^{i-1} (1-\alpha_j)。整個計算可微分，因此可用真實影像畫素顏色 C_{gt} 做監督。
• 訓練與最佳化：損失函式多為 MSE：mathcal(L) = \sum_{mathbf(r)} \| hat(C)(mathbf(r)) - C_{gt}(mathbf(r))\|_2^2。原始 NeRF 需要針對單場景訓練數小時到十餘小時。
• 重要變體：
  • Mip-NeRF：引入錐體取樣代替光線點取樣，抗鋸齒、多尺度一致性更好。
  • Instant-NGP：結合雜湊網格編碼與微型 MLP，訓練時間降至數秒至數分鐘。
  • 3D Gaussian Splatting (3DGS)：改用顯式 3D 高斯點雲端，通過可微光柵化即時渲染（>30 FPS），訓練耗時降至分鐘級，正在成為產業化主流路線。
  • 動態 / 可編輯 NeRF：引入變形場、條件資訊，支援人臉驅動、場景編輯等。
• 關鍵技術瓶頸（2024–2025 現狀）：對透明物體、高度複雜光照、大規模城市場景仍存挑戰；即時編輯與物理模擬整合還不成熟；泛化到不同場景的“通用 NeRF”模型仍在探索中。

4 關鍵引數

• 重建質量指標（公開研究基準，如 Blender、LLFF 資料集）：
  • PSNR：原始 NeRF 在合成場景約 31–36 dB；Instant-NGP 接近或略高；3DGS 可達 33–38 dB 以上，視場景而定。
  • SSIM / LPIPS：SSIM 一般 >0.95；LPIPS 常用 AlexNet 骨架，3DGS 最低可達 0.03–0.06，視覺保真度極高。
• 訓練時間（單場景，單 NVIDIA V100/A100 參考）：
  • 原始 NeRF：8–48 小時。
  • Instant-NGP：5–30 秒達到視覺可用，數分鐘精煉。
  • 3DGS：10–30 分鐘（含 COLMAP 稀疏點雲端初始化和高斯最佳化）。
• 渲染速度（1080p 解析度）：
  • 原始 NeRF：<1 FPS。
  • Instant-NGP：約 1–5 FPS。
  • 3DGS：>30 FPS（可在瀏覽器或頭顯中即時漫遊）。
• 輸入要求：通常 20–100+ 張多視角清晰影像，需場景基本靜止，取樣視角覆蓋充分。部分方法支援稀疏視角（3–10 張）但質量明顯下降。
• 模型大小：MLP 引數約數 MB 至數十 MB；3DGS 高斯點雲端檔案通常數十至數百 MB（取決於場景複雜度和點數，常見 50–300 MB）。Instant-NGP 的雜湊表約幾十 MB。
• 算力門檻：訓練最低要求 NVIDIA GeForce RTX 3060 以上；商業級雲端端推論通常使用 NVIDIA A10 / T4 等。高併發 3DGS 雲端端渲染對 GPU 視訊記憶體和頻寬要求較高。

5 技術路線

• 純隱式路線（以 MLP 為核心）：
  • 代表：原始 NeRF、Mip-NeRF、TensoRF、K-Planes。
  • 優勢：場景連續性好，記憶體佔用相對穩定；劣勢：渲染慢，動態編輯困難。
• 混合顯－隱式路線：
  • 代表：Instant-NGP（雜湊網格 + 小型 MLP）、Plenoxels（球諧係數體素）。
  • 優勢：訓練極快，渲染可達互動幀率；劣勢：儲存空間大，引數調優敏感。
• 純顯式 / 可微光柵化路線：
  • 代表：3D Gaussian Splatting (3DGS)、後續的 Mip-Splatting、Scaffold-GS 等。
  • 優勢：訓練快、渲染即時、與現有圖形管線相容度高；劣勢：儲存開銷大，點雲端密度自適應性不足，尚缺乏統一標準。
• 前饋推斷與通用模型路線：
  • 代表：pixelNeRF、IBRNet、PF-LRM 等 Transformer-based 重建器。
  • 目標：從極少影像直接前饋預測 3D 表示，無需逐場景訓練。2024–2025 年發展迅速，但泛化質量仍弱於逐場景最佳化。
• 中國團隊特色的技術路徑：
  • 關注動態人臉/人體 NeRF、稀疏視角重建、大場景分塊融合和文本/語音驅動生成。清華、浙大、商湯、騰訊等均有相關開源或論文，2023–2024 年在 CVPR/ICCV 等頂會保持高佔比。

6 上游

• 資料採集硬體：
  • 消費級：智慧手機（iPhone 後置 LiDAR、安卓多攝）、運動相機陣列、無人機傾斜攝影。
  • 專業級：多相機同步採集系統（如 360° 棚拍）、工業級雷射雷達（如禾賽、速騰聚創等應用於自動駕駛和數字孿生）、深度相機（Azure Kinect， Intel RealSense）。
• 計算晶片與伺服器：
  • GPU 訓練：NVIDIA A100/H100 是學術和雲端端訓練主力；消費級 RTX 4090 等用於離線開發。
  • 推論與渲染：雲端 GPU 例項（如 AWS G5、阿里雲端 GPU 雲端伺服器）提供 NVIDIA A10、L4 等，為 NeRF/3DGS 的 SaaS 服務提供訂閱式算力。
  • 行動端/XR 晶片：高通驍龍 8 Gen 2/3 配備 AI 引擎，支援輕量級神經渲染推論；Apple A17 / M 系列晶片支援 Core ML 加速，版面配置 Vision Pro 空間計算。
• 資料集與合成數據：
  • 學術基準：Blender 合成數據集、LLFF 真實場景、Tanks and Temples、Mip-NeRF 360。
  • 產業資料：自動駕駛企業（如 Waymo、Cruise、百度 Apollo）有大規模多視角採集資料，可用於訓練 NeRF 變體，但多為私有。合成數據平台（如 NVIDIA Omniverse Replicator）可生成無限標註真值。
• 儲存與雲端基礎設施：高斯點雲端、特徵網格等模型體積較大，對物件儲存 OSS 頻寬要求高。CDN 分發神經渲染模型尚無成熟方案，是未來關鍵節點。

7 下游

• 影視與虛擬製片：
  • 利用 NeRF/3DGS 將實拍場景數字化，實現虛擬攝像機自由運鏡、光照重打等，降低置景和返工成本。NVIDIA 與合作伙伴展示過基於 Instant NGP 的虛擬製片流程。
• 遊戲與互動娛樂：
  • 遊戲資產快速生成：從照片自動重建 3D 道具、環境，縮短美術工期。
  • 沉浸式體驗：為 VR/AR 提供真實感靜態場景背景，如文旅漫遊、密室逃脫。
• 電商與營銷：
  • 3D 商品展示：買家可從任意角度檢視商品，提升轉化率。Luma AI、Polycam 提供手機掃描生成 3D 模型方案，用於 Shopify 等平台。
  • 虛擬試穿戴、試妝結合人體 NeRF。
• 數字孿生與工業：
  • 工廠、建築物逆向建模：結合無人機傾斜攝影和 NeRF 生成高精度孿生體，用於運維管理、碰撞檢測。
  • 存量 BIM 對接：從舊建築中自動化重建三維模型，與設計模型對比。
• 自動駕駛模擬：
  • 利用 NeRF 重建真實道路場景，生成任意視角、光照、天氣條件下的駕駛模擬資料，降低實車採集需求。Waymo、特斯拉等有相關研究。NVIDIA DRIVE Sim 集成了神經重建模組。
• 文化遺產與數字文旅：
  • 對不可移動文物、博物館展廳進行 3D 數字化存檔與線上互動展示。故宮、敦煌等國內機構有試點。
• 醫療影像：
  • 從 CT/MRI 切片中重建體積渲染，或從內窺鏡影片重建腔道結構，尚處研究早期。

8 受益公司

• 上游算力與硬體廠商：
  • NVIDIA：提供 GPU、CUDA 生態、Instant NeRF 工具、Omniverse 平台，是最大算力受益方。
  • AMD：在資料中心 GPU 和異構計算中跟進神經渲染需求。
  • Apple：通過 Vision Pro 和 ARKit 將神經渲染融入空間計算，推動行動端硬體升級。
  • 禾賽科技、速騰聚創：雷射雷達是部分專業級 NeRF 的採集源。
• 演算法平台與應用服務商：
  • Luma AI：推出基於 NeRF 和 3DGS 的行動端掃描和雲端端重建服務，使用者體驗領先。
  • Polycam：廣泛用於房產、3D 資產建立的手機掃描應用，已整合 3DGS 模式。
  • Unity / Epic Games：通過引擎外掛將 NeRF/3DGS 模型匯入即時渲染管線，賦能遊戲與工業。
  • 商湯科技：SenseMARS 平台結合 NeRF 與數字人，提供元宇宙內容生成。
  • 騰訊：光影雲端、雲端渲染與遊戲引擎中探索 NeRF 製作管線。
  • 百度：希壤元宇宙及 Apollo 模擬平台運用神經重建技術。
  • 字節跳動：在抖音特效、影片編輯中融合 3D 神經渲染。
  • Adobe：在 Substance 3D 和 Project Neo 等工具中探索從影像生成 3D 資產。
• 下游數字化需求方：
  • 建築與工程：Autodesk、Bentley 可能整合 NeRF 掃描到 BIM 流程。
  • 電商：Shopify、亞馬遜已開放 3D 商品上傳，間接受益於 NeRF 大眾化。
  • 自動駕駛方案商：Waymo、Cruise、小鵬、蔚來等將神經渲染用於模擬資料增強。 (注：以上僅為產業關聯梳理，不構成任何投資建議)

9 市場規模

• 直接 NeRF 市場：公開資料未見獨立的 NeRF 專有市場統計和預測。NeRF 作為演算法技術和工具模組，通常被包含在更大的 3D 重建、神經渲染和數字內容建立市場中。
• 相關市場資料：
  • 全球 3D 重建市場：Grand View Research (2023) 報告，2022 年市場規模約 12.9 億美元，預計 2030 年達到 29.9 億美元，2023–2030 年複合年增長率約 10.2%。增長驅動力來自數字孿生、AR/VR、自動駕駛等。
  • 神經渲染與 AI 3D 生成：BCC Research 和 MarketsandMarkets 將 AI 3D 內容生成納入生成式 AI 大市場。2023 年生成式 AI 整體市場規模約 137 億美元（Bloomberg Intelligence），其中 3D 生成僅佔極小份額，但增速高於文本和影像。
  • 中國 3D 數字內容市場：據智研諮詢 (2023) 相關統計，2022 年中國 3D 建模與視覺化市場規模約 30 億元人民幣，年增長率約 15%。其中基於 AI 和神經渲染的份額仍不足 5%，但預計 2025 年後加速滲透。
• 商業化現狀：多數 NeRF 應用以 SaaS 訂閱和解決方案定製收費。Luma AI 在 2023 年完成 B 輪融資 4300 萬美元，估值未揭露。國內 NeRF 創業公司多處於天使輪至 A 輪，公開融資金額普遍在數千萬元人民幣，整體賽道尚處匯入期。

10 玩家對比

玩家	核心技術路線	產品形態	部署方式	突出特點
Luma AI	多模態 (NeRF, 3DGS) 重建	移動 App + Web 平台 + API	雲端端與本地混合	端到端易用性最強，快速交付互動式 3D 場景；支援無人機、環境掃描
Polycam	3DGS + 傳統攝影測量	iOS / Android App、Web	行動端 + 雲端端	掃描流程極簡，社群活躍，支援多種格式匯出，房產和設計行業滲透廣
NVIDIA Instant NeRF	Instant-NGP + 3D MoMa 等	開源 SDK、Omniverse 外掛	本地 GPU	訓練速度業界標杆，與 Omniverse 生態深度整合，面向專業數字內容創作
商湯科技 SenseMARS	NeRF + 多視角幾何	PaaS 平台、API	雲端端	結合數字人、元宇宙空間，提供企業級數字孿生和互動營銷方案
騰訊光影雲端	NeRF 變體 + 雲端渲染	內部遊戲與影視工具鏈	雲端端	與騰訊遊戲美術管線結合，探索大場景自動建模和虛擬拍攝
百度 (希壤/Apollo)	NeRF + 點雲端融合	元宇宙平台、模擬工具	雲端端	將神經重建用於數字孿生城市與自動駕駛模擬場景
開源社群 (nerfstudio, gsplat等)	nerfstudio + 3DGS 等多方法	開源 Python 架構	本地 / 雲端端	學術前沿快速整合，開發者生態豐富，企業常用作內部研發基礎
(注：以上對比基於公開資訊，截至 2024 年底，不構成投資建議)

11 風險

• 技術風險：
  • 速度－質量博弈：即時渲染的 3DGS 在玻璃、半透明、細線條等場景易出現偽影；高保真場景仍需大量訓練時間。
  • 動態與編輯困難：多數 NeRF 方法仍假設靜態場景，動態場景重建和靈活編輯不夠成熟。
  • 標準化缺失：模型格式多樣（.ply 高斯點雲端、.pt 權重、.onnx 推論檔案），缺乏跨引擎的統一標準，成為產業化障礙。
• 市場與競爭風險：
  • 技術替代：3DGS 已展現出部分替代 NeRF 的趨勢，新方法可能隨時重構產業格局。
  • 大廠“絞殺”：NVIDIA、Meta、Apple等大廠可能將神經渲染功能直接整合進硬體或作業系統，削弱第三方 SaaS 平台價值。
  • 商業模式脆弱：當前消費端付費意願有限，專業市場需求高但獲客成本和定製化佔比高，SaaS 規模化盈利路徑尚未跑通。
• 算力與環境風險：
  • GPU 成本：訓練和雲端端推論嚴重依賴高階 GPU，全球 GPU 供給與價格波動直接影響服務可用性和成本。
  • 能耗問題：大規模神經渲染和訓練是高能耗過程，與碳中和趨勢衝突。
• 法律與倫理風險：
  • 版權：利用公開照片重建場景可能侵犯建築、藝術品版權；模型分發的權屬不清。
  • 隱私：重建公共空間或私人住宅的 3D 模型可能洩露個人生物資訊或敏感場所情報。
  • 深度偽造：高保真動態重建能力可能用於創造以假亂真的虛假影片，加劇資訊安全和信任危機。

12 誤讀糾偏

• 誤讀 1：“NeRF 就是一款產品” 糾偏：NeRF 是演算法範式，不是具體軟體或硬體。市面上的 Luma AI、Instant NeRF 都是對該範式的實現或封裝，如同“深度學習”不等同於“TensorFlow”。
• 誤讀 2：“NeRF 已經可以完全替代傳統 3D 掃描” 糾偏：當前 NeRF/3DGS 在幾何精度、尺寸準確性方面仍弱於專業雷射掃描和攝影測量，尤其在對 CAD 級固體建模需求下誤差較大。
• 誤讀 3：“有了 NeRF 就能即時生成任意 3D 場景” 糾偏：即時渲染已在 3DGS 上初步實現，但場景必須先完成訓練；目前尚不能“一邊拍一邊即時生成”。且即時編輯仍受限。
• 誤讀 4：“NeRF 生成的結果可以直接 3D 列印” 糾偏：NeRF 輸出的主要是密度和顏色場，轉換成無孔洞、可列印的封閉網格需要額外的幾何提取和修復步驟，目前並非一鍵完成。
• 誤讀 5：“3D Gaussian Splatting 是 NeRF 的簡單升級” 糾偏：3DGS 在原理上與 NeRF 完全不同，它屬於顯式點雲端加可微光柵化，不再維護 MLP 場景表示。儘管應用目標類似，但技術棧和瓶頸已分化。

13 最新事件

• 2024 年 3 月：NVIDIA 在 GTC 2024 上釋出 Blackwell 架構，強化 AI 推論和神經圖形支援，推出面向數字孿生的 Omniverse Cloud APIs，其中包含神經重建模組。
• 2024 年 5 月：Luma AI 宣佈 iOS 和 Web 平台全面升級為 3D Gaussian Splatting，大幅提升渲染速度與畫質，使用者生成場景突破百萬。
• 2024 年 6 月：Polycam 推出“Room Mode”，利用 LiDAR 與 3DGS 組合快速生成室內全真 3D 空間，支援 USDZ/GLB 匯出，加速房產數字化應用。
• 2024 年 7 月：Meta 開源具有動態建模能力的“NPHM PartNeRF”，用於可驅動人臉模型；商湯聯合上海 AI 實驗室釋出 Scaling-Radiance-Field 系列，探索通用前饋重建。
• 2024 年 9 月：全國首個基於 3DGS 的“數字敦煌”開放互動遊覽測試版上線，遊客可在 VR 中漫步高保真石窟。
• 2024 年 10 月：清華、浙大等團隊在 ECCV 2024 發表多篇 NeRF/3DGS 創新論文，包括“4D Gaussian Splatting for Real-time Dynamic Scene Rendering”，推動動態場景實用化。
• 2024 年 11 月：創業公司“影眸科技”完成數千萬元 A+ 輪融資，主打 AI 生成式 3D 與神經渲染，計劃加速影視和遊戲商業化落地。
• 2024 年 12 月：3DGS 開源社群 gsplat 達到 GitHub 1 萬星，國內多家網際網路大廠內部實現 3DGS 原生外掛整合到自研引擎。 （以上事件來源於公開新聞報道和公司官方公告，時間截至 2024 年 12 月）

14 追蹤指標

• 學術活躍度：
  • CVPR、ICCV、ECCV 每年 NeRF/3DGS 相關論文收錄數量（2023 年約 200+ 篇，2024 年增長至 300+ 篇）。
  • arXiv 每月新論文數，“neural rendering”和“Gaussian Splatting”關鍵詞趨勢。
• 開源生態：
  • GitHub 專案 star 數與貢獻者數：nerfstudio、instant-ngp、gsplat、three.js 3DGS 載入器等。
  • 開源模型庫中 .ply / .splat 格式資產數量。
• 產品與商業指標：
  • Luma AI、Polycam 等頭部應用的全平台下載量、月活使用者數（公開資料或 SensorTower 估算）。
  • 遊戲引擎 NeRF 外掛下載量、數字孿生平台中神經重建功能的採用比例。
  • 雲端廠商 AI NeRF 相關 API 呼叫量（公開資料匱乏，可追蹤企業動態）。
• 技術與效能指標：
  • 主流方法在標準基準（Mip-NeRF 360、Tanks and Temples）上的 PSNR/SSIM/LPIPS 進步曲線。
  • 訓練時間每半年下降趨勢；消費級 GPU 上的即時渲染解析度與幀率。
  • 高斯點雲端模型壓縮比進展（目標 10–50 MB 級）。
• 產業融資與政策：
  • 全球 NeRF/3D 生成初創企業融資額季度變化（Crunchbase/PitchBook）。
  • 中國政策對數字孿生、元宇宙、AI 3D 內容的扶持檔案和專項基金。

15 信源

• 核心學術論文：
  • Mildenhall, B., et al. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis.” ECCV 2020.
  • Müller, T., et al. “Instant Neural Graphics Primitives with a Multiresolution Hash Encoding.” SIGGRAPH 2022.
  • Kerbl, B., et al. “3D Gaussian Splatting for Real-Time Radiance Field Rendering.” SIGGRAPH 2023.
  • Barron, J.T., et al. “Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields.” ICCV 2021.
• 產業報告與市場資料：
  • Grand View Research. “3D Reconstruction Market Size, Share & Trends Analysis Report.” 2023. (市場規模 2022 年 12.9 億美元，CAGR 10.2%)
  • 智研諮詢. “2023 年中國三維建模與視覺化行業市場研究.” 2023. (中國 3D 建模市場約 30 億元)
  • Bloomberg Intelligence. “Generative AI Market Opportunity.” 2023. (生成式 AI 137 億美元)
• 企業及機構公開資訊：
  • NVIDIA Blog. “Instant NeRF: AI-Powered 3D Scene Generation.” 2022–2024.
  • Luma AI Official Blog and Product Updates.
  • Polycam Official Blog and Documentation.
  • 商湯科技 SenseMARS 產品白皮書.
  • 騰訊雲端數字孿生與光影雲端解決方案公開資料.
• 開源社群與會議：
  • nerfstudio.org
  • gsplat GitHub repository
  • CVPR, ICCV, ECCV 程式議程
• 新聞報道：
  • 36 氪、機器之心、雷鋒網等科技媒體對 NeRF 創業公司融資和技術進展的報道（2023–2024）。
• 其他：本文涉及的融資額、事件描述均以公開可查證的資訊為基礎。由於該領域發展迅速，具體數字可能已有更新，建議讀者以最新發表的論文、公司公告和市場報告為最終依據。