Zero-shot 學習

3 秒看懂

Zero-shot 學習賦予模型“見微知著”的能力：訓練時從未見過的概念，推論時憑一句描述即可識別。它把分類從“閉卷考試”變成“開卷問答”，讓 AI 在不額外收集訓練樣本的情況下，泛化到新的物體、場景甚至任務。

3 分鐘產業解釋

傳統監督學習需要為每個類別標註數百到數千張圖片，而 Zero-shot 學習打破了這一限制。其核心思想是將視覺特徵與語義特徵對映到同一個嵌入空間，使模型能理解“像馬但頭頂有角”對應的是“獨角獸”——即便訓練集裡從未出現過獨角獸的照片。

產業上，這極大降低了資料獲取與標註成本，並催生了多模態大型模型（如 CLIP、GPT‑4V）的爆發。電商平台可用一句話“復古碎花連衣裙，方領”直接檢索商品，無需預先定義全部屬性；安防系統可按“背黑色雙肩包、戴紅色棒球帽”的文字描述搜尋目標人物；醫療影像領域可憑“磨玻璃樣結節伴毛刺徵”等文本描述篩查罕見病灶。Zero-shot 已成為衡量基礎模型泛化能力的關鍵標尺。

需要警惕的是，產業界對 Zero-shot 存在過度期待。其效能極度依賴訓練時所覆蓋的語義廣度和底模型規模。在長尾、細粒度場景中，模型仍可能出現災難性遺忘或對相似類別混淆。產業落地通常需配合 prompt engineering 和人工複核流水線。

技術原理

Zero-shot 學習的數學模型基於共享嵌入空間的構造。設視覺編碼器 f_\theta 將影像 x 對映到 d 維向量 mathbf(v) = f_\theta(x)，語義編碼器 g_\phi 將類別描述 t 對映為同一空間中的 mathbf(s) = g_\phi(t)。訓練目標常採用對比損失（InfoNCE），使得匹配圖文對的餘弦相似度最大化，不匹配對的相似度最小化。

       視覺編碼器                    語義編碼器
     [ 圖片 ]  ──▶  f_θ  ──▶  v      [ 文本 ]  ──▶  g_φ  ──▶  s
                        │                             │
                        └──── 餘弦相似度 ◀──────────────┘
                              ↑
                        s = 類別"斑馬"的描述向量
                        v = 影像特徵向量
                        若 v·s 最大，則預測為斑馬

推論時，對於未知類別 U，提供描述 t_U 得到 mathbf(s)_U，與所有候選影像特徵計算相似度，取最高者。整個過程無需見到該類的任何訓練影像。

核心訓練範式演進：

基於屬性：預定義一組可描述所有類別的屬性（顏色、形狀、材質等），模型學習“屬性→類別”對映。推論時，將新類別的屬性組合輸入即可。代表方法為 DAP（Lampert et al., 2009）和 AWA（Xian et al., 2018），適用於細粒度識別但受限於人工屬性設計成本。
基於語義嵌入：利用詞向量（Word2Vec、GloVe、FastText）或更強大的文本編碼器，將類別名稱或描述對映到連續向量。視覺編碼器將影像對映到同一空間，通過向量相似度完成分類。典型代表是 DeViSE（Frome et al., 2013），首次將詞向量與深度視覺模型結合。
基於生成式特徵合成：利用 GAN 或 VAE，根據未見類的語義描述合成其視覺特徵，將 Zero-shot 轉化為傳統的監督分類問題。代表方法 f‑CLSWGAN（Xian et al., 2018）和 TF‑VAE（Narayan et al., 2020）在細粒度場景中有一定優勢。
基於大規模圖文對比學習：利用數億級圖文對，通過雙塔模型聯合訓練視覺和文本編碼器，實現開放詞彙的 Zero-shot 能力。CLIP（Radford et al., 2021，OpenAI）用 4 億圖文對訓練，成為範式轉折點；ALIGN（Jia et al., 2021，Google）進一步將資料規模推至 18 億圖文對。

技術難點在於模態缺口：視覺與文本天然處於不同分佈，簡單對齊可能陷入次優。解決方案包括使用更多樣化的描述模板（prompt ensemble）和引入局域對齊（如 FILIP）。另外，領域偏移（domain shift）——訓練影像分佈與目標影像分佈不同——仍需通過大規模預訓練與微調緩解。廣義 Zero-shot 評測中，模型對可見類的強烈偏置是常見問題，需通過校準技術（如 calibrated stacking）緩解。

關鍵引數

Zero-shot 學習模型的關鍵引數涵蓋架構、訓練和推論三個維度。以下引數基於公開文獻與行業實踐，因各廠商未揭露統一標準，部分數值為典型範圍：

引數類別	引數名稱	典型值/範圍	說明
架構引數	嵌入維度	512–1024 維（CLIP ViT‑B/32 為 512 維，ViT‑L/14 為 768 維）	需平衡表達能力與計算開銷，更高維度通常帶來更強效能但增加推論延遲
架構引數	視覺編碼器	ViT‑B/L/H、ResNet‑50/101/152	ViT 已成主流，引數規模從 86M（ViT‑B）到 632M（ViT‑H）不等；CNN 骨幹在低算力場景仍有應用
架構引數	文本編碼器	Transformer（12–24 層，寬度 512–1024）	可聯合訓練或固定預訓練權重；部分方案複用凍結的大語言模型
訓練引數	訓練資料量	4 億（CLIP）至 18 億（ALIGN）圖文對	資料量是效能首要驅動力；資料質量與多樣性同等關鍵
訓練引數	對比損失溫度引數	通常初始化為 0.07（CLIP），可學習	控制相似度分佈的平滑度，影響難樣本挖掘效果
訓練引數	Batch Size	32,768（CLIP）	大 batch 對對比學習至關重要，受限於 GPU 視訊記憶體與通訊頻寬
訓練引數	訓練算力	CLIP 訓練需數百 GPU‑天（公開資料未見精確數字）	超大規模訓練需數百至數千張 GPU，算力門檻高企
推論引數	文本輸入方式	單句描述 / prompt ensemble（如 `a photo of {label}`）	Prompt 設計對準確率影響顯著，工程上常用多模板整合
推論引數	推論延遲	10–50ms/張（CLIP ViT‑B/32，單卡 A100，公開資料未見廠商官方資料）	受編碼器規模、硬體、批處理策略共同影響
訓練策略	影像解析度	224×224（CLIP）、336×336（CLIP ViT‑L/14@336px）	高解析度提升細粒度識別但顯著增加計算量

技術路線

Zero-shot 學習經歷了從屬性工程到大規模對比學習的演進。以下按技術代際梳理主流路線，成熟度評估基於工業界採用廣度與學術共識：

技術代際	方法型別	典型代表	核心機制	所需標註	新概念擴充套件能力	對描述依賴程度	典型應用	成熟度
第一代（2008–2012）	屬性學習	DAP（Lampert 2009）、AWA（Xian 2018）	人工定義屬性向量，學習屬性→類別對映	類別屬性向量	中等，需人工設計屬性	高，需完備屬性模型	細粒度識別（鳥類、花朵）	實驗室階段
第二代（2013–2018）	詞向量嵌入	DeViSE（Frome 2013）、ConSE（Norouzi 2014）	利用 Word2Vec/GloVe 詞向量作為語義橋樑	可見類影像標註	一般，受詞表限制	中，詞彙必須存在於詞表中	開放類別影像搜尋	有限工業應用
第三代（2018–2020）	生成式特徵合成	f‑CLSWGAN（Xian 2018）、TF‑VAE（Narayan 2020）	用 GAN/VAE 根據語義描述生成未見類視覺特徵	可見類影像特徵	較強，可合成未見類特徵	低，僅需類別名稱	資料增強、隱私保護	研究為主
第四代（2021–至今）	大規模圖文對比學習	CLIP（OpenAI 2021）、ALIGN（Google 2021）、Florence（Microsoft 2021）	數億圖文對弱監督訓練雙塔模型	大量圖文對（弱監督）	極強，開放詞彙	極低，自然語言描述	通用視覺理解、檢索、生成、稽核	大規模商用
前沿探索（2023–至今）	多模態大型模型融合	GPT‑4V（OpenAI 2023）、Gemini（Google 2023）、LLaVA（Liu 2023）	將視覺編碼器與大語言模型對齊，支援複雜推論	圖文對 + 指令微調	極強，可組合推論	極低，對話式指令	複雜場景理解、Agent 任務規劃	早期商用探索

技術路線關鍵分歧點：

雙塔 vs 融合架構：CLIP 式雙塔架構計算效率高，適合大規模檢索；GPT‑4V 式融合架構理解力強，但推論成本高、延遲大。產業界常採用雙塔做召回、融合做精排的流水線。
是否需要微調：Zero-shot 直接推論在通用場景已可落地，但在垂直領域（醫療、工業檢測）通常需少量標註微調（Few-shot）或 prompt tuning。
開源 vs 閉源：Meta 的 OpenCLIP 完全開源，社群活躍；OpenAI CLIP 權重公開但需遵守許可；Google 的 ALIGN 未公開模型權重。開源生態降低了中小企業的使用門檻。

上游

Zero-shot 學習的上游產業鏈由資料、模型基礎設施、算力三個核心環節構成：

資料採集與清洗

大規模圖文資料是 Zero-shot 模型訓練的基石。資料來源包括：Web 爬取（如 Common Crawl 子集）、社交媒體公開內容、電商平台商品圖文、科學文獻配圖等。
資料清洗環節涉及去重（區域性敏感雜湊等演算法）、NSFW 過濾、文字識別（OCR）去除低質量截圖、語言過濾等流程。CLIP 的訓練資料 WIT（WebImageText）經過多輪清洗，但 OpenAI 未揭露完整清洗管線細節。
合規風險日益突出：歐盟《人工智慧法案》（2024 年生效）對訓練資料透明度提出更高要求，GDPR 對個人資料的限制影響部分資料來源；中國《資料安全法》《個人資訊保護法》約束境內資料採集和使用。資料版權爭議（如 Getty Images 起訴 Stability AI）可能改變上游資料供給格局。
標註服務商（如 Scale AI、Appen、國內的雲端測資料）提供高質量細粒度標註，但零樣本模型訓練主要依賴弱監督的圖文配對，標註成本壓力相對較輕。

預訓練語言模型

文本編碼器通常來自預訓練語言模型（如 BERT、T5）或與視覺聯合訓練的 Transformer。
國內外代表性供給方：OpenAI（GPT 系列用作語義抽取）、Google（T5/PaLM 系列）、Meta（LLaMA 開源系列）、百度（文心繫列）、智譜（ChatGLM 系列）。

視覺骨幹網路

ViT 已成為主流，以 Vision Transformer 為核心架構的預訓練權重供給方包括：Google（ViT 原論文及權重）、Meta（DINO/DINOv2 系列）、HuggingFace 社群（timm 庫）、OpenAI（CLIP ViT 系列）。
CNN 骨幹（ResNet、EfficientNet）在端側和低算力場景仍有需求，主要供給方為晶片廠商提供的模型庫（如 NVIDIA TAO Toolkit）、Torchvision 等開源庫。

計算基礎設施

訓練超大規模 Zero-shot 模型需數百至數千張 GPU 的叢集。NVIDIA 主導 GPU 供給（A100/H100/B200），單 H100 卡價格約 3–4 萬美元（NVIDIA 官方渠道價格，2024 年口徑），但受美國出口管制影響，中國大陸可獲取的型號受限。
算力租賃服務方：AWS、Google Cloud、Microsoft Azure、阿里雲端、華為雲端；國內新興算力服務商包括無問芯穹、矽基流動等。自建叢集的代表為 OpenAI 與 Microsoft 合作的 Azure 超算、Meta 自建的 Research SuperCluster。
記憶體與儲存：大規模圖文對資料的儲存和 I/O 吞吐是訓練瓶頸之一，通常需要 PB 級分散式儲存和高速 InfiniBand/RoCE 網路互聯。

下游

Zero-shot 學習的下游應用滲透至多個行業，以“文本描述直接檢索/識別/生成”為核心價值主張。以下按行業與場景維度分解：

內容稽核與安全

社交媒體平台（如 Meta、字節跳動）用 Zero-shot 模型識別新型違規內容（如新型毒品形態、新型暴力符號），無需為每類新違規內容重新標註訓練集。
商業敏感度：該場景直接關聯平台合規風險，付費意願強。

電商與零售

商品檢索：消費者用自然語言描述“米色亞麻闊腿褲高腰”，直接匹配商品圖，降低結構化標籤依賴。
商品自動打標：Zero-shot 模型可為新品自動生成屬性標籤，人力替代效果顯著。阿里、京東等電商巨頭已不同程度落地。

安防與城市治理

智慧城市中按“背黑色雙肩包、戴紅色棒球帽”等描述跨攝像頭檢索目標人物，已在公安系統試點。國內主要供給方為海康威視、大華股份、商湯科技、雲端從科技等。
需注意：該場景涉及隱私與倫理風險，GDPR 在中國不直接適用，但《個人資訊保護法》對生物特徵識別的使用有嚴格限制。

醫療健康

醫學影像罕見病篩查（如罕見型別腫瘤形態識別）、病理切片初篩等。Zero-shot 可憑“磨玻璃樣結節”等文本描述輔助檢出，但不替代專業醫生判斷。
該領域監管壁壘極高，NMPA（國家藥監局）與 FDA 對 AI 醫療軟體的審批週期長，純 Zero-shot 方案仍以研究驗證為主，商業落地以封閉集監督學習為主導。

自動駕駛與具身智慧

長尾場景理解：識別訓練集中未見的道路障礙物型別（如“裝滿散落木板的翻倒手推車”），提升系統安全性。
機器人：通過自然語言指令讓機器人識別並操作未見物體。Google 的 RT‑2（2023）等模型已驗證可行性。

教育與辦公

智慧題目生成：教師輸入知識點描述，模型從題庫中匹配相關圖表。
文件理解：按“找出所有帶有圓形圖章的合同頁”等指令檢索企業檔案。

受益公司

以下梳理 Zero-shot 學習產業化的主要受益公司型別與代表，按產業鏈位置分類。所有估值和財務資料均採自公開資料或標註“公開資料未見”，不構成投資建議。

上游算力供應商

NVIDIA（NASDAQ: NVDA）：截至 2025 年 4 月市值約 2.5 萬億美元（Wind 資料，2025 年 5 月 19 日檢索），是 Zero-shot 模型訓練所需的 GPU 核心供應商。2025 財年（截至 2025 年 1 月）資料中心營收約 475 億美元（NVIDIA 財報口徑），其中大型模型訓練需求是關鍵驅動力。
AMD（NASDAQ: AMD）：Instinct 系列加速卡在部分雲端廠商中獲取份額，但與 NVIDIA 差距顯著。

雲端平台與模型服務商

Microsoft（NASDAQ: MSFT）：Azure OpenAI Service 和 Copilot 體系深度整合多模態 Zero-shot 能力。FY2024（截至 2024 年 6 月）智慧雲端營收超 1200 億美元（SEC Filing 口徑）。
Google（Alphabet, NASDAQ: GOOGL）：Gemini 多模態模型及 Google Cloud Vertex AI 提供 Zero-shot 視覺分析 API。2024 年雲端業務營收約 430 億美元（Alphabet 2024 年報口徑）。
Amazon（NASDAQ: AMZN）：AWS 通過 Bedrock 和 SageMaker 提供模型部署平台，雖不自研領先視覺大型模型但受益於下游應用爆發。

AI 模型研發企業

OpenAI（非上市）：CLIP 開創者，GPT‑4V 具備最強 Zero-shot 多模態能力。2024 年完成最新一輪融資，投後估值超 1500 億美元（公開新聞口徑），主要通過 API 獲得營收。
Meta（NASDAQ: META）：開源路線代表，2024 年開源 Llama 3 多模態版本及 OpenCLIP，不直接商業化但培育生態，降低對手 API 營收空間。

國內企業

百度（NASDAQ: BIDU / 9888.HK）：文心·CV 大型模型及文心一言多模態能力，2024 年百度智慧雲端營收年增率增長約 9%（百度 2024 年報口徑，經非美國通用會計準則調整）。
阿里巴巴（NYSE: BABA / 9988.HK）：通義千問系列多模態模型，與阿里雲端深度繫結，對外提供 API 服務。
字節跳動（非上市）：豆包大型模型體系及內部內容稽核、電商匹配等場景驅動，2024 年估值約 3000 億美元（公開新聞口徑），尚未獨立拆分 AI 營收。

零售與垂直行業應用方

電商巨頭（Amazon、阿里巴巴、拼多多）通過 Zero-shot 最佳化站內搜尋與商品推薦，其受益體現在平台效率提升，難以單獨量化。
醫療裝置與軟體商（如 GE HealthCare、聯影醫療）在影像分析領域探索 Zero-shot 應用，但停留在研究驗證階段，無公開可量化的營收貢獻。

市場規模

Zero-shot 學習作為一項關鍵技術，本身不構成獨立市場。其市場價值體現在所賦能的多模態 AI 應用之中。以下從多個口徑呈現市場估算，所有資料均標註來源與年份。

多模態 AI 市場（直接相關）

據 MarketsandMarkets 2024 年釋出的報告，全球多模態 AI 市場規模 2024 年約 17.4 億美元，預計 2030 年將達到 98.3 億美元，複合年增長率（CAGR）約 33.4%。口徑：多模態模型訓練、部署、應用相關軟硬體及服務支出。
據 Grand View Research 2024 年報告，該市場規模口徑略有不同，但 CAGR 均在 30% 以上區間，差異主要來源於對“應用層”邊界的定義不同。

視覺‑語言基礎模型市場（間接相關）

按 Bloomberg Intelligence 2024 年行業估算，生成式 AI 市場中視覺與多模態部分的佔比將從 2023 年的不足 5% 提升至 2030 年的約 15%。Bloomberg 未給出精確絕對值，但將生成式 AI 整體市場 2030 年預期規模定為 1.3 萬億美元（Bloomberg Intelligence 2024 年口徑），按此推算視覺‑語言市場約 1950 億美元。

中國市場口徑

據艾瑞諮詢 2024 年報告，2023 年中國 AI 基礎資料服務市場規模約 45 億元人民幣（含標註、清洗等），Zero-shot 的普及可能對傳統標註市場產生結構性替代，但尚不能量化具體影響。2023–2027 年 CAGR 預計約 18%，至 2027 年市場規模約 87 億元（艾瑞估算口徑）。
商湯集團 2024 年中期報顯示其生成式 AI 業務營收達到 10.4 億元人民幣（年增率增長 255%），公司未拆分 Zero-shot 業務比例。

資料標註替代市場

Zero-shot 最直接的經濟價值在於替代特定場景的資料標註成本。據 Cognilytica 2023 年報告，全球資料標註市場規模 2023 年約 49 億美元，預計 2027 年約 135 億美元（CAGR 約 29%）。Zero-shot 可在特定高頻場景下降低標註支出，但不會完全替代（垂直領域仍需精標資料）。

挑戰與不確定因素

市場均處於早期，預測存在較大不確定性。
開源模型的免費供給可能壓縮 API 定價空間。
合規成本（版權、隱私）可能拖慢部分應用的商業化速度。

玩家對比

維度	OpenAI	Google DeepMind	Meta AI	百度	阿里巴巴
代表模型	CLIP、GPT‑4V	ALIGN、Florence、Gemini	OpenCLIP、DINOv2、Llama 3‑V	文心·CV 大型模型	通義千問多模態系列
技術路線	圖文對比學習 + LLM 融合	圖文對比 + 自研 TPU 訓練	開源視覺基座 + 社群驅動	圖文對比 + 文心生態	圖文對比 + 阿里雲端
訓練資料規模	CLIP: 4 億圖文對（公開）；GPT‑4V: 未揭露	ALIGN: 18 億圖文對；Gemini: 未揭露	OpenCLIP: 公開資料集（如 LAION‑5B）；DINOv2: 1.42 億張圖片	公開資料未見	公開資料未見
開放程度	CLIP 權重公開（有限許可）；GPT‑4V 閉源 API	ALIGN 權重未公開；Gemini 閉源	完全開源（模型 + 程式碼）	文心 API 對外提供	通義 API 對外提供
算力資源	Azure 超算（Microsoft 合作）	自研 TPU v5	自建 Research SuperCluster	百度智慧雲端 + 自建算力	阿里雲端
商業化方式	API（訂閱制 + 按 token 計費）	Google Cloud Vertex AI + Gemini API	不直接商業化（平台生態獲利）	百度智慧雲端 API + 解決方案	阿里雲端 API + 行業方案
核心優勢	技術定義者，生態領先	資料 + 搜尋 + TPU 垂直整合	開源生態，社群活躍	中文理解 + 國內合規 + 雲端基礎設施	電商資料 + 雲端 + 應用場景豐富
國內可得性	不可直接訪問 API	受限訪問	模型可下載，需遵守許可	完全可訪問	完全可訪問

上表資訊均基於各公司公開部落格、論文及財報，截至 2025 年 5 月。部分訓練資料、算力規模等細節未公開，標為“公開資料未見”。

風險

1. 效能與可靠性風險

領域偏移（Domain Shift）：Zero-shot 模型在訓練資料分佈外場景的效能下降顯著。例如，基於網際網路圖片訓練的模型面對醫學影像或工業缺陷圖時，準確率可能大幅落後於專用模型。當前尚無通用方案完全解決此問題，通常需配合領域微調。
細粒度混淆：對於相似類別（如動物亞種、車型細微差異），Zero-shot 模型的區分能力明顯不足。
偏見放大：訓練資料中的社會偏見（如性別、種族刻板印象）可能通過 Zero-shot 推論被放大。Caliskan et al.（Science, 2017）及 Agarwal et al.（2021）等研究表明，模型可能在未見類別上出現系統性偏差。

2. 合規與版權風險

訓練資料版權爭議：2024 年多個版權訴訟（如 Getty Images v. Stability AI、The New York Times v. OpenAI）聚焦訓練資料的合法性。Zero-shot 模型訓練所用的大量圖文對可能包含版權作品，法律邊界仍在測試中。
隱私合規：模型可能在訓練資料中記憶個人隱私資訊（如人臉、車牌等），GDPR 的“被遺忘權”與模型引數的不可追溯性存在根本矛盾。中國《個人資訊保護法》對生物特徵和位置資訊有嚴格限制。
輸出內容安全：Zero-shot 檢索/生成可能返回虛假、有害或違規內容。各國監管對 AI 生成內容的標識（如中國《生成式人工智慧服務管理辦法》）提出額外合規要求。

3. 商業模式風險

開源替代威脅：OpenCLIP、LLaVA 等開源模型效能快速追趕，可能侵蝕閉源 API 的定價空間。當開源模型可在單卡上推論滿足多數場景時，API 服務的“便捷性溢價”將被壓縮。
客戶集中度與議價能力：大型雲端廠商掌握客戶渠道，模型研發企業可能淪為雲端服務的“技術外掛”，獲利空間受擠壓。
技術與市場脫節：部分行業（如醫療、法律）對 AI 的容錯率極低，Zero-shot 的“夠用但不完美”狀態可能難以滿足准入標準，導致商業化週期拉長。

4. 地緣政治與供應鏈風險

晶片出口管制：美國對華高階 GPU 出口限制持續加碼（2023 年 10 月、2024 年 12 月兩輪），中國模型訓練方的算力獲取渠道受限，可能拖慢模型迭代速度。
技術標準分歧：中美歐在 AI 安全標準、評測體系上的路線差異可能帶來碎片化的合規成本。

誤讀糾偏

誤讀一：“Zero-shot 不需要任何訓練資料。”

糾偏：Zero-shot 只是不需要待預測類別的標註樣本，模型的訓練仍需大量相關領域的圖文或其他模態資料。它學的是跨模態對映能力，而非憑空推論。CLIP 用 4 億圖文對訓練，ALIGN 用 18 億圖文對，資料需求遠超傳統分類器。

誤讀二：“Zero-shot 效能與全監督一樣好。”

糾偏：在多數細粒度、專業領域任務上，Zero-shot 模型效能仍顯著落後於針對該領域精調的監督模型。以 ImageNet 分類基準為例，CLIP ViT‑L/14 的 Zero-shot Top‑1 準確率約 75.5%（OpenAI 2021 論文口徑），而同期全監督 ViT‑L 已達約 87%。其優勢在於通用性，而非區域性最優。廣義 Zero-shot 評測中，對可見類的強烈偏置是常見問題。

誤讀三：“描述文本任意寫，效果都一樣。”

糾偏：文本提示（prompt）的措辭、格式、豐富程度對最終準確率影響極大。CLIP 論文顯示，簡單使用類別名（如“dog”）與使用模板“a photo of a dog”之間可存在數個百分點準確率差異。工程上常通過 prompt ensemble（整合數十種模板）或 prompt tuning 來穩定結果。

誤讀四：“Zero-shot 可替代全部資料標註工作。”

糾偏：Zero-shot 適用於通用、開放場景的高效分類與檢索，但無法覆蓋需要高精度、細粒度、強邏輯推論的任務。在合規要求嚴格的領域（如醫療、金融），標註資料的可追溯性和可控性仍是不可或缺的。業界趨勢是 Zero-shot 做初篩，人工或精調模型做複核。

誤讀五：“多模態大型模型就是 Zero-shot 學習的唯一實現。”

糾偏：CLIP 和 GPT‑4V 是當前最明星的實現，但 Zero-shot 學習作為一個學術概念，涵蓋更廣泛的方法譜系：屬性學習、詞向量嵌入、生成式特徵合成等。在算力受限、資料稀缺、解釋性要求高的場景，輕量級的屬性/詞向量方法仍具研究與應用價值。

追蹤指標

以下指標可用於持續評估 Zero-shot 學習的技術進展和產業化程度。各指標均標註潛在資料來源。

技術進展類

指標名稱	定義	資料來源
ImageNet Zero-shot Top‑1 準確率	在未見過的 1000 類 ImageNet 上的分類精度	Papers with Code 排行榜、學術論文
多模態評測基準（MMBench、MME、Seed‑Bench）分數	綜合視覺理解能力的標準化評測	OpenCompass、HuggingFace 排行榜
開源模型效能/閉源模型效能差距	追蹤開源與閉源生態的技術收斂速度	各模型技術報告、社群評測
廣義 Zero-shot 偏差度	對可見類的預測偏置程度	學術論文（Harmonic Mean 指標）

產業落地類

指標名稱	定義	資料來源
多模態模型 API 價格趨勢	主流 API 每 1K token 的價格變化	各廠商官網定價頁面
開源多模態模型月下載量	HuggingFace 等平台上的模型下載量趨勢	HuggingFace 模型頁面統計
專利與論文數量	全球 Zero-shot/多模態相關專利授權數及頂會論文數	Google Patents、DBLP、ArXiv
資料標註市場增速變化	反映 Zero-shot 替代效應的宏觀指標	市場研究公司季度報告

監管與風險類

指標名稱	定義	資料來源
重大版權訴訟進展	對訓練資料合法性有界定意義的判例	法律資料庫（PACER 等）、新聞
各國 AI 監管法案演進	追蹤 AI 監管新增合規要求	各國政府官網、法律分析報告
高階 GPU 出口管制變化	影響算力供給的地緣政治變數	美國 BIS 公告、行業新聞

信源

以下列出本文引用的核心公開信源，按型別分類。所有技術描述基於公認學術架構與公開文獻，財務/市場資料均標註來源與年份，已盡核查義務但不構成投資建議。

學術論文

A. Frome et al., “DeViSE: A Deep Visual-Semantic Embedding Model,” NIPS 2013.
C. H. Lampert et al., “Learning to detect unseen object classes by between-class attribute transfer,” CVPR 2009.
A. Radford et al., “Learning Transferable Visual Models From Natural Language Supervision,” ICML 2021.（CLIP）
Y. Xian et al., “Zero-Shot Learning — A Comprehensive Evaluation of the Good, the Bad and the Ugly,” TPAMI 2018.
C. Jia et al., “Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision,” ICML 2021.（ALIGN）
L. Yuan et al., “Florence: A New Foundation Model for Computer Vision,” arXiv 2021.

企業公開資料

OpenAI 官方部落格及 CLIP 模型卡
Meta OpenCLIP GitHub 倉庫及 Research 部落格
Google DeepMind Gemini 技術報告
百度智慧雲端文心大型模型技術白皮書
阿里巴巴通義千問技術報告

市場報告與資料

MarketsandMarkets, “Multimodal AI Market Report,” 2024.
Grand View Research, “AI in Computer Vision Market,” 2024.
Bloomberg Intelligence, “Generative AI Market Sizing,” 2024.
艾瑞諮詢, “中國 AI 基礎資料服務市場研究報告,” 2024.
Cognilytica, “Data Labeling Market Report,” 2023.

監管與法律

歐盟《人工智慧法案》（EU AI Act, Regulation 2024/1689）
中國《生成式人工智慧服務管理辦法》
中國《個人資訊保護法》
美國商務部工業安全域性（BIS）出口管制公告（2023 年 10 月、2024 年 12 月）

宣告：本文全部技術描述基於公認的學術架構與公開文獻。財務/市場/份額/產能數字均已標註年份、口徑和來源。不確定處已標註“公開資料未見”，未進行編造。本文不構成任何投資建議。

三步設好你的觀察臺

選 1-3 個想觀察的人或賽道

看一份樣張

設定一次異動告警

Zero-shot 學習

Zero-shot 學習

3 秒看懂

3 分鐘產業解釋

技術原理

關鍵引數

技術路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

信源

Zero-shot 學習

3 秒看懂

3 分鐘產業解釋

技術原理

關鍵引數

技術路線

上游

下游

受益公司

市場規模

玩家對比

風險

誤讀糾偏

最新事件

追蹤指標

信源

相關推薦

同產業鏈 · 相關公司

相關概念