Milvus

3 秒看懂

Milvus 是一款專為處理海量高維向量資料而設計的開源雲端原生分散式資料庫。它能夠將圖片、文本、音影片等非結構化資料轉化後的向量 Embedding，進行毫秒級相似性搜尋，是當前基於大語言模型的檢索增強生成（RAG）、推薦系統、影像檢索等 AI 應用的核心基礎設施。Milvus 採用 LF AI & Data 基金會畢業專案，支援十億級向量管理，在確保高召回率的前提下實現低延遲查詢，是 AI 推論棧中連線資料與模型的關鍵一環。

3 分鐘產業解釋

生成式 AI 的爆發使得非結構化資料的理解與檢索成為剛需。大語言模型（LLM）或 Embedding 模型將文件、影像、影片轉化為高維向量，而 Milvus 負責高效儲存、即時更新、快速搜尋這些向量。它所解決的核心問題是：“在海量向量（十億甚至萬億級）中，如何以近似最近鄰（ANN）演算法在幾十毫秒內找出與查詢向量最相似的 Top-K 個結果？” 這使 Milvus 成為將 AI 模型能力嵌入到實際業務中的關鍵樞紐。

• 核心角色：處於 AI 推論與應用基礎設施層，不屬於模型訓練環節。它是向量化資料的管理與分析引擎。
• 核心價值：為語義理解、相似性推薦、知識庫問答等場景提供高效能的向量檢索能力，支撐 RAG 架構中“根據問題檢索相關知識”這一步。
• 產業鏈位置：向上遊連線 Embedding 模型提供商（如 OpenAI、Cohere、Hugging Face）、流/批資料處理管道；向下遊為 LangChain、LlamaIndex 等編排架構，以及智慧客服、企業知識庫、商品推薦、藥物分子檢索等終端應用提供檢索服務。

技術原理

Milvus 處理一次向量查詢的簡化流程體現了其存算分離、微服務化的分散式設計：

[客戶端] 傳送查詢向量 & 過濾條件
    ↓
[Proxy] 負責路由請求，拼接結果
    ↓
[Query Node] 執行 ANN 搜尋 + 標量過濾
    1. 將物件儲存中的分段（Segment）索引載入至本地記憶體
    2. 在記憶體索引上執行近似搜尋，結合標量過濾
    3. 返回候選集
    ↓
[Proxy] 合併多個分片的結果，全域性排序，返回最終 Top-K

核心機制詳解：

• 記憶體索引：向量無法直接進行快速比較，需要提前為每段資料建置索引結構（如 HNSW 的圖結構或 IVF 的聚類中心）。索引建置是計算密集型非同步過程，完成後被 Query Node 載入到記憶體以保證查詢速度。
• 分片（Shard）：資料根據主鍵雜湊自動分割，分佈到不同物理節點，實現水平水平擴充套件。每個 Shard 內又分為多個 Segment，便於增量寫入與後臺合併。
• 一致性模型：Milvus 提供強一致性（Strong）、會話一致性（Session）、有界陳舊性（Bounded Staleness）等選項。使用者可在一致性、可用性和延遲之間權衡，適應不同業務場景。
• 混合查詢：原生支援向量相似性搜尋與標量欄位過濾（如時間範圍、價格區間、標籤）的組合。過濾策略支援 Pre-filtering（先過濾再搜向量） 和 Post-filtering（先搜向量再過濾），並可結合屬性索引加速。

存算分離細節：

• 控制面：Root Coordinator、Query Coordinator、Data Coordinator、Index Coordinator 等元件協同管理後設資料與任務排程。
• 資料面：Data Node 負責寫入新資料並落盤物件儲存；Index Node 負責非同步建置向量索引；Query Node 僅載入索引執行查詢，可根據查詢負載獨立擴縮容。
• 依賴：物件儲存（MinIO、AWS S3 等）作為共享儲存層；訊息佇列（Apache Pulsar/Kafka）用於元件間解耦和流式資料傳遞。

指數型別與效能權衡： Milvus 支援多種近似最近鄰演算法，使用者需根據資料規模和延遲/召回率需求選擇。同一向量欄位僅能持有一個索引，更改需刪除重建。主流索引包括：

• FLAT：暴力搜尋，100% 召回，僅適合小資料量。
• IVF_FLAT / IVF_SQ8 / IVF_PQ：基於倒排檔案的聚類索引，通過減少搜尋空間加速，召回率與速度可調。
• HNSW：基於分層導航小世界圖的索引，查詢速度快、召回率高，但記憶體佔用大，圖建置較慢。
• GPU_IVF_FLAT / GPU_IVF_PQ：利用 GPU 加速索引建置與查詢，適合極端低延遲場景。

關鍵引數

評估 Milvus 例項或叢集能力時，以下引數能在不同維度揭示其效能邊界與適用場景（具體數值依賴硬體配置、向量維度、資料型別與索引選擇）：

• 查詢效能

  • QPS（每秒查詢數）：在特定資料集與召回率要求下，單個 Query Node 或整個叢集能承受的最大查詢量。例如，在 100 萬條 768 維向量、HNSW 索引、1 個 Query Node（16vCPU, 64GB RAM）條件下，QPS 可達數千（來源：Zilliz 技術部落格，2023 年 benchmark）。
  • 延遲（P99 Latency）：通常以 P99 分位延遲衡量查詢時延。對於十億級資料集，經過合理索引和分片後，P99 延遲可控制在數十到數百毫秒區間（來源：Milvus 2.3 官方壓力測試報告，2023.09）。未指明具體硬體時，此數值為綜合社群報告的參考區間。

• 召回率（Recall）

  • 近似搜尋返回的 Top-K 結果中，真正精確最近鄰的比例。典型生產環境要求在 95%–99% 以上。召回率與查詢延遲之間存在折衷，通過調整索引引數（如 IVF 的 nlist 或 HNSW 的 M/efConstruction）可控制這一平衡。

• 可擴充套件性與資料規模

  • 最大向量數：理論上，通過水平擴充套件可支援萬億級向量。公開測試中，Milvus 在 10 億級 768 維資料集上穩定執行（來源：Zilliz 聯合 NVIDIA 的揭露，2022）。
  • 維度上限：Milvus 支援最高 32,768 維的向量（v2.3 版本起提升上限），滿足多模態與高維嵌入需求。
  • 節點數量：支撐數十個 Query/Data Node 的叢集，受控於後設資料管理能力與協調元件。

• 索引建置速度

  • 索引建置耗時受資料量、維度和索引型別影響大。例如，在 1 億條 128 維向量上建置 HNSW 索引可能需要數小時，而 IVF_PQ 可顯著更快但召回率略低。具體指標公開資料未見統一標準，需根據自身基準測試評估。

• 混合查詢能力

  • 支援的標量資料型別（整型、浮點、布林、字串、陣列等）及邏輯運算子，以及過濾下推的執行效率。Milvus 支援為標量欄位建立倒排索引或排序索引以加速過濾。

• 一致性與耐用性

  • 一致性級別：Strong / Bounded Staleness / Session / Eventually。
  • 資料耐用性：WAL 落盤與物件儲存多副本保證，單點故障下資料不丟失。

• 管理運維

  • 是否支援滾動升級、多租戶隔離、監控指標暴露（Prometheus）、動態擴縮容、備份恢復等。Milvus Operator 簡化了在 Kubernetes 上的部署管理。

上述多數效能引數均取決於具體環境，建議參考 Milvus 官方文件中“Benchmark”與“Configuration”章節獲得特定版本次的參考值，並在目標近似資料集上進行概念驗證。

技術路線

Milvus 的技術演進清晰體現了從實驗性系統到企業級雲端原生資料庫的躍遷：

1. v0.x–v1.x（探索驗證期，2019–2021）

   • 最初封裝 Faiss/Annoy 等演算法庫，以單體架構提供向量儲存與檢索介面，驗證了專用向量資料庫的市場需求。
   • 此階段確立了開源社群驅動模式，並在早期使用者中積累了若干生產案例（如 Walmart 的推薦系統）。

2. v2.x（雲端原生重塑，2021–2023）

   • 實現徹底的架構重構，全面引入存算分離、微服務與雲端原生設計。計算、儲存、索引、協調各自獨立，支援動態擴縮和多雲端部署。
   • Milvus 於 2022 年成為 LF AI & Data 基金會畢業專案，標誌著社群治理成熟。
   • 這一階段使 Milvus 從“強大的庫”轉變為分散式、高可用、可彈性伸縮的生產級資料庫。

3. 當前（功能深化與生態融合，2023 至今）

   • 重點深耕多模態向量支援（文本、影像、多模態 embedding 在同一集合中混合查詢）、混合搜尋增強、Grouping Search、GPU 加速（整合 NVIDIA RAFT 庫）、全文檢索能力等。
   • 商業版 Zilliz Cloud 推出 Serverless 模式、VPC 對等連線等企業特性，並與 AWS、Azure、GCP 緊密整合。
   • 技術路線上，Milvus 堅持 開放核心（Open-core） 模型，底層引擎完全開源，企業功能通過 Zilliz Cloud 提供。

與其他技術路線的定性對比： Milvus 路線代表開源可控 + 高效能分散式，與全託管 SaaS（Pinecone）、通用 DB 擴充套件（pgvector）等路線構成了市場上的不同選擇。

特性維度	Milvus / Zilliz Cloud	Pinecone（全託管 SaaS）	PostgreSQL + pgvector
部署模式	自建（K8s/裸機）或託管雲端	純 SaaS，無自有部署選項	隨 PostgreSQL 部署
架構複雜度	高（且靈活），需理解分散式元件	極低，使用者完全無感知	中低，單機或主從
向量效能	專有最佳化引擎，十億級低延遲	專有最佳化，效能保障靠服務商	依賴索引外掛（IVFFlat/HNSW），十億級下挑戰大
混合查詢	原生豐富標量過濾與索引加速	支援，但深度定製能力有限	天然 SQL 強項，可混合複雜過濾
可擴充套件性	理論無限水平擴充套件，使用者負責	服務商保障彈性	垂直擴充套件為主，水平有限
成本模型	基礎設施開銷+運維投入 或 訂閱費	純訂閱，與向量數、查詢次數掛鉤	僅基礎設施成本
合規與資料主權	完全自有或 VPC 部署，強控制	資料位於服務商雲端端，受其策略約束	完全自有
適用場景	大規模、私有化、深度定製、混合負載	快速上線、無需運維、創新探索	已有 PG 生態、中小資料量、強 SQL 需求

上游

Milvus 所處產業鏈的上游環節包括：

• Embedding 模型 / 服務：一切向量的來源。如 OpenAI Embedding API（text-embedding-3-small/large）、Cohere Embed、Google Vertex AI Embeddings，以及開源模型（Hugging Face 上的 BGE、E5、all-MiniLM-L6-v2 等）。多模態模型（CLIP、ImageBind）生成的影像/音訊向量也是重要輸入。
• 資料管道與 ETL 工具：將原始非結構化資料（PDF、網頁、資料庫記錄）加工、切塊（chunking）並呼叫 Embedding 服務轉化為向量的環節。常用工具包括 Apache Kafka、Flink、Spark、Airbyte，以及專門面向 LLM 的資料處理平台（如 Unstructured.io）。
• 雲端基礎設施：物件儲存（AWS S3、MinIO）、訊息佇列（Apache Pulsar、Kafka）、容器編排（Kubernetes）等，為 Milvus 提供底層資源。
• 硬體加速：GPU 供應方（如 NVIDIA）在索引建置加速和查詢效能提升方面發揮作用。NVIDIA RAFT 庫與 Milvus 的整合使得 GPU 加速的 ANN 搜尋成為可能。

下游

Milvus 的下游即向量檢索的消費方，是 AI 時代豐富多彩的應用場景：

• LLM 架構 / 編排工具：LangChain、LlamaIndex、Dify、Haystack、Semantic Kernel 等主流架構均將 Milvus 作為核心向量儲存後端之一，用於建置 RAG 管道。
• 應用場景：
  • 智慧客服與知識庫：企業文件問答、幫助中心，通過 RAG 實現基於私有知識的精準回覆。
  • 推薦與個性化：電商商品推薦（基於使用者行為向量）、內容平台資訊流推薦。
  • 多模態搜尋：以圖搜圖、以文搜圖，相關案例包括 eBay 的商品圖片搜尋（使用 Milvus 託管服務，來源：Zilliz 客戶案例，2022）。
  • 生物醫藥：藥物分子相似性搜尋、蛋白質結構比對。
  • 安全風控：異常行為序列相似度分析、人臉特徵檢索。
• 管理與監控工具：如 Attu（Milvus 官方 GUI），向量資料視覺化與分析平台。

受益公司

以下公司因其在 Milvus 生態中的角色或對該技術的採用，可能受到產業發展的影響（注：不構成任何投資建議，僅描述業務關聯）：

• 核心維護方與商業化主體：Zilliz（北京向量棧科技有限公司），是 Milvus 專案的主要貢獻者和 Zilliz Cloud 的運營方。Zilliz 已獲高瓴資本、五源資本、淡馬錫、雲端九資本等機構投資。2022 年 8 月完成 1 億美元 C 輪融資（來源：Zilliz 官方新聞，2022.08），後續融資動態公開資料未見。
• 採用 Milvus 的知名企業：沃爾瑪（商品推薦，Zilliz 官方案例，2021）、eBay（圖片搜尋，Zilliz 官方案例，2022）、Autodesk、NTT等。這些企業通過運用向量檢索最佳化搜尋與推薦，提升了 AI 驅動的業務效率。
• 上游晶片與雲端運算廠商：NVIDIA（GPU 加速 ANN 演算法整合，增強 AI 推論方案），AWS、Azure、GCP 等雲端廠商通過 Marketplace 或整合 Zilliz Cloud 豐富其 AI 平台生態。
• 周邊工具與平台：LangChain、LlamaIndex 等通過整合 Milvus 獲得更好的儲存端份額，其自身也受益於向量資料庫的普及。

市場規模

向量資料庫及嵌入搜尋市場正在 AI 應用浪潮中快速膨脹。由於市場定義邊界模糊（包含純向量資料庫、向量增強的通用資料庫、向量外掛等），不同報告的統計口徑差異較大，以下綜合多家研究機構的資料以供參考：

• 據 MarketsandMarkets 2023 年 7 月釋出的研究報告，全球向量資料庫市場預計將從 2023 年的約 15 億美元 增長到 2028 年的約 44.3 億美元，複合年增長率（CAGR）約為 24.7%（來源：MarketsandMarkets, “Vector Database Market – Global Forecast to 2028”, 2023.07，口徑包含向量資料庫與相關搜尋服務）。
• 另一家諮詢機構 Fortune Business Insights 在 2024 年初的報告中則認為，向量資料庫市場在 2023 年規模約 12.8 億美元，預計到 2030 年達到 85.5 億美元，CAGR 超過 33%（來源：Fortune Business Insights, Report ID FBI109366, 2024.01，其口徑更側重新興專用向量資料庫和全託管服務）。
• 需要注意的是，上述預測釋出較早，而 2023–2024 年 RAG 和大型模型的落地速度可能使實際增速超過預期。但市場中確切的企業採購支出及市場份額細分仍未通過權威第三方審計，實際規模仍待觀察。

供給端方面，開源向量資料庫（Milvus、Weaviate、Qdrant）和全託管服務（Zilliz Cloud、Pinecone、Azure AI Search、Amazon OpenSearch Serverless 向量引擎、Google Vertex AI Matching Engine）共同做大蛋糕，競爭格局高度動態。

玩家對比

將 Milvus / Zilliz Cloud 與其他主流向量資料庫玩家進行多維度對比：

玩家	核心模式	技術架構	管理方式	優劣勢摘要
Milvus / Zilliz Cloud	開源 + 託管雲端	雲端原生存算分離、微服務	自建或Zilliz Cloud全託管	高效能、高擴充套件、豐富索引；運維複雜度較高（自建時）
Pinecone	純 SaaS 閉源	專屬分散式引擎，細節未公開	完全管理控制台	極致易用，快速啟動；資料出境控制弱，成本隨規模上升快
Weaviate	開源+雲端服務	模組化，向量與物件儲存一體	自建或Weaviate Cloud	內建向量化與混合搜尋，便捷；大型叢集效能調優案例較少
Qdrant	開源+雲端服務	Rust 編寫，高效單機&叢集	自建或Qdrant Cloud	單機效能突出，量化索引出色；生態規模與社群略小於Milvus
PostgreSQL + pgvector	開源擴充套件	為PG新增ivfflat/hnsw索引	完全自管	零額外資料庫，SQL熟悉；十億級擴充套件性不足，運維複雜
Elasticsearch (向量支援)	商業+部分開源	Lucene底層整合向量檢索	自管或Elastic Cloud	文本搜尋+向量搜尋一體，生態成熟；專用向量引擎效能並非最優，儲存成本高
Azure AI Search / Amazon OpenSearch	託管服務	底層整合向量索引	控制台+API	與雲端生態整合緊密，安全合規；廠商繫結，價格較高

上述對比時間截面為 2024 年中期，產品迭代極快，具體情況應查閱各產品最新文件與實際評測。

風險

從產業與商業角度，Milvus 及其生態面臨以下風險：

• 技術路線迭代風險：近似最近鄰演算法（如 DiskANN、ScaNN）和基於圖的檢索技術持續演進。若出現革命性新方案，現有引擎的積累優勢可能被削弱。此外，大型模型自身記憶與長上下文的進化可能降低部分 RAG 場景對獨立向量資料庫的依賴。
• 雲端廠商降維打擊：AWS、Azure、Google Cloud 等雲端巨頭已在自家資料庫（如 PostgreSQL、OpenSearch、Cosmos DB）中內建向量檢索功能，並通過全託管服務提供無縫體驗。強烈的平台鎖定效應可能擠壓獨立向量資料庫廠商的生存空間，尤其是對非深度定製的使用者群。
• 開源商業模式挑戰：Zilliz 的營收依賴託管雲端服務與企業級授權，大規模社群貢獻者與企業硬核自建可能導致漏斗轉化率不達預期。若開源版本持續滿足多數需求，商業變現將承壓。
• 競爭白熱化與價格戰：Pinecone、Weaviate Cloud、Qdrant Cloud 等競品在易用性、定價上激烈角力，加之雲端廠商以低成本甚至免費向量檢索為誘餌吸引生態遷移，行業獲利率可能被壓縮。
• AI 投資熱度波動：若整體 AI 投入降溫或資本支出放緩，向量的指數級增長預期可能短期落空，導致基礎設施開支推遲或縮減。

誤讀糾偏

• 誤讀一：“向量資料庫只是在傳統資料庫上加個向量索引外掛。”

  • 糾偏：雖然 pgvector 等外掛驗證了“可做”，但專用向量資料庫（如 Milvus）在以下方面提供了系統性解決方案：存算分離下的分散式擴充套件、流式資料即時可查詢、多種索引型別與引數最佳化、混合查詢的最佳化器、雲端原生的運維工具鏈。僅加索引無法解決數億級向量的記憶體管理與高併發需求。

• 誤讀二：“Milvus 可以替代 Elasticsearch 之類的全文搜尋引擎。”

  • 糾偏：兩者是互補關係。Milvus 擅長稠密向量的語義相似性搜尋，而 Elasticsearch 的核心是倒排索引與關鍵詞匹配，以及豐富的分析聚合。現代 AI 搜尋往往採用混合策略：ES 用作初篩與結構化過濾，Milvus 負責語義重排序和相似推薦，兩者結合方能實現最佳效果。

• 誤讀三：“一次性建好索引，以後就不用管了。”

  • 糾偏：向量索引需要針對變化的資料與訪問模式持續最佳化。新增資料到達後可能需要增量建置索引，長期積累的小 Segment 需合併以避免效能下降。而且，一個向量欄位同一時間只能有一個索引，切換索引型別需要重建，這要求團隊具備容量規劃與索引生命週期管理能力。

最新事件

• Milvus 2.4 釋出（2024 年 4 月）：新增多向量欄位支援、Grouping Search（分組聚合式向量搜尋），顯著提升了處理複雜多模態資料的能力；同時引入更靈活的物化檢視與記憶體最佳化，使單節點可處理向量量進一步提升（來源：Milvus GitHub Release Notes，2024.04）。
• Zilliz Cloud 整合 NVIDIA GPU 加速（2024 年 3 月）：Zilliz 與 NVIDIA 合作，在雲端服務中啟用基於 NVIDIA GPU 的索引建置與查詢加速，針對十億級以上高維資料集提供更低延遲。
• Milvus 社群里程碑：截至 2024 年中期，GitHub Stars 突破 2.8 萬（來源：GitHub 倉庫），貢獻者超過 300 人，已被全球數千家企業用於生產環境。Zilliz Cloud 新增支援歐洲、東南亞等區域資料中心。
• 行業認可：Milvus 持續佔據 DB-Engines 向量資料庫排行榜首位（2024 年 5 月資料，來源：DB-Engines.com），成為 Linux Foundation AI & Data 生態中最活躍的專案之一。

追蹤指標

要持續感知 Milvus 專案健康度與產業趨勢，可關注以下指標：

• 社群活躍度：GitHub Stars、Forks、活躍 Issue/PR 數、貢獻者總數。目前 Stars 28k+，月度新增情況能反映開發者的興趣遷移。
• 商業化訊號：Zilliz Cloud 的客戶案例公佈、營收展望（若未來公開）、合作伙伴釋出（如與雲端廠商、LLM 平台的聯合方案）。
• 產品效能基準：關注 Milvus 官方釋出的 Benchmarks（如 ANN-Benchmarks 上的成績），以及第三方評測對 P99 延遲與 QPS 的對比變化。
• 行業採用密度：領先 AI 架構（LangChain、LlamaIndex）中 Milvus 整合的下載量/使用比例趨勢，以及各大技術會議中向量資料庫專題的比重。
• 競爭動態：Pinecone、Weaviate、Qdrant 等競品的融資、版本更新、定價策略變化；雲端廠商（AWS、Azure、GCP）在向量搜尋方面的功能迭代與市場策略。
• 市場研究資料：定期查閱 DB-Engines 向量資料庫類別的排名變化，以及 MarketsandMarkets、Fortune Business Insights 等研究公司對市場規模的更新預測。

信源

1. 官方文件與程式碼：Milvus 官方文件 (milvus.io)、GitHub 倉庫 (github.com/milvus-io/milvus)，提供最準確的功能說明與基準測試展望。
2. 商業化公司部落格與技術文章：Zilliz 技術部落格 (zilliz.com/blog)，包含架構深入、效能最佳化、客戶案例等一手資料。
3. Linux Foundation AI & Data：Milvus 專案畢業宣告與治理檔案，體現社群治理的健康程度。
4. 行業研究報告：
   • MarketsandMarkets, “Vector Database Market – Global Forecast to 2028”, 2023.07
   • Fortune Business Insights, “Vector Database Market Analysis”, 2024.01
   • DB-Engines Rankings (db-engines.com) 提供資料庫流行度排行。
5. 科技媒體與社群：InfoQ、The New Stack 對向量資料庫賽道的深度分析；a16z 等機構釋出的現代資料基礎設施架構報告中對向量資料庫的論述。
6. 學術前沿：相關 ANN 演算法原始論文（HNSW、IVF、ScaNN、DiskANN），以理解底層技術演進脈絡。

注：所有財務、市場、份額數字均標註了公開來源及釋出年份，若未明確揭露口徑則以報告定義為準。對於無法從權威渠道驗證的預測性資料，文中已註明“公開資料未見”或提示其為綜合估算，不應作為精確決策的唯一依據。