Milvus

3 秒看懂

Milvus 是一款专为处理海量高维向量数据而设计的开源云原生分布式数据库。它能够将图片、文本、音视频等非结构化数据转化后的向量 Embedding，进行毫秒级相似性搜索，是当前基于大语言模型的检索增强生成（RAG）、推荐系统、图像检索等 AI 应用的核心基础设施。Milvus 采用 LF AI & Data 基金会毕业项目，支持十亿级向量管理，在确保高召回率的前提下实现低延迟查询，是 AI 推理栈中连接数据与模型的关键一环。

3 分钟产业解释

生成式 AI 的爆发使得非结构化数据的理解与检索成为刚需。大语言模型（LLM）或 Embedding 模型将文档、图像、视频转化为高维向量，而 Milvus 负责高效存储、实时更新、快速搜索这些向量。它所解决的核心问题是：“在海量向量（十亿甚至万亿级）中，如何以近似最近邻（ANN）算法在几十毫秒内找出与查询向量最相似的 Top-K 个结果？” 这使 Milvus 成为将 AI 模型能力嵌入到实际业务中的关键枢纽。

• 核心角色：处于 AI 推理与应用基础设施层，不属于模型训练环节。它是向量化数据的管理与分析引擎。
• 核心价值：为语义理解、相似性推荐、知识库问答等场景提供高性能的向量检索能力，支撑 RAG 架构中“根据问题检索相关知识”这一步。
• 产业链位置：向上游连接 Embedding 模型提供商（如 OpenAI、Cohere、Hugging Face）、流/批数据处理管道；向下游为 LangChain、LlamaIndex 等编排框架，以及智能客服、企业知识库、商品推荐、药物分子检索等终端应用提供检索服务。

技术原理

Milvus 处理一次向量查询的简化流程体现了其存算分离、微服务化的分布式设计：

[客户端] 发送查询向量 & 过滤条件
    ↓
[Proxy] 负责路由请求，拼接结果
    ↓
[Query Node] 执行 ANN 搜索 + 标量过滤
    1. 将对象存储中的分段（Segment）索引加载至本地内存
    2. 在内存索引上执行近似搜索，结合标量过滤
    3. 返回候选集
    ↓
[Proxy] 合并多个分片的结果，全局排序，返回最终 Top-K

核心机制详解：

• 内存索引：向量无法直接进行快速比较，需要提前为每段数据构建索引结构（如 HNSW 的图结构或 IVF 的聚类中心）。索引构建是计算密集型异步过程，完成后被 Query Node 加载到内存以保证查询速度。
• 分片（Shard）：数据根据主键哈希自动分割，分布到不同物理节点，实现水平水平扩展。每个 Shard 内又分为多个 Segment，便于增量写入与后台合并。
• 一致性模型：Milvus 提供强一致性（Strong）、会话一致性（Session）、有界陈旧性（Bounded Staleness）等选项。用户可在一致性、可用性和延迟之间权衡，适应不同业务场景。
• 混合查询：原生支持向量相似性搜索与标量字段过滤（如时间范围、价格区间、标签）的组合。过滤策略支持 Pre-filtering（先过滤再搜向量） 和 Post-filtering（先搜向量再过滤），并可结合属性索引加速。

存算分离细节：

• 控制面：Root Coordinator、Query Coordinator、Data Coordinator、Index Coordinator 等组件协同管理元数据与任务调度。
• 数据面：Data Node 负责写入新数据并落盘对象存储；Index Node 负责异步构建向量索引；Query Node 仅加载索引执行查询，可根据查询负载独立扩缩容。
• 依赖：对象存储（MinIO、AWS S3 等）作为共享存储层；消息队列（Apache Pulsar/Kafka）用于组件间解耦和流式数据传递。

指数类型与性能权衡： Milvus 支持多种近似最近邻算法，用户需根据数据规模和延迟/召回率需求选择。同一向量字段仅能持有一个索引，更改需删除重建。主流索引包括：

• FLAT：暴力搜索，100% 召回，仅适合小数据量。
• IVF_FLAT / IVF_SQ8 / IVF_PQ：基于倒排文件的聚类索引，通过减少搜索空间加速，召回率与速度可调。
• HNSW：基于分层导航小世界图的索引，查询速度快、召回率高，但内存占用大，图构建较慢。
• GPU_IVF_FLAT / GPU_IVF_PQ：利用 GPU 加速索引构建与查询，适合极端低延迟场景。

关键参数

评估 Milvus 实例或集群能力时，以下参数能在不同维度揭示其性能边界与适用场景（具体数值依赖硬件配置、向量维度、数据类型与索引选择）：

• 查询性能

  • QPS（每秒查询数）：在特定数据集与召回率要求下，单个 Query Node 或整个集群能承受的最大查询量。例如，在 100 万条 768 维向量、HNSW 索引、1 个 Query Node（16vCPU, 64GB RAM）条件下，QPS 可达数千（来源：Zilliz 技术博客，2023 年 benchmark）。
  • 延迟（P99 Latency）：通常以 P99 分位延迟衡量查询时延。对于十亿级数据集，经过合理索引和分片后，P99 延迟可控制在数十到数百毫秒区间（来源：Milvus 2.3 官方压力测试报告，2023.09）。未指明具体硬件时，此数值为综合社区报告的参考区间。

• 召回率（Recall）

  • 近似搜索返回的 Top-K 结果中，真正精确最近邻的比例。典型生产环境要求在 95%–99% 以上。召回率与查询延迟之间存在折衷，通过调整索引参数（如 IVF 的 nlist 或 HNSW 的 M/efConstruction）可控制这一平衡。

• 可扩展性与数据规模

  • 最大向量数：理论上，通过水平扩展可支持万亿级向量。公开测试中，Milvus 在 10 亿级 768 维数据集上稳定运行（来源：Zilliz 联合 NVIDIA 的披露，2022）。
  • 维度上限：Milvus 支持最高 32,768 维的向量（v2.3 版本起提升上限），满足多模态与高维嵌入需求。
  • 节点数量：支撑数十个 Query/Data Node 的集群，受控于元数据管理能力与协调组件。

• 索引构建速度

  • 索引构建耗时受数据量、维度和索引类型影响大。例如，在 1 亿条 128 维向量上构建 HNSW 索引可能需要数小时，而 IVF_PQ 可显著更快但召回率略低。具体指标公开资料未见统一标准，需根据自身基准测试评估。

• 混合查询能力

  • 支持的标量数据类型（整型、浮点、布尔、字符串、数组等）及逻辑操作符，以及过滤下推的执行效率。Milvus 支持为标量字段创建倒排索引或排序索引以加速过滤。

• 一致性与耐用性

  • 一致性级别：Strong / Bounded Staleness / Session / Eventually。
  • 数据耐用性：WAL 落盘与对象存储多副本保证，单点故障下数据不丢失。

• 管理运维

  • 是否支持滚动升级、多租户隔离、监控指标暴露（Prometheus）、动态扩缩容、备份恢复等。Milvus Operator 简化了在 Kubernetes 上的部署管理。

上述多数性能参数均取决于具体环境，建议参考 Milvus 官方文档中“Benchmark”与“Configuration”章节获得特定版本次的参考值，并在目标近似数据集上进行概念验证。

技术路线

Milvus 的技术演进清晰体现了从实验性系统到企业级云原生数据库的跃迁：

1. v0.x–v1.x（探索验证期，2019–2021）

   • 最初封装 Faiss/Annoy 等算法库，以单体架构提供向量存储与检索接口，验证了专用向量数据库的市场需求。
   • 此阶段确立了开源社区驱动模式，并在早期用户中积累了若干生产案例（如 Walmart 的推荐系统）。

2. v2.x（云原生重塑，2021–2023）

   • 实现彻底的架构重构，全面引入存算分离、微服务与云原生设计。计算、存储、索引、协调各自独立，支持动态扩缩和多云部署。
   • Milvus 于 2022 年成为 LF AI & Data 基金会毕业项目，标志着社区治理成熟。
   • 这一阶段使 Milvus 从“强大的库”转变为分布式、高可用、可弹性伸缩的生产级数据库。

3. 当前（功能深化与生态融合，2023 至今）

   • 重点深耕多模态向量支持（文本、图像、多模态 embedding 在同一集合中混合查询）、混合搜索增强、Grouping Search、GPU 加速（集成 NVIDIA RAFT 库）、全文检索能力等。
   • 商业版 Zilliz Cloud 推出 Serverless 模式、VPC 对等连接等企业特性，并与 AWS、Azure、GCP 紧密集成。
   • 技术路线上，Milvus 坚持 开放核心（Open-core） 模型，底层引擎完全开源，企业功能通过 Zilliz Cloud 提供。

与其他技术路线的定性对比： Milvus 路线代表开源可控 + 高性能分布式，与全托管 SaaS（Pinecone）、通用 DB 扩展（pgvector）等路线构成了市场上的不同选择。

上游

Milvus 所处产业链的上游环节包括：

• Embedding 模型 / 服务：一切向量的来源。如 OpenAI Embedding API（text-embedding-3-small/large）、Cohere Embed、Google Vertex AI Embeddings，以及开源模型（Hugging Face 上的 BGE、E5、all-MiniLM-L6-v2 等）。多模态模型（CLIP、ImageBind）生成的图像/音频向量也是重要输入。
• 数据管道与 ETL 工具：将原始非结构化数据（PDF、网页、数据库记录）加工、切块（chunking）并调用 Embedding 服务转化为向量的环节。常用工具包括 Apache Kafka、Flink、Spark、Airbyte，以及专门面向 LLM 的数据处理平台（如 Unstructured.io）。
• 云基础设施：对象存储（AWS S3、MinIO）、消息队列（Apache Pulsar、Kafka）、容器编排（Kubernetes）等，为 Milvus 提供底层资源。
• 硬件加速：GPU 供应方（如 NVIDIA）在索引构建加速和查询性能提升方面发挥作用。NVIDIA RAFT 库与 Milvus 的集成使得 GPU 加速的 ANN 搜索成为可能。

下游

Milvus 的下游即向量检索的消费方，是 AI 时代丰富多彩的应用场景：

• LLM 框架 / 编排工具：LangChain、LlamaIndex、Dify、Haystack、Semantic Kernel 等主流框架均将 Milvus 作为核心向量存储后端之一，用于构建 RAG 管道。
• 应用场景：
  • 智能客服与知识库：企业文档问答、帮助中心，通过 RAG 实现基于私有知识的精准回复。
  • 推荐与个性化：电商商品推荐（基于用户行为向量）、内容平台信息流推荐。
  • 多模态搜索：以图搜图、以文搜图，相关案例包括 eBay 的商品图片搜索（使用 Milvus 托管服务，来源：Zilliz 客户案例，2022）。
  • 生物医药：药物分子相似性搜索、蛋白质结构比对。
  • 安全风控：异常行为序列相似度分析、人脸特征检索。
• 管理与监控工具：如 Attu（Milvus 官方 GUI），向量数据可视化与分析平台。

受益公司

以下公司因其在 Milvus 生态中的角色或对该技术的采用，可能受到产业发展的影响（注：不构成任何投资建议，仅描述业务关联）：

• 核心维护方与商业化主体：Zilliz（北京向量栈科技有限公司），是 Milvus 项目的主要贡献者和 Zilliz Cloud 的运营方。Zilliz 已获高瓴资本、五源资本、淡马锡、云九资本等机构投资。2022 年 8 月完成 1 亿美元 C 轮融资（来源：Zilliz 官方新闻，2022.08），后续融资动态公开资料未见。
• 采用 Milvus 的知名企业：沃尔玛（商品推荐，Zilliz 官方案例，2021）、eBay（图片搜索，Zilliz 官方案例，2022）、Autodesk、NTT等。这些企业通过运用向量检索优化搜索与推荐，提升了 AI 驱动的业务效率。
• 上游芯片与云计算厂商：NVIDIA（GPU 加速 ANN 算法整合，增强 AI 推理方案），AWS、Azure、GCP 等云厂商通过 Marketplace 或集成 Zilliz Cloud 丰富其 AI 平台生态。
• 周边工具与平台：LangChain、LlamaIndex 等通过集成 Milvus 获得更好的存储端份额，其自身也受益于向量数据库的普及。

市场规模

向量数据库及嵌入搜索市场正在 AI 应用浪潮中快速膨胀。由于市场定义边界模糊（包含纯向量数据库、向量增强的通用数据库、向量插件等），不同报告的统计口径差异较大，以下综合多家研究机构的数据以供参考：

• 据 MarketsandMarkets 2023 年 7 月发布的研究报告，全球向量数据库市场预计将从 2023 年的约 15 亿美元 增长到 2028 年的约 44.3 亿美元，复合年增长率（CAGR）约为 24.7%（来源：MarketsandMarkets, “Vector Database Market – Global Forecast to 2028”, 2023.07，口径包含向量数据库与相关搜索服务）。
• 另一家咨询机构 Fortune Business Insights 在 2024 年初的报告中则认为，向量数据库市场在 2023 年规模约 12.8 亿美元，预计到 2030 年达到 85.5 亿美元，CAGR 超过 33%（来源：Fortune Business Insights, Report ID FBI109366, 2024.01，其口径更侧重新兴专用向量数据库和全托管服务）。
• 需要注意的是，上述预测发布较早，而 2023–2024 年 RAG 和大模型的落地速度可能使实际增速超过预期。但市场中确切的企业采购支出及市场份额细分仍未通过权威第三方审计，实际规模仍待观察。

供给端方面，开源向量数据库（Milvus、Weaviate、Qdrant）和全托管服务（Zilliz Cloud、Pinecone、Azure AI Search、Amazon OpenSearch Serverless 向量引擎、Google Vertex AI Matching Engine）共同做大蛋糕，竞争格局高度动态。

玩家对比

将 Milvus / Zilliz Cloud 与其他主流向量数据库玩家进行多维度对比：

上述对比时间截面为 2024 年中期，产品迭代极快，具体情况应查阅各产品最新文档与实际评测。

风险

从产业与商业角度，Milvus 及其生态面临以下风险：

• 技术路线迭代风险：近似最近邻算法（如 DiskANN、ScaNN）和基于图的检索技术持续演进。若出现革命性新方案，现有引擎的积累优势可能被削弱。此外，大模型自身记忆与长上下文的进化可能降低部分 RAG 场景对独立向量数据库的依赖。
• 云厂商降维打击：AWS、Azure、Google Cloud 等云巨头已在自家数据库（如 PostgreSQL、OpenSearch、Cosmos DB）中内建向量检索功能，并通过全托管服务提供无缝体验。强烈的平台锁定效应可能挤压独立向量数据库厂商的生存空间，尤其是对非深度定制的用户群。
• 开源商业模式挑战：Zilliz 的营收依赖托管云服务与企业级授权，大规模社区贡献者与企业硬核自建可能导致漏斗转化率不达预期。若开源版本持续满足多数需求，商业变现将承压。
• 竞争白热化与价格战：Pinecone、Weaviate Cloud、Qdrant Cloud 等竞品在易用性、定价上激烈角力，加之云厂商以低成本甚至免费向量检索为诱饵吸引生态迁移，行业利润率可能被压缩。
• AI 投资热度波动：若整体 AI 投入降温或资本开支放缓，向量的指数级增长预期可能短期落空，导致基础设施开支推迟或缩减。

误读纠偏

• 误读一：“向量数据库只是在传统数据库上加个向量索引插件。”

  • 纠偏：虽然 pgvector 等插件验证了“可做”，但专用向量数据库（如 Milvus）在以下方面提供了系统性解决方案：存算分离下的分布式扩展、流式数据实时可查询、多种索引类型与参数优化、混合查询的优化器、云原生的运维工具链。仅加索引无法解决数亿级向量的内存管理与高并发需求。

• 误读二：“Milvus 可以替代 Elasticsearch 之类的全文搜索引擎。”

  • 纠偏：两者是互补关系。Milvus 擅长稠密向量的语义相似性搜索，而 Elasticsearch 的核心是倒排索引与关键词匹配，以及丰富的分析聚合。现代 AI 搜索往往采用混合策略：ES 用作初筛与结构化过滤，Milvus 负责语义重排序和相似推荐，两者结合方能实现最佳效果。

• 误读三：“一次性建好索引，以后就不用管了。”

  • 纠偏：向量索引需要针对变化的数据与访问模式持续优化。新增数据到达后可能需要增量构建索引，长期积累的小 Segment 需合并以避免性能下降。而且，一个向量字段同一时间只能有一个索引，切换索引类型需要重建，这要求团队具备容量规划与索引生命周期管理能力。

最新事件

• Milvus 2.4 发布（2024 年 4 月）：新增多向量字段支持、Grouping Search（分组聚合式向量搜索），显著提升了处理复杂多模态数据的能力；同时引入更灵活的物化视图与内存优化，使单节点可处理向量量进一步提升（来源：Milvus GitHub Release Notes，2024.04）。
• Zilliz Cloud 集成 NVIDIA GPU 加速（2024 年 3 月）：Zilliz 与 NVIDIA 合作，在云服务中启用基于 NVIDIA GPU 的索引构建与查询加速，针对十亿级以上高维数据集提供更低延迟。
• Milvus 社区里程碑：截至 2024 年中期，GitHub Stars 突破 2.8 万（来源：GitHub 仓库），贡献者超过 300 人，已被全球数千家企业用于生产环境。Zilliz Cloud 新增支持欧洲、东南亚等区域数据中心。
• 行业认可：Milvus 持续占据 DB-Engines 向量数据库排行榜首位（2024 年 5 月数据，来源：DB-Engines.com），成为 Linux Foundation AI & Data 生态中最活跃的项目之一。

跟踪指标

要持续感知 Milvus 项目健康度与产业趋势，可关注以下指标：

• 社区活跃度：GitHub Stars、Forks、活跃 Issue/PR 数、贡献者总数。目前 Stars 28k+，月度新增情况能反映开发者的兴趣迁移。
• 商业化信号：Zilliz Cloud 的客户案例公布、收入指引（若未来公开）、合作伙伴发布（如与云厂商、LLM 平台的联合方案）。
• 产品性能基准：关注 Milvus 官方发布的 Benchmarks（如 ANN-Benchmarks 上的成绩），以及第三方评测对 P99 延迟与 QPS 的对比变化。
• 行业采用密度：领先 AI 框架（LangChain、LlamaIndex）中 Milvus 集成的下载量/使用比例趋势，以及各大技术会议中向量数据库专题的比重。
• 竞争动态：Pinecone、Weaviate、Qdrant 等竞品的融资、版本更新、定价策略变化；云厂商（AWS、Azure、GCP）在向量搜索方面的功能迭代与市场策略。
• 市场研究数据：定期查阅 DB-Engines 向量数据库类别的排名变化，以及 MarketsandMarkets、Fortune Business Insights 等研究公司对市场规模的更新预测。

信源

1. 官方文档与代码：Milvus 官方文档 (milvus.io)、GitHub 仓库 (github.com/milvus-io/milvus)，提供最准确的功能说明与基准测试指引。
2. 商业化公司博客与技术文章：Zilliz 技术博客 (zilliz.com/blog)，包含架构深入、性能优化、客户案例等一手资料。
3. Linux Foundation AI & Data：Milvus 项目毕业声明与治理文件，体现社区治理的健康程度。
4. 行业研究报告：
   • MarketsandMarkets, “Vector Database Market – Global Forecast to 2028”, 2023.07
   • Fortune Business Insights, “Vector Database Market Analysis”, 2024.01
   • DB-Engines Rankings (db-engines.com) 提供数据库流行度排行。
5. 科技媒体与社区：InfoQ、The New Stack 对向量数据库赛道的深度分析；a16z 等机构发布的现代数据基础设施架构报告中对向量数据库的论述。
6. 学术前沿：相关 ANN 算法原始论文（HNSW、IVF、ScaNN、DiskANN），以理解底层技术演进脉络。

注：所有财务、市场、份额数字均标注了公开来源及发布年份，若未明确披露口径则以报告定义为准。对于无法从权威渠道验证的预测性数据，文中已注明“公开资料未见”或提示其为综合估算，不应作为精确决策的唯一依据。