文档切块

3 秒看懂

文档切块是将合同、技术手册、研报等非结构化长文本切割为语义相对完整的小段，使大语言模型在有限上下文窗口内能精确检索和消费信息。切块不是简单的文本截断，而是决定检索增强生成系统“用什么信息作答”的关键前置工序：切得过细，语义断裂；切得过粗，检索漂移。它直接影响答案的事实一致性与召回完整度，是大多数企业级 RAG 落地过程中最先被低估却最致命的工程变量。

3 分钟产业解释

当企业将 PDF、扫描件、代码库、内部知识库接入大模型应用时，原始文档不可直接交付模型消费。原因有二：其一，单份文档往往超出模型上下文限制；其二，即使模型支持超长上下文，将整份文档嵌入后生成的单一向量几乎无法精确定位与查询密切相关的局部信息，检索精度随文档规模衰减明显。

文档切块承担的是“索引化”与“语义单元化”双重职责。它把长文档转化为向量数据库可检索的最小语义单元，使查询能映射到精确的片段，而非整份文档的模糊对应。

当前业界核心策略可分为四类：

• 固定长度切块：基于 token 数量机械式截断，实现成本最低，但极易切断段落、列表乃至句子，导致块内信息残缺。
• 递归字符/分隔符切块：利用段落换行、句号、分号等天然标记逐步尝试分割，仅在无法拆分时才降级至字符级切断，语义完整性远优于固定方式。LangChain、LlamaIndex 等框架将此设为默认策略。
• 语义切块：通过嵌入模型计算相邻句子之间的余弦相似度，在语义“断崖”处进行切割。这类方法尊重文档的自然表达节奏，但对计算资源要求较高，延迟和成本均明显上升。
• 结构感知切块：基于文档层级结构（Markdown 标题、表格的单元格边界、API 文档的方法体等）进行对象级切分，可保留表格、代码块、列表的整体性。专业文档解析库如 Unstructured 即以此为核心理念。

这些策略并非孤立存在。在实际工程中，企业常采用复合路由：先用结构解析树进行第一层粗切，再在内部启用递归/语义策略微调边界。切块已从初期“预处理脚本”升级为直接影响召回、延迟、成本的数据管道战略性设计环节，也是头部 AI 工程团队持续博弈优化深度的核心战场之一。

技术原理

核心机制：从嵌入到检索的语义映射

RAG 系统的根本任务是将用户自然语言查询映射到最相关的文本片段。从数学上看，文本块 C 被嵌入模型 E 编码为向量 v = E(C)，查询 q 以相同方式编码为 u = E(q)，检索过程本质上是计算余弦相似度 sim(u, v) 并按降序返回前 k 个候选块。

切分在此通路中引入了两个致命风险：

• 语义截断：当某一事实的实体、关系、限定条件被切分到两个不同块，任意单独一个块的向量都不能准确表征这一事实，从而在检索时双双落选。
• 语义稀释：当块体量过大，包含的主题过于驳杂，主干信息被大量背景文本噪声掩盖，该块的向量将与查询向量明显偏离，导致“满篇相关句子却检索不出”的悖论。

因此，切分必须在两项硬约束下求解帕累托最优：

• 块长度严格不超过嵌入模型的最大 token 容量（例如 text-embedding-ada-002 为 8,191 tokens，但实际最优性能窗口通常远低于此）；
• 每一块应尽可能构成一个语义闭环，内部信息自洽、无需依赖外部片段即可被独立理解。

一段示例可以说明不同策略的差异：

原文："Transformer架构由编码器和解码器组成。编码器的自注意力机制允许并行计算。解码器则采用带掩码的自注意力。"

• 固定长度切块（20 tokens）：第一块截断于“编码器”前，关键信息“自注意力”属于编码器还是解码器被强行割裂，检索系统无法判定这一片的真实主题。
• 递归分隔符切块（以句号为第一优先级）：第一句独立成块，第二句与第三句构成另一块，语义完整度明显更高，查询“解码器自注意力”可精准命中第二块。

经典算法流程可分为四步：

1. 文本清洗与结构化提取：解析 PDF、HTML、扫描 OCR 文档，提取原始文本并保留标题层级、段落边界等原始结构元数据。
2. 分割点判定：系统根据选定策略在候选分割点打分排序，确定哪些位置应作为块边界。
   • split_fixed(text, chunk_size, overlap)：仅按 token 数量截断，无语言感知。
   • split_recursive(text, separators=["\n\n", "\n", "。", ".", " "])：按优先级尝试高质量分隔符，超长段落再降级切分，鲁棒性最佳。
   • 语义切割通过句子嵌入构建相似度矩阵，在相邻句子间的余弦距离局部极大值处进行切割，类似 TextTiling 算法的现代变体。
3. 重叠构建：在相邻块之间保留 10%–20% 的 token 重叠，防止信息在边界处永久丢失。这在信息跨段落流动的长论证文中尤其关键。
4. 元数据捆绑：每一块附属文档 ID、页码、标题路径、最后修改时间等字段，下游向量数据库可据此进行元数据过滤与分层检索。

关键参数与影响定性

• 块大小（chunk_size）：决定性参数。在通用嵌入模型的最佳表现区间（约 256–768 tokens）内，小块更利于事实性查询的精准召回，大块更适合长篇幅推理类问答。超出嵌入模型最佳窗口后，检索精度普遍呈回落态势（基于社区公开基准测试观察，未针对特定模型校准）。
• 重叠长度（chunk_overlap）：缓解边界截断的工程补偿。适度重叠（10%–20%）在召回率提升上性价比最高。过度重叠（>40%）会导致向量数据库中大量近似冗余，检索结果去重压力和存储成本激增。
• 分隔符层级：针对代码、Markdown、JSON 等结构高度敏感的文本类型，分隔符的优先级设计直接影响块质量。例如代码的分隔符应优先为函数/类边界，而非简单按空行切分，以避免函数签名和实现体分离。

多级索引与分层切块

在专业领域知识库中，高频核心概念与低频边缘概念并存。主流策略是采用“父块-子块”双层索引：先将文档粗切为大粒度的父块（例如完整章节），再细分为子块（段落或句子）。检索时先在父块级快速定位相关区域，再在该区域内进行子块级精细检索。该模式在医疗指南、法律条文等需要精确引用出处的场景中优势明显，显著提升低高频概念的命中率与上下文完整性。

这一模式可推广为“多粒度索引树”，即对同一文档同时维护多个粒度的切块版本，检索时根据查询复杂度与预期答案长度动态路由至不同粒度层。

多模态切分的困境与应对

表格、公式、图表、代码块在切分中极易破碎。以表格为例，当切分边界从表格中间穿过，原始结构信息彻底丢失，下游检索和生成无法复原行列关系。当前主流应对路径是将表格、图片等视为不可拆分的“文档元素对象”，在切分时以整个元素为单位，绝不内部截断。开源库 Unstructured 即围绕这一理念，将文档抽象为按顺序排列的元素流，再基于元素类型执行规则导向的切分，最大化保持结构化对象的完整性。

关键参数

工程实践中，文档切块的参数化方案往往在以下维度展开，且这些参数之间存在复杂的耦合关系，不宜独立审视。

• 块大小（chunk_size）：上述决定性参数，需要相对于嵌入模型的性能曲线进行校准。针对 text-embedding-ada-002 的最优窗口约 256–512 tokens，针对 BGE-large、Jina embeddings-v2 等模型公开基准测试建议在 512–1024 tokens 区间。该建议来自公开社区评测（MTEB 等），非特定厂商担保。
• 重叠度（chunk_overlap）：通常设为块大小的 10%–20%。存储敏感型场景可取消重叠，转而依赖检索时的上下文扩展策略。
• 分隔符策略：对于中文文档，推荐顺序通常为 ["\n\n", "\n", "。", "；", "，", " "]；对于 Python 代码，推荐为 ["\ndef ", "\nclass ", "\n\n", "\n", " "]。领域知识库应构建专用分隔词表。
• 最大块数或总嵌入成本预算：在大规模语料场景中，块数量直接线性对应嵌入调用次数与向量存储规模，需预先设定预算上限以约束管道成本。
• 元数据富度：每个块附带的元数据字段（页码、章节标题、文档类型、时间戳等）决定下游过滤与混合检索能力，但元数据基数、索引延迟和存储开销需纳入评估。

以上参数的具体数值均基于公开社区实践和论文实证总结，未针对任一商业产品进行定制推荐。

技术路线

为清晰展现技术路线间的差异与选型逻辑，下表从七个维度进行系统对比。

注：块大小范围基于社区调研和公开文档推荐值，未针对特定嵌入模型校准；不同模型的实际性能最优窗口可能存在差异，需通过实验确认。

除单独策略外，先进工程体系往往采用复合路由方式：先运行结构感知解析，将文档还原为标题-层级树，对每一层级内容子块调用递归切分，对递归失败的段落再降级为语义切分，最终所有切块通过规则校验器检查底线指标（最小 token 数、完整性标记等）。

上游

文档切块的前置链路决定输入质量，上游任何环节的误差都会在切块阶段被放大。

• 文档解析与还原层：PDF 提取引擎（PyMuPDF、pdfplumber、Apache PDFBox）、OCR 系统（Tesseract、PaddleOCR）、HTML/XML 解析器、Office 文档转换库，负责从二进制或扫描件中还原出结构化或半结构化的原始文本流。解析阶段丢失的段落边界、表格结构或标题层级，将在切块环节直接转化为不可逆的语义破坏。公开数据未见对解析环节误差传导率的系统性量化，但工程经验表明这是最大的隐性噪声来源之一。
• 嵌入模型：OpenAI text-embedding-3 系列（2023 年发布，最大输入 8,191 tokens）、Cohere Embed v3（2023 年，支持多语言，输入上限 512 tokens）、BGE 系列（BAAI 开源，BGE-M3 2024 年发布，支持 8,192 tokens）、Jina embeddings v2（2023 年，支持 8K 上下文）等。嵌入模型的有效上下文窗口和注意力分布特征直接为上层的 chunk_size 设定提供硬约束。各模型性能参数来自对应官方文档与 MTEB 排行榜，未进行二次实验验证。
• 分词器：切块的 token 计数与语言模型的分词器严格绑定。不同模型（如 GPT 系使用的 tiktoken、Llama 系使用的 SentencePiece）对同一段文本的分词结果可能存在 10%–30% 数量偏差（社区常见对比数据，未针对特定语料校准）。如果切块器所用分词器与嵌入模型不一致，实际 token 数可能超出其输入上限，导致截断或失败。

下游

切块的输出直接进入以向量数据库为中心的检索与生成链路，影响面贯穿整个 RAG 系统的核心性能指标。

• 向量数据库：Pinecone（2024 年公开服务器版本支持最大 200K 维向量，元数据过滤延迟 <50ms）、Weaviate（v1.24 支持多向量与混合检索）、Milvus（v2.4 引入 GPU 索引）、Chroma（轻量级嵌入式方案）等负责存储块向量及元数据并执行近似最近邻检索。切块质量决定索引效率：块粒度过细导致向量数量膨胀，召回候选集规模扩大，检索延迟和 Top-k 噪声同步上升；块粒度不均导致索引树的距离分布变形，影响检索召回率。各产品性能参数摘自 2024 年官方文档或技术博客，独立基准测试数据未公开可查。
• RAG 编排框架：LangChain（2024 年公开月下载量 >500 万）、LlamaIndex（曾用名 GPT Index，2024 年公开月下载量 >100 万，数据来自 PyPI 及框架官方公布口径，未经独立审计验证）、Haystack（deepset 维护）等负责汇聚检索结果并按提示工程模板拼装后交由生成模型。块的语义完整度与大小直接决定 prompt 构建的上下文信息密度。
• 大语言模型：OpenAI GPT-4（2023 年发布，上下文窗口 128K tokens）、Claude 3.5 Sonnet（Anthropic 2024 年发布，200K）、Gemini 1.5 Pro（Google 2024 年发布，最高支持 2M tokens）等作为最终的文本消费者。其指令跟随能力、长上下文注意力衰减特性、生成时的事实一致性与幻觉率，均受块质量牵引。即使长上下文模型已大幅提升输入上限，但中段信息丢失（“lost in the middle”现象，Liu et al., 2023）的存在使切块质量仍然不可忽视。

受益公司

文档切块作为中间件，间接推动以下类型公司受益。所有估值和财务数据若无特别说明，均为公开资料可查数据，未公开部分已在对应条目中注明。

• RAG 工具链开源框架方：LangChain 与 LlamaIndex 虽未独立变现切块能力，但其提供的切块器已成为社区事实标准，是其商业产品（LangSmith 于 2023 年推出，公开定价模式下月活开发者超 10 万，收入未公开披露；LlamaCloud 2024 年推出，营收数据未公开）的开发者引流入口与生态护城河。
• 文档预处理专业厂商：Unstructured 专注非结构化数据到向量索引的预处理链路，2024 年公开宣布已完成 B 轮融资（具体金额与估值未公开，引用自 TechCrunch 2024 年 3 月报道《Enterprise AI’s dirty secret: It’s all about the data》，具体数字未独立核实）。其开源库被广泛集成于企业知识管理管道。
• 嵌入与分割 API 服务商：Jina AI 提供 Segmenter API 与多种嵌入模型，商业模式为 API 调用计费，具体收入和融资额公开资料未见。
• 云平台 AI 服务：AWS 的 Kendra 内置智能文档切分（2024 年更新支持高级切分选项）、Azure AI Search 的集成矢量化管道（2023 年更新向量搜索能力）、Google Cloud Vertex AI Search 的文档布局解析器均将切块作为管道内置功能，以 PaaS 附加消费形式计费，未见独立切块服务的单独营收披露。
• 垂直应用层：ChatPDF（2023 年初上线即获大量用户，融资与收入公开资料未见）、Shelbula 等应用层产品通常基于开源切块方案自建管道，不做独立切块组件商业化。

资本视角：纯文档切块工具独立商业体量有限，一级市场更关注“文档解析 + 智能切块 + 检索调优”的垂直一体化平台，以及具备特定垂直领域（法律、医疗、工业）的专属切块配方、分词词库乃至微调分段模型的团队。

市场规模

文档切块的市场规模难以单独测度，因其高度嵌入 RAG 工具链与数据管道基建中，未构成可独立分离的商业品类。以下分析来自对 RAG 市场与数据预处理市场的间接推算。

• 根据 Gartner 2024 年 4 月发布的《Forecast Analysis: Generative AI Software, Worldwide》摘要（摘要数据已公开，完整报告为订阅制），全球生成式 AI 软件支出 2023 年约 30 亿美元，预计 2026 年超过 150 亿美元，年复合增速超过 60%（具体数值请参阅完整报告）。RAG 作为企业知识管理与智能客服的基础范式，在整体应用层中占据相当比重（具体比例公开资料未见细分）。
• 同一报告估计，到 2027 年超过 60% 的企业 AI 应用将集成 RAG 技术（引用自公开发布的 Gartner 预测要点）。非结构化数据预处理，包括文档解析与切块，是每个此类部署的强制组件。
• 公开报道中可见多家文档处理/AI 数据管道初创企业 2023–2024 年完成 A–B 轮融资（累计金额逾 5 亿美元，该估数为行业报道综合推算，未包含全部交易，口径可能不一致），表明资本对“非结构化数据到 AI 就绪”这一链路的价值认可。

致歉：因本次联网检索条件限制，未能获取到 IDC、MarketsAndMarkets 等机构关于文档切块或非结构化数据预处理细分市场的独立研报数据，上述数字均为间接关联指标。建议读者补充查阅相关付费报告以获取更精确的量化和细分数据。

玩家对比

以下基于公开信息，对产业链核心玩家的切块相关能力进行定性对比。所有产品功能与性能表述来源于各产品 2024 年公开文档，未经独立基准测试验证，仅作结构性参考。

此对比不含性能基准排名，不构成任何推荐建议。各产品的实际表现在特定数据集上可能有显著差异。

风险

技术替代风险

• 超长上下文模型的侵蚀：Gemini 1.5 Pro（2024 年 2 月由 Google DeepMind 发布，支持最高 2 百万 token 上下文）与 Claude 3.5 Sonnet（2024 年发布，200K）显著提升了模型原生处理长文档的能力。理论上，当模型可直接并在保持精度的情况下消费整份文档时，切块不再是刚性步骤。但现阶段长上下文推理仍面临三大约束：中段信息丢失现象（已由多篇公开论文复现）、推理成本与延迟随长度超线性增长、高并发场景下的吞吐瓶颈。在面向实时交互、高吞吐量、严格成本控制的商业场景中，切块索引在可预见的 1–2 年内仍将是主流架构选择。
• 检索范式的颠覆性进展：若检索算法出现根本性变革——例如端到端的长文档表示模型能以亚线性复杂度精确定位，传统分块索引的必要性将被进一步削弱。但目前这类模型仍处于学术研究阶段，尚无产品级稳定性。

技术同质化风险

开源切块工具的 API 和核心算法高度相似，技术壁垒低。这意味着独立提供切块能力的商业价值极易被挤压。缺乏行业专属优化（领域分隔词库、垂直分段模型）的通用方案在长期竞争中将难以建立可持续的溢价。

系统脆弱性风险

切块作为管道中不可见的中间层，参数选择错误的影响具有滞后性和隐蔽性。可能的故障模式包括：

• 检索召回率正常但生成质量持续低下，原因是块内语义不完整，模型无法还原跨块推理链；
• 管道上线初期表现正常，随着文档类型变化或数据分布漂移，早期参数配置不再适配，但系统缺少自动化回归检测能力；
• 对 PDF 解析异常（如双栏排版的阅读顺序错误）缺乏校验，导致切块噪声呈倍数放大。

误读纠偏

误读 1：“切块就是按固定 token 数切，用哪个策略差别不大”

纠正：固定切块与递归切块在语义连贯性上的差距显著。社区公开发布的多项消融实验（包括 LlamaIndex 于 2023 年发布的切块策略对比分析及 Ragas 评估框架的公开用例）表明，在相同 chunk_size 设定下，递归切块相较于固定切块在检索召回率上可高出 10%–30%（相对提升，具体幅度随数据集中句子长度和语言特征变化，并非普适常数）。切块策略是决定 RAG 管道性能上限的第一层设计变量，不可视为无关紧要的预处理。

误读 2：“切块越小，检索越精准”

纠正：极端小粒度的分块（如单句甚至短语级别）虽然能实现关键词级精确匹配，但引入的结构性缺陷同样严重：指代关系完全丢失（“它”“该方案”“上述规定”等无法解析）；缺乏推理所需的上下文支撑；检索返回的孤立句子无法支撑 LLM 生成完整答案，系统被迫追加邻块召回或多轮检索，端到端精度反而下降。工程中的黄金法则是：块大小应适配嵌入模型的最佳表现窗口（通常 256–768 tokens 区间），并在此基础上根据下游答案的预期长度和论证复杂度进行微调。

误读 3：“重叠开高点总能避免漏检”

纠正：重叠是弥补边界截断的工程技巧，但绝非免费午餐。过高的重叠率（如 >30%）会导致向量数据库中产生大量语义接近冗余的块，检索时系统返回的前 k 个结果可能包含几乎完全相同的信息，对生成模型造成噪声干扰；同时存储成本随重叠率线性增长。10%–20% 是社区经过广泛实践验证的性价比区间。更优的长期方案是在检索阶段加载邻块上下文，而非在嵌入阶段增大冗余。

误读 4：“文档切块做完后就结束了，后续检索把每个块当做独立对象就行”

纠正：在企业级 RAG 系统中，块从来不是孤立对象。“检索用小粒度块 + 生成时拼回父文档上下文”是标准操作模式。具体实践中，系统先在小粒度子块上执行精确检索，得到最相关的 k 个子块后，再从向量数据库或原始文档中拉取它们的父块或紧邻块，拼接后送入 LLM 生成最终答案。这一模式（常被称为 Small-to-Big 检索或 Parents Document Retrieval）在 LangChain 和 LlamaIndex 中均已实现为标准功能，直接将块视为独立对象会显著限制系统精度的上限。

最新事件

• 2024 年 3 月：Unstructured 发布 v0.12 版本，新增基于文档布局的智能元素分组切分，提升对 PDF 双栏/多栏排版的切块质量。(来源：Unstructured GitHub Release Notes)
• 2024 年 2 月：Google 发布 Gemini 1.5 Pro，以百万级 token 上下文窗口引发业界对“长上下文模型是否将消灭 RAG 切块”的广泛讨论。截至目前，独立基准测试和应用一线反馈显示，中段检索精度衰减问题在超长上下文中仍显著存在，切块索引在实时业务系统中尚未被取代。(来源：Google AI Blog 2024 年 2 月；多篇独立评测博文可参考)
• 2024 年上半年：LlamaIndex 增强其 SentenceSplitter 与 SemanticSplitter 的集成度，支持在管道中组合使用结构解析与语义分割。（来源：LlamaIndex 官方文档更新日志）
• 2023 年 9 月：Ragas 评估框架发布切块策略评估模块，支持以端到端生成质量反向评估分块配置。（来源：Ragas GitHub Release Notes）

跟踪指标

以下为观察文档切块技术演进与行业渗透的公开可跟踪指标渠道，不含内幕信息源。

• 框架下载量与版本迭代：LangChain、LlamaIndex 的 PyPI 月下载量（可通过 pypistats.org 公开查询），关注切块相关模块的更新频率与社区反馈。
• 学术研究动向：ArXiv 上与 “chunking strategy” “document segmentation” “RAG retrieval” 相关的新论文，尤其是对长上下文模型与分块索引的性能系统对比研究，重点关注是否出现可公开复现的分块替代方案。
• 嵌入模型动态：OpenAI、BAAI、Jina AI、Cohere 等嵌入模型提供商的版本更新与官方最佳实践指引，因为 chunk_size 的推荐值会随模型能力升级而动态变化。
• 行业会议与评测：NeurIPS、ACL、EMNLP 收录的检索与 RAG 相关 Workshop，关注文档预处理赛道的独立基准测试（如 MTEB 等）是否新增文档切块专项评测。
• 企业客户数字化信号：RAG 管道工具企业的客户案例公布频率、招聘信息中对非结构化数据处理工程师的需求趋势，可作为该技术企业采纳率的代理指标。
• 云厂商能力迭代：AWS Kendra、Azure AI Search、Google Vertex AI Search 文档预处理能力的更新公告，这些 PaaS 级产品的切块能力增强往往反映行业主流需求的优先级迁移。

信源

若未在正文中额外注明，以下类别信源构成本页事实性表述的主要依据。所有链接地址均为公开可访问 URL，已验证可用性截至 2024 年中。

• LangChain 官方文档——Text Splitters 章节：https://python.langchain.com/docs/how_to/#text-splitters
• LlamaIndex 官方文档——Node Parser 与 Ingestion Pipeline 章节：https://docs.llamaindex.ai/en/stable/module_guides/loading/node_parsers/
• Unstructured 开源仓库与 API 文档：https://github.com/Unstructured-IO/unstructured
• Jina AI Segmenter API 文档与博客：https://jina.ai/segmenter
• MTEB（Massive Text Embedding Benchmark）公开排行榜：https://huggingface.co/spaces/mteb/leaderboard
• Ragas 评估框架开源仓库：https://github.com/explodinggradients/ragas
• Lewis, P., et al. “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” NeurIPS 2020.
• Liu, N. F., et al. “Lost in the Middle: How Language Models Use Long Contexts.” Transactions of the Association for Computational Linguistics, 2024.
• Gartner. 《Forecast Analysis: Generative AI Software, Worldwide》（2024 年 4 月发布，仅摘要公开可查）。
• TechCrunch. 《Enterprise AI’s dirty secret: It’s all about the data》（2024 年 3 月）等覆盖 Unstructured 融资轮的公开报道。

本页所有涉及具体产品、指标或市场数据的表述，均基于上述公开资源或指明为行业定性观察；未查证到的财务数据、融资额、独立市场规模已明确标注“公开资料未见”或“暂未披露”。部分社区实践数值（如最优重叠比例）来自公开技术博客与消融实验，不代表普适最优解，仅在文中相应处注明为定性参考区间。