Gate.AI›博客›Chunking 在 RAG 中是什么意思?为什么文档切分很重要

    Chunking 在 RAG 中是什么意思?为什么文档切分很重要

    学院

    当企业使用大语言模型(LLM)构建 AI 知识库时,通常需要处理大量 PDF、技术文档、产品手册和内部资料。这些文档可能包含数十甚至数百页内容,而用户的问题往往只涉及其中一小部分信息。

    Chunking 在 RAG 中是什么意思?为什么文档切分很重要

    如果系统直接检索整篇文档,不仅可能增加模型处理成本,还会让真正相关的信息被大量无关内容淹没。因此,在构建 RAG(检索增强生成)系统时,开发者通常会先将文档拆分成较小的文本片段,这个过程被称为 Chunking。

    Chunking 看似只是简单的文本切分,但它会直接影响检索系统能够找到哪些信息、Embedding 如何表示文档内容,以及 LLM 最终能否生成准确回答。

    合理的 Chunking 策略不仅要控制文本长度,还需要尽可能保留语义、章节结构和上下文关系。 对企业 RAG 系统而言,文档切分往往是影响知识检索质量的重要基础环节。

    什么是 Chunking?

    Chunking(文本分块或文档切分)是将长文档拆分为多个较小文本片段的过程。每个片段称为 Chunk,可以作为独立的检索单元,用于后续的 Embedding、索引构建和信息检索。

    在典型的 RAG(检索增强生成) 系统中,企业首先将原始文档转换为可处理的文本,再按照一定规则进行分块。随后,系统为这些文本片段建立检索索引,使用户提出问题时能够快速定位相关内容。

    例如,一份企业 API 文档可能同时介绍身份验证、请求限制、错误代码和计费规则。如果用户只想了解 HTTP 429 错误,系统没有必要将整份文档交给 LLM,而是可以检索与请求限制和错误处理相关的 Chunk。

    Chunking 的核心目的不是简单缩短文本,而是让知识以更适合搜索和模型理解的方式组织起来。

    Chunking 在 RAG 流程中的位置

    Chunking 通常发生在文档解析之后、Embedding 和索引构建之前。

    RAG 阶段 主要操作 Chunking 的作用
    文档接入 获取 PDF、网页、知识库等资料 提供原始内容
    文档解析 提取文本、标题、表格和元数据 确定可切分内容
    Chunking 将长文档拆分为文本片段 创建检索单位
    Embedding 将 Chunk 转换为向量 建立语义表示
    Indexing 将文本、向量和元数据写入索引 支持后续搜索
    Retrieval 根据用户问题查找相关 Chunk 返回候选知识
    Generation 将检索内容提供给 LLM 生成有依据的回答

    Chunking 通常属于离线或增量更新的数据准备流程,并不需要在每次用户提问时重新切分全部文档。不过,当文档内容更新或切分策略改变时,相关 Chunk 和索引可能需要重新生成。

    为什么 Chunking 对 RAG 很重要?

    Chunking 的主要价值在于平衡检索精度、上下文完整性和模型处理成本。

    在 RAG 系统中,检索质量不仅取决于 Embedding Model 或向量数据库,也取决于被检索的内容如何组织。如果文本片段过大,相关信息可能不够突出;如果片段过小,模型又可能无法理解完整语义。

    提高语义检索的针对性

    假设一份产品手册包含 50 个功能模块,而用户只询问其中一个功能的配置要求。如果整个手册被视为一个检索单位,其向量表示需要概括大量不同主题,可能难以准确反映某个具体问题。

    将手册按照章节或主题切分后,每个 Chunk 可以集中描述相对明确的内容,从而提高相关片段被检索到的机会。

    这也是 Chunking 与语义搜索密切相关的原因。语义搜索可以识别不同表达之间的含义联系,而合理分块能够让被比较的文本单位更加聚焦。

    保留回答所需的上下文

    更小的文本片段并不总是更好。

    例如,某个 Chunk 只包含“每分钟最多允许 100 次请求”,却没有保留该限制适用于哪个 API 版本、哪种账户类型或哪项服务。

    虽然这段内容可能与用户问题高度相关,但缺少适用条件,LLM 仍然可能生成错误答案。

    因此,Chunking 必须在文本长度和上下文完整性之间取得平衡。

    控制 Token 消耗与响应延迟

    RAG 系统通常会将多个检索片段加入 LLM 的输入上下文。Chunk 越大,单个片段可能消耗的 Token 越多;Chunk 越小,系统则可能需要检索更多片段才能覆盖完整答案。

    如果切分不合理,系统可能向模型传递大量重复或无关内容,增加推理成本和响应延迟。

    合理的 Chunking 可以帮助企业在满足回答质量要求的前提下,控制上下文规模和整体处理成本。

    RAG 中常见的五种 Chunking 方法

    不同 Chunking 方法的主要区别在于如何确定文本片段的边界。常见策略包括固定长度切分、递归切分、语义切分、结构化切分和父子分块。

    Chunking 方法 切分依据 主要优势 主要局限
    Fixed-Size Chunking 固定字符或 Token 数量 简单、快速、易于控制 容易切断完整语义
    Recursive Chunking 段落、句子和字符等层级边界 兼顾长度与自然文本结构 不一定能识别主题变化
    Semantic Chunking 语义相似性与主题变化 有助于保持主题完整性 计算与调优更复杂
    Structure-Based Chunking 标题、章节、表格和文档结构 适合结构清晰的文档 依赖解析质量
    Parent-Child Chunking 小片段检索、大段落返回 兼顾检索精度与上下文 需要额外的片段关联管理

    Fixed-Size Chunking:固定长度切分

    Fixed-Size Chunking 是最简单的文档切分方式。系统按照预设的字符数或 Token 数量,将长文本依次拆分为多个片段。

    例如,开发者可以将目标 Chunk Size 设置为 500 Tokens,并允许相邻片段保留一定重叠内容。

    这种方法实现简单、处理速度快,适合结构相对统一的大规模文本。但它通常不理解句子或段落的实际含义,可能在一句话中间切断内容。

    因此,固定长度切分适合作为初始测试方案,但不一定是复杂企业文档的最佳选择。

    Recursive Chunking:递归切分

    Recursive Chunking 会按照预设的分隔符层级进行切分,例如先尝试按照章节或段落拆分,如果片段仍然过长,再继续按照句子或其他边界拆分。

    与直接按照固定长度切分相比,递归切分通常能够更好地保留自然语言结构。

    例如,一份包含多个段落的产品说明可以先按照段落分割,只有在单个段落超过目标长度时,系统才进一步细分。

    这种方法适合通用知识库、帮助文档和文章内容。不过,它主要依据文本结构,并不保证每个 Chunk 都对应一个独立语义主题。

    Semantic Chunking:语义切分

    Semantic Chunking 根据文本内容的语义关系决定切分位置。系统通常会分析相邻句子或段落的语义相似性,在主题发生明显变化的位置创建新的 Chunk。

    例如,一份技术文档先介绍身份验证,再讨论速率限制,最后解释错误处理。语义切分可以尝试识别这些主题变化,将相关内容分别组织为独立片段。

    这种方式有助于提高 Chunk 内部的主题一致性,但也存在局限。语义相似度并不总能准确反映文档结构,且额外的 Embedding 计算和阈值调优可能增加处理成本。

    对于内容主题变化明显、自然语言较多的资料,Semantic Chunking 值得测试,但不能默认其效果一定优于简单切分方法。

    Structure-Based Chunking:结构化切分

    Structure-Based Chunking 根据文档本身的组织结构确定切分边界,例如 Markdown 标题、HTML 标题层级、PDF 章节、列表和表格。

    这种方法特别适合 API 文档、产品手册、企业政策和技术规范,因为这些文档的标题和章节通常承载重要语义。

    例如,一份 API 文档可能包含“Authentication”“Rate Limits”和“Error Handling”三个章节。结构化切分可以优先保留这些边界,并将章节标题与正文关联。

    但这种方法依赖文档解析质量。如果 PDF 解析后丢失标题层级或表格结构,切分效果也可能受到影响。

    Parent-Child Chunking:父子分块

    Parent-Child Chunking 使用不同粒度的文本片段完成检索和上下文提供。

    系统可以先创建较大的 Parent Chunks,再将其拆分为较小的 Child Chunks。检索时使用 Child Chunks 提高匹配针对性,找到相关内容后再返回对应的 Parent Chunk 或必要的父级上下文。

    例如,一份技术规范中的某个小段落与用户问题高度相关,但完整回答还需要该段落前面的条件说明。父子分块可以通过小片段定位相关内容,再提供更完整的上下文。

    这种方法能够缓解小 Chunk 容易丢失上下文的问题,但需要管理父子片段之间的映射关系,并控制返回内容的长度。

    Chunk Size 应该设置多大?

    Chunk Size 指单个文本片段的目标长度,通常使用 Token 或字符数量衡量。它是 RAG 文档切分中最常见的配置参数之一。

    较小的 Chunk 往往更聚焦,可能有利于精确检索;较大的 Chunk 则能够保留更多上下文,但可能包含较多无关内容。

    下面的范围可以作为初始实验配置,而不是通用最佳标准。

    Chunk Size(Tokens) 典型特点 可测试的场景
    128–256 内容集中,但容易缺少上下文 简短 FAQ、定义、独立知识条目
    256–512 兼顾检索粒度与一定上下文 产品帮助文档、一般知识库
    512–1,024 保留较完整的段落和章节内容 技术手册、专业文档
    1,024 以上 上下文丰富,但可能引入更多噪声 长段落分析、复杂文档检索

    实际效果会受到语言、Tokenizer、文档结构、Embedding Model 和用户问题类型影响。相同的 Token 数量也不一定对应相同的中文或英文文本长度。

    例如,面向简短事实问答的知识库,可能更适合较小的检索片段;而需要解释完整操作流程的技术助手,可能需要更大的上下文范围。

    企业应通过真实问题测试不同 Chunk Size,而不是仅凭经验选择固定数值。

    什么是 Chunk Overlap?为什么需要重叠内容?

    Chunk Overlap 是指相邻文本片段之间重复保留的内容。它通常与 Chunk Size 一起配置,目的是降低切分边界造成的信息丢失。

    例如,当一个段落的关键条件出现在前一个 Chunk 末尾,而具体结论位于后一个 Chunk 开头时,适当的 Overlap 可以让两个片段都保留部分关联信息。

    假设原文包含以下内容:

    “企业版 API 使用独立的请求限制策略。超过限制后,服务端可能返回 HTTP 429 错误。客户端应根据响应中的重试指示安排后续请求。”

    如果切分边界恰好位于第一句话之后,后一个 Chunk 可能失去“企业版 API”的适用条件。保留部分重叠文本有助于降低这种风险。

    但 Overlap 也不是越大越好。过多重复内容会增加索引体积、Embedding 处理量,并可能让检索结果出现大量相似片段。

    对于固定长度切分,可以先测试少量重叠,例如目标 Chunk Size 的 10%–20%,再根据结果调整。对于能够保留完整章节或语义边界的切分方法,未必需要采用相同比例。

    一个实际案例:不同 Chunking 策略如何影响 RAG 回答?

    假设企业知识库中有一段 API 文档:

    企业版 API 的请求频率限制由具体服务和账户配置决定。当客户端超过适用限制时,服务端可能返回 HTTP 429 状态码。客户端应检查响应中的重试信息,并按照当前 API 文档规定的策略处理。

    用户提出问题:“企业版 API 出现 HTTP 429 时应该怎么办?”

    不同的 Chunking 策略可能带来不同的检索结果。

    切分方式 可能的检索结果 对回答的影响
    过小的固定分块 只找到“返回 HTTP 429 状态码” 缺少处理方法
    过大的固定分块 返回包含多个 API 功能的长章节 相关内容容易被噪声干扰
    结构化切分 返回完整的错误处理章节 保留适用条件和处理说明
    Parent-Child Chunking 用错误代码片段定位,再返回完整上下文 兼顾精确定位与信息完整性

    在这个例子中,理想的检索结果不仅要包含 HTTP 429,还应保留企业版的适用范围和处理建议。

    如果 Chunk 只包含错误代码而缺少处理条件,即使 Embedding 检索完全成功,LLM 也可能无法生成完整答案。

    这说明 RAG 的回答质量并不完全由生成模型决定。文档如何切分,同样会影响模型获得的证据是否充分。

    Chunking 与 Embedding、向量数据库有什么关系?

    Chunking、Embedding 和向量数据库通常共同构成 RAG 系统的知识索引基础,但三者承担不同任务。

    Chunking 负责决定文档如何拆分;Embedding 负责将文本片段转换为向量;向量数据库则可以存储这些向量及相关信息,并支持相似度检索。

    三者之间的关系可以理解为:

    技术组件 解决的问题
    Chunking 应该把哪些内容组织成一个检索单位?
    Embedding 如何用向量表示文本语义?
    Vector Database 如何高效存储和检索向量?
    Reranking 哪些候选片段最适合回答问题?
    LLM 如何根据检索证据生成答案?

    如果 Chunking 将多个无关主题混合到一个片段中,Embedding 就需要对这段复杂内容生成整体表示,可能降低特定主题的检索效果。

    反过来,如果 Chunking 过度拆分文本,向量检索可能找到相关词句,却无法提供完整答案所需的上下文。

    因此,优化 Embedding Model 或向量数据库并不能自动弥补所有文档切分问题。企业需要将 Chunking 作为独立的检索质量优化环节。

    企业知识库应该如何选择 Chunking 策略?

    不同类型的企业文档具有不同的结构和使用需求,因此不应对所有数据来源采用完全相同的切分规则。

    文档类型 建议优先测试的策略 主要考虑因素
    FAQ 与简短知识条目 按问答对切分、Fixed-Size 保持问题和答案完整
    产品帮助中心 Recursive、Structure-Based 保留标题和操作步骤
    API 技术文档 Structure-Based、Parent-Child 保留版本、参数和错误代码
    企业政策与制度 Structure-Based、Parent-Child 保留条款与适用条件
    长篇研究报告 Recursive、Semantic 平衡主题完整性与检索粒度
    合同与法律文件 Structure-Based、Parent-Child 保留条款编号、定义和交叉引用
    PDF 表格与财务资料 布局感知的结构化切分 保留表头、单位和数据关系

    对于复杂 PDF,文档解析质量尤其重要。例如,财务报表中的数值如果与对应的行列标题分离,即使检索到了数字,也可能无法正确解释其含义。

    对于多语言知识库,还需要考虑不同语言的句子边界、Token 分布和术语表达方式。相同的字符长度配置未必适用于所有语言。

    此外,企业知识库通常还包含文档版本、访问权限和更新时间等元数据。无论采用哪种切分方法,这些信息都应与相应 Chunk 正确关联,避免检索系统返回过时或无权访问的资料。

    如何评估 Chunking 是否有效?

    Chunking 的效果不应仅根据文本片段是否整齐、长度是否一致来判断,而应通过实际检索和问答结果评估。

    企业可以建立一组具有代表性的业务问题,分别测试不同的 Chunk Size、Overlap 和切分策略,再比较检索质量与最终回答表现。

    评估指标 主要衡量内容
    Recall@K 前 K 个检索结果是否包含必要信息
    Precision@K 检索结果中相关内容的比例
    MRR 第一个相关结果的排序位置
    Answer Correctness 最终答案是否正确
    Faithfulness / Groundedness 回答是否得到检索证据支持
    Context Relevance 提供给 LLM 的上下文是否与问题相关
    Retrieval Latency 检索所需时间
    Token Usage 生成答案所消耗的上下文 Tokens
    Index Size 分块后产生的索引规模

    例如,某种切分策略可能提高 Recall@K,但同时产生大量重复片段,增加 Token 消耗。这种情况下,检索召回率的改善未必意味着整体系统表现更好。

    企业还应测试需要跨多个段落才能回答的问题。如果系统只能找到单独事实,却无法保留条件、定义或前后关系,说明当前切分策略可能不适合该类任务。

    最终应结合回答准确性、延迟和成本选择方案,而不是单独追求某个 Chunk Size 或检索指标。

    RAG Chunking 常见的错误有哪些?

    只按照固定字符数切分。 这种方式实现简单,但容易在句子、表格或关键条件之间创建不合理边界。对于结构复杂的文档,应优先测试能够保留自然边界的方法。

    Chunk Size 设置过小。 过小的片段可能只包含局部事实,缺少必要的标题、定义和适用范围,导致模型无法判断信息是否适用于当前问题。

    Chunk Size 设置过大。 过大的片段可能混合多个主题,增加无关内容,并使检索系统难以精确定位用户需要的信息。

    忽略元数据。 如果 Chunk 没有关联文档版本、章节和权限信息,即使文本语义匹配,也可能返回不适用或未经授权的资料。

    过度使用 Chunk Overlap。 大量重复内容可能增加索引和检索成本,还可能导致多个近似相同的片段占据有限的上下文空间。

    只优化切分,不评估最终答案。 某种策略可能在检索测试中表现较好,但未必改善最终生成结果。企业应同时观察检索和生成两个阶段。

    这些问题说明,Chunking 不是独立于整个 RAG 架构的文本处理操作,而是与文档解析、检索、上下文构建和答案生成密切相关的设计选择。

    Chunking 能减少 AI Hallucinations 吗?

    合理的 Chunking 可以帮助检索系统提供更完整、相关的证据,从而降低部分因上下文缺失而产生的回答错误风险,但不能保证消除 AI Hallucinations(AI 幻觉)。

    例如,如果切分过程保留了产品版本和适用条件,LLM 就更有机会根据正确资料回答问题。相反,如果检索片段缺少关键上下文,模型可能错误推断某项规则适用于所有用户。

    不过,即使 Chunking 合理,模型仍可能误读资料、混合不同来源的信息,或生成没有证据支持的结论。

    因此,企业需要将 Chunking 与检索评估、Reranking、上下文管理和答案验证结合起来,而不是将其视为独立的幻觉解决方案。

    总结

    Chunking 是 RAG 系统中将长文档拆分为可检索文本片段的过程,也是连接原始企业知识与语义检索的重要步骤。

    Fixed-Size Chunking 简单高效,Recursive Chunking 更重视自然文本边界,Semantic Chunking 尝试保持主题一致性,Structure-Based Chunking 利用文档结构,而 Parent-Child Chunking 则通过不同粒度的片段平衡检索精度和上下文完整性。

    优秀的 Chunking 策略不是将文档切得越小越好,而是让每个检索单位既足够聚焦,又保留回答问题所需的信息。

    对于企业 AI 知识库而言,选择切分策略时应综合考虑文档类型、用户问题、Chunk Size、Overlap、元数据、检索质量和 Token 成本。

    通过持续测试和优化,企业可以让 RAG 系统更准确地找到相关知识,为 LLM 提供更可靠的上下文,并提高最终回答的实用性。

    FAQ

    Chunking 和 Tokenization 有什么区别?

    Tokenization 是将文本转换为模型处理的 Token 单位,而 Chunking 是将文档组织成用于检索的文本片段。Chunk Size 可以用 Token 数量衡量,但两者解决的问题不同。

    所有 RAG 系统都必须使用 Chunking 吗?

    不一定。如果知识本身已经由简短、完整且独立的条目组成,系统可能直接索引这些内容,而无需进一步切分。对于长文档,Chunking 通常更有价值。

    Chunk Overlap 越大,检索效果越好吗?

    不是。适当的 Overlap 可以保留跨边界上下文,但过多重复内容会增加索引和处理成本,也可能让检索结果缺乏多样性。应根据实际测试结果调整。

    Semantic Chunking 一定比 Fixed-Size Chunking 更准确吗?

    不一定。Semantic Chunking 可以改善部分文档的主题完整性,但也会增加处理复杂度。对于结构简单或内容高度规范的文档,Fixed-Size 或 Recursive Chunking 可能已经足够。

    修改 Chunk Size 后需要重新生成 Embedding 吗?

    通常需要。如果 Chunk Size 改变导致文本片段的内容或边界发生变化,受影响的 Chunk 就需要重新生成 Embedding 并更新索引。未发生变化的片段则可以根据系统设计进行复用。

    本内容不构成任何要约、招揽、或建议。您在做出任何投资决定之前应始终寻求独立的专业建议。请注意,Gate 可能会限制或禁止来自受限制地区的所有或部分服务。请阅读 用户协议了解更多信息。

    相关文章