很多人把 RAG 效果差归咎于模型或向量库,其实真正常见的原因在数据准备:文档没解析好、切片切得糟。这一步很“脏”,却直接决定了检索上限。本文聚焦解析与切片两环节的工具选择。
为什么解析是第一步
现实文档远比纯文本复杂:PDF 有双栏、表格、页眉页脚,扫描件是图片,幻灯片信息散落在图形里。解析工具的任务,是把这些内容变成结构清晰、保留标题层级和表格关系的文本。解析质量差,后面嵌入模型再强也是“垃圾进、垃圾出”。
常见工具路线
- PyMuPDF:提取速度快,适合大批量文本型 PDF 的初步处理;
- pdfplumber:对表格和版面细节更友好,适合结构复杂的文档;
- Unstructured:通用性强,覆盖多种格式和分区识别,适合做统一入口;
- 扫描件与图片:需要 OCR 环节,先识别文字再进入后续流程。
以上是开源社区常见的真实工具,选择时按文档类型组合使用,而非幻想一个工具通吃。
切片:固定长度还是语义切片
固定长度切片简单可控,配一点重叠(overlap)能减少语义被切断;语义切片按段落、标题边界切分,上下文更完整但成本更高。经验做法是先按文档结构(标题、段落)粗切,再对过长段落做长度切分,兼顾质量与成本。
质量检查清单
- 标题层级有没有保留?便于后续按章节过滤;
- 表格是否被拆成乱码?必要时单独处理成文本或结构化数据;
- 页眉页脚、页码等噪声有没有清掉?
- 每个切片是否带上了来源、页码等元数据,便于溯源与引用。
从“能跑”到“好用”
建议先抽一批典型文档做人工核对,把解析结果打印出来读一读,往往能立刻发现明显问题;再拿真实问题做检索测试,看命中片段是否真的包含答案。结论:与其纠结向量库参数,不如花时间打磨解析与切片——这是 RAG 里投入产出比最高的一段“脏活”。
本文属于专题RAG 与知识库7 篇全部专题 →
小7分享网