Agnos

研究发现：PDF 中的页面元素破坏 RAG 管道

一项对 25 份政府 PDF 进行的分析研究发现，通过标准方法提取的页面页眉和页脚与正文文本混合，可能会破坏检索增强生成 (RAG) 管道。这些元素，如页码和机构标识符，会出现在多个块中，使得它们在嵌入模型看来非常相似。使用 Agnos 工具进行的分析显示，这些“页面元素”占文本总量的比例很小，但出现在相当一部分页面上，可能会影响处理这些文档的 AI 模型的准确性。