研究人员开发了 DoGMaTiQ，这是一个新管道，旨在自动生成用于评估长篇报告的问答（QA）片段，特别是那些由检索增强生成（RAG）系统生成的报告。这一过程解决了手动整理这些评估片段的重大挑战，尤其是在跨语言环境中，这种挑战尤为困难。DoGMaTiQ 系统分三个阶段进行：生成基于文档的片段、对释义进行聚类以及根据质量标准进行子选择。在 TREC 共享任务上的实验表明，DoGMaTiQ 生成的 QA 片段与人类判断具有良好的相关性，并且其有效性在很大程度上取决于用于生成片段的大型语言模型的质量。 AI
影响 自动化 RAG 系统的评估数据集的创建，可能加速报告生成领域的研究和开发。
排序理由 这是一篇研究论文，详细介绍了一种为 AI 系统生成评估工件的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.04458v1 Announce Type: new Abstract: Evaluation of long-form, citation-backed reports has lately received significant attention due to the wide-scale adoption of retrieval-augmented generation (RAG) systems. Core to many evaluation frameworks is the use of atomic facts…
Evaluation of long-form, citation-backed reports has lately received significant attention due to the wide-scale adoption of retrieval-augmented generation (RAG) systems. Core to many evaluation frameworks is the use of atomic facts, or nuggets, to assess a report's coverage of q…