TechQA

CoverSynth 为企业检索代理生成评估集

研究人员推出 CoverSynth，一种为企业检索代理生成评估集的新颖方法。与人工编写的集合不同，CoverSynth 旨在以低成本实现高覆盖率、可靠性和区分度，无需手动标注。该系统针对特定的检索需求和代理能力，使用确定性和基于模型的方法来确保地面真实性。在公共语料库上的实验表明，CoverSynth 发现了代理先前未见的故障模式，例如处理歧义请求，并展示了与人工生成的集合相比，检索系统性能存在显著差异。