BrowseCompPlus

新的DeepStress框架对不可靠数据上的AI搜索代理进行压力测试

研究人员推出了DeepStress，一个旨在压力测试深度搜索代理鲁棒性的新颖框架。该框架通过用合成环境替换搜索代理的检索模块来控制挑战性证据的频率。DeepStress操纵文档可靠性的三个维度：可信度、相关性和事实性。在HotpotQA和BrowseCompPlus上对代理进行测试时，该框架揭示了代理处理不可靠信息的不同方式，并提出了新的指标来更好地记录系统结果。